WO2024080646A1 - Ai 기반의 비접촉식 수면 분석을 통한 환경 조성 방법, 장치 및 시스템 - Google Patents
Ai 기반의 비접촉식 수면 분석을 통한 환경 조성 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- WO2024080646A1 WO2024080646A1 PCT/KR2023/014987 KR2023014987W WO2024080646A1 WO 2024080646 A1 WO2024080646 A1 WO 2024080646A1 KR 2023014987 W KR2023014987 W KR 2023014987W WO 2024080646 A1 WO2024080646 A1 WO 2024080646A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- sleep
- environment
- sleep state
- user
- Prior art date
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 2889
- 238000000034 method Methods 0.000 title claims abstract description 585
- 238000004458 analytical method Methods 0.000 title description 380
- 230000007613 environmental effect Effects 0.000 claims abstract description 473
- 238000007781 pre-processing Methods 0.000 claims abstract description 97
- 239000000203 mixture Substances 0.000 claims description 112
- 238000004891 communication Methods 0.000 claims description 79
- 230000003750 conditioning effect Effects 0.000 claims 5
- 230000008667 sleep stage Effects 0.000 description 349
- 230000001276 controlling effect Effects 0.000 description 239
- 239000000047 product Substances 0.000 description 212
- 238000010586 diagram Methods 0.000 description 176
- 230000033001 locomotion Effects 0.000 description 142
- 230000002618 waking effect Effects 0.000 description 133
- 238000013528 artificial neural network Methods 0.000 description 106
- 201000002859 sleep apnea Diseases 0.000 description 103
- 238000013473 artificial intelligence Methods 0.000 description 101
- 208000019116 sleep disease Diseases 0.000 description 99
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 99
- 238000012795 verification Methods 0.000 description 98
- 230000008569 process Effects 0.000 description 96
- 230000006870 function Effects 0.000 description 93
- 239000002537 cosmetic Substances 0.000 description 91
- 230000029058 respiratory gaseous exchange Effects 0.000 description 89
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 86
- 230000004044 response Effects 0.000 description 83
- 230000015654 memory Effects 0.000 description 73
- 230000004461 rapid eye movement Effects 0.000 description 58
- 230000003860 sleep quality Effects 0.000 description 53
- 238000007664 blowing Methods 0.000 description 51
- 239000000428 dust Substances 0.000 description 50
- 238000001514 detection method Methods 0.000 description 47
- 208000037656 Respiratory Sounds Diseases 0.000 description 46
- 230000006698 induction Effects 0.000 description 46
- 230000008859 change Effects 0.000 description 44
- 238000013136 deep learning model Methods 0.000 description 44
- 230000000694 effects Effects 0.000 description 43
- 230000001965 increasing effect Effects 0.000 description 43
- 206010041235 Snoring Diseases 0.000 description 38
- 238000005259 measurement Methods 0.000 description 36
- 230000004622 sleep time Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 34
- 238000012549 training Methods 0.000 description 34
- 230000003416 augmentation Effects 0.000 description 33
- 238000000605 extraction Methods 0.000 description 33
- 208000020685 sleep-wake disease Diseases 0.000 description 33
- 206010062519 Poor quality sleep Diseases 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 28
- 238000005286 illumination Methods 0.000 description 28
- 239000007789 gas Substances 0.000 description 26
- 230000001939 inductive effect Effects 0.000 description 26
- 238000004140 cleaning Methods 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 24
- 230000001976 improved effect Effects 0.000 description 24
- 238000013186 photoplethysmography Methods 0.000 description 24
- 238000013135 deep learning Methods 0.000 description 23
- 238000013145 classification model Methods 0.000 description 21
- 230000036541 health Effects 0.000 description 21
- 238000004590 computer program Methods 0.000 description 20
- 230000002829 reductive effect Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 230000036760 body temperature Effects 0.000 description 19
- 238000005406 washing Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000011534 incubation Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 238000013434 data augmentation Methods 0.000 description 17
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 16
- 206010021079 Hypopnoea Diseases 0.000 description 16
- 230000007423 decrease Effects 0.000 description 16
- 208000008784 apnea Diseases 0.000 description 15
- 230000027288 circadian rhythm Effects 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 15
- 239000000835 fiber Substances 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 15
- 241000282414 Homo sapiens Species 0.000 description 13
- 230000009471 action Effects 0.000 description 13
- 206010022437 insomnia Diseases 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 12
- 230000036757 core body temperature Effects 0.000 description 12
- 230000000638 stimulation Effects 0.000 description 12
- 238000001816 cooling Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 235000013305 food Nutrition 0.000 description 11
- 239000003205 fragrance Substances 0.000 description 11
- 230000003993 interaction Effects 0.000 description 11
- 230000001954 sterilising effect Effects 0.000 description 11
- 201000010099 disease Diseases 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 10
- 230000009467 reduction Effects 0.000 description 10
- 210000003403 autonomic nervous system Anatomy 0.000 description 9
- 238000010438 heat treatment Methods 0.000 description 9
- 208000000122 hyperventilation Diseases 0.000 description 9
- 150000002500 ions Chemical class 0.000 description 9
- 238000011160 research Methods 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 229910002092 carbon dioxide Inorganic materials 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000007791 dehumidification Methods 0.000 description 8
- 206010021133 Hypoventilation Diseases 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 7
- 238000000537 electroencephalography Methods 0.000 description 7
- 230000000870 hyperventilation Effects 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 7
- 230000004620 sleep latency Effects 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 238000011282 treatment Methods 0.000 description 7
- 208000019888 Circadian rhythm sleep disease Diseases 0.000 description 6
- 206010041009 Sleep talking Diseases 0.000 description 6
- 208000022249 Sleep-Wake Transition disease Diseases 0.000 description 6
- 238000004887 air purification Methods 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 6
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 6
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000033764 rhythmic process Effects 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 210000004237 neck muscle Anatomy 0.000 description 5
- 210000000653 nervous system Anatomy 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 235000019645 odor Nutrition 0.000 description 5
- 239000004417 polycarbonate Substances 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 206010036618 Premenstrual syndrome Diseases 0.000 description 4
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 4
- 206010038678 Respiratory depression Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 210000003477 cochlea Anatomy 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000002979 fabric softener Substances 0.000 description 4
- 235000013376 functional food Nutrition 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000003862 health status Effects 0.000 description 4
- 238000011068 loading method Methods 0.000 description 4
- 239000006210 lotion Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 208000001797 obstructive sleep apnea Diseases 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000035935 pregnancy Effects 0.000 description 4
- 208000022925 sleep disturbance Diseases 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 239000007921 spray Substances 0.000 description 4
- 230000004580 weight loss Effects 0.000 description 4
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 244000088415 Raphanus sativus Species 0.000 description 3
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 3
- 208000026935 allergic disease Diseases 0.000 description 3
- 230000007815 allergy Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000001569 carbon dioxide Substances 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 235000005911 diet Nutrition 0.000 description 3
- 230000037213 diet Effects 0.000 description 3
- 230000000517 effect on sleep Effects 0.000 description 3
- RAXXELZNTBOGNW-UHFFFAOYSA-N imidazole Natural products C1=CNC=N1 RAXXELZNTBOGNW-UHFFFAOYSA-N 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 210000005037 parasympathetic nerve Anatomy 0.000 description 3
- 239000002243 precursor Substances 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 210000002345 respiratory system Anatomy 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000036578 sleeping time Effects 0.000 description 3
- 238000001179 sorption measurement Methods 0.000 description 3
- 230000002889 sympathetic effect Effects 0.000 description 3
- 210000002820 sympathetic nervous system Anatomy 0.000 description 3
- 239000012780 transparent material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000035143 Bacterial infection Diseases 0.000 description 2
- 240000008564 Boehmeria nivea Species 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 2
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 2
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 2
- 244000178870 Lavandula angustifolia Species 0.000 description 2
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 2
- 244000178231 Rosmarinus officinalis Species 0.000 description 2
- 244000269722 Thea sinensis Species 0.000 description 2
- 206010047924 Wheezing Diseases 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 2
- 230000000844 anti-bacterial effect Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 208000022362 bacterial infectious disease Diseases 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 235000009120 camo Nutrition 0.000 description 2
- -1 candle Substances 0.000 description 2
- 235000005607 chanvre indien Nutrition 0.000 description 2
- 230000003749 cleanliness Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 238000004332 deodorization Methods 0.000 description 2
- 235000015872 dietary supplement Nutrition 0.000 description 2
- 229940008099 dimethicone Drugs 0.000 description 2
- 239000004205 dimethyl polysiloxane Substances 0.000 description 2
- 235000013870 dimethyl polysiloxane Nutrition 0.000 description 2
- 238000004851 dishwashing Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000010981 drying operation Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 235000005686 eating Nutrition 0.000 description 2
- 238000010291 electrical method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 239000000839 emulsion Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 235000013373 food additive Nutrition 0.000 description 2
- 239000002778 food additive Substances 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 239000011487 hemp Substances 0.000 description 2
- 239000001102 lavandula vera Substances 0.000 description 2
- 235000018219 lavender Nutrition 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 230000027758 ovulation cycle Effects 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000002304 perfume Substances 0.000 description 2
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 2
- 229920000098 polyolefin Polymers 0.000 description 2
- 239000008213 purified water Substances 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 239000003507 refrigerant Substances 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 229920002994 synthetic fiber Polymers 0.000 description 2
- 239000012209 synthetic fiber Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- HDTRYLNUVZCQOY-UHFFFAOYSA-N α-D-glucopyranosyl-α-D-glucopyranoside Natural products OC1C(O)C(O)C(CO)OC1OC1C(O)C(O)C(O)C(CO)O1 HDTRYLNUVZCQOY-UHFFFAOYSA-N 0.000 description 1
- PUPZLCDOIYMWBV-UHFFFAOYSA-N (+/-)-1,3-Butanediol Chemical compound CC(O)CCO PUPZLCDOIYMWBV-UHFFFAOYSA-N 0.000 description 1
- QTBSBXVTEAMEQO-UHFFFAOYSA-M Acetate Chemical compound CC([O-])=O QTBSBXVTEAMEQO-UHFFFAOYSA-M 0.000 description 1
- 244000198134 Agave sisalana Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 244000146553 Ceiba pentandra Species 0.000 description 1
- 235000003301 Ceiba pentandra Nutrition 0.000 description 1
- 235000007866 Chamaemelum nobile Nutrition 0.000 description 1
- 240000000491 Corchorus aestuans Species 0.000 description 1
- 235000011777 Corchorus aestuans Nutrition 0.000 description 1
- 235000010862 Corchorus capsularis Nutrition 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- XMSXQFUHVRWGNA-UHFFFAOYSA-N Decamethylcyclopentasiloxane Chemical compound C[Si]1(C)O[Si](C)(C)O[Si](C)(C)O[Si](C)(C)O[Si](C)(C)O1 XMSXQFUHVRWGNA-UHFFFAOYSA-N 0.000 description 1
- 239000003109 Disodium ethylene diamine tetraacetate Substances 0.000 description 1
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- ZGTMUACCHSMWAC-UHFFFAOYSA-L EDTA disodium salt (anhydrous) Chemical compound [Na+].[Na+].OC(=O)CN(CC([O-])=O)CCN(CC(O)=O)CC([O-])=O ZGTMUACCHSMWAC-UHFFFAOYSA-L 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 244000042664 Matricaria chamomilla Species 0.000 description 1
- 235000007232 Matricaria chamomilla Nutrition 0.000 description 1
- YJPIGAIKUZMOQA-UHFFFAOYSA-N Melatonin Natural products COC1=CC=C2N(C(C)=O)C=C(CCN)C2=C1 YJPIGAIKUZMOQA-UHFFFAOYSA-N 0.000 description 1
- 229920000079 Memory foam Polymers 0.000 description 1
- 229920002821 Modacrylic Polymers 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 240000000907 Musa textilis Species 0.000 description 1
- 208000007101 Muscle Cramp Diseases 0.000 description 1
- 208000000224 Night Terrors Diseases 0.000 description 1
- 206010029412 Nightmare Diseases 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 229920001213 Polysorbate 20 Polymers 0.000 description 1
- 208000003251 Pruritus Diseases 0.000 description 1
- 229920000297 Rayon Polymers 0.000 description 1
- 244000044822 Simmondsia californica Species 0.000 description 1
- 235000004433 Simmondsia californica Nutrition 0.000 description 1
- 206010041010 Sleep terror Diseases 0.000 description 1
- 229920002125 Sokalan® Polymers 0.000 description 1
- 206010041347 Somnambulism Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- HDTRYLNUVZCQOY-WSWWMNSNSA-N Trehalose Natural products O[C@@H]1[C@@H](O)[C@@H](O)[C@@H](CO)O[C@@H]1O[C@@H]1[C@H](O)[C@@H](O)[C@@H](O)[C@@H](CO)O1 HDTRYLNUVZCQOY-WSWWMNSNSA-N 0.000 description 1
- 241001416177 Vicugna pacos Species 0.000 description 1
- 229920002978 Vinylon Polymers 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- HDTRYLNUVZCQOY-LIZSDCNHSA-N alpha,alpha-trehalose Chemical compound O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@@H]1O[C@@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](CO)O1 HDTRYLNUVZCQOY-LIZSDCNHSA-N 0.000 description 1
- 210000000077 angora Anatomy 0.000 description 1
- 150000001450 anions Chemical class 0.000 description 1
- 239000004760 aramid Substances 0.000 description 1
- 229920003235 aromatic polyamide Polymers 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- BQMNFPBUAQPINY-UHFFFAOYSA-N azane;2-methyl-2-(prop-2-enoylamino)propane-1-sulfonic acid Chemical compound [NH4+].[O-]S(=O)(=O)CC(C)(C)NC(=O)C=C BQMNFPBUAQPINY-UHFFFAOYSA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 229960001631 carbomer Drugs 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000000085 cashmere Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 239000010631 citron oil Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 229920006037 cross link polymer Polymers 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000001877 deodorizing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 235000019301 disodium ethylene diamine tetraacetate Nutrition 0.000 description 1
- 229960000735 docosanol Drugs 0.000 description 1
- NOPFSRXAKWQILS-UHFFFAOYSA-N docosanyl alcohol Natural products CCCCCCCCCCCCCCCCCCCCCCO NOPFSRXAKWQILS-UHFFFAOYSA-N 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 206010013781 dry mouth Diseases 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000004945 emulsification Methods 0.000 description 1
- 150000002148 esters Chemical class 0.000 description 1
- 125000002573 ethenylidene group Chemical group [*]=C=C([H])[H] 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000011187 glycerol Nutrition 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 206010020765 hypersomnia Diseases 0.000 description 1
- 230000000147 hypnotic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000007803 itching Effects 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 239000000171 lavandula angustifolia l. flower oil Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229960003987 melatonin Drugs 0.000 description 1
- DRLFMBDRBRZALE-UHFFFAOYSA-N melatonin Chemical compound COC1=CC=C2NC=C(CCNC(C)=O)C2=C1 DRLFMBDRBRZALE-UHFFFAOYSA-N 0.000 description 1
- 239000008210 memory foam Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000002557 mineral fiber Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000000050 mohair Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001699 photocatalysis Effects 0.000 description 1
- 239000011941 photocatalyst Substances 0.000 description 1
- 238000001126 phototherapy Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 229920002577 polybenzoxazole Polymers 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 239000000256 polyoxyethylene sorbitan monolaurate Substances 0.000 description 1
- 235000010486 polyoxyethylene sorbitan monolaurate Nutrition 0.000 description 1
- 229940068977 polysorbate 20 Drugs 0.000 description 1
- 229920002635 polyurethane Polymers 0.000 description 1
- 239000004814 polyurethane Substances 0.000 description 1
- 229920000915 polyvinyl chloride Polymers 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000002964 rayon Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 229920006297 regenerated protein fiber Polymers 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003248 secreting effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 210000001013 sinoatrial node Anatomy 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 235000013616 tea Nutrition 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000001331 thermoregulatory effect Effects 0.000 description 1
- ILJSQTXMGCGYMG-UHFFFAOYSA-N triacetic acid Chemical compound CC(=O)CC(=O)CC(O)=O ILJSQTXMGCGYMG-UHFFFAOYSA-N 0.000 description 1
- LENZDBCJOHFCAS-UHFFFAOYSA-N tris Chemical compound OCC(N)(CO)CO LENZDBCJOHFCAS-UHFFFAOYSA-N 0.000 description 1
- 229960000281 trometamol Drugs 0.000 description 1
- 238000009281 ultraviolet germicidal irradiation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 210000003135 vibrissae Anatomy 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 239000000341 volatile oil Substances 0.000 description 1
- 239000012855 volatile organic compound Substances 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Definitions
- the present invention relates to a method, device, and system for creating an environment through AI-based non-contact sleep analysis.
- the number of patients with sleep disorders in Korea increased by about 8% on average per year from 2014 to 2018, and the number of patients treated for sleep disorders in Korea in 2018 reached approximately 570,000.
- Republic of Korea Patent Publication No. 2003-0032529 receives the user's physical information and outputs vibration and/or ultrasonic waves in the frequency band detected through repetitive learning according to the user's physical condition during sleep to induce optimal sleep.
- a sleep induction device and sleep induction method are disclosed.
- the conventional sleep analysis method using a wearable device had a problem in that sleep analysis was not possible when the wearable device did not properly contact the user's body or when the user did not wear the wearable device.
- the purpose of the present invention is to provide a sleep analysis system and method that can conveniently and accurately analyze the sleep of various types of users in real time without separately purchasing or wearing a wearable device and without being restricted by time and place.
- the purpose of the present invention is to replace various conventional biological signals only through the user's breathing sound by simultaneously using smart home appliances and smartphones with built-in microphones, and to deeply analyze the user's sleep through artificial intelligence learning.
- the present invention provides a variety of home appliances to provide an optimal sleeping environment related to various factors such as air quality, temperature, and/or humidity of the sleeping environment based on sleep state information detected in the user's sleeping environment.
- a method for creating an environment for an object includes obtaining environmental sensing information, performing preprocessing on the obtained environmental sensing information, and converting the preprocessed environmental sensing information into data. of the object, including the step of generating sleep state information based on the dataized environmental sensing information, and controlling an electronic device to create an environment of the object based on the generated sleep state information.
- a method for creating an environment may be provided.
- controlling the electronic device may be a step of generating information for controlling the environment of the object in real time based on the generated sleep state information.
- the environment sensing information may include sound information.
- the sound information may include breathing sound information.
- the sleep state information may include sleep stage information.
- the step of converting the environmental sensing information into data includes converting the preprocessed environmental sensing information into a time axis of frequency components of the preprocessed environmental sensing information.
- a step of converting into information including changes according to may be further included.
- information including changes in the frequency components along the time axis may be a spectrogram.
- an electronic device for creating an environment for an object includes a sensor for acquiring environmental sensing information, a means for performing preprocessing on the obtained environmental sensing information, and the preprocessed environmental sensing. Means for converting information into data, means for generating sleep state information based on the dataized environmental sensing information, and means for controlling the electronic device to create an environment for the object based on the generated sleep state information. , an electronic device for creating an environment for an object may be provided.
- an electronic device for creating an environment for an object includes a sensor for acquiring environmental sensing information, a means for performing preprocessing on the obtained environmental sensing information, and the dataized environmental sensing. means for transmitting information to a server, when the server generates sleep state information based on the transmitted environmental sensing information, means for receiving the generated sleep state information, and the object based on the received sleep state information.
- An electronic device for creating an environment for an object may be provided, including means for controlling the electronic device to create an environment.
- an electronic device for creating an environment for an object includes a sensor for acquiring environmental sensing information, a means for performing preprocessing on the obtained environmental sensing information, and the preprocessed environmental sensing.
- means for transmitting information to a server when the server converts the transmitted environmental sensing information into data and generates sleep state information based on the dataized environmental sensing information, means for receiving the generated sleep state information, and
- An electronic device for creating an environment for an object may be provided, including means for controlling the electronic device to create an environment for the object based on received sleep state information.
- the means for controlling the electronic device includes information that controls the environment of the object in real time based on the generated sleep state information. It may be creating a .
- the environment sensing information may include sound information.
- the sound information may include breathing sound information.
- the sleep state information may include sleep stage information.
- the dataized environmental sensing information includes the preprocessed environmental sensing information having a time axis of frequency components of the preprocessed environmental sensing information. It may have been converted into information including changes according to .
- information including changes in the frequency components along the time axis may be a spectrogram.
- an electronic device for controlling a home appliance for creating an environment for an object includes a sensor for acquiring environmental sensing information, means for performing preprocessing on the obtained environmental sensing information, means for converting the preprocessed environmental sensing information into data, means for generating sleep state information based on the dataized environmental sensing information, and controlling the home appliance to create an environment for the object based on the generated sleep state information.
- An electronic device for controlling a home appliance for creating an environment for an object may be provided, including means for.
- an electronic device for controlling a home appliance for creating an environment for an object includes a sensor for acquiring environmental sensing information, means for performing preprocessing on the obtained environmental sensing information, Means for converting the preprocessed environmental sensing information into data, means for transmitting the data converted environmental sensing information to a server, and when the server generates sleep state information based on the transmitted environmental sensing information, the generated sleep state information
- An electronic device for controlling a home appliance to create an environment for an object including means for receiving, and means for controlling the home appliance to create an environment for the object based on the received sleeping state information, will be provided. You can.
- an electronic device for controlling a home appliance for creating an environment for an object includes a sensor for acquiring environmental sensing information, means for performing preprocessing on the obtained environmental sensing information, Means for transmitting the preprocessed environmental sensing information to a server, when the server converts the transmitted environmental sensing information into data and generates sleep state information based on the dataized environmental sensing information, receiving the generated sleep state information
- An electronic device for controlling a home appliance to create an environment for an object may be provided, including means for controlling the home appliance to create an environment for the object based on the received sleep state information.
- an electronic device for controlling a home appliance for creating an environment for an object acquires environmental sensing information, converts the obtained environmental sensing information into data, and When sleep state information is generated based on the data environmental sensing information, means for receiving the sleep state information generated by the other electronic device, and the device to create an environment for the object based on the received sleep state information.
- An electronic device for controlling a home appliance to create an environment for an object may be provided, including means for controlling the home appliance.
- an electronic device for controlling a home appliance for creating an environment for an object acquires environmental sensing information, converts the obtained environmental sensing information into data, and means for transmitting the dataized environmental sensing information to a server, and when the server generates sleep state information based on the transmitted environmental sensing information, receiving the generated sleep state information from the server, and the received sleep state information.
- An electronic device for controlling a home appliance to create an environment for an object may be provided, including means for controlling the home appliance to create an environment for the object based on state information.
- an electronic device for controlling home appliances to create an environment for an object acquires environmental sensing information and transmits the obtained environmental sensing information to a server. and when the server converts the transmitted environmental sensing information into data and generates sleep state information based on the dataized environmental sensing information, means for receiving the generated sleep state information from the server, and the received sleep state information.
- An electronic device for controlling a home appliance to create an environment for an object may be provided, including means for controlling the home appliance to create an environment for the object based on state information.
- the means for controlling the home appliance controls the object in real time based on the generated sleep state information. It may be generating information that controls the environment.
- the environmental sensing information may include sound information.
- the sound information may include breathing sound information.
- the sleep state information may include sleep stage information.
- the dataized environmental sensing information includes the pre-processed environmental sensing information and the pre-processed environmental sensing information. It may be converted into information including changes along the time axis of the frequency components of .
- information including changes in frequency components along the time axis may be a spectrogram.
- the present invention provides a method for controlling an environment creation device, comprising: an acquisition step of acquiring environmental sensing information; A pre-processing step of performing pre-processing on the obtained environmental sensing information; A generation step of generating sleep state information based on the preprocessed environmental sensing information; and a control step of controlling the environment creation device based on the generated sleep state information.
- the present invention relates to a method for controlling an environment creation device, wherein in the control step, the environment creation device is controlled in real time based on the generated sleep state information.
- the present invention relates to a method for controlling an environment creation device, wherein the generating step further includes converting the environmental sensing information into information including changes in frequency components of the environmental sensing information along the time axis. .
- control step includes generating first environment composition information based on the generated sleep state information; causing the environment creation device to create an environment based on the first environment creation information; generating second environment creation information based on the generated sleep state information of the user after the environment creation device starts creating an environment based on the first environment creation information; and allowing the environment creation device to create an environment based on the generated second environment creation information. It relates to a method for controlling an environment creation device, further comprising:
- the step of generating the first environment creation information further includes generating the first environment creation information based on the sleep state information generated during a time corresponding to one or more epochs, and the second environment creation information
- the present invention provides an electronic device for controlling an environment creation device, comprising: a sensor for acquiring environmental sensing information; An operation of performing preprocessing on the obtained environmental sensing information; Generating sleep state information based on the preprocessed environmental sensing information; and a control unit that performs an operation of controlling the environment creation device based on the generated sleep state information.
- the present invention relates to an electronic device that controls an environment creation device, wherein the controller performs an operation of controlling the environment creation device in real time based on the generated sleep state information.
- the present invention relates to an electronic device that controls an environment creation device, wherein the control unit converts the environmental sensing information into information including changes in frequency components of the environmental sensing information along the time axis.
- the present invention provides that when the controller generates first environment creation information based on the generated sleep state information, the controller performs an operation of controlling the environment creation device based on the generated first environment creation information, and creates the environment. After the device begins to create an environment based on the first environment creation information, when the second environment creation information is generated based on the generated sleep state information of the user, the device based on the generated second environment creation information It relates to an electronic device for controlling an environment creation device, which performs an operation for controlling the environment creation device.
- the generated first environment creation information is generated based on the sleep state information generated during a time corresponding to one or more epochs
- the generated second environment creation information is provided by the environment creation device. It relates to an electronic device for controlling an environment creation device, which is generated based on the sleep state information generated during a time corresponding to one or more epochs after starting to create an environment based on the first environment creation information.
- the present invention relates to an environment creation system, an electronic device including a sensor for acquiring environmental sensing information, a control unit, and a communication unit for transmitting and receiving information through a network; performing an operation of generating sleep state information based on environmental sensing information; server that does; and an environment creation device, wherein the control unit performs preprocessing on the obtained environmental sensing information, and transmits the preprocessed environmental sensing information to the server through the communication unit, and the server performs an operation of generating sleep state information based on the preprocessed environmental sensing information received from the electronic device, and the control unit receives the generated sleep state information from the server through the communication unit, and It relates to an environment creation system that performs an operation of controlling the environment creation device based on received sleep state information.
- the present invention relates to an environment creation system in which the control unit performs an operation of controlling the environment creation device in real time based on the received sleep state information.
- the present invention relates to an environment creation system in which the control unit performs an operation of controlling the environment creation device in real time based on the received sleep state information.
- the present invention is to create an environment in which the control unit performs an operation of receiving information for converting the environmental sensing information from the server through the communication unit into information including changes along the time axis of the frequency components of the environmental sensing information. It's about the system.
- the present invention is such that the control unit performs an operation of controlling the environment creation device based on first environment creation information generated based on the sleep state information received through the communication unit, and the environment creation device controls the first environment creation device. After starting to create an environment based on the composition information, generate second environment creation information based on the sleep state information of the user received through the communication unit, and create the environment based on the generated second environment creation information. It relates to an environment creation system that performs operations to control devices.
- the generated first environment creation information is generated based on the sleep state information generated during a time corresponding to one or more epochs
- the generated second environment creation information is provided by the environment creation device. It relates to an environment creation system, which is generated based on the sleep state information generated during a time corresponding to one or more epochs after starting to create an environment based on the first environment creation information.
- the present invention relates to an environment creation system, an electronic device including a sensor for acquiring environmental sensing information, a control unit, and a communication unit for transmitting and receiving information through a network; an operation of generating sleep state information based on environmental sensing information; and A server that generates environment creation information based on sleep state information; and an environment creation device controlled based on environment creation information, wherein the control unit performs preprocessing on the obtained environment sensing information, and transmits the preprocessed environment sensing information to the server through the communication unit.
- performing an operation wherein the server generates sleep state information based on the preprocessed environmental sensing information received from the electronic device, and an environment for controlling the environment creation device based on the generated sleep state information. It relates to an environment creation system that performs an operation of generating composition information and an operation of transmitting the generated environment creation information to the environment creation device.
- the server includes a first server and a second server, and the first server performs an operation of generating sleep state information based on the preprocessed environmental sensing information received from the electronic device,
- the second server relates to an environment creation system that performs an operation of generating environment creation information for controlling the environment creation device based on the generated sleep state information.
- the present invention relates to an environment creation system in which the server performs an operation of controlling the environment creation device in real time based on the generated sleep state information.
- the present invention relates to an environment creation system in which the server converts the environmental sensing information received from the electronic device into information including changes in frequency components of the environmental sensing information along the time axis.
- the server includes a first server and a second server, and the first server performs an operation of generating sleep state information based on the preprocessed environmental sensing information received from the electronic device,
- the second server relates to an environment creation system that performs an operation of generating environment creation information for controlling the environment creation device based on the generated sleep state information.
- the generated first environment creation information is generated based on the sleep state information generated during a time corresponding to one or more epochs
- the generated second environment creation information is provided by the environment creation device. It relates to an environment creation system, which is generated based on the sleep state information generated during a time corresponding to one or more epochs after starting to create an environment based on the first environment creation information.
- the present invention provides a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, comprising: an acquisition step of acquiring environmental sensing information; A pre-processing step of performing pre-processing on the obtained environmental sensing information; A generation step of generating sleep state information based on the preprocessed environmental sensing information; and a control step of controlling an electronic device that provides a predetermined scent based on the generated sleep state information. It's about.
- the present invention relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, which controls the electronic device in real time based on the generated sleep state information.
- the generating step further includes converting the environmental sensing information into information including changes in frequency components of the environmental sensing information along the time axis. It relates to a method for controlling an electronic device that provides.
- the present invention relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, in which information including changes in the frequency components along the time axis is a spectrogram.
- the present invention relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the environmental sensing information includes sleep sound information.
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the sleep state information includes at least one of sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information. It's about a method to control.
- control step includes causing the electronic device to provide a first scent; generating second scent provision information based on the generated sleep state information of the user after the electronic device providing the predetermined scent starts providing the first scent; and allowing the electronic device that provides the predetermined scent to provide the second scent based on the generated second scent providing information.
- Providing the predetermined scent in response to the predetermined scent providing information further comprising: It relates to a method for controlling an electronic device.
- the step of generating the second scent providing information includes the user's sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information generated after the electronic device starts providing the first scent. It relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, further comprising generating second scent provision information based on at least one of the following.
- the present invention provides that the control step includes generating first scent provision information based on the generated sleep state information; allowing the electronic device that provides the predetermined scent to provide the first scent for a first time based on the generated first scent provision information; generating second scent provision information based on the generated sleep state information of the user after the electronic device providing the predetermined scent starts providing the first scent; and allowing the electronic device that provides the predetermined scent to provide the second scent for a second period of time based on the generated second scent providing information. It relates to a method for controlling an electronic device that provides scent.
- the present invention relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the first time and the second time are multiples of a predetermined minimum time unit.
- the step of generating the second scent provision information includes the user's sleep stage information, sleep stage probability information, and sleep event generated after the electronic device providing the predetermined scent begins to provide the first scent. It relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, further comprising generating second scent provision information based on at least one of information and sleep event probability information. .
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the first scent provision information and the second scent provision information include at least one of scent attribute information and scent provision control information. It is about a method for controlling.
- the step of generating the first scent provision information further includes generating the first scent provision information based on the sleep state information generated during a time corresponding to one or more epochs.
- the step of generating the second scent providing information includes generating the second scent providing information based on the sleep state information generated for a time corresponding to one or more epochs after starting to provide the first scent. , relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information.
- the present invention relates to a method for controlling an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the epoch is set to data corresponding to 30 seconds.
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, comprising: a sensor for acquiring environmental sensing information; means for performing preprocessing on the obtained environmental sensing information; means for generating sleep state information based on the preprocessed environmental sensing information; and means for providing a predetermined scent based on the generated sleep state information. It relates to an electronic device that provides a predetermined scent in response to predetermined scent providing information.
- the present invention relates to an electronic device that provides a predetermined scent in real time based on the generated sleep state information and provides a predetermined scent in response to predetermined scent provision information.
- the present invention provides a means for generating sleep state information based on the preprocessed environmental sensing information, which converts the environmental sensing information into information including changes in frequency components of the environmental sensing information along the time axis. It relates to an electronic device that provides a predetermined scent in response to provided information.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, in which information including changes in the frequency components along the time axis is a spectrogram.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the environmental sensing information includes sleep sound information.
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the sleep state information includes at least one of sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information. It's about.
- the present invention provides a means for providing a predetermined scent based on the generated sleep state information, providing a first scent to a user, and starting to provide the first scent based on the generated sleep state information of the user. It relates to an electronic device that provides a second scent and provides a predetermined scent in response to predetermined scent provision information.
- the present invention When providing the second scent, the present invention provides a second scent based on at least one of the user's sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information generated after starting to provide the first scent. It relates to an electronic device that provides a scent and provides a certain scent in response to certain scent provision information.
- the present invention provides a means for providing a predetermined scent based on the generated sleep state information, providing a first scent for a first time based on the generated sleep state information, and after starting to provide the first scent. It relates to an electronic device that provides a second scent for a second period of time based on the generated sleep state information of the user and that provides a predetermined scent in response to predetermined scent provision information.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the first time and the second time are multiples of a predetermined minimum time unit.
- the present invention when providing the second scent, is based on at least one of the user's sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information generated after starting to provide the first scent to the user. It relates to an electronic device that provides a second scent and provides a predetermined scent in response to predetermined scent provision information.
- the present invention is an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the first scent and the second scent are at least one of a scent based on scent attribute information and a scent based on scent provision control information. It's about.
- the present invention When providing the first scent, the present invention provides the first scent based on the sleep state information generated during a time corresponding to one or more epochs, and provides the first scent in one or more epochs after starting to provide the first scent. It relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, which provides the second scent based on the sleep state information generated during a corresponding time.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the epoch is set to data corresponding to 30 seconds.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein at least one of the first scent or the second scent includes no scent.
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, comprising: a sensor for acquiring environmental sensing information; means for performing preprocessing on the obtained environmental sensing information; Means for transmitting the preprocessed environmental sensing information to a server; Means for receiving sleep state information generated based on the transmitted environmental sensing information from the server; and means for providing a predetermined scent based on the received sleep state information. It relates to an electronic device that provides a predetermined scent in response to predetermined scent providing information.
- the present invention relates to an electronic device that provides a predetermined scent in real time based on the received sleep state information, and provides a predetermined scent in response to predetermined scent provision information. .
- the present invention is a means for receiving sleep state information generated based on the transmitted environmental sensing information from the server, wherein the server changes the transmitted environmental sensing information along the time axis of the frequency components of the environmental sensing information.
- the server When converted into information, it relates to an electronic device that receives the converted information and provides a predetermined scent in response to predetermined scent provision information.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, in which information including changes in the frequency components along the time axis is a spectrogram.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the environmental sensing information includes sleep sound information.
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the sleep state information includes at least one of sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information. It's about.
- the present invention provides a means for providing a predetermined scent based on the received sleep state information, providing a first scent, and after starting to provide the first scent, a second scent based on the received sleep state information of the user.
- the present invention relates to an electronic device that provides a scent in response to scent provision information.
- the present invention When providing the second scent, the present invention provides a second scent based on at least one of the user's sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information received after starting to provide the first scent. It relates to an electronic device that provides a scent and provides a certain scent in response to certain scent provision information.
- the present invention provides a means for providing a predetermined scent based on the received sleep state information, providing a first scent for a first time based on the received sleep state information, and after starting to provide the first scent. It relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, which provides a second scent for a second time based on the received sleep state information of the user.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the first time and the second time are multiples of a predetermined minimum time unit.
- the present invention is based on at least one of the user's sleep stage information, sleep stage probability information, sleep event information, and sleep event probability information received after starting to provide the first scent to the user. It relates to an electronic device that provides a second scent and provides a predetermined scent in response to predetermined scent provision information.
- the present invention provides an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the first scent provision information and the second scent provision information include at least one of scent attribute information and scent provision control information. It's about.
- the present invention When providing the first scent, the present invention provides the first scent based on the sleep state information received during a time corresponding to one or more epochs, and provides the first scent in one or more epochs after starting to provide the first scent. It relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, which provides the second scent based on the sleep state information received during a corresponding time.
- the present invention relates to an electronic device that provides a predetermined scent in response to predetermined scent provision information, wherein the epoch is set to data corresponding to 30 seconds.
- the present invention provides a method for providing a predetermined scent in response to predetermined scent provision information, wherein at least one of the first scent or the second scent includes no scent, and the scent provision information includes information that no scent is provided. It relates to an electronic device that provides.
- the present invention relates to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, comprising: a sensor for acquiring environmental sensing information; means for performing preprocessing on the obtained environmental sensing information; means for generating sleep state information based on the preprocessed environmental sensing information; And means for controlling a home appliance that provides a predetermined scent based on the generated sleep state information; relating to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, including a. will be.
- the present invention relates to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, comprising: a sensor for acquiring environmental sensing information; means for performing preprocessing on the obtained environmental sensing information; means for transmitting the preprocessed environmental sensing information to a server; means for receiving sleep state information generated based on the environmental sensing information transmitted from the server; And means for controlling a home appliance that provides a predetermined scent based on the received sleep state information; relating to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, including a. will be.
- the present invention relates to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, wherein another electronic device acquires environmental sensing information and performs preprocessing on the obtained environmental sensing information. and when sleep state information is generated based on the preprocessed environmental sensing information, a receiving unit that receives the generated sleep state information; And means for controlling a home appliance that provides a predetermined scent based on the received sleep state information; relating to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, including a. will be.
- the present invention relates to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, wherein another electronic device acquires environmental sensing information, performs preprocessing on the obtained environmental sensing information, and , when the preprocessed environmental sensing information is transmitted to a server, a receiving unit that receives sleep state information generated based on the transmitted environmental sensing information from the server; And means for controlling a home appliance that provides a predetermined scent based on the received sleep state information; relating to an electronic device that controls a home appliance that provides a predetermined scent in response to predetermined scent provision information, including a. will be.
- the server when the server generates the average elevation delay time information of the user based on the transmitted sound information of the user, the receiving unit receives the generated average elevation delay time information of the user, The control unit provides a light control device that creates a sleeping environment for the user and generates light control information based on the user's average elevation delay time information.
- control unit provides a light control device that creates a user's sleeping environment by generating light control information based on set time information.
- the server determines that the user is asleep and generates sleep state information
- the receiver receives the sleep state information
- the control unit adjusts light based on the sleep state information.
- a light control device that creates a sleeping environment for a user generating information.
- control unit controls to reduce the amount of light emitted by the light source unit when the average elevation delay time is reached according to light control information generated based on the user's average elevation time information.
- a light control device is provided that creates a user's sleeping environment that generates light control information controlled at 0 lux.
- control unit creates a sleep environment for the user by generating light control information that controls the light emitted from the light source to be below a threshold when the user ascends faster than the average elevation delay time of the user.
- control unit maintains the light emitted from the light source unit below the first threshold when the user enters the area later than the average elevation delay time of the user, and then maintains the light emitted from the light source below the second threshold when the user enters the area later than the average elevation delay time of the user.
- a light control device that creates a user's sleeping environment that generates light control information controlled by .
- the server when the server generates sleep state information based on the transmitted sound information of the user and generates biorhythm information of the user based on the generated sleep state information, the receiver generates the user's biorhythm information.
- a light control device that receives biorhythm information from the server and creates a sleeping environment for the user.
- control unit provides a light control device that creates a sleeping environment for the user in which the receiver generates the light control information so that the biological rhythm information received from the server matches predetermined biological time information.
- the control unit increases the amount of light at a predetermined slope from the set brightness to the user-set brightness before the threshold time of the alarm time.
- a light control device that creates a user's sleeping environment that generates light control information.
- the control unit detects the user's REM sleep After this detected point, after a predetermined time has elapsed, the user's sleep generates light control information so that the amount of light increases at a predetermined slope from the set predetermined brightness to the user-set brightness at the point where the predetermined time has elapsed.
- the control unit detects the user's REM sleep After this detected point, after a predetermined time has elapsed, the user's sleep generates light control information so that the amount of light increases at a predetermined slope from the set predetermined brightness to the user-set brightness at the point where the predetermined time has elapsed.
- the control unit receives the alarm time information and the threshold time.
- a light control device that creates a user's sleeping environment by generating light control information so that the amount of light increases at a predetermined slope from a set brightness to a user-set brightness.
- control unit generates light control information that causes the light source unit to emit light above the threshold when the user's waking state is not detected for more than a threshold time after the alarm time.
- the control unit sets the user at a predetermined brightness based on the generated biorhythm information of the user from a threshold time before the alarm time.
- a light control device that creates a user's sleeping environment by generating light control information so that the amount of light increases at a predetermined slope to brightness.
- a light control device that creates a user's sleeping environment includes: a sensing unit that acquires sound information of the user; a transmitting unit that transmits the acquired user sound information to a first server; When the second server receives sleep state information generated based on the sound information transmitted from the first server from the first server, it generates light control information based on the acquired sound information and receives the light control information.
- receiving receiver It provides a light control device that creates a sleeping environment for a user, including a light source unit that emits light adjusted based on the received light control information.
- an apparatus for controlling light from a light source device having a light source unit includes: a sensing unit that acquires acoustic information; a memory unit in which applications can be recorded; and a processor unit capable of executing the application, wherein the application generates sleep state information based on sound information obtained from the sensing unit, and generates light control information based on the generated sleep state information. , providing an apparatus for controlling light of a light source device having a light source unit configured to transmit the light control information to the light source unit.
- an apparatus for controlling light from a light source device having a light source unit includes: a sensing unit that acquires acoustic information; a memory unit in which the first application and the second application can be recorded; and a processor unit capable of executing the first application and the second application; It includes, wherein the first application generates sleep state information based on the sound information obtained from the sensing unit, and the second application generates light control information based on the sleep state information generated by the first application.
- An apparatus for controlling light of a light source device having a light source unit configured to generate and transmit the light control information to the light source unit is provided.
- the steps include preprocessing sound information obtained from a sensing unit to obtain sleep sound information; transmitting the obtained sleep sound information to a server through a transmitter;
- a first receiving step of receiving the generated sleep state information from the server through a receiving unit A control step of generating light control information based on the received sleep state information; and an emission step of emitting light adjusted based on the generated light control information through the light source.
- the control step provides a recording medium on which a program for generating light control information based on the user's average elevation delay time information is recorded.
- control step provides a recording medium on which a program for generating light control information based on set time information is recorded.
- the server determines that the user is asleep and generates sleep state information
- the receiving step receives the sleep state information
- the control step provides light based on the sleep state information.
- a recording medium on which a program for generating control information is recorded is provided.
- control step reduces the amount of light emitted by the light source unit when the average elevation delay time is reached according to light control information generated based on the user's average elevation delay time information.
- a recording medium is provided on which a program that controls or generates light control information to control the brightness to a set predetermined level is recorded.
- control step is a program that generates light control information to control the light emitted from the light source unit to below a threshold when the user's elevation is detected before the user's average elevation delay time is reached. This provides a recorded recording medium.
- a heated mat that creates a user's sleeping environment includes: a sensing unit that acquires sound information of the user; A transmitting unit that transmits the acquired user sound information to a server; a receiving unit that receives the generated sleep state information from the server when the server generates sleep state information based on the transmitted sound information of the user; a control unit generating temperature control information based on the received sleep state information; and a heat control means for adjusting heat to achieve a controlled temperature based on the generated temperature control information. It provides a heated mat that creates a sleeping environment for the user.
- the control unit when the receiving unit receives sleep state information that the user is in transition from the server, the control unit generates temperature control information based on the user-set temperature.
- a heated mat that creates a sleeping environment for the user. provides.
- the controller Provided is a heated mat that creates a user's sleeping environment that generates temperature control information set to a predetermined temperature below or above a predetermined temperature from the user-set temperature based on status information or the received user-set elevation incubation period.
- the control unit provides a heated mat that creates a sleeping environment for the user that generates temperature control information set to a predetermined temperature or higher from the user-set temperature.
- the server when the server generates sleep state information based on the transmitted sound information of the user and generates biorhythm information of the user based on the generated sleep state information, the receiver generates the user's biorhythm information.
- the server when the server generates sleep state information based on the transmitted sound information of the user and generates biorhythm information of the user based on the generated sleep state information, the receiver generates the user's biorhythm information.
- the control unit determines that the receiving unit receives a predetermined temperature from the user-set temperature based on the biological rhythm information received from the server. It provides a heated mat that creates a sleeping environment for the user that generates set temperature control information changed by temperature.
- the receiver receives sleep state information indicating the first deep sleep from the server, and the control unit maintains the set temperature control information until after a predetermined time.
- a heated mat is provided.
- a heated mat that creates a sleeping environment for the user in which the control unit maintains the set temperature control information until the receiver receives sleep state information indicating first REM sleep from the server. provides.
- the receiver when the receiver receives sleep state information indicating REM sleep from the server, the receiver performs a predetermined operation during the REM sleep based on the sleep state information received from the server. It provides a heated mat that creates a sleeping environment for the user that generates temperature control information that changes temperature.
- the receiver receives sleep state information indicating the user's wake state, REM state, or light sleep state, or the time point between the REM state and light sleep state, from the server.
- the control unit detects the waking state, the REM state, or the light sleep state and detects the user's desired awakening state, or between the REM state detection time and the light sleep state detection time.
- a heated mat that creates a sleeping environment for the user by generating temperature control information that increases the temperature by a predetermined temperature between the user's desired waking point.
- the temperature control information that increases the temperature by the predetermined temperature is provided by the control unit when the receiver receives sleep state information indicating that the user is in a light sleep state at the time of the user's desired awakening from the server.
- the control unit When generating first temperature control information and receiving sleep state information indicating that the user is in a deep sleep state, the control unit generates second temperature control information and provides a heated mat that creates a sleeping environment for the user.
- the user further includes a user body temperature measuring unit, wherein the receiving unit receives sleeping state information indicating a waking state from the server, and the user indicating from the user body temperature measuring unit that the user's body temperature is higher than a predetermined temperature.
- the control unit When body temperature information is received, the control unit generates temperature control information that lowers the temperature by a predetermined temperature, thereby providing a heated mat that creates a sleeping environment for the user.
- a sensing unit that acquires sound information of the user;
- a transmitting unit that transmits the acquired user sound information to a server;
- the server When the server generates sleep state information based on the transmitted sound information of the user, a receiving unit that generates temperature control information based on the generated sleep state information and receives the generated temperature control information; and a heat control means for adjusting heat to achieve a controlled temperature based on the generated temperature control information. It provides a heated mat that creates a sleeping environment for the user.
- a heated mat that creates a user's sleeping environment includes: a sensing unit that acquires sound information of the user; A control unit that generates sleep state information based on the acquired user's sound information and generates temperature control information based on the generated sleep state information; and a heat control means for adjusting heat to achieve a controlled temperature based on the generated temperature control information. It provides a heated mat that creates a sleeping environment for the user.
- a heated mat that creates a user's sleeping environment includes: a sensing unit that acquires sound information of the user; a transmitting unit that transmits the acquired user sound information to a first server; When the second server receives sleep state information generated based on the sound information transmitted from the first server from the first server, it generates temperature control information based on the received sleep state information, and generates the temperature control information.
- receiving unit It provides a heated mat that creates a sleeping environment for the user, including a heat control means that adjusts heat to achieve a controlled temperature based on the received temperature control information.
- a device for controlling the heat control means of a hot water mat having a heat control means comprising: a sensing unit that acquires sound information of the user; a memory unit in which applications can be recorded; and a processor unit capable of executing the application, wherein the processor unit generates sleep state information based on sound information obtained from the sensing unit through the application, and adjusts temperature based on the generated sleep state information.
- a device for controlling the heat control means of a hot water mat having heat control means which generates information and transmits the generated temperature control information to the hot water mat.
- an apparatus for controlling the heat control means of a hot water mat having a heat control means includes: a sensing unit for acquiring sound information; a memory unit in which the first application and the second application can be recorded; and a processor unit capable of executing the first application and the second application, wherein the processor unit generates sleep state information based on sound information obtained from the sensing unit through the first application, and the second application generates sleep state information.
- a device for controlling the heat control means of the hot water mat which generates temperature control information based on the sleep state information generated in the first application through the application, and has heat control means for transmitting the temperature control information to the hot water mat. to provide.
- the steps include preprocessing sound information obtained from a sensing unit to obtain sleep sound information; transmitting the obtained sleep sound information to a server through a transmitter; A reception step of receiving, when the server generates sleep state information based on the transmitted sleep sound information of the user, the generated sleep state information from the server through a receiver; A control step of generating temperature control information based on the received sleep state information; and a heat control step of adjusting heat to achieve a controlled temperature based on the generated temperature control information.
- a device for controlling the heat control means of a hot water mat having a heat control means comprising: a memory unit in which an application can be recorded; and a processor unit capable of executing the application, wherein the processor unit acquires the user's sound information through the application, and the processor unit transmits the user's sound information obtained through the application to the first server.
- the processor unit receives the sleep state information through the application and transmits the received sleep state information to the second server.
- the second server generates temperature control information based on the received sleep state information
- the processor unit receives the generated temperature control information through the application.
- the heat control means of the hot water mat has heat control means. Provides a device for controlling .
- a device for controlling the heat control means of a hot water mat having a heat control means comprising: a sensing unit that acquires sound information of the user; a memory unit in which applications can be recorded; and a processor unit capable of executing the application, wherein the processor unit transmits sound information obtained from the sensing unit to a first server through the application, and transmits sound information obtained from the sensing unit from the first server.
- Receive sleep state information obtained based on transmit the obtained sleep state information to a second server, receive temperature control information obtained based on the received sleep state information from the second server, and
- a device for controlling the heat control means of a hot water mat having heat control means which transmits received temperature control information to the hot water mat.
- the cosmetics recommendation method includes calculating a user's sleep index; Generating cosmetics information corresponding to the calculated sleep index; and displaying the generated cosmetics information.
- the step of generating the cosmetics information may generate recommended cosmetics information based on a lookup table in which cosmetics information corresponding to the sleep index is recorded.
- the step of generating the cosmetics information includes: generating a cosmetics recommendation model by learning to generate cosmetics information in response to a plurality of dormancy index information; and inputting the sleep index information into the cosmetics recommendation model and outputting recommended cosmetics information as a result.
- the cosmetics verification method includes the steps of receiving environmental sensing information from a user terminal of a user who has used a predetermined cosmetic; Obtaining at least one of the user's sleep state information and sleep stage information based on the environmental sensing information; generating a verification index for the predetermined cosmetics using at least one of the sleep state information and the sleep stage information; and verifying the effect of the predetermined cosmetic product on sleep quality based on the verification index.
- the step of acquiring the sleep state information includes generating an inference model learned by inputting environmental sensing information; and inputting the environmental sensing information received from the user terminal into the inference model to extract the sleep state information as a result.
- a method of recommending sleep-related products includes acquiring sleep information of a user from one or more sensor devices; calculating a user's sleep index based on the acquired user's sleep information; and providing product information regarding the generated sleep.
- the user's sleep information acquired from the one or more sensor devices includes the user's sleep sound information.
- the step of generating the sleep-related product recommendation information may further include generating a look-up table in which sleep-related product information corresponding to the calculated sleep index is recorded. You can.
- the method of recommending products related to sleep further includes receiving a verification index of products related to sleep, and in the step of generating the product recommendation information related to sleep, the receiving Based on the verification index of a sleep-related product and the calculated sleep index, sleep-related product recommendation information may be generated.
- the method of recommending sleep-related products further includes receiving an input action from the user, wherein the input action includes swiping a sleep-related product or entering a keyword. It includes at least one of an action or an action of selecting a keyword, and in the step of generating the product recommendation information about sleep, product recommendation information about sleep can be generated based on the calculated sleep index and the input action. there is.
- the method of recommending products related to sleep further includes receiving statistical information according to the user's attributes, wherein the user's attributes include the user's gender, age group, occupation, It includes at least one of the region of residence, race, presence or absence of pets, environmental factors, or non-environmental factors, and in the step of generating the product recommendation information related to sleep, the calculated sleep index and the received user's attributes Product recommendation information related to sleep may be generated based on the statistical information provided.
- the step of generating product recommendation information about sleep includes learning to generate product recommendation information about sleep based on a plurality of sleep indicators and generating a product recommendation model about sleep. ; , and the calculated sleep index may be used as an input to the product recommendation model for sleep to output product recommendation information for sleep as a result.
- the step of calculating the user's sleep index based on the acquired user's sleep information includes changes along the time axis of the frequency components of the sound information included in the user's sleep information.
- the method may further include converting the user's user's user's user's sleep state information and sleep stage information based on the converted information.
- the converted information may be a visual representation of changes along the time axis in the frequency components of the sound information.
- the converted information may be a spectrogram.
- a method for verifying a sleep-related product includes the steps of acquiring user's sleep information from one or more sensor devices; Obtaining at least one of the user's sleep intention information, sleep state information, and sleep stage information based on the acquired user's sleep information; and verifying the effect of the sleep-related product on sleep based on at least one of the user's sleep intention information, sleep state information, and sleep stage information.
- the user's sleep information acquired from the one or more sensor devices includes the user's sleep sound information.
- the step of verifying the effect of the sleep-related product on sleep further includes generating a verification index for the sleep-related product, wherein the verification index is, It may be created in the form of a look-up table or a numerical indicator of sleep.
- the numerical indicator regarding sleep is characterized in that it is calculated based on a look-up table or based on a numerical expression of the sleep analysis result, and the numerical indicator regarding sleep
- the optimal index may be calculated based on at least one of the delay time of the user using the sleep-related product, the time of waking up, the time of waking up, the total sleep time, and the sleep time for each sleep stage.
- the sleep analysis result is expressed numerically as a comprehensive sleep score with 100 as the highest point, and is calculated according to a preset formula, and the preset formula is for each sleep stage. Based on the score corresponding to each piece of information, the overall score may be calculated by substituting the corresponding score for each sleep stage of the user using the sleep-related product.
- the step of generating the verification index includes the user's subjective judgment index - the user's subjective judgment index is calculated based on at least one of a string value, a numerical value, or a user's input action. It further includes the step of receiving, and the verification index of the sleep-related product generated in the step of generating the verification index may be generated by additionally considering the received subjective judgment index of the user.
- a method of verifying a sleep-related product includes obtaining at least one of the user's sleep intention information, sleep state information, and sleep stage information based on the acquired user's sleep information. Converts the frequency components of the sound information included in the user's sleep information into information including changes along the time axis, and obtains at least one of the user's sleep state information and sleep stage information based on the converted information. It can be characterized as:
- the converted information is a change in the frequency components of the sound information along the time axis. It may be visualized.
- the converted information may be a spectrogram.
- a method of providing sleep environment creation information according to the present invention for achieving the above object includes the steps of a smart home appliance acquiring sleep sound information related to the user's sleep in real time through a microphone module; A user terminal receiving the acquired sleep sound information and converting and analyzing it into a spectrogram to determine the user's sleep stage in real time; And according to events that occur in the determined sleep stages, the user terminal outputs a control signal to control the operation of the smart home appliance in real time; Including, the step of outputting the control signal includes: providing a sleeping environment to the user by the smart home appliance in response to the control signal; It is characterized by including.
- the determined sleep stages of the method for providing sleep environment creation information according to the present invention for achieving the above purpose include when entering the bedroom is detected, when the user is detected lying down in bed, when rising is detected, and deep sleep. Characteristically, this includes when entry is detected, when the occurrence of sleep apnea is detected, when waking up during sleep is detected, when REM sleep is detected around the alarm time, and when waking up is detected.
- the user's It is characterized by including a step of estimating the elevation intention.
- the smart home appliances in the method of providing sleep environment creation information according to the present invention for achieving the above purpose include air conditioners, humidifiers, dehumidifiers, smart speakers, air purifiers, smart TVs, robot vacuum cleaners, lights, smart beds, clothes care machines, It is characterized by including at least one of a smart diffuser, a washing machine, a dryer, a water purifier, and a refrigerator.
- the air conditioner in the method of providing sleep environment creation information sets the air volume and the brightness of the display unit when it detects that the user is lying on the bed, and switches the type of wind to indirect wind. , It is characterized by setting the temperature to shorten the elevation time according to the user's personal record.
- the air conditioner in the method of providing sleep environment creation information according to the present invention to achieve the above purpose when the elevation is detected, sets a temperature suitable for the user through past matching data on the correlation between the user's sleep quality and temperature. It is characterized in that is set.
- the air conditioner in the method of providing sleep environment creation information according to the present invention for achieving the above object is set to a temperature to protect the user's throat and nose when the occurrence of sleep apnea is detected, and when waking up during the sleep is detected , It is set to a temperature that allows the user to re-enter the room, and when the above-described wake-up is detected, the temperature and wind volume are set to help the user wake up after waking up.
- the humidifier and the dehumidifier in the method of providing sleep environment creation information according to the present invention to achieve the above object detect the user's lying on the bed, and adjust the elevation time according to the humidity suitable for each user or the user's personal record. It is characterized by being set to a humidity that can shorten.
- the humidifier and the dehumidifier are activated in a low noise state when the elevation is detected, and when the entry into deep sleep is detected, the user's sleep apnea and It is characterized in that it determines whether an awakening state occurs during sleep, and if sleep apnea is determined, the symptoms of sleep apnea are alleviated by increasing the humidity in the bedroom.
- the smart speaker in the method of providing sleep environment creation information according to the present invention to achieve the above purpose plays sleep-inducing sounds or predetermined elevation content according to the user's personal record when it detects that the user is lying in bed. It is characterized by
- the smart speaker of the method for providing sleep environment creation information according to the present invention to achieve the above object determines whether the user's sleep apnea and the waking state occurs during the sleep when entering the deep sleep is detected, and the If it is determined that the user is awake during sleep, the hypnagogic content without voice is played.
- the air purifier of the method for providing sleep environment creation information according to the present invention to achieve the above object lowers the illuminance of the LED when it detects that the user is lying on the bed, and reduces noise and wind volume generated during operation. It is characterized by
- the air purifier of the method for providing sleep environment creation information according to the present invention to achieve the above object is characterized in that when entering the deep sleep is detected, the air volume is increased and switched to a quick cleaning mode.
- the air purifier in the method of providing sleeping environment creation information according to the present invention for achieving the above object is a table type, the color of the mood light is changed according to the quality of sleep when the user wakes up when the waking up is detected. do.
- the smart TV in the method of providing sleep environment creation information according to the present invention for achieving the above purpose, when detecting the user lying in bed, provides statistics on the user's recent sleep quality, and target sleep for the day based on the statistics. It is characterized by displaying about.
- the smart TV in the method of providing sleep environment creation information according to the present invention for achieving the above object is characterized by displaying a predetermined sleep report on the screen when the user wakes up, when the waking up is detected.
- the robot vacuum cleaner in the method of providing sleep environment creation information according to the present invention for achieving the above object detects the user's elevation state and operates in an automatic cleaning mode, and when entry into deep sleep is detected, , characterized in that the degree of freedom in cleaning area and cleaning time is increased.
- the robot vacuum cleaner in the method of providing sleep environment creation information according to the present invention pauses operation in the middle of cleaning when waking up during sleep is detected, and REM sleep occurs around the alarm time. It is characterized by returning to the charging cradle in this detected state.
- a method of providing sleep environment creation information according to the present invention for achieving the above object includes the steps of a smartwatch acquiring sleep sound information related to the user's sleep in real time through a microphone module; A user terminal receiving the acquired sleep sound information and converting and analyzing it into a spectrogram to determine the user's sleep stage in real time; and outputting, by the user terminal, a control signal to control the operation of the smart watch in real time according to events occurring in the determined sleep stages.
- the step of outputting the control signal includes: providing a sleeping environment to the user by the smart watch in response to the control signal; It is characterized by including.
- the smart watch in the method of providing sleep environment creation information provides a service for elevation through vibration when the user's lying on the bed is detected, and when elevation is detected, the user's elevation is activated. It is characterized by adjusting the intensity of vibration in inverse proportion to the degree of discrimination of the state, or adjusting the length of vibration according to the average value of each individual's elevation time.
- the service for sleep in the method of providing sleep environment creation information according to the present invention for achieving the above purpose is characterized by including a breathing method guide and a meditation guide.
- the smartwatch in the method of providing sleep environment creation information according to the present invention for achieving the above purpose provides a light vibration to the user when the occurrence of sleep apnea is detected or when sleep apnea is detected or predicted to occur, It blocks sleep apnea and provides a wake-up alarm through vibration when REM sleep is detected around the alarm time, or provides an alarm at a time when the user is likely to wake up according to the user's personal sleep record.
- the smart watch in the method of providing sleep environment creation information according to the present invention is characterized in that when waking up is detected, it provides a predetermined sleep report through the screen at the time of the user's waking up.
- information on the method of providing sleep environment creation information according to the present invention for achieving the above other purposes may be stored in a computer-readable recording medium.
- the user's wake time and/or sleep state information can be predicted, allowing convenient and accurate analysis of the sleep of various users at home without being restricted by time and place. You can.
- sleep sound data can be established, and acoustic AI can be established as a new standard for sleep tracking in home environments by verifying various races, ages, genders, and measurement environments.
- an AI sleep stage analysis model can be built by learning various surrounding noises, including noises that occur routinely and noises that occur abnormally or intermittently in the surrounding space of the user's sleep environment.
- sound AI and wireless communication sensing clinical data sets can be built by utilizing smartphone sound data and smart speaker sound data collected simultaneously with polysomnography of multiple clinicians collected over a long period of time.
- the user's sleep can be analyzed in depth, and not only single-person sleep analysis but also multi-person sleep analysis can be performed.
- the sleep disorder when a user's sleep disorder occurs, the sleep disorder can be appropriately alleviated, and when multiple people sleep in the same space, an alarm to alleviate the sleep disorder can be sent only to the user who has a sleep disorder, thereby preventing other people's sleep disturbance. There will be.
- the user's physical activity status can be monitored in real time 24 hours a day using smart home appliances and/or smartphones.
- an optimized sleep environment for improving the user's sleep quality can be provided through sleep state information detected in relation to the user's sleep environment.
- the quality of sleep can be significantly improved by creating an optimal sleeping environment related to various factors such as air quality, temperature and/or humidity of the sleeping environment, etc.
- Figure 1(a) shows a conceptual diagram showing a system in which various aspects of a computing device for creating a sleep environment based on sleep state information related to an embodiment of the present invention can be implemented.
- Figure 1 (b) shows a conceptual diagram showing a system in which various aspects of a sleep environment control device related to another embodiment of the present invention can be implemented.
- Figure 1(c) shows a conceptual diagram showing a system in which various aspects of various electronic devices related to another embodiment of the present invention can be implemented.
- FIG. 2A shows a block diagram of a computing device for creating a sleep environment based on sleep state information according to an embodiment of the present invention.
- Figure 2b is a block diagram for explaining an environment creation device equipped with a means for generating sleep state information according to an embodiment of the present invention.
- FIG. 2C is a block diagram illustrating an environment creation device that receives sleep state information from a server and controls an environment creation unit according to an embodiment of the present invention.
- Figure 2d is a block diagram for explaining a home appliance control device equipped with a means for generating sleep state information according to an embodiment of the present invention.
- Figure 2e is a block diagram for explaining an environment creation device for controlling home appliances by receiving sleep state information from a server according to an embodiment of the present invention.
- FIG. 2F is a block diagram illustrating an environment creation device that controls home appliances by receiving sleep state information from another electronic device according to an embodiment of the present invention.
- Figure 2g is a block diagram for explaining an environment creation device in which another electronic device senses environmental sensing information, receives sleep state information from a server, and controls home appliances according to an embodiment of the present invention.
- Figure 2h is a block diagram for explaining an environment creation device that receives sleep state information from a first server, receives environment creation information from a second server, and controls home appliances according to an embodiment of the present invention.
- Figure 2i is for explaining an environment creation device that receives the environment creation information and controls home appliances when the second server receives sleep state information from the first server and generates environment creation information according to an embodiment of the present invention. It is a block diagram.
- Figure 2j is a block diagram to explain that an environment creation device is controlled through a network according to an embodiment of the present invention.
- FIG. 3 is a diagram comparing the polysomnography (PSG) result (PSG result) and the analysis result (AI result) using the AI algorithm according to the present invention.
- FIG 4 is a diagram comparing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention in relation to sleep apnea and hypoventilation (hypopnea). .
- Figure 5 is an exemplary diagram illustrating a process for obtaining sleep sound information from environmental sensing information related to an embodiment of the present invention.
- Figure 6(a) is an example diagram for explaining a method of obtaining a spectrogram corresponding to sleeping sound information related to an embodiment of the present invention.
- Figure 6(b) is a conceptual diagram illustrating a privacy protection method using Mel spectrogram transformation for sleep sound information extracted from a user in the sleep analysis method according to the present invention.
- Figure 7 is an exemplary diagram illustrating environmental creation information at each point in time according to the user's sleeping state related to an embodiment of the present invention.
- Figure 8 shows an exemplary flowchart for providing a method of creating a sleep environment according to sleep state information related to an embodiment of the present invention.
- Figure 9 is a schematic diagram showing one or more network functions related to one embodiment of the present invention.
- Figure 10 shows an exemplary block diagram of a sleep environment control device related to one embodiment of the present invention.
- Figure 11(a) shows an exemplary block diagram of a receiving module and a transmitting module related to an embodiment of the present invention.
- Figure 11 (b) is a block diagram showing the configuration of smart home appliances in the AI-based non-contact sleep analysis system according to the present invention.
- Figure 12 is an example diagram for explaining a second sensor unit that detects whether a user related to an embodiment of the present invention is located in a preset area.
- Figure 13 is a flowchart illustrating a process for generating sleep state information through an automatic sleep measurement mode related to an embodiment of the present invention.
- Figure 14 is a flowchart illustrating a process for creating an environment that induces the user to enter sleep related to an embodiment of the present invention.
- Figure 15 is a flowchart illustrating a process for changing the user's sleep environment during sleep and immediately before waking up related to an embodiment of the present invention.
- Figures 16 (a) and (b) are conceptual diagrams for explaining the operation of an air conditioner according to an embodiment of the present invention.
- Figures 16 (c) and (d) are conceptual diagrams for explaining the operation of an air purifier according to an embodiment of the present invention.
- Figure 17 (a) is a block diagram showing the configuration of an air conditioner according to an embodiment of the present invention.
- Figure 17(b) is a block diagram showing the configuration of an air purifier according to an embodiment of the present invention.
- FIG. 18 is a diagram for explaining an example of the air conditioner shown in FIGS. 16 and 17.
- FIG. 19 is a diagram for explaining another example of the air conditioner shown in FIGS. 16 and 17.
- Figures 20 and 21 are diagrams for explaining another example of the air conditioner shown in Figures 16 and 17.
- FIG. 22 is a diagram for explaining another example of the air conditioner shown in FIGS. 16 and 17.
- FIGs 23 (a) and (b) illustrate a method of driving the indoor unit 500'' in sleep mode through the display unit 570'' of the indoor unit 500'' shown in Figures 20 and 21. This is a drawing for this purpose.
- Figures 23 (c) and (d) are diagrams of the display unit 4000 for explaining the sleep mode of the air purifier 700' according to an embodiment of the present invention.
- Figure 24(a) shows the indoor units 500', 500'', 500''', and 500'''' shown in Figures 18 to 22 through the remote control 600 according to an embodiment of the present invention. This diagram is to explain how to drive in sleep mode.
- Figure 24(b) is a diagram showing an example of the display unit 4000 of the air purifier 700' according to an embodiment of the present invention.
- Figures 25 (a) and (b) show indoor units 500', 500'', 500''', and 500' shown in Figures 18 to 22 through the user terminal 10 according to an embodiment of the present invention. This is a diagram to explain how to drive ''') in sleep mode.
- Figure 25(c) is a diagram showing a screen of a first application that remotely controls the air purifier 700'' on the user terminal 10 according to an embodiment of the present invention.
- Figure 25(d) is a diagram showing the screen of an application that controls the sleep mode of the air purifier 700'' according to an embodiment of the present invention.
- Figure 26 is a diagram for explaining a method of automatically operating an indoor unit or air purifier in sleep mode.
- Figures 27 and 28 are diagrams for explaining the timing of the sleep mode operation shown in Figure 26.
- Figures 29 (a) and (b) are diagrams for explaining an example of the air purifier shown in Figures 16 and 17.
- FIG. 30 is a diagram showing a state in which some parts of the covers 1100 and 2100 of the air purifier 700' shown in FIG. 29 have been removed.
- Figure 31(a) is a diagram for explaining another example of the air purifier shown in Figures 16 and 17.
- FIG. 31(b) is a diagram for explaining the timing of sleep mode operation of the air purifier 700''' shown in FIG. 26.
- Figure 32 (a) is a diagram for explaining sleep stage analysis using a spectrogram in the sleep analysis method according to the present invention.
- Figure 32 (b) is a diagram for explaining sleep disorder determination using a spectrogram in the sleep analysis method according to the present invention.
- Figure 33 (a) is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the present invention.
- Figure 33 (b) is a graph verifying the performance of the sleep analysis method according to the present invention, and is a diagram comparing the polysomnography result (PSG result) and the analysis result (AI result) using the AI algorithm according to the present invention. .
- Figure 34 is a table verifying the accuracy of the sleep analysis method according to the present invention, and is the experimental result data analyzed according to age, gender, BMI, and disease status.
- Figure 35 is a conceptual diagram illustrating an embodiment of the sleep analysis method according to the present invention to make it easier to understand when a smart speaker and a smartphone are used.
- Figure 36 (a) is a flowchart explaining a method for preventing and alleviating sleep disorders using an AI-based non-contact sleep analysis system according to an embodiment of the present invention.
- Figure 36 (b) is a flowchart explaining a method for preventing and alleviating sleep disorders using an AI-based non-contact sleep analysis system according to another embodiment of the present invention.
- Figure 37 is a diagram illustrating a traffic response method when the sleep analysis method according to the present invention is performed in the cloud.
- Figure 38 is a conceptual diagram for explaining single-person sleep analysis and multi-person sleep analysis in the sleep analysis method according to the present invention.
- Figure 39 is a flowchart for explaining the operation of the AI-based non-contact sleep analysis method according to the present invention.
- Figure 40 is a flowchart showing embodiments of various smart home appliances used in the sleep analysis method according to the present invention.
- Figure 41 is a table showing an example of the operation of the bed preparation stage among specific scenarios of a plurality of smart home appliances that operate in time series for each user's sleep stage using the sleep analysis method according to the present invention.
- FIG. 42 is a table showing an example of the operations of the stages from after waking up to before deep sleep, which are sequentially connected to FIG. 41 among the above scenarios.
- FIG. 43 is a table showing an example of the operations in the stages from deep sleep to waking up detection, which are sequentially connected to FIG. 42 among the above scenarios.
- FIG. 44 is a table showing an example of the operation of the wake-up stage, which is sequentially connected to FIG. 43 among the above scenarios.
- Figure 45 is a conceptual diagram showing a training method when only polysomnography microphone data (S) is used in a hospital environment according to a conventional sleep analysis method in order to compare the sleep analysis method of the present invention with the prior art.
- Figure 46 is a conceptual diagram of a method for generating an AI sleep analysis model by reflecting various sounds in a home environment according to the sleep analysis method of the present invention in the training method shown in Figure 45.
- Figure 47 is a table verifying the performance of the sleep analysis method according to the present invention, divided into 9 groups according to the type of residential noise and trained.
- Figure 48 is a schematic diagram illustrating the 24-hour monitoring process of the user by the AI-based non-contact sleep analysis system and sleep analysis method according to the present invention.
- Figure 49 is a table of mean per class results compared with the smart home appliances and sleep analysis method according to the present invention and the products and devices of existing world leading sleep tech companies.
- Figure 50 is a configuration diagram for explaining the operation of an AI-based non-contact sleep analysis system according to an embodiment of the present invention.
- Figure 51 is a configuration diagram for explaining the operation between components of an AI-based non-contact sleep analysis system according to an embodiment of the present invention.
- Figure 52 is a table listing the location where the environment creation device is placed, detailed products, activation status according to sleep state information, and exemplary operations in sleep mode and wake-up mode.
- Figure 53 is a configuration diagram for explaining the operation of a system that implements the method of providing sleep environment creation information according to the present invention.
- FIG. 54 is a conceptual diagram for explaining the operation of a wearable device in the system shown in FIG. 53.
- Figure 55 is a conceptual diagram for explaining the operation of a wearable device linking with a smartphone according to the present invention.
- Figure 56 shows an air conditioner and a humidifier/dehumidifier among the main smart home appliances in an embodiment in which frequent operation switching is performed among one or more smart home appliances that operate according to the user's sleep stage flow using the method of providing sleep environment creation information of the present invention. This is a table showing the operation of .
- Figure 57 is a table showing the operation of a smart speaker and an air purifier among the major smart home appliances according to an embodiment of the present invention.
- Figure 58 is a table showing the operation of a smart TV and a robot vacuum cleaner among the major smart home appliances according to an embodiment of the present invention.
- Figure 59 is a flowchart for explaining the operation of the smartwatch in the system shown in Figure 53 according to another embodiment of the present invention.
- Figure 60 is a table showing the operation of a smartwatch according to another embodiment of the present invention.
- Figure 61a shows a conceptual diagram of a product recommendation system related to sleep according to the present invention.
- Figure 61b shows a conceptual diagram of a product verification system related to sleep according to the present invention.
- Figure 61c shows a conceptual diagram of a sleep-related product recommendation/verification system according to another embodiment of the present invention.
- Figure 62 is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the present invention.
- Figure 63 is a graph verifying the performance of the sleep analysis method according to the present invention, and is a diagram comparing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention. am.
- Figure 64 is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention.
- PSG polysomnography
- This is a diagram comparing the analysis results (AI results) using AI algorithms.
- Figure 65a is a flowchart showing a method for recommending products related to sleep according to the present invention.
- Figure 65b is a flow chart showing a method for verifying products related to sleep according to the present invention.
- Figure 66 is a diagram for explaining the overall structure of a sleep analysis model according to an embodiment of the present invention.
- Figure 67 is a diagram for explaining a feature extraction model and a feature classification model according to an embodiment of the present invention.
- Figures 68 and 69 are tables for explaining a look-up table in which recommended sleep-related product information is recorded in response to sleep indicators.
- Figure 70a is a table for explaining a look-up table in which composition information is recorded when the sleep-related product is a composition.
- Figure 70b is a table for explaining a look-up table in which fiber component information is recorded when a sleep-related product is made of fiber components.
- Figure 71a is a table to explain a case where the verification index for sleep-related products is displayed as a score.
- Figures 71b and 71c are exemplary diagrams to explain a case where the verification index for a sleep-related product is displayed as a numerical evaluation of the user's sleep according to an embodiment of the present invention.
- Figure 72 is a table to explain obtaining sleep state information from multiple users and generating verification indicators for multiple users.
- Figure 73 is a table for explaining a look-up table in which recommended sleep-related product information is recorded obtained through sleep evaluation statistics of multiple users for multiple sleep-related products.
- Figure 74 is a diagram showing a graphical user interface for receiving user input to calculate a subjective judgment index according to an embodiment of the present invention.
- Figure 75 is a block diagram for explaining a cosmetics recommendation method according to an embodiment of the present invention.
- Figure 76 is a block diagram for explaining a cosmetics verification method according to an embodiment of the present invention.
- Figure 77 is a conceptual diagram showing a heated mat system for creating a sleeping environment.
- Figure 78 is a conceptual diagram showing a system of another embodiment of the heated mat 30-1 for creating a sleeping environment.
- Figure 79 is a configuration diagram to explain the operation between components of an AI-based non-contact sleep analysis system according to a heated mat for creating a sleep environment.
- Figure 80 is a diagram for explaining a heated mat in which learning and inference according to the heated mat for creating a sleeping environment are performed in the server.
- Figure 81 is a diagram for explaining a heated mat in which learning, reasoning, and temperature control according to the heated mat to create a sleeping environment are performed in the server.
- Figure 82 is a diagram for explaining a heated mat in which learning, reasoning, and temperature control according to the heated mat to create a sleeping environment are performed on the heated mat.
- Figure 83 is a diagram for explaining a hot water mat in which learning and inference according to the hot water mat for creating a sleeping environment are performed in the first server, and temperature control is performed in the second server.
- Figure 84 is a diagram for explaining a device for controlling the heat control means of a hot water mat including a processor unit on which an application can be executed.
- Figure 85 is a block diagram illustrating a light control device that receives sleep state information from a server according to an embodiment of the present invention.
- Figure 86 is a conceptual diagram showing a light control method to create a user's sleeping environment, which is an embodiment of the present invention.
- Figure 87 is a flowchart illustrating a method for analyzing sleep state information including the process of combining sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
- Figure 88 is a flowchart illustrating a method for analyzing sleep state information including the step of combining the inferred sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
- Figure 89 is a flowchart illustrating a method for analyzing sleep state information including the step of combining inferred sleep sound information with sleep environment information and multimodal data according to an embodiment of the present invention.
- Figure 90 is a diagram for explaining consistency training according to an embodiment of the present invention.
- Figure 91 is a diagram for explaining a user modeling method in which a user checks a preferred scent by swiping among the emotional modeling methods according to the present invention.
- Figure 92 is a diagram for explaining a user modeling method of receiving text related to the user's preferred scent among the emotional modeling methods according to the present invention.
- Figure 93 is a diagram for explaining a user modeling method of selecting a keyword for a user's preferred scent among the emotional modeling methods according to the present invention.
- Figure 94 is a diagram for explaining a user modeling method of receiving feedback about the scent provided to the user after waking up, among the emotional modeling methods according to the present invention.
- Figure 95 is a diagram for explaining that the fragrance providing device according to the present invention provides fragrance to a sleeping user.
- the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles.
- “part” or “module” is not limited to software or hardware.
- a “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors.
- a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
- the functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. could be further separated.
- a computer refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations that operate on the hardware device.
- a computer can be understood to include, but is not limited to, a smartphone, tablet PC, desktop, laptop, and user clients and applications running on each device.
- “smart home appliances” described below are devices with a built-in microphone that can detect the user's breathing sounds and collect acoustic data, and may include smart speakers, smart TVs, smart lighting, smart mattresses, etc. .
- “SleepTrack app” may refer to an application that delivers the user's sleep report to the smartphone using PUI, VUI, and GUI and operates smart home appliances according to the report results.
- search interaction may mean the research and development of new products to improve users’ sleep quality in relevant categories such as fragrances, cosmetics, food, health functional foods, and hormones.
- “research interaction of the Sleeptrack app” may mean that sleep environment creation services and new products are developed to improve sleep quality based on sleep analysis analyzed in the Sleeptrack app.
- sleep management app interaction refers to the interaction between the traditional sleep industry, sports, hotels, re-education academies, military, etc., where sleep storytelling is possible, and a sleep management app that can analyze sleep without a hardware solution. You can.
- interaction from research interaction to sleep management app can mean interaction with a new product without a digital product and a sleep management app capable of sleep analysis without a hardware solution.
- each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and depending on the embodiment, at least part of each step may be performed in a different device.
- Figure 1(a) shows a conceptual diagram showing a system in which various aspects of a computing device for creating a sleep environment based on sleep state information related to an embodiment of the present invention can be implemented.
- a system according to embodiments of the present invention may include a computing device 100, a user terminal 10, an external server 20, an environment creation device 30, and a network.
- the system for implementing a method for creating a sleep environment based on the sleep state information shown in (a) of FIG. 1 is according to one embodiment, and its components are limited to the embodiment shown in FIG. 1. This does not mean that it can be added, changed or deleted as needed.
- Figure 1 (b) shows a conceptual diagram showing a system in which various aspects of a sleep environment control device related to another embodiment of the present invention can be implemented.
- the system may include a sleep environment control device 400, a user terminal 10, an external server 20, and a network.
- a system for implementing a method for creating a sleep environment based on the sleep state information shown in (b) of FIG. 1 is according to one embodiment, and its components are shown in (b) of FIG. 1. It is not limited to the embodiment, and may be added, changed, or deleted as needed.
- the present invention provides a computing device 100, a user terminal 10, an external server 20, and an environment creation device 30 via a network, according to an embodiment of the present invention. Data for different systems can be transmitted and received.
- Networks include Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and Very High Speed DSL (VDSL). ), UADSL (Universal Asymmetric DSL), HDSL (High Bit Rate DSL), and local area network (LAN) can be used.
- PSTN Public Switched Telephone Network
- xDSL Digital Subscriber Line
- RADSL Rate Adaptive DSL
- MDSL Multi Rate DSL
- VDSL Very High Speed DSL
- UADSL Universal Asymmetric DSL
- HDSL High Bit Rate DSL
- LAN local area network
- CDMA Code Division Multi Access
- TDMA Time Division Multi Access
- FDMA Frequency Division Multi Access
- OFDMA Orthogonal Frequency Division Multi Access
- SC-FDMA Single Carrier-FDMA
- the network according to embodiments of the present invention can be configured regardless of the communication mode, such as wired or wireless, and is composed of various communication networks such as a personal area network (PAN) and a wide area network (WAN). It can be. Additionally, the network may be the well-known World Wide Web (WWW), and may also use wireless transmission technology used for short-distance communication, such as Infrared Data Association (IrDA) or Bluetooth.
- IrDA Infrared Data Association
- Bluetooth wireless transmission technology used for short-distance communication
- the user terminal 10 is a terminal that can receive information related to the user's sleep through information exchange with the computing device 100, and may refer to a terminal owned by the user.
- the user terminal 10 may be a terminal related to a user who wants to improve his or her health through information related to his or her sleeping habits.
- the user can obtain monitoring information related to his or her sleep through the user terminal 10.
- Monitoring information related to sleep may include, for example, sleep state information related to when the user fell asleep, time spent sleeping, or when the user woke up, or sleep stage information related to changes in sleep stage during sleep.
- sleep stage information may refer to information on changes in the user's sleep to light sleep, normal sleep, deep sleep, or REM sleep at each time point during the user's 8 hours of sleep last night.
- the detailed description of the above-described sleep stage information is only an example, and the present invention is not limited thereto.
- Figure 1(c) shows a conceptual diagram showing a system in which various aspects of various electronic devices related to another embodiment of the present invention can be implemented.
- the electronic devices shown in (c) of FIG. 1 can perform at least one of the operations performed by various devices according to embodiments of the present invention.
- operations performed by various devices include acquiring environmental sensing information, learning a sleep analysis model, inferring a sleep analysis model, and obtaining sleep state information. It may include controlling an electronic device, displaying sleep state information, and displaying environment creation information.
- receive information related to the user's sleep transmit or receive environmental sensing information, determine environmental sensing information, process or process data, process services, provide services, or monitor sleep status.
- Analyze construct a learning data set based on information related to the user's sleep, store information on acquired data or multiple learning data for learning of a neural network, generate environment creation information, or create environment creation information. It may include determining, operating an environment creation module based on environment creation information, transmitting or receiving various information, or mutually transmitting and receiving data for systems according to embodiments of the present invention through a network. there is.
- the electronic devices shown in (c) of FIG. 1 may individually perform the operations performed by various devices according to the embodiment of the present invention, but may also perform one or more operations simultaneously or in time series.
- the electronic devices 1a to 1d are electronic devices within the range of a preset area 11a, which is an area where object state information, such as information about the user's movement or breathing, can be obtained. It can be.
- the electronic devices 1a and 1d may be a device composed of a combination of two or more electronic devices.
- the electronic devices 1a and 1b may be electronic devices connected to a network within a preset area 11a.
- the electronic devices 1c and 1d may be electronic devices not connected to the network within the preset area 11a.
- the electronic devices 2a to 2b may be electronic devices outside the range of the preset area 11a.
- a network that interacts with electronic devices within the scope of the preset area 11a may serve to transmit and receive information for controlling smart home appliances.
- a network that interacts with electronic devices within the range of the preset area 11a may be, for example, a local network or a local network.
- the network that interacts with electronic devices within the range of the preset area 11a may be, for example, a remote network or a global network.
- the electronic devices may be connected through a network outside the range of the preset area 11a, and in this case, the electronic devices distribute data to each other or perform one or more operations. It can also be done separately.
- the electronic devices may perform operations independently of each other.
- an electronic device equipped with environmental sensing and control functions acquiring environmental sensing information, performing preprocessing on the obtained environmental sensing information, and preprocessing the environment. Converting acoustic information included in sensing information into a spectrogram, generating sleep state information based on the converted spectrogram, and controlling the electronic device to create an environment based on the generated sleep state information. Steps may be performed.
- obtaining environmental sensing information in an electronic device equipped with environmental sensing and control functions and preprocessing the obtained environmental sensing information.
- the steps of performing, converting the acoustic information included in the preprocessed environmental sensing information into a spectrogram, and transmitting the converted spectrogram to the AI server 310 are performed, and the AI server 310
- sleep state information is generated through learning or inference based on the transmitted spectrogram
- the electronic device receives sleep state information generated by the AI server 310, and determines the environment based on the received sleep state information.
- a step of controlling the electronic device to achieve this may be performed.
- an electronic device for controlling home appliances to create an environment comprising: acquiring environmental sensing information from the electronic device; performing preprocessing on the obtained environmental sensing information; A step of converting acoustic information included in the preprocessed environmental sensing information into a spectrogram, and generating sleep state information based on the converted spectrogram are performed, and the electronic device is configured to determine the generated sleep state.
- a step of controlling the home appliance may be performed so that the home appliance can create an environment based on information.
- an electronic device for controlling home appliances to create an environment comprising: acquiring environmental sensing information from the electronic device; performing preprocessing on the obtained environmental sensing information; The steps of converting the acoustic information included in the preprocessed environmental sensing information into a spectrogram and transmitting the converted spectrogram to the AI server 310 are performed, and the AI server 310 transmits the
- sleep state information is generated through learning or inference based on the spectrogram
- the electronic device receives sleep state information generated by the AI server 310, and the electronic device responds to the received sleep state information. Based on this, a step of controlling the home appliance may be performed so that the home appliance can create an environment.
- an electronic device for controlling home appliances to create an environment and another electronic device acquires environmental sensing information and spectralizes the acoustic information included in the obtained environmental sensing information.
- the electronic device receives sleep state information from the other electronic device, and transmits sleep state information to the home appliance based on the received sleep state information.
- a step of controlling the home appliance may be performed to create an environment.
- the other electronic device refers to a device that is different from the electronic device that controls the home appliance, and may correspond to one or more other electronic devices. If there are multiple other electronic devices, the steps of acquiring environmental sensing information, converting sound information included in the environmental sensing information into a spectrogram, and generating sleep state information may be performed independently.
- an electronic device for controlling home appliances to create an environment there is an electronic device for controlling home appliances to create an environment, and another electronic device acquires environmental sensing information and uses sound information included in the obtained environmental sensing information.
- another electronic device acquires environmental sensing information and uses sound information included in the obtained environmental sensing information.
- the AI server 310 When converted into a spectrogram and the converted spectrogram is transmitted to the AI server 310, when the AI server 310 generates sleep state information based on the transmitted spectrogram, the electronic device is connected to the AI server.
- a step of receiving sleep state information generated at 310 and controlling the home appliance to create an environment based on the received sleep state information may be performed.
- the description of other electronic devices is the same as previously described, so redundant description will be omitted.
- Various embodiments according to the present invention described above include acquisition of environmental sensing information, preprocessing of environmental sensing information, conversion of spectrogram, generation of sleep state information, and processing of electronic devices or home appliances (e.g., smart home appliances, etc.). This is an example to explain that various operations such as control do not necessarily occur within the same electronic device, but can occur in multiple devices, and this may occur in time series, simultaneously, or independently. , the present invention is not limited to the various embodiments described above.
- Figure 2b is a block diagram for explaining an environment creation device equipped with a means for generating sleep state information according to an embodiment of the present invention.
- the environment creation device 30 may include an environment sensing information acquisition sensor 40, a control unit 41, and an environment creation unit 42.
- the control unit 41 may include a preprocessing performing unit 41-1, a sleep state information generating unit 41-2, and an environment creation unit control unit 41-3.
- the environmental sensing information acquisition sensor 40 of the environment creation device 30 can acquire environmental sensing information from the user.
- the preprocessing performing means 41-1 may perform preprocessing on the environmental sensing information obtained from the environmental sensing information acquisition sensor 40.
- the sleep state information generating unit 41-2 may generate sleep state information based on the environmental sensing information preprocessed by the preprocessing performing unit 41-1.
- the environment creation unit control means 41-3 may control the environment creation unit 42 to provide a predetermined scent based on the generated sleep state information.
- the environment creation unit control means 41-3 may control the environment creation unit 42 to provide a predetermined scent in real time based on the generated sleep state information.
- the sleep state information generating means 41-2 may convert environmental sensing information into information including changes in frequency components of the environmental sensing information along the time axis.
- information including changes in frequency components along the time axis may be a spectrogram 300.
- FIG. 2C is a block diagram illustrating an environment creation device that receives sleep state information from a server and controls an environment creation unit according to an embodiment of the present invention.
- the environment creation device 30 may include an environment sensing information acquisition sensor 40, a control unit 41, an environment creation unit 42, and a communication unit 46.
- the control unit 41 may include a preprocessing unit 41-1 and an environment creation unit control unit 41-3.
- the environmental sensing information acquisition sensor 40 of the environment creation device 30 can acquire environmental sensing information from the user.
- the preprocessing performing means 41-1 may perform preprocessing on the environmental sensing information obtained from the environmental sensing information acquisition sensor 40.
- the communication unit 46 may transmit the environmental sensing information pre-processed from the pre-processing means 41-1 to the server 20. Accordingly, the communication unit 46 can receive sleep state information generated by the server 20.
- the environment creation unit control means 41-3 may control the environment creation unit 42 to provide a predetermined scent based on the received sleep state information.
- the environment creation unit control means 41-3 may control the environment creation unit 42 to provide a predetermined scent in real time based on the received sleep state information.
- the communication unit 46 may receive the converted information.
- information including changes in frequency components along the time axis may be a spectrogram 300.
- Figure 2d is a block diagram for explaining a home appliance control device equipped with a means for generating sleep state information according to an embodiment of the present invention.
- the electronic device 50 for controlling a home appliance may include an environmental sensing information acquisition sensor 51 and a control unit 52.
- the control unit 52 may include a preprocessing performing means (52-1), a sleeping state information generating means (52-2), and a home appliance control means (52-3).
- the environmental sensing information acquisition sensor 51 of the electronic device 50 that controls the home appliance can acquire environmental sensing information from the user.
- the preprocessing performing means 52-1 may perform preprocessing on the environmental sensing information obtained from the environmental sensing information acquisition sensor 51.
- the sleep state information generating means 52-2 may generate sleep state information based on the environmental sensing information preprocessed by the preprocessing performing means 52-1.
- the home appliance control means 52-3 may control the environment creation device 30 to provide a predetermined scent based on the generated sleep state information.
- the home appliance control means 52-3 may control the environment creation device 30 to provide a predetermined scent in real time based on the generated sleep state information.
- the sleep state information generating means 52-2 may convert the environmental sensing information into information including changes in the frequency components of the environmental sensing information along the time axis.
- information including changes in frequency components along the time axis may be a spectrogram 300.
- Figure 2e is a block diagram for explaining an environment creation device for controlling home appliances by receiving sleep state information from a server according to an embodiment of the present invention.
- the electronic device 50 for controlling a home appliance may include an environmental sensing information acquisition sensor 51, a control unit 52, and a communication unit 56.
- the control unit 52 may include a preprocessing performing means (52-1) and a home appliance control means (52-3).
- the environmental sensing information acquisition sensor 51 of the electronic device 50 that controls the home appliance can acquire environmental sensing information from the user.
- the preprocessing performing means 52-1 may perform preprocessing on the environmental sensing information obtained from the environmental sensing information acquisition sensor 51.
- the communication unit 56 may transmit the environmental sensing information pre-processed from the pre-processing means 52-1 to the server 20. Accordingly, the communication unit 56 can receive sleep state information generated by the server 20.
- the home appliance control means 52-3 may control the environment creation device 30 to provide a predetermined scent based on the received sleep state information.
- the home appliance control means 52-3 may control the environment creation device 30 to provide a predetermined scent in real time based on the received sleep state information.
- the communication unit 56 may receive the converted information.
- information including changes in frequency components along the time axis may be a spectrogram 300.
- FIG. 2F is a block diagram illustrating an environment creation device that controls home appliances by receiving sleep state information from another electronic device according to an embodiment of the present invention.
- the electronic device 61 for controlling a home appliance may include a sleeping state information receiving means 61-1 and a home appliance control means 61-2.
- another electronic device 60 can obtain environmental sensing information from the user. Another electronic device 60 may perform preprocessing on the acquired environmental sensing information. Another electronic device 60 may generate sleep state information based on preprocessed environmental sensing information. Accordingly, the sleep state information receiving means 61-1 of the electronic device 61 that controls the home appliance can receive sleep state information from another electronic device 60. Accordingly, the home appliance control means 61-2 may control the environment creation device 30 to provide a predetermined scent based on the received sleep state information.
- the home appliance control means 61-2 may control the environment creation device 30 in real time based on the received sleep state information.
- Another electronic device 60 may convert environmental sensing information into information including changes in the frequency components of the environmental sensing information along the time axis. Accordingly, the sleep state information receiving means 61-1 of the electronic device 61 that controls the home appliance can receive the converted information. Specifically, information including changes in frequency components along the time axis may be a spectrogram 300.
- Figure 2g is a block diagram for explaining an environment creation device in which another electronic device senses environmental sensing information, receives sleep state information from a server, and controls home appliances according to an embodiment of the present invention.
- the electronic device 61 for controlling a home appliance may include a sleeping state information receiving means 61-1 and a home appliance control means 61-2.
- another electronic device 60 can obtain environmental sensing information from the user. Another electronic device 60 may perform preprocessing on the acquired environmental sensing information. Another electronic device 60 may transmit preprocessed environmental sensing information to the server 20 . Accordingly, the sleep state information receiving means 61-1 of the electronic device 61 that controls the home appliance may receive sleep state information from the server 20. Accordingly, the home appliance control means 61-2 may control the environment creation device 30 to provide a predetermined scent based on the received sleep state information.
- the home appliance control means 61-2 may control the environment creation device 30 to provide a predetermined scent based on the received sleeping state information.
- the server 20 may convert the environmental sensing information into information including changes in the frequency components of the environmental sensing information along the time axis. Accordingly, the sleep state information receiving means 61-1 of the electronic device 61 that controls the home appliance can receive the converted information. Specifically, information including changes in frequency components along the time axis may be a spectrogram 300.
- Figure 2h is a block diagram for explaining an environment creation device that receives sleep state information from a first server, receives environment creation information from a second server, and controls home appliances according to an embodiment of the present invention.
- the home appliance control device 70 includes an environmental sensing information acquisition sensor 71, a control unit 72, and a communication unit 76.
- the control unit 72 may include a preprocessing performing means (72-1) and a home appliance control means (72-2).
- the environmental sensing information acquisition sensor 71 of the home appliance control device 70 can acquire environmental sensing information from the user.
- the preprocessing performing means 72-1 may perform preprocessing on the environmental sensing information obtained from the environmental sensing information acquisition sensor 71.
- the communication unit 76 may transmit the environmental sensing information preprocessed by the preprocessing means 72-1 to the first server 20a. Accordingly, the first server 20a generates sleep state information, and the communication unit 76 receives the sleep state information. The communication unit 76 again transmits the sleep state information to the second server 20b, and the second server 20b generates environment creation information based on the received sleep state information.
- the communication unit 76 receives environment creation information from the second server 20b, and the home appliance control means 72-2 controls the environment creation device 30 based on the received environment creation information. By generating information, the environment creation device 30 can be controlled.
- the communication unit 76 may receive the converted information. Specifically, information including changes in frequency components along the time axis may be a spectrogram 300.
- Figure 2i is for explaining an environment creation device that receives the environment creation information and controls home appliances when the second server receives sleep state information from the first server and generates environment creation information according to an embodiment of the present invention. It is a block diagram.
- the home appliance control device 80 includes an environmental sensing information acquisition sensor 81, a control unit 82, and a communication unit 86.
- the control unit 82 may include a preprocessing performing means (82-1) and a home appliance control means (82-2).
- the environmental sensing information acquisition sensor 81 of the home appliance control device 80 can acquire environmental sensing information from the user.
- the preprocessing performing means 82-1 may perform preprocessing on the environmental sensing information obtained from the environmental sensing information acquisition sensor 81.
- the communication unit 86 may transmit the environmental sensing information preprocessed by the preprocessing unit 82-1 to the first server 20a. Accordingly, the first server 20a generates sleep state information, the first server 20a transmits the sleep state information to the second server 20b, and the second server 20b transmits the received sleep state information. Based on this, environmental composition information is generated.
- the communication unit 86 receives environment creation information from the second server 20b, and the home appliance control means 82-2 controls the environment creation device 30 based on the received environment creation information.
- the environment creation device 30 can be controlled.
- the communication unit 86 may receive the converted information.
- information including changes in frequency components along the time axis may be a spectrogram 300.
- Figure 2j is a block diagram to explain that an environment creation device is controlled through a network according to an embodiment of the present invention.
- the home appliance control device 70 includes an environmental sensing information acquisition sensor 71, a control unit 72, and a communication unit 79.
- the control unit 72 may include preprocessing performing means 72-1.
- the preprocessing unit 72-1 of the control unit 72 may perform preprocessing on environmental sensing information and transmit the preprocessed environmental sensing information through the communication unit 79, which transmits and receives information through a network.
- the first server 20a can generate sleep state information by receiving preprocessed environmental sensing information through the network, and the network that has received the generated sleep state information can generate sleep state information received by the second server 20b. Can be sent. Accordingly, the second server 20b can generate environment creation information based on the received sleep state information and control the environment creation device 30 in real time through the network.
- environmental sensing information of the present invention may be obtained through an electronic device (eg, user terminal 10, etc.).
- Environmental sensing information may refer to sensing information obtained from the space where the user is located.
- Environmental sensing information may be sensing information obtained in relation to the user's activities or sleep through a non-contact method.
- the environmental sensing information may be sleep sound information obtained in the bedroom where the user sleeps.
- the environmental sensing information acquired through the user terminal 10 may be information that is the basis for obtaining the user's sleep state information in the present invention.
- sleep state information related to whether the user is before, during, or after sleep may be obtained through environmental sensing information obtained in relation to the user's activities.
- environmental sensing information may include the user's breathing and movement information.
- the user terminal 10 may be equipped with a radar sensor as a motion sensor.
- the user terminal 10 may generate a discrete waveform (respiration information) corresponding to the user's breathing by processing the user's movement and distance measured through the radar sensor.
- environmental sensing information may include measurements obtained through sensors that measure temperature, humidity, and lighting levels in a bedroom.
- the user terminal 10 may be equipped with a sensor that measures temperature, humidity, and lighting levels in the bedroom.
- This user terminal 10 may refer to any type of entity(s) in the system that has a mechanism for communication with the computing device 100.
- these user terminals 10 include personal computers (PCs), notebooks (note books), mobile terminals, smart phones, tablet PCs, and artificial intelligence (AI) speakers. and artificial intelligence TVs and wearable devices, and may include all types of terminals that can access wired/wireless networks.
- the user terminal 10 may include an arbitrary server implemented by at least one of an agent, an application programming interface (API), and a plug-in. Additionally, the user terminal 10 may include an application source and/or client application.
- API application programming interface
- the external server 20 may be a server that stores information about a plurality of learning data for learning a neural network.
- the plurality of learning data may include, for example, health checkup information or sleep checkup information.
- the external server 20 may be at least one of a hospital server and an information server, and may be a server that stores information about a plurality of polysomnography records, electronic health records, and electronic medical records.
- a polysomnographic record may include information on the sleep examination subject's breathing and movements during sleep, and information on sleep diagnosis results (eg, sleep stages, etc.) corresponding to the information.
- Information stored in the external server 20 can be used as learning data, verification data, and test data to train the neural network in the present invention.
- the computing device 100 of the present invention may receive health checkup information or sleep checkup information from the external server 20 and construct a learning data set based on the corresponding information.
- the computing device 100 may generate a sleep analysis model to obtain sleep state information corresponding to environmental sensing information by performing learning on one or more network functions through a learning data set. A detailed description of the construction of the learning data set for learning the neural network of the present invention and the learning method using the learning data set will be described later.
- the external server 20 may be a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, equipped with a processor and equipped with memory and computing power.
- the external server 20 may be a web server that processes services.
- the types of servers described above are merely examples and the present invention is not limited thereto.
- the environment creation device 30 can adjust the user's sleeping environment.
- the environment creation device 30 may include one or more environment creation modules, and may include air quality, illuminance, temperature, wind direction, humidity, and By operating an environment creation module related to at least one of the sounds, the user's sleeping environment can be adjusted.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform the above-described operation.
- the environment creation device 30 includes a TV that provides images and videos and generates sound, an air purifier that can control air quality, a lighting device that can control the amount of light (illuminance), and temperature.
- Air conditioning/heating unit that can control temperature and humidity
- air conditioner that can control temperature and humidity
- humidifier/dehumidifier that can control humidity
- audio/speaker that can control sound
- styler that can manage clothes, blinds or It can be implemented as a curtain, robot or vacuum cleaner, washing machine or dryer, water purifier, oven or range, etc.
- the environmental composition information may be a signal generated by the computing device 100 based on determination of the user's sleep state information.
- environment creation information may include information about lowering or increasing illumination, etc. If the environment creation device 30 is a lighting device, the environment creation information may include control information to gradually increase the illuminance of 3000K white light from 0 lux to 250 lux starting 30 minutes before the weather is predicted. .
- the environment creation information may include temperature or/and humidity control based on the user's real-time sleeping state, fine dust (fine dust, ultrafine dust, ultrafine dust), and ultrafine dust. fine dust) removal, harmful gas removal, allergy care operation, deodorization/sterilization operation, dehumidification/humidification control, blowing intensity control, air purifier or air conditioner operation noise control, LED lighting, smog-causing substances (SO2, NO2) management, It may include various information related to household odor removal, etc.
- the environment creation information may include temperature and humidity control of the sleeping space, control of blowing intensity, control of driving noise, LED lighting, etc. based on the user's real-time sleeping status. .
- the environmental composition information may include control information for adjusting at least one of temperature, humidity, wind direction, or sound.
- control information for adjusting at least one of temperature, humidity, wind direction, or sound.
- one or more environment creation modules included in the environment creation device 30 include, for example, at least one of an illumination control module, a temperature control module, a wind direction control module, a humidity control module, and a sound control module. may include. However, it is not limited thereto, and the one or more environment creation modules may further include various environment creation modules that can bring about changes in the user's sleeping environment. That is, the environment creation device 30 may adjust the user's sleeping environment by operating one or more environment creation modules based on the environment control signal of the computing device 100.
- the computing device 100 may obtain sleep state information of the user and adjust the user's sleep environment based on the sleep state information. Specifically, the computing device 100 may obtain sleep state information related to whether the user is before, during, or after sleep based on environmental sensing information, and determine the sleep environment of the space where the user is located according to the sleep state information. can be adjusted. For a specific example, when the user obtains sleep state information that the user is before sleep, the computing device 100 sets the intensity and illuminance of light (e.g., white light of 3000K, 30 lux) to induce sleep based on the sleep state information. It is possible to generate environmental information related to illuminance) and air quality (fine dust concentration, harmful gas concentration, air humidity, air temperature, etc.).
- the intensity and illuminance of light e.g., white light of 3000K, 30 lux
- the computing device 100 may transmit environment creation information related to the intensity and illuminance of light and air quality for inducing sleep to the environment creation device 30 .
- the environment creation device 30 sets the light intensity and illuminance of the space where the user is located based on the environment creation information received from the computing device 100 to an appropriate intensity and illuminance (for example, white light of 3000K) to induce sleep. It can be adjusted to an illuminance of 30 lux. That is, the environment creation information generated by the computing device 100 is transmitted to a lighting device, which is an embodiment of the environment creation device 30, so that the illuminance in the sleeping space can be adjusted.
- a lighting device which is an embodiment of the environment creation device 30, so that the illuminance in the sleeping space can be adjusted.
- the computing device 100 removes fine dust, removes harmful gases, operates allergy care, deodorizes/sterilizes, controls dehumidification/humidification, adjusts blowing intensity, and operates the environment creation device 30 based on the user's sleeping state information.
- Environmental information such as noise control and various information related to LED lighting can be generated.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform the above-described operation.
- the environment creation information generated by the computing device 100 can be transmitted to an air purifier or air conditioner, which is an embodiment of the environment creation device 30, so that the temperature, humidity, or air quality in the room, inside the vehicle, or in the sleeping space can be adjusted. there is.
- an air purifier or air conditioner which is an embodiment of the environment creation device 30, so that the temperature, humidity, or air quality in the room, inside the vehicle, or in the sleeping space can be adjusted. there is.
- 'Sleep mode' is a concept that includes the operation modes of a smart home appliance in the stage where the user prepares for bed, the stage where the user wakes up, and the stage where the user is sleeping
- 'wake-up mode' means the stage before the user wakes up.
- 'Sleep mode' is a concept that includes the operation modes of smart home appliances in the waking-up phase and the post-waking-up phase, respectively.
- Figure 52 is a table listing the location where the environment creation device is placed, detailed products, activation status according to sleep state information, and exemplary operations in sleep mode and wake-up mode. Specifically, the location where the environment creation device 30 is placed and the detailed product of the environment creation device 30, whether or not it is activated according to sleep state information (sleeping, waking up, sleeping, before waking up, waking up, after waking up), Describes exemplary operations in sleep mode and wake-up mode.
- the environment creation information may include control information that determines whether to activate each product and performs operations in sleep mode and wake-up mode.
- the environmental sensing information used by the computing device 100 to analyze the sleep state may include information acquired in a non-invasive manner during the user's activities in the work space or during sleep.
- environmental sensing information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep.
- the environmental sensing information may include movement and distance information related to the user's movement during sleep, and breathing information generated based on this.
- the environmental sensing information may include sleep sound information, and the sleep sound information may mean sound information related to movement patterns and breathing patterns that occur during the user's sleep.
- the environmental sensing information may include sleep movement information, and the sleep movement information may mean information related to movement patterns and breathing patterns that occur during the user's sleep.
- environmental sensing information may be obtained through the user terminal 10 carried by the user.
- environmental sensing information related to the user's activities in the work space may be obtained through a microphone module provided in the user terminal 10.
- environmental sensing information related to the user's activities in a work space may be obtained through a radar sensor provided in the user terminal 10.
- the microphone module provided in the user terminal 10 carried by the user may be configured as a MEMS (Micro-Electro Mechanical System) since it must be provided in the user terminal 10 of a relatively small size.
- MEMS Micro-Electro Mechanical System
- These microphone modules can be manufactured very small, but can have a lower signal-to-noise ratio (SNR) than condenser microphones or dynamic microphones.
- SNR signal-to-noise ratio
- a low signal-to-noise ratio may mean that the ratio of noise, which is a sound that is not to be identified, to the sound that is to be identified is high, making it difficult to identify the sound (i.e., unclear).
- Environmental sensing information that is the subject of analysis in the present invention may include sound information related to the user's breathing and movement acquired during sleep, that is, sleep sound information.
- This sleep sound information is information about very small sounds (i.e., sounds that are difficult to distinguish) such as the user's breathing and movement, and is acquired along with other sounds during the sleep environment, so the microphone with a low signal-to-noise ratio as described above is used. If acquired through modules, detection and analysis can be very difficult.
- the computing device 100 may obtain sleep state information based on environmental sensing information obtained from the user terminal 10.
- the computing device 100 is capable of converting and/or adjusting ambiguously acquired environmental sensing information including a lot of noise into data that can be analyzed, and utilizing the converted and/or adjusted data to learn about an artificial neural network. It can be done.
- the learned neural network e.g., acoustic analysis model
- the user based on data (e.g., transformed and/or adjusted) acquired (e.g., transformed and/or adjusted) corresponding to the sleep acoustic information. Sleep state information can be obtained.
- the sleep state information may include sleep stage information related to changes in the user's sleep stage during sleep, as well as information related to whether the user is sleeping.
- the sleep state information may include sleep stage information indicating that the user was in REM sleep at a first time point, and that the user was in light sleep at a second time point different from the first time point. In this case, through the corresponding sleep state information, information may be obtained that the user fell into a relatively deep sleep at the first time and had a lighter sleep at the second time.
- the computing device 100 acquires sleep sound information with a low signal-to-noise ratio through a user terminal that is widely used to collect sound (e.g., artificial intelligence speaker, bedroom IoT device, mobile phone, etc.),
- a user terminal that is widely used to collect sound
- sleep state information related to changes in sleep stages can be provided. This eliminates the need to have a contact microphone on the user's body to obtain clear sound, and also allows sleep status to be monitored in a typical home environment with just a software update without purchasing an additional device with a high signal-to-noise ratio. This can provide the effect of increasing convenience.
- the computing device 100 and the environment creation device 30 are separately represented as separate entities in (a) of FIG. 1, according to an embodiment of the present invention, the environment creation device 30 is within the computing device 100.
- sleep status measurement and environmental adjustment functions can be performed in one integrated device.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform the above-described operation.
- computing device 100 may be a terminal or a server, and may include any type of device.
- the computing device 100 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory.
- Computing device 100 may be a web server that processes services.
- the types of servers described above are merely examples and the present invention is not limited thereto.
- the computing device 100 may be a server that provides cloud computing services. More specifically, the computing device 100 is a type of Internet-based computing and may be a server that provides a cloud computing service that processes information not on the user's computer but on another computer connected to the Internet.
- the cloud computing service may be a service that stores data on the Internet and can be used anytime, anywhere through Internet access without the user having to install necessary data or programs on his or her computer.
- the cloud computing service may be a service that allows simple manipulation of data stored on the Internet. You can easily share and forward with a click.
- cloud computing services not only allow you to simply store data on a server on the Internet, but also allow you to perform desired tasks using the functions of applications provided on the web without having to install a separate program, and allow multiple people to view documents at the same time. It may be a service that allows you to work while sharing. Additionally, cloud computing services may be implemented in at least one of the following forms: Infrastructure as a Service (IaaS), Platform as a Service (PaaS), Software as a Service (SaaS), virtual machine-based cloud server, and container-based cloud server. . That is, the computing device 100 of the present invention may be implemented in at least one form among the cloud computing services described above. The specific description of the cloud computing service described above is merely an example, and may include any platform for constructing the cloud computing environment of the present invention.
- IaaS Infrastructure as a Service
- PaaS Platform as a Service
- SaaS Software as a Service
- virtual machine-based cloud server virtual machine-based cloud server
- container-based cloud server container-based cloud server
- Figure 2 shows a block diagram of a computing device for creating a sleep environment based on sleep state information related to an embodiment of the present invention.
- the computing device 100 may include a network unit 110, a memory 120, and a processor 130. It is not limited to the components included in computing device 100 described above. That is, depending on the implementation aspect of the embodiments of the present invention, additional components may be included or some of the above-described components may be omitted.
- the computing device 100 may include a user terminal 10, an external server 20, and a network unit 110 that transmits and receives data with the environment creation device 30.
- the network unit 110 may transmit and receive data for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, to other computing devices, servers, etc.
- the network unit 110 may provide a communication function between the computing device 100, the user terminal 10, the external server 20, and the environment creation device 30.
- the network unit 110 may receive sleep checkup records and electronic health records for multiple users from a hospital server.
- the network unit 110 may receive environmental sensing information related to the space in which the user operates from the user terminal 10.
- the network unit 110 may transmit environment creation information for adjusting the environment of the space where the user is located to the environment creation device 30.
- the network unit 110 may allow information to be transferred between the computing device 100, the user terminal 10, and the external server 20 by calling a procedure with the computing device 100.
- the network unit 110 includes Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and VDSL (A variety of wired communication systems can be used, such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN).
- PSTN Public Switched Telephone Network
- xDSL Digital Subscriber Line
- RADSL Rate Adaptive DSL
- MDSL Multi Rate DSL
- VDSL VDSL
- wired communication systems such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN).
- the network unit 110 presented in this specification can use various wireless communication systems that can be realized now and in the future, such as mobile communication systems such as 4G and 5G (LTE), and satellite communication systems such as Starlink. .
- mobile communication systems such as 4G and 5G (LTE)
- satellite communication systems such as Starlink.
- the network unit 110 can be configured regardless of the communication mode, such as wired or wireless, and may be composed of various communication networks such as a personal area network (PAN) and a wide area network (WAN). You can. Additionally, the network may be the well-known World Wide Web (WWW), and may also use wireless transmission technology used for short-distance communication, such as Infrared Data Association (IrDA) or Bluetooth. The techniques described herein can be used in the networks mentioned above, as well as other networks.
- PAN personal area network
- WAN wide area network
- IrDA Infrared Data Association
- Bluetooth wireless transmission technology used for short-distance communication
- the memory 120 may store a computer program for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, and the stored computer program may be stored in the processor 130. It can be read and driven by . Additionally, the memory 120 may store any type of information generated or determined by the processor 130 and any type of information received by the network unit 110. Additionally, the memory 120 may store data related to the user's sleep. For example, the memory 120 may store input/output data (e.g., environmental sensing information related to the user's sleep environment, sleep state information corresponding to the environmental sensing information, or environment creation information according to the sleep state information, etc. ) can also be stored temporarily or permanently.
- input/output data e.g., environmental sensing information related to the user's sleep environment, sleep state information corresponding to the environmental sensing information, or environment creation information according to the sleep state information, etc.
- the memory 120 is a flash memory type, hard disk type, multimedia card micro type, or card type memory (e.g. (e.g. SD or -Only Memory), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk.
- the computing device 100 may operate in connection with web storage that performs a storage function of the memory 120 on the Internet.
- the description of the memory described above is only an example, and the present invention is not limited thereto.
- the computer program When loaded into memory 120, the computer program may include one or more instructions that cause processor 130 to perform methods/operations according to various embodiments of the present invention. That is, the processor 130 can perform methods/operations according to various embodiments of the present invention by executing one or more instructions.
- the computer program includes obtaining sleep state information of a user, generating environment creation information based on the sleep state information, and transmitting the environment creation information to an environment creation device. It may include one or more instructions to perform a method of creating a sleep environment according to state information.
- the processor 130 may be composed of one or more cores, such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU). , may include a processor for data analysis and deep learning, such as a tensor processing unit (TPU).
- cores such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU).
- GPU general purpose graphics processing unit
- TPU tensor processing unit
- the processor 130 may read a computer program stored in the memory 120 and perform data processing for machine learning according to an embodiment of the present invention. According to one embodiment of the present invention, the processor 130 may perform calculations for learning a neural network.
- the processor 130 is used for learning neural networks, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. Calculations can be performed.
- DL deep learning
- Calculations can be performed.
- CPU, GPGPU, and TPU of the processor 130 may process learning of the network function.
- CPU and GPGPU can work together to process learning of network functions and data classification using network functions.
- the processors of a plurality of computing devices can be used together to process learning of network functions and data classification using network functions.
- a computer program executed in a computing device according to an embodiment of the present invention may be a CPU, GPGPU, or TPU executable program.
- network function may be used interchangeably with artificial neural network or neural network.
- a network function may include one or more neural networks, and in this case, the output of the network function may be an ensemble of the outputs of one or more neural networks.
- the model may include a network function.
- a model may include one or more network functions, in which case the output of the model may be an ensemble of the outputs of one or more network functions.
- the processor 130 may read the computer program stored in the memory 120 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the processor 130 may perform calculations to calculate environmental composition information based on sleep state information. According to one embodiment of the present invention, the processor 130 may perform calculations to learn a sleep analysis model.
- the sleep analysis model will be explained in more detail below.
- sleep information related to the user's sleep quality can be inferred based on the sleep analysis model.
- Environmental sensing information acquired in real time or periodically from the user is input as an input value to the sleep analysis model, and data related to the user's sleep is output.
- both learning and inference can be designed to be performed by the computing device 100.
- learning may be performed in the computing device 100, but inference may be performed in the user terminal 10.
- learning may be performed in the computing device 100, but inference may be performed in the environment creation device 30 implemented with smart home appliances (various home appliances such as air conditioners, TVs, lighting, refrigerators, and air purifiers).
- this may be performed by the sleep environment control device 400 of FIG. 1(b). That is, both learning and inference can be performed by the sleep environment control device 400.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the processor 130 may typically process the overall operation of the computing device 100.
- the processor 130 can provide or process appropriate information or functions to the user terminal by processing signals, data, information, etc. input or output through the components discussed above or by running an application program stored in the memory 120. there is.
- the processor 130 may obtain information on the user's sleep state.
- Acquiring sleep state information may be acquiring or loading sleep state information stored in the memory 120. Additionally, acquisition of sleep state information may involve receiving or loading data from another storage medium, another computing device, or a separate processing module within the same computing device based on wired/wireless communication means.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- sleep state information may include information related to whether the user is sleeping.
- the sleep state information may include at least one of first sleep state information indicating that the user is before sleeping, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleeping.
- the processor 130 may determine that the user is in a pre-sleep state (i.e., before going to bed), and the second sleep state information is inferred. In this case, it may be determined that the user is in a sleeping state, and if third sleep state information is obtained, it may be determined that the user is in a post-sleep state (i.e., waking up).
- This sleep state information may be obtained based on environmental sensing information.
- Environmental sensing information may include sensing information obtained in a non-contact manner in the space where the user is located.
- the processor 130 may obtain environmental sensing information. Specifically, environmental sensing information can be obtained through the user terminal 10 carried by the user. For example, environmental sensing information related to the space in which the user operates may be obtained through the user terminal 10 carried by the user, and the processor 130 may receive the corresponding environmental sensing information from the user terminal 10.
- Environmental sensing information may be acoustic information acquired in a non-contact manner during the user's daily life.
- environmental sensing information may include various sound information acquired according to the user's life, such as sound information related to cleaning, sound information related to cooking food, sound information related to watching TV, and sleep sound information acquired during sleep. .
- sleep sound information acquired during the user's sleep may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. That is, sleep sound information in the present invention may mean sound information related to movement patterns and breathing patterns related to the user's sleep.
- sleep stage information may be extracted based on the user's environmental sensing information. Sleep stages can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). there is.
- the sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer. Through sleep stage analysis, it is possible to predict not only sleep-related sleep quality, but also sleep diseases (e.g. sleep apnea) and their underlying causes (e.g. snoring).
- changes in sleep stages can be analyzed and a hypnogram can be created to identify changes in the analyzed sleep stages, thereby identifying the user's sleep cycle.
- FIG. 3 is a diagram comparing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention.
- the sleep stage information obtained according to the present invention not only closely matches polysomnography, but also contains more precise and meaningful information related to sleep stages (Wake, Light, Deep, REM). do.
- the hypnogram shown at the bottom of Figure 3 shows the probability of belonging to one of the four classes (Wake, Light, Deep, REM) in 30-second increments when predicting the sleep stage by receiving user sound information.
- the four classes refer to the awake state, light sleep state, deep sleep state, and REM sleep state, respectively.
- FIG. 4 is a diagram comparing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention in relation to sleep apnea and hypoventilation (hypopnea). .
- the hypnogram shown at the bottom of FIG. 4 indicates the probability of which of the two diseases (sleep apnea and hypoventilation) it belongs to in 30-second increments when predicting a sleep disease by receiving user sound information.
- the sleep stage information obtained according to the present invention not only matches well with polysomnography, but also provides more precise analysis information related to apnea and respiratory depression. Includes.
- the processor 130 can generate environment composition information based on sleep stage information. For example, if the sleep stage is in the light stage or N1 stage, environmental information can be generated to control environmental devices (air conditioners, lights, air purifiers, etc.) to induce deep sleep.
- environmental devices air conditioners, lights, air purifiers, etc.
- a portion of the smart home appliance 800 may sound an alarm when REM sleep is detected within 30 minutes of the wake-up time set by the user.
- the sleep management app of the present invention detects REM in real time during the user's sleep and delivers auditory or tactile stimulation to the user within the above time. It can wake you up.
- a portion of the smart home appliance 800 detects a breathing instability section based on sleep sound information during the user's sleep and provides vibrotactile stimulation to the user to return to stable breathing. You can also encourage them to come.
- the sympathetic nervous system becomes hyperactive and is highly likely to lead to cardiovascular disease in the future. Therefore, when a breathing instability zone is detected in real time during the user's sleep through the sleep management app of the present invention, the present invention
- the user's breathing instability can be stopped by delivering auditory and tactile stimulation to the user through a portion of the smart home appliance 800 according to the embodiment.
- obstructive sleep apnea can be screened step by step.
- Sleep sound information may refer to sound information related to breathing that occurs during the user's sleep.
- Sleep analysis preprocesses the user's sleep sound information and analyzes the user's sleep stage through an AI algorithm. The specific analysis method will be explained in more detail below.
- the processor 130 may obtain sleep state information based on environmental sensing information. Specifically, the processor 130 may identify a singularity in which information of a preset pattern is sensed in the environmental sensing information.
- the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed.
- the processor 130 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds is detected as a singular point in the environmental sensing information. Additionally, the processor 130 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity. The processor 130 may identify a singularity related to the user's sleep timing from environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
- FIG. 5 is an exemplary diagram illustrating a process of acquiring sleep sound information 210 from environmental sensing information 200 related to an embodiment of the present invention.
- the processor 130 may identify a singularity 201 related to the point in time at which a preset pattern is identified from the environmental sensing information 200.
- the processor 130 may acquire sleep sound information 210 based on the identified singularity and sound information acquired after the singularity.
- the waveforms and singularities related to sound in FIG. 5 are merely examples for understanding the present invention, and the present invention is not limited thereto.
- the processor 130 can identify singularities related to the user's sleep from environmental sensing information, thereby extracting and obtaining only sleep sound information from a vast amount of acoustic information (i.e., environmental sensing information) based on the singularities. This provides convenience by allowing users to automate the process of recording their sleep time, and can also contribute to improving the accuracy of acquired sleep sound information.
- the processor 130 may obtain sleep state information related to whether the user is before sleep or in sleep based on the singularity 201 identified from the environmental sensing information 200. Specifically, if the singular point 201 is not identified, the processor 130 may determine that the user is before sleeping, and if the singular point 201 is identified, the processor 130 may determine that the user is sleeping after the singular point 201. there is. In addition, after the outlier 201 is identified, the processor 130 identifies a time point (e.g., waking up time) at which the preset pattern is not observed, and when the corresponding time point is identified, it determines that the user has woken up after sleeping. can do.
- a time point e.g., waking up time
- the processor 130 determines whether the user is before, during, or during sleep based on whether the outlier 201 is identified in the environmental sensing information 200 and whether a preset pattern is continuously detected after the outlier is identified. Sleep state information related to whether or not the user is awake can be obtained.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the processor 830 included in the smart home appliance 800 may identify a singularity 201 related to the time when a preset pattern is identified from the environmental sensing information 200.
- the processor 830 may acquire sleep sound information 210 based on the identified singular point 201 and sound information acquired after the singular point 201.
- the processor 830 included in the smart home appliance 800 identifies the singularity 201 related to the user's sleep from the acoustic information, thereby generating a vast amount of information based on the singularity 201. Only sleep sound information 210 can be extracted and obtained from environmental sensing information (i.e., sound information).
- This provides convenience by allowing users to automate the process of recording their sleep time, and can also contribute to improving the accuracy of acquired sleep sound information.
- the processor 830 may obtain sleep state information related to whether the user is before sleep or in sleep based on the singularity 201 identified from the environmental sensing information 200. Specifically, if the singular point 201 is not identified, the processor 830 may determine that the user is before sleeping, and if the singular point 201 is identified, the processor 830 may determine that the user is sleeping after the singular point 201. there is.
- the processor 830 identifies a time point (e.g., waking up time) at which the preset pattern is not observed, and when the corresponding time point is identified, it determines that the user has woken up after sleeping. can do.
- a time point e.g., waking up time
- the processor 830 determines whether the user is before, during, or during sleep based on whether the outlier 201 is identified in the environmental sensing information 200 and whether a preset pattern is continuously detected after the outlier is identified. Sleep state information related to whether or not the user is awake can be obtained.
- the processor 830 may obtain sleep state information based on sleep sound information rather than environmental sensing information 200.
- the reliability of the sleep state analysis can be further improved.
- the sleep analysis method creates an inference model through deep learning of environmental sensing information, and the inference model extracts the user's sleep state and sleep stage.
- the environmental sensing information 200 including sleep sound information is converted into a spectrogram, and an inference model is created based on the spectrogram.
- the present invention uses a process of preprocessing the environmental sensing information 200 to protect the user's privacy.
- an inference model for extracting the user's sleep state and sleep stage is created through deep learning of the environmental sensing information 200.
- the environmental sensing information 200 including sound information, etc. is converted into a spectrogram, and an inference model may be created based on the spectrogram.
- the inference model may be built in the computing device 100 shown in (a) of FIG. 1 or the sleep environment control device 400 shown in (b) of FIG. 1.
- environmental sensing information including user sound information acquired through the user terminal 10 is input to the corresponding inference model, and sleep state information and/or sleep stage information is output as a result value.
- learning and inference may be performed by the same entity, but learning and inference may also be performed by separate entities. That is, both learning and inference can be performed by the computing device 100 in (a) of FIG. 1 or the environmental control device 400 in (b) of FIG. 1, and learning is performed in the computing device 100, but inference can be performed on the user terminal 10, learning is performed on the computing device 100, and inference is performed on an environment creation device implemented by smart home appliances (various home appliances such as air conditioners, TVs, lighting, refrigerators, air purifiers, etc.) It can be performed in (30).
- smart home appliances various home appliances such as air conditioners, TVs, lighting, refrigerators, air purifiers, etc.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- sleep stage information may be obtained through a sleep analysis model that analyzes the user's sleep stage based on environmental sensing information. That is, the sleep stage information of the present invention can be obtained through a sleep analysis model.
- the processor 130 or the processor 830 may obtain environmental sensing information and acquire sleep sound information based on the environmental sensing information.
- sleep sound information is information related to sounds acquired during the user's sleep, for example, sounds generated as the user tosses and turns during the user's sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. Can include sound.
- Figure 32 (a) is a diagram for explaining sleep stage analysis using a spectrogram in the sleep analysis method according to the present invention.
- Figure 32 (b) is a diagram for explaining sleep disorder determination using a spectrogram in the sleep analysis method according to the present invention.
- Figure 33 (a) is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the present invention.
- Figure 33 (b) is a graph verifying the performance of the sleep analysis method according to the present invention, and is a diagram comparing the polysomnography result (PSG result) and the analysis result (AI result) using the AI algorithm according to the present invention. .
- the corresponding sleep stage (Wake, REM, Light, Deep) can be immediately inferred.
- secondary analysis based on sleep sound information can extract the time when sleep disorders (sleep apnea, hyperventilation) or snoring occurred through the singularity of the mel spectrum corresponding to the sleep stage.
- the breathing pattern is analyzed in one Mel spectrogram, and when a characteristic corresponding to a sleep apnea or hyperpnea event is detected, the point in time when the sleep disorder occurs is determined. It can be judged by point of view. At this time, a process of classifying snoring as snoring rather than sleep apnea or hyperpnea through frequency analysis may be further included.
- the user's sleep image and sleep sound are acquired in real time, and the acquired sleep sound information is immediately converted into a spectrogram.
- a preprocessing process of sleep sound information may be performed.
- the spectrogram is input into the sleep analysis model and the sleep stage is immediately analyzed.
- the hypnogram shown at the bottom of (a) of Figure 33 determines which of the four classes (Wake, Light, Deep, REM) it belongs to in 30-second increments when predicting the sleep stage by receiving user sleep sound information. It represents the probability of
- the four classes refer to the awake state, light sleep state, deep sleep state, and REM sleep state, respectively.
- the sleep analysis results obtained according to the present invention are not only very consistent with polysomnography, but are actually more precise and accurate with regard to sleep stages (Wake, Light, Deep, REM). Contains meaningful information.
- Figure 6(a) is an example diagram for explaining a method of obtaining a spectrogram corresponding to sleeping sound information related to an embodiment of the present invention.
- a sleep analysis model can be created using a spectrogram generated based on sleep sound information. If the sleeping sound information expressed as audio data is used as is, the amount of information is very large, so the amount of calculation and calculation time will increase significantly, and not only will the calculation precision be lowered because it includes unwanted signals, but also all of the user's audio. If the signal is transmitted to the server, there may be concerns about privacy infringement.
- the present invention removes noise from sleep sound information, converts it into a spectrogram (Mel spectrogram), and learns the spectrogram to create a sleep analysis model, thereby reducing the amount of computation and computation time, and protecting personal privacy. It can be achieved up to.
- the processor 130 or processor 830 may generate a spectrogram 300 in response to sleep sound information 210, as shown in (a) of FIG. 6.
- Raw data (sleeping sound information), which is the basis for generating the spectrogram 300, can be input.
- the raw data is acquired through a user terminal from the start point input by the user to the end point, or is obtained through the user's terminal operation (e.g. : It can be acquired from the time when alarm setting) is made to the time corresponding to the terminal operation (e.g., alarm setting time), or the time point can be automatically selected and acquired based on the user's sleep pattern, and the time point of the user's sleep intention can be determined by sound. It can be obtained by automatically determining the viewpoint based on the user's speech, breathing, sounds of peripheral devices (TV, washing machine), etc.) or changes in illumination.
- the viewpoint based on the user's speech, breathing, sounds of peripheral devices (TV, washing machine), etc.
- a process of preprocessing the input raw data may be further included.
- the preprocessing process includes a noise reduction process of raw data.
- noise e.g. white noise
- the noise reduction process can be accomplished using algorithms such as spectral gating and spectral subtraction to remove background noise.
- a noise removal process can be performed using a deep learning-based noise reduction algorithm. In other words, through deep learning, a noise reduction algorithm specialized for the user's breathing and breathing sounds can be used.
- the present invention can generate a spectrogram based only on amplitude excluding phase from raw data, but is not limited to this. This not only protects privacy, but also improves processing speed by lowering data volume.
- the processor 130 or processor 830 may generate a spectrogram 300 corresponding to the sleep sound information 210 by performing fast Fourier transform on the sleep sound information 210. .
- the spectrogram 300 is intended to visualize and understand sound or waves, and may be a combination of waveform and spectrum characteristics.
- the spectrogram 300 may represent the difference in amplitude according to changes in the time axis and frequency axis as a difference in printing density or display color.
- the preprocessed acoustic-related raw data can be cut into 30-second increments and converted into a Mel spectrogram. Accordingly, a 30-second Mel spectrogram may have dimensions of 20 frequency bins x 1201 time steps.
- the amount of information can be preserved by using the split-cat method to change the rectangular Mel spectrogram into a square shape.
- the present invention can use a method of simulating breathing sounds measured in various home environments by adding various noises occurring in the home environment to clean breathing sounds. Because sounds have additive properties, they can be added to each other. However, adding original sound signals such as mp3 or pcm and converting them into a mel spectrogram can consume a lot of computing resources.
- the present invention proposes a method of converting breathing sounds and noise into Mel spectrograms and adding them, respectively. Through this, it is possible to secure robustness in various home environments by simulating breathing sounds measured in various home environments and using them to learn deep learning models.
- the sleep sound information 210 relates to sounds related to breathing and body movements acquired during the user's sleep, and may be a very quiet sound. Accordingly, the processor 130 or processor 830 may convert the sleeping sound information into a spectrogram 300 and perform sound analysis.
- the spectrogram 300 contains information showing how the frequency spectrum of sound changes over time, so it is possible to easily identify breathing or movement patterns related to relatively small sounds, allowing for analysis. Efficiency can be improved.
- At least one of the electronic devices shown in FIG. 1(c) may perform the above-described operation.
- each spectrogram may be configured to have a different concentration of the frequency spectrum. Specifically, it may be difficult to predict whether the sleep sound information is at least one of the awake state, REM sleep state, light sleep state, and deep sleep state based solely on changes in the energy level of the sleep sound information, but by converting the sleep sound information into a spectrogram, each sleep sound information is converted into a spectrogram. Since changes in the frequency spectrum can be easily detected, analysis corresponding to small sounds (eg, breathing and body movements) may be possible.
- the processor 130 or processor 830 may obtain sleep stage information by processing the spectrogram 300 as an input to a sleep analysis model.
- the sleep analysis model is a model for obtaining sleep stage information related to changes in the user's sleep stage, and can output sleep stage information by inputting sleep sound information acquired during the user's sleep.
- the sleep analysis model may include a neural network model constructed through one or more network functions.
- the sleep analysis model may include a neural network model constructed through one or more network functions.
- a sleep analysis model is comprised of one or more network functions, and one or more network functions may be comprised of a set of interconnected computational units, which may generally be referred to as 'nodes'. These 'nodes' may also be referred to as 'neurons'.
- One or more network functions are composed of at least one or more nodes. Nodes (or neurons) that make up one or more network functions may be interconnected by one or more 'links'.
- Figure 9 is a schematic diagram showing one or more network functions related to one embodiment of the present invention.
- a deep neural network may refer to a neural network that includes multiple hidden layers in addition to the input layer and output layer. Deep neural networks allow you to identify latent structures in data.
- Deep neural networks include convolutional neural networks (CNN), recurrent neural networks (RNN), auto encoders, generative adversarial networks (GAN), and restricted Boltzmann machines (RBMs). boltzmann machine), deep belief network (DBN), Q network, U network, Siamese network, etc.
- CNN convolutional neural networks
- RNN recurrent neural networks
- GAN generative adversarial networks
- RBMs restricted Boltzmann machines
- boltzmann machine deep belief network
- Q network deep belief network
- U network Siamese network
- the network function may include an autoencoder.
- An autoencoder may be a type of artificial neural network to output output data similar to input data.
- the autoencoder may include at least one hidden layer, and an odd number of hidden layers may be placed between input and output layers.
- the number of nodes in each layer may be reduced from the number of nodes in the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically and reduced from the bottleneck layer to the output layer (symmetrical to the input layer).
- Nodes in the dimensionality reduction layer and dimensionality restoration layer can be symmetric or asymmetric.
- the autoencoder can perform nonlinear dimensionality reduction.
- the number of input layers and output layers may correspond to the number of sensors remaining after preprocessing of the input data.
- the number of nodes in the hidden layer included in the encoder may have a structure that decreases as the distance from the input layer increases.
- the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and decoder) is too small, not enough information may be conveyed, so if it is higher than a certain number (e.g., more than half of the input layers, etc.) ) may be maintained.
- a neural network may be trained in at least one of supervised learning, unsupervised learning, and semi-supervised learning. Learning of a neural network is intended to minimize errors in output.
- neural network learning learning data is repeatedly input into the neural network, the output of the neural network and the error of the target for the learning data are calculated, and the error of the neural network is transferred from the output layer of the neural network to the input layer in the direction of reducing the error. This is the process of updating the weight of each node in the neural network through backpropagation.
- learning data in which the correct answer is labeled in each learning data is used i.e., labeled learning data
- the correct answer may not be labeled in each learning data. That is, for example, in the case of teacher learning about data classification, the learning data may be data in which each learning data is labeled with a category.
- Labeled training data is input to the neural network, and the error can be calculated by comparing the output (category) of the neural network with the label of the training data.
- the error can be calculated by comparing the input training data with the neural network output.
- the calculated error is backpropagated in the reverse direction (i.e., from the output layer to the input layer) in the neural network, and the connection weight of each node in each layer of the neural network can be updated according to backpropagation.
- the amount of change in the connection weight of each updated node may be determined according to the learning rate.
- the neural network's calculation of input data and backpropagation of errors can constitute a learning cycle (epoch).
- the learning rate may be applied differently depending on the number of repetitions of the learning cycle of the neural network.
- a high learning rate can be used to increase efficiency by allowing the neural network to quickly achieve a certain level of performance, and in the later stages of training, a low learning rate can be used to increase accuracy.
- the training data can generally be a subset of real data (i.e., the data to be processed using the learned neural network), and thus the error for the training data is reduced, but the error for the real data is reduced. There may be an incremental learning cycle.
- Overfitting is a phenomenon in which errors in actual data increase due to excessive learning on training data.
- a phenomenon in which a neural network that learned a cat by showing a yellow cat fails to recognize that it is a cat when it sees a non-yellow cat may be a type of overfitting.
- Overfitting can cause errors in machine learning algorithms to increase.
- various optimization methods can be used.
- methods such as increasing the training data, regularization, or dropout, which omits some of the network nodes during the learning process, can be applied.
- neural network may be used with the same meaning (hereinafter collectively described as neural network).
- Data structures may include neural networks.
- Data structures including neural networks may also include data input to the neural network, weights of the neural network, hyperparameters of the neural network, data obtained from the neural network, activation functions associated with each node or layer of the neural network, and loss functions for learning the neural network. there is.
- a data structure containing a neural network may include any of the components disclosed above.
- the data structure including the neural network is all or It may be configured to include any combination of these.
- a data structure containing a neural network may include any other information that determines the characteristics of the neural network.
- a neural network can generally consist of a set of interconnected computational units, which can be referred to as nodes. These nodes may also be referred to as neurons.
- a neural network consists of at least one node.
- one or more nodes connected through a link may form a relative input node and output node relationship.
- the concepts of input node and output node are relative, and any node in an output node relationship with one node may be in an input node relationship with another node, and vice versa.
- input node to output node relationships can be created around links. As shown in FIG. 8, one or more output nodes can be connected to one input node through a link, and vice versa.
- the value of the output node may be determined based on data input to the input node.
- the nodes connecting the input node and the output node may have a weight.
- Weights may be variable and may be varied by the user or algorithm in order for the neural network to perform the desired function. For example, when one or more input nodes are connected to one output node by respective links, the output node is set to the values input to the input nodes connected to the output node and the links corresponding to each input node. The output node value can be determined based on the weight.
- one or more nodes are interconnected through one or more links to form an input node and output node relationship within the neural network.
- the characteristics of the neural network may be determined according to the number of nodes and links within the neural network, the correlation between the nodes and links, and the value of the weight assigned to each link.
- the two neural networks may be recognized as different from each other.
- Some of the nodes constituting the neural network may form one layer based on the distances from the first input node. For example, a set of nodes with a distance n from the initial input node may constitute n layers.
- the distance from the initial input node can be defined by the minimum number of links that must be passed to reach the node from the initial input node.
- a layer of nodes may be defined by distance from the final output node.
- the initial input node may refer to one or more nodes in the neural network through which data is directly input without going through links in relationships with other nodes.
- it may refer to nodes that do not have other input nodes connected by a link.
- the final output node may refer to one or more nodes that do not have an output node in their relationship with other nodes among the nodes in the neural network.
- hidden nodes may refer to nodes constituting a neural network other than the first input node and the last output node.
- the neural network according to an embodiment of the present invention may have more nodes in the input layer than the nodes in the hidden layer close to the output layer, and may be a neural network in which the number of nodes decreases as it progresses from the input layer to the hidden layer.
- a neural network may contain one or more hidden layers.
- a hidden node in a hidden layer can use the output of the previous layer and the output of surrounding hidden nodes as input.
- the number of hidden nodes for each hidden layer may be the same or different.
- the number of nodes in the input layer may be determined based on the number of data fields of the input data and may be the same as or different from the number of hidden nodes.
- Input data input to the input layer can be operated by the hidden node of the hidden layer and output by the fully connected layer (FCL), which is the output layer.
- FCL fully connected layer
- the sleep analysis model provides sleep stage information by classifying each of the features extracted through the feature extraction model and the feature extraction model into one or more sleep stages, which extracts one or more features for each predetermined epoch. It may include the feature classification model being created.
- the feature extraction model may extract features related to breathing sounds and breathing pattern patterns by analyzing the time-series frequency pattern of the spectrogram 300.
- the feature extraction model may be constructed from part of a neural network model (e.g., an autoencoder) that has been pre-trained through a training data set.
- the learning data set may be composed of a plurality of spectrograms and a plurality of sleep stage information corresponding to each spectrogram.
- the feature extraction model may be constructed through an independent deep learning model (eg, autoencoder) learned through a training data set.
- the feature extraction model can be learned through supervised learning or unsupervised learning methods.
- a feature extraction model can be trained to output output data similar to input data through a learning data set.
- the output data of the hidden layer may be an approximation of the input data (i.e., spectrogram) rather than a perfect copy value.
- the autoencoder can be trained to adjust the weights so that the output data and input data are as equal as possible.
- Each of the plurality of spectrograms included in the learning data set may be tagged with sleep stage information.
- Each of a plurality of spectrograms can be input to the feature extraction model, and the output corresponding to each spectrogram can be stored by matching the tagged sleep stage information.
- first learning data sets i.e., multiple spectrograms
- first sleep stage information e.g., light sleep
- features related to the output for the corresponding input are first sleep stage information. It can be saved by matching with .
- one or more features relevant to the output may be represented in a vector space.
- the feature data output corresponding to each of the first learning data sets is output through a spectrogram related to the first sleep stage, they may be located at a relatively close distance in the vector space. That is, learning can be performed so that a plurality of spectrograms output similar features corresponding to each sleep stage.
- the decoder can be trained to extract features that enable it to well recover the input data. Therefore, as the feature extraction model is implemented through an encoder among the learned autoencoders, features (i.e., multiple features) that enable the input data (i.e., spectrogram) to be well restored can be extracted.
- the encoder that constructs the feature extraction model through the above-described learning process receives the spectrogram 300 (e.g., a spectrogram converted in response to sleep sound information) as an input, the encoder generates features corresponding to the spectrogram 300. It can be extracted.
- the spectrogram 300 e.g., a spectrogram converted in response to sleep sound information
- the processor 130 or the processor 830 may extract features by processing the spectrogram 300 generated in response to the sleep sound information 210 as an input to a feature extraction model.
- the processor 130 or processor 830 may divide the spectrogram 300 into predetermined epochs.
- the processor 130 or the processor 830 may obtain a plurality of spectrograms by dividing the spectrogram 300 corresponding to the sleep sound information 210 into 30-second increments.
- the processor 130 or processor 830 divides the spectrogram in 30-second increments to obtain 840 spectrograms. You can.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the detailed numerical description of the above-described sleep time, division time unit of the spectrogram, and number of divisions is only an example, and the present invention is not limited thereto.
- the processor 130 or processor 830 may process each of the plurality of segmented spectrograms as input to a feature extraction model to extract a plurality of features corresponding to each of the plurality of spectrograms. For example, if the number of spectrograms is 840, the number of features extracted by the feature extraction model correspondingly may also be 840.
- the above-described specific numerical description regarding the spectrogram and number of features is only an example, and the present invention is not limited thereto.
- the processor 130 or processor 830 may obtain sleep stage information by processing a plurality of features output through the feature extraction model as input to a feature classification model.
- the feature classification model may be a neural network model modeled to predict sleep stages in response to features.
- the feature classification model includes a fully connected layer and may be a model that classifies features into at least one of the sleep stages. For example, when the feature classification model inputs the first feature corresponding to the first spectrogram, the first feature may be classified as shallow water.
- the feature classification model can perform multi-epoch classification to predict sleep stages of multiple epochs by using spectrograms related to multiple epochs as input.
- Multi-epoch classification does not provide one sleep stage analysis information in response to the spectrogram of a single epoch (i.e., one spectrogram corresponding to 30 seconds), but spectrograms corresponding to multiple epochs (i.e. It may be used to estimate several sleep stages (e.g., changes in sleep stages according to time changes) at once by using a combination of spectrograms (each corresponding to 30 seconds) as input.
- the feature classification model may input 40 spectrograms (e.g., 40 spectrograms corresponding to 30 seconds each) and perform prediction for the 20 spectrograms located in the center. That is, all spectrograms from 1 to 40 are examined, but the sleep stage can be predicted through classification corresponding to the spectrograms corresponding to 10 to 20.
- the detailed numerical description of the number of spectrograms described above is only an example, and the present invention is not limited thereto.
- spectrograms corresponding to multiple epochs are used as input so that all information related to the past and future can be considered. By doing so, the accuracy of output can be improved.
- the processor 130 or processor 830 may obtain a spectrogram based on sleep sound information. In this case, conversion to a spectrogram may be intended to easily analyze breathing or movement patterns related to relatively small sounds. Additionally, the processor 130 or processor 830 may generate sleep stage information based on the spectrogram obtained by utilizing a sleep analysis model including a feature extraction model and a feature classification model. In this case, the sleep analysis model can perform sleep stage prediction using spectrograms corresponding to multiple epochs as input so that both past and future information can be considered, so more accurate sleep stage information can be output. .
- the processor 130 or processor 830 may output sleep stage information corresponding to sleep sound information using the sleep analysis model described above.
- At least one of the electronic devices shown in FIG. 1(c) may perform the above-described operation.
- sleep stage information may be information related to sleep stages that change during the user's sleep.
- sleep stage information may refer to information about changes in the user's sleep to light sleep, normal sleep, deep sleep, or REM sleep at each time point during the user's 8 hours of sleep last night.
- the detailed description of the above-described sleep stage information is only an example, and the present invention is not limited thereto.
- Figure 6(b) is a conceptual diagram illustrating a privacy protection method using Mel spectrogram transformation for sleep sound information extracted from a user in the sleep analysis method according to the present invention.
- noise e.g. white noise
- the noise reduction process can be accomplished using algorithms such as spectral gating and spectral subtraction to remove background noise.
- a noise removal process can be performed using a deep learning-based noise reduction algorithm.
- the deep learning-based noise reduction algorithm can use a noise reduction algorithm specialized for the user's breathing or breathing sounds, that is, a noise reduction algorithm learned through the user's breathing or breathing sounds.
- the raw data from which the noise has been removed is generated as a Mel-Spectrogram.
- the Mel spectrogram refers to a string of simplified vectors in the frequency domain given the input sentence (text).
- a method of generating a mel spectrogram based only on the amplitude excluding the phase from raw data can be used, which not only protects privacy but also improves processing speed by lowering data capacity.
- the present invention creates a sleep analysis model using the Mel spectrogram 300 generated based on the sleep sound information 210. If the sleep sound information expressed as audio data is used as is, the amount of information is very large, so the amount of computation is reduced. The calculation time increases significantly, and since it includes unwanted signals, not only does the calculation precision deteriorate, but there is also a risk of privacy infringement if all of the user's audio signals are transmitted to the external server (20) or AI server (310). There are concerns.
- the present invention removes noise from sleep sound information using the above-described method, converts it into a Mel spectrogram, and learns the Mel spectrogram to create a sleep analysis model, thereby reducing the amount of calculation and calculation time. , it is possible to protect individual privacy.
- de-identification of sound data can be done for natural language and breathing sounds, which can be converted into natural language conversion Mel spectrogram and breathing sound conversion Mel spectrogram, respectively.
- calculation speed can be improved and calculation load can be reduced by using only the information necessary for the analysis model.
- Figure 34 is a table verifying the accuracy of the sleep analysis method according to the present invention, and is the experimental result data analyzed according to age, gender, BMI, and disease status.
- Figure 34 is a conceptual diagram illustrating an embodiment of the sleep analysis method according to the present invention to make it easier to understand when a smart speaker and a smartphone are used.
- the sleep analysis method according to the present invention unlike the polysomnography method in hospitals, can turn lights on/off during the test, and indoor temperature and humidity can be freely adjusted.
- the smart home appliance 800 is assumed to be a smart speaker 804, but it is not limited thereto. That is, the smart home appliance 800 is a tablet personal computer, a mobile phone, a video phone, an e-book reader, a desktop personal computer, and a laptop personal computer. computer, netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MP3 player, mobile medical device, camera, or wearable device. ) (e.g. smart glasses, head-mounted-device (HMD), electronic clothing, electronic bracelet, electronic necklace, electronic accessory, electronic tattoo, smart watch), smart mirror It can be implemented as a smart mirror, kiosk, etc.
- PDA personal digital assistant
- PMP portable multimedia player
- MP3 player portable multimedia player
- mobile medical device camera, or wearable device.
- smart glasses e.g. smart glasses, head-mounted-device (HMD), electronic clothing, electronic bracelet, electronic necklace, electronic accessory, electronic tattoo, smart watch
- smart mirror It can be implemented as a smart mirror, kiosk, etc.
- the smart home appliance 800 includes a TV, a digital video disk (DVD) player, an audio system, a refrigerator, an air conditioner, a vacuum cleaner, an oven, a microwave oven, a washing machine, an air purifier, a set-top box, and home automation.
- Smart home appliances such as home automation control panel, security control panel, TV box, game console, electronic dictionary, electronic key, camcorder, or electronic picture frame,
- Various medical devices, household robots internet of things (e.g. light bulbs, various sensors, electric or gas meters, sprinkler devices, fire alarms, thermostats, street lights, toasters, exercise equipment, It can be implemented as a hot water tank, heater, boiler, etc.).
- the smart home appliance 800 may be implemented as furniture or part of a building/structure, an electronic board, an electronic signature receiving device, a projector, etc., as described above. It may be one or a combination of more than one of the various devices mentioned.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may correspond to one or a combination of one or more of the various devices described above.
- the sleep analysis method according to the present invention can conveniently and simply analyze the user's depth through smart home appliances 800 such as a smartphone 900 or a smart speaker 804, regardless of time and place, even in places other than hospitals. Sleep analysis is possible.
- Figure 50 is a configuration diagram for explaining the operation of the AI-based non-contact sleep analysis system according to the present invention, which includes one or more smart home appliances 800, a sleep track app, an autonomous vehicle 801, and a living space 802. Includes.
- Figure 51 is a configuration diagram to explain the operation between the components of the AI-based non-contact sleep analysis system according to the present invention, and includes a smart home appliance 800, a smartphone 900, and an AI server 310.
- the smart home appliance 800 has a built-in microphone to acquire the user's sleep sound information and uses this to perform sleep analysis (non-contact sleep analysis), thereby providing more general and precise sleep analysis. can be performed.
- the smart home appliance 800 and the smartphone 900 work together to analyze the user's sleep.
- the smart home appliance 800 and the smartphone 900 may be paired through Bluetooth or other wireless communication methods.
- the smartphone 900 can perform sleep analysis based on the user's sleep sound information obtained from the smart home appliance 800.
- the user's sleep sound information may be obtained from the smart home appliance 800 and transmitted to the smartphone 900, but may also be acquired itself through a microphone built into the smartphone 900.
- sleep stage analysis is performed in a non-contact manner through the smart home appliance 800 and the smartphone 900.
- the user can check the sleep stage analysis results derived from the smartphone 900 through the screen of the smartphone 900.
- the smart home appliance 800 needs to be appropriately placed around the user.
- the smart home appliance 800 of the present invention is not necessarily worn by the user, but is properly installed within a predetermined radius (e.g., 4 to 5 m) within the user's sleeping space regardless of the user's location, distance or angle from the user. If deployed, the sleep stage analysis described above becomes possible.
- a predetermined radius e.g., 4 to 5 m
- the specific numerical description of the radius is only an example, and the present invention is not limited thereto.
- the smart home appliance 800 when the smart home appliance 800 is not worn by the user, the smart home appliance 800 allows the user to receive an input signal (sleep sound information) for sleep analysis. ) can transmit a predetermined signal so that it can be placed close to the user.
- the predetermined signal may be vibration, alarm, text, LED, etc.
- the radius between the user and the smart home appliance 800 may be extracted by the smart home appliance 800 or the smart phone 900.
- the smart home appliance 800 may correspond to a sleep product (device) used to help the user sleep, rather than a device that can be worn by the user.
- a smart speaker 804 may be used as one of the smart home appliances 800.
- the smart speaker 804 may include an acoustic sensor therein to measure various acoustic information.
- the smart speaker 804 can perform primary sleep analysis using acoustic information acquired through an acoustic sensor.
- the smart speaker 804 is paired with the smartphone 900, and the information measured by the smart speaker 804 or the primary sleep analysis result analyzed by the smart speaker 804 can be transmitted to the smartphone 900.
- the smart speaker 804 may include a communication module.
- a smart mattress may be used as one of the smart home appliances 800.
- a smart mattress may contain acoustic sensors inside to measure various acoustic information.
- Smart mattresses can perform primary sleep analysis using acoustic information.
- the smart mattress can be paired with the smartphone 900 and transmit the information measured by the smart mattress, or the primary sleep analysis results in which the smart mattress was analyzed, to the smartphone 900.
- the smart mattress may include a communication module.
- the smart mattress may include various modules (temperature control module, infrared irradiation module, cooling module) for controlling temperature, and the temperature may be adjusted based on the results of final sleep stage analysis. This improves the user's sleep quality.
- the smart speaker 804 or smart mattress mentioned above may include a vibration module or an alarm module to alleviate and improve sleep disorders, which will be described later. That is, when sleep apnea, snoring, sleep hyperventilation, REM sleep, etc. are detected, the vibration module or alarm module of the smart speaker 804 or smart mattress can be activated to deliver tactile or auditory stimulation to the user.
- one or more smart devices may be linked with the Sleep Track app to build and operate an AI-based non-contact sleep analysis system according to the present invention.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- Figure 11 (b) is a block diagram showing the configuration of smart home appliances in the AI-based non-contact sleep analysis system according to the present invention.
- the smart home appliance 800 includes a communication unit 810, a sensor unit 820, a processor 830, a memory 840, and an alarm unit 850. In addition, various configurations for performing the functions of the smart home appliance 800 may be further included.
- additional configurations may be included, some of the configurations may be omitted, or two or more configurations may be integrated into one configuration.
- the communication unit 810 transmits and receives data with the smartphone 900 or the AI server 310 through a wireless communication network.
- Wireless communication networks include Z-wave, zigbee, wifi, Bluetooth (ble), LTE-M, LoRa (long range), narrowband Internet of Things (NB-IoT), and infrared communication. It may include short-range wireless communication networks such as (Infrared Data Association, IrDA).
- wireless communication networks include wireless LAN (Wireless LAN, WLAN), Wibro (Wireless Broadband, Wibro), Wifi (wireless fidelity), WiMax (world interoperability for microwave access), GSM (global system for mobile communication), or CDMA (code division).
- 2G mobile communication networks such as (multiple access), 3G mobile communication networks such as WCDMA (wideband code division multiple access) or CDMA2000, 3.5G mobile communication networks such as HSDPA (high speed downlink packet access) or HSUPA (high speed uplink packet access), LTE It may include, but is not limited to, 4G, 5G, and 6G mobile communication networks such as (long term evolution) networks or LTE-Advanced networks.
- 3G mobile communication networks such as WCDMA (wideband code division multiple access) or CDMA2000
- 3.5G mobile communication networks such as HSDPA (high speed downlink packet access) or HSUPA (high speed uplink packet access)
- LTE It may include, but is not limited to, 4G, 5G, and 6G mobile communication networks such as (long term evolution) networks or LTE-Advanced networks.
- the sensor unit 820 may include a microphone module for extracting the user's sleeping sound information.
- the microphone module may be composed of MEMS (Micro-Electro Mechanical Systems) for application to small devices. These microphone modules can be manufactured in very small sizes and can have a very low Signal Noise Ratio (SNR) compared to condenser microphones or dynamic microphones.
- SNR Signal Noise Ratio
- sleep sound information is information on sound signals during sleep, closely interacts with sleep itself, and can be obtained without separately wearing a wearable device such as a smart watch or smart ring.
- the sensor unit 820 may include an air pressure sensor, a grip sensor, a color sensor, an IR (infrared) sensor, a temperature sensor, a humidity sensor, and an illumination sensor.
- the memory 840 can store a computer program for performing sleep analysis, and the stored computer program can be read and executed by a processor 830, which will be described later. Additionally, the memory 840 may store any type of information generated or determined by the processor 830 and any type of information received by the communication unit 810. Additionally, the memory 840 may store data related to the user's sleep.
- the memory 840 may temporarily or permanently store input/output data.
- the memory 840 is a flash memory type, hard disk type, multimedia card micro type, or card type memory (for example, SD or XD). memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , may be implemented as at least one type of storage medium among magnetic memory, magnetic disk, and optical disk, but is not limited thereto.
- a computer program when loaded into the memory 840, may include one or more instructions that cause the processor 830 to perform methods/operations according to various embodiments of the present invention. That is, the processor 830 can perform methods/operations according to various embodiments of the present invention by executing one or more instructions.
- the processor 830 may be composed of one or more cores, and may include a central processing unit (CPU) of a smart home appliance, and a general purpose graphics processing unit (GPGPU). ), and may include processors for data analysis and deep learning, such as a tensor processing unit (TPU).
- CPU central processing unit
- GPU general purpose graphics processing unit
- TPU tensor processing unit
- the processor 830 may read a computer program stored in the memory 840 and perform data processing for machine learning according to an embodiment of the present invention. According to one embodiment of the present invention, the processor 830 may perform calculations for learning a neural network.
- the processor 830 processes input data for learning in deep learning (DL), extracts features from input data, calculates errors, and updates weights of a neural network using backpropagation. Calculations for learning neural networks can be performed.
- DL deep learning
- At least one of the CPU, GPGPU, and TPU of the processor 830 may process learning of the network function.
- CPU and GPGPU can work together to process learning of network functions and data classification using network functions.
- processors of a plurality of smart home appliances can be used together to process learning of network functions and data classification using network functions.
- the computer program executed in the smart home appliance 800 may be a CPU, GPGPU, or TPU executable program.
- network functions can be used interchangeably with artificial neural networks and neural networks.
- a network function may include one or more neural networks, in which case the output of the network function may be an ensemble of the outputs of one or more neural networks.
- the model may include a network function.
- a model may include one or more network functions, in which case the output of the model may be an ensemble of the outputs of one or more network functions.
- the processor 830 can read a computer program stored in the memory 840 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the processor 830 may perform sleep analysis of the user based on sleep sound information using a sleep analysis model.
- the user's breathing during sleep contains a lot of information for analyzing sleep, including body movements and breathing sounds during sleep, as well as various sleep diseases (e.g., sleep apnea, sleep hypopnea, snoring), etc. It contains a lot of information, so when using artificial intelligence (AI), high accuracy can be expected.
- AI artificial intelligence
- the user's breathing pattern and regularity, movement sounds and breathing sounds during sleep are measured, recovery breathing sounds after an apnea event, and unstable breathing sounds during a hypopnea event. This can be measured.
- breathing sounds during sleep are the user's breathing sounds during sleep, and as shown in FIG. 35, they can be conveniently measured in places other than hospitals through various smart home appliances 800 such as smartphones 900 and smart speakers 804. This is possible information.
- the processor 830 may perform calculations to learn a sleep analysis model. Based on the sleep analysis model, sleep information related to the user's sleep stage, sleep quality, occurrence of sleep disorders, etc. can be inferred. Sleep sound information acquired in real time or periodically from the user is input as input to the sleep analysis model, and data related to the user's sleep (data on sleep stage, sleep quality, occurrence of sleep disorders, etc.) is output.
- the smart home appliance 800 may further include an alarm unit 850.
- the alarm unit 850 is a means for providing tactile or auditory feedback to the user when a sleep disorder such as sleep apnea occurs during the first and second sleep analysis.
- the alarm unit 850 may be implemented as an actuator that generates vibration, a vibration module, or a haptic module, and may also be implemented as a speaker module that generates sound or sound.
- sleep state information may be information related to whether the user is sleeping.
- the sleep state information may include at least one of first sleep state information indicating that the user is before sleeping, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleeping.
- the processor 830 may determine that the user is in a pre-sleep state (i.e., before going to bed), and the second sleep state information is inferred. In this case, it may be determined that the user is in a sleeping state, and if third sleep state information is obtained, it may be determined that the user is in a post-sleep state (i.e., waking up).
- This sleep state information can be obtained based on environmental sensing information.
- Environmental sensing information may be sensing information obtained in a non-contact manner in the space where the user is located.
- the processor 830 may collect environmental sensing information acquired from the sensor unit 820 (sound information related to cleaning, sound information related to cooking food, sound information related to watching TV, sleep sound information acquired during sleep, etc.) Based on this, sleep state information can be extracted.
- sleep sound information acquired during the user's sleep may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or breathing sounds during sleep.
- sleep sound information in the present invention may mean sound information related to the breathing pattern related to the user's sleep.
- sleep stages can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be divided into multiple stages (e.g., 2 stages of Light and Deep, and 4 stages of N1 to N4). ) can be divided into: Sleep stage settings may be defined based on generally accepted sleep stages, but may also be arbitrarily set in various ways depending on the designer.
- sleep stage analysis not only sleep quality but also sleep diseases (eg, sleep apnea) and their underlying causes (eg, snoring) can be predicted.
- sleep diseases eg, sleep apnea
- underlying causes eg, snoring
- the processor 830 can obtain sleep state information based on sound information obtained from the smart home appliance 800. Specifically, the processor 830 may identify a singular point where information of a preset pattern is sensed in the acoustic information.
- the preset pattern information may be related to a breathing pattern related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent.
- breathing sounds may be very low because the neck muscles are not relaxed.
- the autonomic nervous system is stabilized, breathing changes regularly, and breathing sounds can become louder.
- the processor 830 may identify the point in time at which sound information of a preset pattern related to regular breathing, small breathing sounds, etc. is detected in the sound information as a singular point. Additionally, the processor 830 may obtain sleep sound information based on sound information obtained based on the identified singular point 201.
- the processor 830 may identify a singularity related to the user's sleep timing from the acoustic information acquired in time series and obtain sleep sound information based on the singularity.
- At least one or more of the electronic devices shown in FIG. 1(c) performs at least one of the above-described operations. You can also perform .
- Figure 45 is a conceptual diagram showing a training method when only polysomnography microphone data (S) is used in a hospital environment according to a conventional sleep analysis method in order to compare the sleep analysis method of the present invention with the prior art.
- Figure 46 is a conceptual diagram of a method for generating an AI sleep analysis model by reflecting various sounds in a home environment according to the sleep analysis method of the present invention in the training method shown in Figure 45.
- waveform (a) is the waveform of polysomnographic microphone data (S) in a hospital environment
- waveform (b) is the waveform of various noise data (N) generated in a home environment
- waveform (c) is waveform (a). It is a combined waveform of and waveform (b).
- Figure 47 is a table verifying the performance of the sleep analysis method according to the present invention by dividing it into 9 groups according to the type of residential noise and training, and was tested on the first to ninth groups (group 0 to group8). This is data from an experiment.
- the first group of residential noises is rain and wind
- the second group is fans and air conditioners
- the third group is TV, phone, and video recorder sounds
- the fourth group is cars, motorbikes, etc.
- Other vehicle sounds the 5th group are clock sounds
- the 6th group are human conversation sounds and voices
- the 7th group are electronic appliance sounds
- the 8th group are inter-room/inter-floor noises
- the 9th group are pet sounds.
- the training method when using only polysomnography microphone data (S) in a conventional hospital environment is to receive polysomnography microphone data (S) collected in the hospital and run the first AI sleep analysis model. Once output, a label for sleep analysis and diagnosis that reflects the classification loss is generated and fed back.
- the training method when using home polysomnography microphone data (H) is as follows.
- the polysomnography microphone data (S) used in the training method (a) in the case of using only polysomnography microphone data (S) in a conventional hospital environment is Noise data (N) is combined and input.
- the first and second AI sleep analysis models impose a relationship between each other's output data.
- Figure 48 is a schematic diagram illustrating the 24-hour monitoring process of the user by the AI-based non-contact sleep analysis system and sleep analysis method according to the present invention.
- Figure 49 is a table of mean per class results compared with the smart home appliances and sleep analysis method according to the present invention and the products and devices of existing world leading sleep tech companies.
- the present invention uses a smartphone 900 linked to a smart home appliance 800 to seamlessly monitor all of the user's activities in real time even when the smartwatch is taken off while sleeping.
- the smartphone 900 when the smartwatch is taken off, plugged into the charger, placed on the charging pad, etc., the smartphone 900 is automatically activated to continuously analyze the user's activity, rest, sleep, etc. There will be. At this time, the smartphone 900 can be driven when it is sleep time while not adjacent to the smart home appliance 800.
- continuity of user activity measurement including sleep
- 24 hours of data can be secured through the smartphone 900.
- the data can be processed into various reports and provided to users.
- the user starts sleep recording by touching the screen of the smartphone 900, and provides a sleep analysis result report (bedtime, waking delay time, sleep time, time taken to wake up after alarm, etc.) analyzed in the above-mentioned manner.
- Alarms can be automatically generated according to the sleep stage (alarms with gradually louder sounds according to individual sleep stages, etc.), and user profiling (sleep information, preferred content, content recommendations based on age/gender/occupation, etc.)
- You will be able to receive all-day care services such as recommendations for customized sleep/exercise/eating/cosmetics/behavioral regulations optimized for your personal sleep pattern.
- the present invention shows weight/blood pressure, sleep apnea, insomnia, or exercise and insomnia through sleep measurement records, which can motivate users to change their behavior to improve their health. In other words, the present invention can very naturally improve compliance with user behavior changes.
- the present invention can be linked to diet, exercise, and weight tracking in a healthcare app. .
- sleep apnea history enables behavioral intervention with the real-time sleep apnea detection and accuracy of the present invention.
- PSQI can be used to compare objective sleep quality before and after.
- the present invention can show the user the correlation between stress levels and sleep, or premenstrual syndrome and insomnia, which can make the user re-aware of his or her health status.
- an interesting element is added by indicating the correlation between stress levels and sleep quality, and depending on the user's stress level and level of depression, it is possible to fill out a psychiatric-related questionnaire provided by the healthcare app.
- insomnia is complained of as one of the symptoms of premenstrual syndrome
- sleep efficiency can be recorded in the calendar within the menstrual cycle tracking function so that sleep data can be compared, allowing the user to check the health status related to the user's physiological phenomenon.
- one of the important things in analyzing sleep stages is to determine whether the user wakes up during sleep or whether the user truly wakes up. In other words, it is necessary to be able to properly analyze the WAKE stage, which is the waking stage, and the sleep sound signal is a very useful factor in detecting whether you are in the true WAKE stage.
- the sleep sound signal used in the sleep stage analysis of the present invention starts before the user wakes up (before reaching the WAKE stage). It represents precursor signals (sound patterns, movement patterns, etc.), through which the WAKE stage can be predicted and detected.
- the judgment of the WAKE stage based on the sleep sound signal becomes more precise.
- a user wakes up sometimes it follows the body's biorhythm, but sometimes it is influenced by external factors (surrounding noise, noise, etc.).
- the present invention builds an AI sleep stage analysis model by learning various surrounding noises such as noise that occurs routinely in the user's sleep environment, that is, noise that occurs routinely in the surrounding space, noise that occurs abnormally or intermittently, and thus makes the WAKE stage clearer and more reliable. It becomes possible to predict and detect.
- the sleep analysis of the present invention using sleep sound information has a very high versatility because anyone can analyze sleep as long as there is a device including a microphone, etc., and can be applied to a variety of devices.
- the sleep analysis method, sleep disorder alleviation and prevention method, sleep disorder improvement method, and monitoring method according to the present invention can be provided by a server that provides cloud computing services. More specifically, the sleep analysis method, sleep disorder alleviation and prevention method, sleep disorder improvement method, and monitoring method according to the present invention are a type of Internet-based computing and cloud computing in which information is processed by another computer connected to the Internet rather than the user's computer. It can be executed by a server that provides the service.
- various sleep sound information obtained from the smart home appliance 800 and the smartphone 900 is transmitted to the AI server 310, and the AI server 310 provides the corresponding information. After performing sleep analysis using , the results can be transmitted back to the smart home appliance 800 and smartphone 900.
- various sleep sound information obtained from the smartphone 900 may be converted into a spectrogram in the smartphone 900 and transmitted to the AI server 310.
- the AI server 310 can perform sleep analysis using the corresponding spectrogram.
- various sleep sound information acquired from the smartphone 900 is converted into a spectrogram in the AI server 310, and the AI server 310 performs sleep analysis using the spectrogram. can do.
- a cloud computing service can be a service that stores data on the Internet and allows users to use it anytime, anywhere through Internet access without having to install necessary data or programs on their computer. Simple manipulation and clicking of data stored on the Internet can be done. It can be easily shared and delivered.
- cloud computing services not only allow you to simply store data on a server on the Internet, but also allow you to perform desired tasks using the functions of applications provided on the web without having to install a separate program, and allow multiple people to view documents at the same time. It may be a service that allows you to work while sharing.
- cloud computing services may be implemented in at least one of the following forms: Infrastructure as a Service (IaaS), Platform as a Service (PaaS), Software as a Service (SaaS), virtual machine-based cloud server, and container-based cloud server.
- IaaS Infrastructure as a Service
- PaaS Platform as a Service
- SaaS Software as a Service
- virtual machine-based cloud server virtual machine-based cloud server
- container-based cloud server container-based cloud server.
- the smart home appliance 800 of the present invention may be implemented in at least one form of the cloud computing service described above.
- the specific description of the cloud computing service described above is merely an example, and may include any platform for constructing the cloud computing environment of the present invention.
- the sleep analysis method, sleep disorder alleviation and prevention method, sleep disorder improvement method, and monitoring method according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
- a computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.
- Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software.
- Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
- program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
- the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the processor 130 or the processor 830 may generate environment composition information based on sleep state information and/or sleep stage information.
- Sleep state information is information related to whether the user is sleeping, and includes first sleep state information indicating that the user is before sleep, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleep. It can contain at least one.
- the step of generating environment creation information will be described in detail using the processor 130 as an example.
- the processor 130 may generate first environment composition information based on first sleep state information. Specifically, when the user obtains first sleep state information indicating that the user is before sleep, the processor 130 may generate first environment creation information based on the first sleep state information.
- the first environment composition information may be information about the intensity and illuminance of light that naturally induces sleep.
- the first environment creation information may be control information to supply 3000K white light at an illumination intensity of 30 lux from the time of sleep induction until the time the second sleep state information is acquired.
- the time to induce sleep may be determined by the processor 130.
- the processor 130 may determine the time to induce sleep through information exchange with the user's user terminal 10.
- the user may set the time at which he or she wants to sleep through the user terminal 10 and transmit the time to the processor 130.
- the processor 130 may determine the time to induce sleep based on the time when the user wants to sleep from the user terminal 10. For example, the processor 130 may determine a point in time 20 minutes prior to when the user wants to sleep as the time to induce sleep. For a specific example, if the time at which the user wants to sleep is 11:00, the processor 130 may determine 10:40 as the time to induce sleep.
- the specific numerical description of the above-mentioned time points is only an example, and the present invention is not limited thereto.
- the processor 130 may obtain the user's sleep intention information based on environmental sensing information and determine the time to induce sleep based on the sleep intention information.
- Sleep intention information may be information that represents the user's intention to sleep in quantitative numbers. For example, as the user's sleep intention is higher, sleep intention information closer to 10 may be calculated, and as the sleep intention is lower, sleep intention information closer to 0 may be calculated.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the processor 130 or processor 830 may obtain sleep intention information based on environmental sensing information.
- the processor 130 or processor 830 may obtain sleep intention information.
- the step of acquiring sleep intention information will be described in detail using the processor 130 as an example.
- the processor 130 may identify the type of sound included in environmental sensing information. Additionally, the processor 130 may calculate sleep intention information based on the number of types of identified sounds. The processor 130 can calculate the sleep intention information at a lower level as the number of types of sounds increases, and can calculate the sleep intention information higher as the number of types of sounds decreases. For a specific example, if there are three types of sounds included in the environmental sensing information (for example, the sound of a vacuum cleaner, the sound of a TV, and the user's voice), the processor 130 may calculate the sleep intention information as 2 points. Also, for example, when there is only one type of sound (eg, washing machine) included in the environmental sensing information, the processor 130 may calculate sleep intention information as 6 points.
- the specific numerical description of the type of sound and sleep intention information included in the above-described environmental sensing information is only an example, and the present invention is not limited thereto.
- the processor 130 may obtain sleep intention information related to how much the user intends to sleep according to the number of types of sounds included in the environmental sensing information. For example, as more types of sounds are identified, sleep intention information indicating that the user's sleep intention is lower (i.e., sleep intention information with a lower score) may be output.
- the processor 130 may generate or record an intent score table by pre-matching different intent scores to each of a plurality of acoustic information.
- the first sound information related to the washing machine may be pre-matched with an intention score of 2 points
- the second sound information related to the sound of the humidifier may be pre-matched with an intent score of 5 points
- the intent score related to the voice may be pre-matched.
- An intent score of 1 point may be matched to the third sound information.
- the processor 130 pre-matches a relatively high intent score for sound information related to the user's sleep (e.g., sounds generated as the user is active, such as vacuum cleaner, dishwashing, voice sound, etc.), and not related to the user's sleep.
- An intent score table can be created by pre-matching relatively low intent scores for acoustic information (e.g., sounds unrelated to the user's activities, vehicle noise, rain sounds, etc.).
- acoustic information e.g., sounds unrelated to the user's activities, vehicle noise, rain sounds, etc.
- the specific numerical description of the intention score matched to each sound information described above is only an example, and the present invention is not limited thereto.
- the processor 130 may obtain sleep intention information based on environmental sensing information and an intention score table. Specifically, the processor 130 may record an intention score matched to the identified sound in response to a point in time when at least one of the plurality of sounds included in the intention score table is identified in the environmental sensing information. For a specific example, in the process of acquiring environmental sensing information in real time, when a vacuum cleaner sound is identified in response to a first time point, the processor 130 matches 2 intent scores matched to the vacuum cleaner sound to the first time point. It can be recorded. In the process of acquiring environment scene information, the processor 130 may match and record the intent score matched to the identified sound at that time whenever each of the various sounds is identified.
- the processor 130 may obtain sleep intention information based on the sum of intention scores obtained over a predetermined period of time (eg, 10 minutes). For a specific example, the higher the intention score obtained for 10 minutes, the higher the sleep intention information can be obtained, and the lower the intention score obtained for 10 minutes, the lower the sleep intention information can be obtained.
- a predetermined period of time eg, 10 minutes.
- the processor 130 may obtain sleep intention information related to how much the user intends to sleep according to the characteristics of the sound included in the environmental sensing information. For example, as sounds related to the user's activity are identified, sleep intention information indicating that the user's sleep intention is low (i.e., sleep intention information with a low score) may be output.
- the processor 130 or the processor 830 may determine environment composition information based on sleep state information and/or sleep intention information.
- various smart home appliances 800 may operate based on environmental composition information.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the determination of environment creation information and the operation of smart home appliances will be explained in detail using drawings, etc.
- Figure 8 shows an exemplary flowchart for providing a method of creating a sleep environment according to sleep state information related to an embodiment of the present invention.
- the method may include obtaining sleep state information of the user (S100).
- the method may include generating environment composition information based on sleep state information (S200).
- S200 sleep state information
- the method may include a step (S300) of transmitting environment creation information to the environment creation device 30.
- Figure 39 is a flowchart for explaining the operation of the AI-based non-contact sleep analysis method according to the present invention.
- Figure 40 is a flowchart showing embodiments of various smart home appliances used in the sleep analysis method according to the present invention.
- a sleep analysis app may be downloaded to the smartphone 900 (S1000).
- At least one smart home appliance 800 may collect the user's sleeping sound information in real time and transmit it to the server 310 (S2000).
- the smartphone 900 can simultaneously collect the user's sleep sound information in real time and transmit it to the server 310 (S3000).
- the server 310 can transmit a sleep analysis result report learned by AI to the smartphone 900 (S4000).
- the smartphone 900 may output a control signal that controls the operation of at least one smart home appliance 800 (S5000).
- At least one smart home appliance 800 may provide a customized sleeping environment to the user (S6000).
- the sleep analysis app (hereinafter referred to as sleeptrack app) according to the present invention can be downloaded to the smartphone 900 (S7100), and if negative, the sleep analysis app according to the present invention (hereinafter referred to as sleeptrack app) can be downloaded to the smartphone 900 (S7100).
- the Sleeptrack app can be linked to the installed app (S7200).
- the SleepTrack app enables seamless monitoring and data collection between daily life and sleep in a contactless manner without wearing a separate wearable device.
- the wake time which is the basis of all sleep treatments, can be accurately adjusted, allowing various types of users at home, regardless of time and place. You can analyze your sleep conveniently and accurately.
- user profiles such as sleep information, preferred content, sleep BTI, and recommended content responsiveness can be created, as well as behavioral correction and sleep routines such as customized exercise and eating optimized for individual sleep patterns. You can recommend content that is available.
- step S7100 it is determined whether the smart home appliance can create a sleeping environment (S8000).
- the sleeping environment may include temperature, humidity, light, sound, head and body position, scent, etc.
- step S8000 if positive, a study interaction may be created (S810) while the SleepTrack app is activated, and if negative, through various user interfaces (e.g., PUI, VUI, and/or GUI). It can be determined whether the device can provide customer value based on sleep analysis, that is, data (S9000).
- a study interaction may be created (S810) while the SleepTrack app is activated, and if negative, through various user interfaces (e.g., PUI, VUI, and/or GUI). It can be determined whether the device can provide customer value based on sleep analysis, that is, data (S9000).
- step S9000 if positive, the Sliptrack app is operated (S9100), and if negative, the operation may be terminated because the introduction of the Sliptrack app is meaningless.
- smart home appliances that reach step S8100 include an air conditioner and/or air purifier for controlling temperature, a humidifier and/or dehumidifier for controlling humidity, blinds and/or curtains for controlling light, lights, and sound. It may include a smart speaker 804 that adjusts, a smart bed that adjusts the position of the user's head and body, a smart diffuser that adjusts scent, and a smart device with a healthcare app installed.
- smart home appliances that reach step S9100 may include TVs, clothes care machines, robot vacuum cleaners, washing machines and/or dryers, refrigerators, and smart devices with healthcare apps installed.
- step (S8100) and step (S9100) include fragrance, cosmetics, health functional food, traditional sleep industry, sports, hotels, re-education academies, fire departments, and government. It may be an industrial field related to institutions, etc.
- sleep management app refers to a type of sleep management app that can analyze sleep without a hardware solution.
- the "Sleep Track App” is a sleep analysis function that delivers the user's sleep report to the user's smartphone (900) in real time through PUI, VUI and/or GUI, and operates the smart home appliance (800) according to the report results. It could mean an app.
- the step of determining environment creation information will be described in detail by dividing it into sleep state and sleep stage using the processor 130 as an example.
- a detailed description will be given using an example of a smart home appliance 800 that operates according to environmental composition information.
- it is not limited to the examples described below, and the present invention is not limited thereto.
- the processor 130 may determine the time to induce sleep based on sleep intention information.
- the processor 130 may identify the time when sleep intention information exceeds a predetermined threshold score as the sleep induction time. That is, when high sleep intention information is obtained, the processor 130 may identify this as a time appropriate for sleep induction, that is, a sleep induction time.
- the processor 130 may determine the timing of inducing the user to sleep. According to an embodiment, when the user acquires the first sleep state information that is before sleep, the processor 130 creates a first environment to adjust the light based on the sleep induction time until the second sleep state information is acquired. Information (3000K white light supplied at an illuminance of 30 lux) can be generated.
- the processor 130 when the user's state is in a pre-bedtime state, the processor 130 operates from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., the first time). 2, the first environment creation information that adjusts the light up to the point at which the sleep state information is acquired) may be generated, and it may be determined to transmit the first environment creation information to the environment creation device 30.
- sleep induction time e.g., sleep induction time
- the first environment creation information that adjusts the light up to the point at which the sleep state information is acquired
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- 3000K white light can be supplied at an illumination intensity of 30 lux from 20 minutes before the user falls asleep (eg, the time of inducing sleep) until the moment the user falls asleep.
- This is an excellent light for secreting melatonin before the user falls asleep, and can improve the user's sleep efficiency by encouraging the user to fall asleep naturally.
- the processor 130 when the user's state is in a pre-bedtime state, the processor 130 operates from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., second sleep time). Until the time the status information is acquired), the first environment creation information for controlling the smart home appliance can be generated.
- first environmental composition information such as removing fine dust and harmful gases in advance by a predetermined time (e.g., 20 minutes before) before the user's sleep, or controlling indoor temperature and humidity for sleeping.
- the first environment creation information controls smart home appliances to generate noise (white noise) at a level that can induce sleep just before sleep, or adjusts the blowing intensity of smart home appliances such as air purifiers or air conditioners to a preset level. It may include information such as adjusting the intensity below, lowering the intensity of the LED, or converting direct wind to indirect wind.
- the first environment creation information may include information for controlling smart home appliances to perform dehumidification/humidification based on temperature and humidity information in the sleeping space.
- the first environment creation information is a control system that adjusts personalized temperature, humidity, blowing intensity, and noise according to the operation history of smart home appliances such as air purifiers or air conditioners and the acquired sleep state (quality of sleep). May contain information.
- the smart home appliance when the user's state is a pre-sleep state, from the time when the user is predicted to prepare for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., second sleep state information is obtained Until this point), the smart home appliance may operate according to the first environment creation information.
- sleep induction time e.g., sleep induction time
- second sleep state information is obtained Until this point
- the smart home appliance may operate according to the first environment creation information.
- the lights installed in the bedroom, living room, kitchen, bathroom, etc. have a built-in motion sensor to detect the user's sleep. Occupancy can be detected. Additionally, healthcare apps can initiate sleep tracking of users.
- a TV according to an embodiment of the present invention can provide user-optimized sleep content.
- you can set the screen off time.
- user-optimized sleep content may include mindfulness, guided imagery, ASMR, counting backwards, sheep counting, etc.
- the air conditioner and/or air purifier according to an embodiment of the present invention can control the indoor temperature for the user's entrance. Additionally, the type of air provided can be switched to indirect air.
- the humidifier and/or dehumidifier according to an embodiment of the present invention can be activated in a low noise state. It is also possible to maintain appropriate humidity.
- the refrigerator according to an embodiment of the present invention may recommend foods that help with sleep (e.g., warm milk, chamomile, etc.) based on analysis of the user's personal bedtime, or may encourage the user not to eat late at night.
- help with sleep e.g., warm milk, chamomile, etc.
- the clothes care machine according to an embodiment of the present invention can be switched to a low-noise mode, or the bedtime start time can be set so that it operates immediately upon waking up.
- Blinds and/or curtains according to an embodiment of the present invention may be automatically closed, and the sleep light among the lights may be switched to weak light. All other lights can be set to turn off.
- the healthcare app when the user falls asleep, the healthcare app can recognize the fact that the user is asleep.
- the TV can be set to continue providing sound-related content among user-optimized sleep content and turn off the screen.
- the processor 130 may generate second environment composition information based on the second sleep state information. Additionally, for example, the processor 130 may determine the point in time at which the user enters sleep, that is, the point in time at which the user enters sleep, through the second sleep state information, and may generate second environment creation information based on this.
- the processor 130 minimizes light from the time of entering sleep or controls smart home appliances to sleep mode to optimize temperature and humidity and create a quiet dark room-like atmosphere.
- Environmental composition information can be generated. This second environment creation information has the effect of improving the quality of sleep by allowing the user to fall into deep sleep.
- the processor 130 may generate external environment composition information based on sleep stage information.
- the sleep stage information may include information about changes in the user's sleep stage acquired in time series through analysis of sleep sound information.
- At least one or more of the electronic devices shown in FIG. 1(c) may perform the above operation.
- the second environment creation information may be control information that minimizes the illuminance to create a dark room environment without light. For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
- the processor 130 lowers the brightness of the display of the smart home appliance to a predetermined brightness, turns off the display, operates with noise below a preset level, or adjusts the blowing intensity based on the second sleep state information.
- Second environment creation information can be generated to control smart home appliances to adjust the intensity below the set intensity, set the blowing temperature within a preset range, maintain the humidity in the sleeping space at a predetermined temperature, or maintain the intertemporal wind. .
- the second environment creation information is used to improve the air quality of the indoor space or optimize the temperature and humidity because there is less risk of waking up when in deep sleep, depending on the sleep stage. It may include control information for operating smart home appliances.
- the processor 130 may prevent light from being supplied or control the operation of the smart home appliance. It is possible to generate second environment creation information. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
- the processor 130 when the processor 130 identifies that the user has entered a sleep stage (e.g., light sleep) through the user's sleep stage information, the processor 130 optimizes the indoor temperature and humidity or minimizes the illuminance to reduce the light.
- a sleep stage e.g., light sleep
- An external device that creates a dark room environment or controls smart home appliances to help you get a good night's sleep, removing fine dust/harmful gases, controlling air temperature and humidity, turning on LEDs, adjusting the level of driving noise, and controlling the amount of air blowing.
- Environmental composition information can be generated.
- the user's sleep efficiency can be improved by creating an optimal sleep environment, that is, optimal illumination for each user's sleep stage.
- the processor 130 may generate environmental information to provide appropriate illumination or adjust air quality according to changes in the user's sleep stage during sleep. For example, when changing from shallow sleep to deep sleep, fine red light is supplied, or when changing from REM sleep to shallow sleep, lowering the illumination level or supplying blue light, etc., more diverse external environments depending on the change in sleep stage. Composition information can be generated. This can have the effect of maximizing the user's sleep quality by automatically considering the entire sleep experience, not just a part of it, by automatically considering the situation during sleep as well as before sleep or immediately after waking up.
- the healthcare app can analyze the user's breathing sounds in real time and provide stimulation such as vibration or alarm in case of apnea.
- a TV according to an embodiment of the present invention can turn off the screen and turn off the sound.
- An air conditioner and/or air purifier according to an embodiment of the present invention can maintain an appropriate indoor temperature and indirect wind. Additionally, the temperature can be adjusted when detecting light water due to temperature changes.
- a humidifier and/or dehumidifier according to an embodiment of the present invention can maintain a low noise mode and appropriate humidity.
- the door lock according to an embodiment of the present invention can check the locking state.
- the outlet and/or switch according to an embodiment of the present invention can be switched to a low power mode.
- the sleep light may be turned off at a preset time (for example, 15 to 25 minutes later) from the time the user's elevation is recognized.
- sleep stages can be further categorized into basic sleep mode, sleep personalization mode, and special care mode.
- the basic sleep mode can be provided by setting the environment (air, temperature, humidity, light, scent, etc.) that creates a comfortable sleeping environment as the default sleep mode.
- the sleep personalization mode can provide a customized sleep mode according to the user's sleep quality based on accumulated user data.
- the special care mode can be developed and provided as an optimized customized sleep mode for each user who has difficulty sleeping, such as itching or being overweight.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the processor 130 may generate third environmental composition information based on the wake-up induction point.
- the processor 130 may generate third environment composition information.
- the processor 130 may identify the user's wake-up time through sleep plan information, generate a predicted wake-up time based on the corresponding wake-up time, and generate environment composition information accordingly. For example, as shown in FIG. 7, the processor 130 starts from 0 lux of 3000K white light based on the bed location 30 minutes before the weather forecast time and gradually increases the illuminance to reach 250 lux.
- Environmental composition information can be generated. This third environment creation information can induce a person to wake up naturally and refreshed in response to the desired wake-up time.
- the processor 130 may determine to transmit environment creation information to the environment creation device 30 . That is, the processor 130 can improve the user's sleep quality by generating external environment creation information that allows the user to easily fall asleep or wake up naturally when going to bed or waking up based on the sleep plan information.
- processor 130 may generate recommended sleep plan information based on sleep stage information. Specifically, the processor 130 can obtain information about changes in the user's sleep stage (eg, sleep cycle) through sleep stage information, and set the expected wake-up time based on this information.
- sleep stage information e.g., sleep cycle
- a typical sleep cycle during the day may go through light sleep, deep sleep, front sleep, and REM sleep stages.
- the processor 130 determines the time after REM sleep when the user can wake up most refreshed and determines the wake-up time after REM, thereby generating recommended sleep plan information. Additionally, the processor 130 may determine to generate environment creation information according to the recommended sleep plan information and transmit it to the environment creation device 30 . Accordingly, the user can wake up naturally according to the recommended sleep plan information recommended by the processor 130. This means that the processor 130 recommends the user's wake-up time according to changes in the user's sleep stage. This may be a time when the user's fatigue is minimized, so it can have the advantage of improving the user's sleep efficiency.
- the third environment creation information may be characterized as control information that supplies 3000K white light by gradually increasing the illuminance from 0 lux to 250 lux from the time of inducing wake-up to the time of waking up.
- the third environment creation information may be control information related to gradually increasing the illumination intensity starting 30 minutes before the user wakes up (i.e., the time of inducing the user to wake up).
- the weather induction time may be determined based on the weather prediction time.
- the weather induction time may be determined based on the weather prediction time.
- the weather prediction time may be information about the time when the user is expected to wake up.
- the weather prediction time may be 7 AM for the first user.
- the detailed description of the above-mentioned weather forecast timing or numerical values is only an example, and the present invention is not limited thereto.
- the third environment creation information may include information for controlling smart home appliances to induce waking up by increasing or lowering at least one of indoor temperature, humidity, blowing intensity, noise, and vibration at the time of waking up. Additionally, the third environment creation information may include control information for controlling smart home appliances to generate white noise to gradually induce waking up.
- the third environment creation information may include control information for controlling the noise of smart home appliances after waking up to be maintained below a preset level.
- the third environment creation information may include control information for controlling smart home appliances in conjunction with the weather prediction time and weather recommendation time.
- the recommended wake-up time may be a time automatically extracted according to the user's sleep pattern, and the predicted wake-up time will be explained in detail later.
- the healthcare app can analyze the user's sleep and recognize the user's sleep pattern.
- the air conditioner and/or air purifier according to an embodiment of the present invention can control the environment, such as indoor air quality, temperature, or humidity, for the user's wake-up.
- the healthcare app may activate a smart alarm installed in the app when the user's REM sleep is detected or a change in the user's body temperature is detected.
- the humidifier and/or dehumidifier according to one embodiment of the present invention may be switched to a normal operating mode.
- the clothing care machine may start operation in accordance with the wake-up alarm time that was previously set in the bed preparation phase.
- Blinds and/or curtains according to one embodiment of the present invention can be opened automatically.
- the washing machine may initiate a washing operation.
- the dryer according to an embodiment of the present invention may initiate a drying operation.
- the healthcare app displays the analyzed user's sleep report on the user's smartphone 900 and provides user-optimized content such as today's weather and major news. .
- the clothing care device can complete tasks such as caring for dust or wrinkles on clothing, removing odors, sterilizing, and drying clothing in accordance with a preset outing time.
- the robot vacuum cleaner delivers a report to the user's smartphone 900 when necessary, secures, analyzes and reflects user data, and controls the washing operation of the washing machine and the dryer before the user goes out. After completing the drying operation, user data can be obtained, analyzed, and reflected.
- the water purifier according to an embodiment of the present invention can secure, analyze, and reflect user data after dispensing automatically customized water that reflects the user's preferences.
- the refrigerator may display a list of recommended and non-recommended breakfast menus and a list of recommended morning exercises on the display unit based on the analyzed user's sleep and health data installed on the front.
- the oven/microwave oven according to an embodiment of the present invention can automatically preheat the menu when one or more of the recommended breakfast menus recommended by the refrigerator are clicked, and then secure, analyze, and reflect user data.
- the best sleeping environment temperature, humidity, air quality, illumination level, etc.
- personal data can be recommended.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the weather prediction time may be determined in advance through information exchange with the user's user terminal 10.
- the user may set the time at which he/she wants to wake up through the user terminal 10 and transmit the time to the processor 130. That is, the processor 130 may obtain the weather prediction time based on the time set by the user of the user terminal 10. For example, when the user sets an alarm time through the user terminal 10, the processor 130 may determine the set alarm time as the weather prediction time.
- the wake-up prediction time may be determined based on the sleep entry time identified through the second sleep state information.
- the processor 130 may determine the time at which the user enters sleep through the second sleep state information indicating that the user is sleeping.
- the processor 130 may determine the wake-up prediction time based on the sleep entry time to be determined through the second sleep state information. For example, the processor 130 may determine the time point after 8 hours, which is the appropriate sleep time, as the weather prediction time point, based on the time of entering sleep. For a specific example, if the sleep entrance time is 11 PM, the processor 130 may determine the weather prediction time to be 7 AM.
- the specific numerical description for each time point described above is only an example, and the present invention is not limited thereto. That is, the processor 130 may determine the wake-up prediction time based on the time when the user falls asleep.
- the recommended wake-up time may be determined based on the user's sleep stage information. For example, a user may wake up most refreshed if he or she wakes up in the REM stage. During one night's sleep, the user can have sleep cycles in the order of light sleep, deep sleep, light sleep, and REM sleep, and can wake up most refreshed when waking up in the REM sleep stage. Preferably, in consideration of the user's appropriate or desired sleep time, the sleep recommendation timing can be determined while at least satisfying the appropriate or desired sleep time.
- the processor 130 may determine the predicted wake-up time of the user through sleep stage information related to the user's sleep stage. For a specific example, the processor 130 determines the time when the user changes from the REM stage to another sleep stage (preferably, the time immediately before transitioning from the REM stage to another sleep stage) as the recommended wake-up time through sleep stage information. You can. That is, the processor 130 may determine the predicted wake-up time based on information on the sleep stage in which the user can wake up most refreshed (i.e., REM sleep stage).
- the processor 130 may determine the predicted wake-up time of the user based on at least one of user settings, sleep entry time, and sleep stage information. Additionally, when the processor 130 determines the weather prediction time, which is the time when the user wants to wake up, the processor 130 may determine the wake-up induction time based on the corresponding weather prediction time. For example, the processor 130 may determine a time point 30 minutes prior to the time the user wants to wake up as the time to induce wake-up. For a specific example, if the time at which the user wants to wake up (i.e., the predicted weather time) is 7 AM, the processor 130 may determine 6:30 AM as the wake-up time.
- the time at which the user wants to wake up i.e., the predicted weather time
- the processor 130 may determine 6:30 AM as the wake-up time.
- the specific description of the above-mentioned time points is only an example, and the present invention is not limited thereto.
- the processor 130 determines the wake-up induction time by determining the weather forecast time at which the user's wake-up is predicted, and emits 3000K white light at 0 lux from the wake-up induction time to the wake-up time (e.g., until the user actually wakes up).
- Third environment creation information can be generated to gradually increase the illuminance to 250 lux.
- the processor 130 may determine to transmit the corresponding third environment creation information to the environment creation device 30, and accordingly, the environment creation device 30 may determine light-related information in the space where the user is located based on the third environment creation information. Adjustment operations can be performed.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the environment creation device 30 can control the light supply module to gradually increase the illuminance of 3000K white light from 0 lux to 250 lux starting 30 minutes before waking up.
- the description of the above-mentioned values is only an example, and the present invention is not limited thereto.
- the processor 130 may obtain fourth environment creation information based on the third sleep state information. Specifically, the processor 130 may obtain the user's sleep disease information.
- sleep disorder information may include delayed sleep phase syndrome. Delayed sleep phase syndrome can be a symptom of a sleep disorder in which one is unable to fall asleep at the desired time and the ideal sleep time is pushed back.
- blue-light therapy is one of the treatment methods for delayed sleep phase syndrome, and may be a treatment that supplies blue light for about 30 minutes after the user wakes up at the desired wake-up time. If this supply of blue light is repeated every morning, the circadian rhythm can be restored to its original state, preventing people from falling asleep later at night than normal people.
- the processor 130 may generate fourth environment creation information based on the sleep disease information and the third sleep state information. For example, when the sleep disease information that the user corresponds to delayed sleep phase syndrome and the third sleep state information that the user is after sleep (i.e., waking up) are obtained through the user terminal 10, the processor 130 4 Environmental composition information can be generated.
- the fourth environment creation information may be control information to supply blue light with an illumination intensity of 300 lux, a hue of 221 degrees, a saturation of 100%, and a brightness of 56% for a preset time from the time of waking up.
- blue light with an illuminance of 300 lux, a hue of 221 degrees, 100% saturation, and 56% brightness may refer to blue light for treating delayed sleep phase syndrome.
- the processor 130 determines the waking up time as 7 a.m. based on the third sleep state information, and starts the wake-up time at 7 a.m.
- the fourth environment creation information can be generated to supply blue light with an illuminance of 300 lux, a hue of 221 degrees, 100% saturation, and 56% brightness by a preset time (eg, 7:30 a.m.). Accordingly, the user's circadian rhythm can be adjusted to a normal range (for example, to fall asleep around 12 midnight and wake up around 7 am). In other words, the quality of sleep of a user with a specific sleep disorder can be improved through the creation of the fourth environment creation information.
- the processor 130 may determine to transmit environment creation information to the environment creation device. Specifically, the processor 130 may generate environment creation information related to illuminance adjustment, and determines to transmit the corresponding environment creation information to the environment creation device 30, thereby controlling the illuminance adjustment operation of the environment creation device 30. can do.
- light may be one of the representative factors that may affect sleep quality. For example, depending on the light intensity, color, exposure level, etc., it can have a good or bad effect on the quality of sleep. Accordingly, the processor 130 can adjust the illuminance to improve the user's sleep quality. For example, the processor 130 may monitor the situation before or after falling asleep, and adjust the illumination to effectively wake the user up accordingly. That is, the processor 130 can determine the sleep state (eg, sleep stage) and automatically adjust the light intensity to maximize the quality of sleep.
- the sleep state eg, sleep stage
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the description of the above-mentioned values and time points is only an example, and the present invention is not limited thereto.
- One embodiment of the present invention may generate environment creation information for controlling an environment creation device according to at least one detected event.
- Generation of environment composition information may be performed in the computing device 100 shown in (a) of FIG. 1 or the sleep environment control device 400 shown in (b) of FIG. 1. .
- At least one event may be preset in various ways.
- the event may include at least one of the following events A to H.
- Event A above is an event that means the user enters a sleeping space, for example, the bedroom.
- the A event may be detected through a presence detection sensor.
- the presence detection sensor is also called a human body detection sensor, and includes, for example, a radar sensor, a PIR motion sensor, a WiFi sensing sensor, a camera sensor, and an ultrasonic sensor.
- the presence detection sensor may be mounted on the environment creation device 30, or may be separately mounted in the bedroom and connected to the environment creation device 30 by wire or wirelessly.
- the presence detection sensor is connected to the network of FIG. 1 (a) or FIG. 1 (b) and sends a detection signal to the computing device 100, the sleep environment control device 400, the user terminal 10, or the environment. It can also be transmitted to the composition device 30.
- the presence detection sensor may be connected to the user terminal 10 through short-distance communication and transmit a detection signal to the user terminal 10.
- the presence detection sensor may be present in at least one of the electronic devices shown in FIG. 1(c).
- the A-th environment creation information for automatically turning on the environment creation device 30 may be generated.
- the A-th environment creation information may also include control information for changing and setting the environment creation device 30 to a specific operation mode.
- the B event above is an event that means the user lies down on the bed.
- the B event can be detected through a piezoelectric sensor.
- the piezoelectric sensor can be mounted on the bed where the user sleeps. However, it is not limited to this, and the piezoelectric sensor can also be mounted on a sofa or massage chair where the user can sleep.
- the piezoelectric sensor may be connected to the environment creation device 30 by wire or wirelessly.
- the piezoelectric sensor is connected to the network of FIG. 1 (a) or FIG. 1 (b) and sends a detection signal to the computing device 100, the sleep environment control device 400, the user terminal 10, or the environment creation device. It can also be transmitted to the device 30.
- the piezoelectric sensor may be connected to the user terminal 10 through short-distance communication and transmit a detection signal to the user terminal 10.
- the B-th environment creation information may include control information of the environment creation device 30 for the user's elevation.
- the control information may include information for reducing noise or light generated by the environment creation device 30.
- the environment creation device 30 is an air conditioner
- the air volume can be changed and set to a specific intensity or lower
- the current air volume can be lowered to the specific intensity or lower
- the direct wind can be converted to indirect wind or no wind
- the brightness of the display unit can be adjusted. It may include information such as lowering the brightness below a certain level.
- it may include information about turning off the lights installed in the bedroom or lowering the brightness below a predetermined level. Additionally, it may include information about removing sleep disturbance factors from the outside by closing curtains or blinds installed in the bedroom. Additionally, it may include information to turn on a sound device installed in the bedroom to play a specific sound source or, conversely, to turn off the sound device. Additionally, it may include information that changes the motion of the motion bed installed in the bedroom to a specific motion that is advantageous for reading or watching media before going to bed. Additionally, it may include information to operate a scent generator installed in the bedroom to generate a scent that helps with relaxation.
- the C event above is an event that means the user has entered (or entered) the surface of the water.
- the C event can be determined by the computing device 100 or the sleep environment control device 400 that has received the environmental sensing information sensed by the user terminal 10.
- the time of elevation (or entrance) to the water surface can be determined through environmental sensing information sensed by the user terminal 10.
- the C environment creation information may include control information for creating an optimal bedroom sleep environment.
- the optimal bedroom sleep environment may be optimal environmental information obtained based on pair data (temperature or/and humidity & sleep quality) acquired over the past predetermined period (e.g., a week, or a month). . For example, based on quantitative data indicating the user's sleep quality during the past week and the temperature and humidity data of the bedroom during the period when the quantitative data was obtained, the temperature of the bedroom in which the user slept best and humidity can be determined as the optimal bedroom sleeping environment.
- the control information may be to set the temperature and humidity of the bedroom of the environment creation device 30 to optimal temperature and humidity. Additionally, information may be included to turn off lights installed in the bedroom. It may also include information about turning off sound devices installed in the bedroom. Additionally, it may include information to change the motion of the motion bed installed in the bedroom to a specific motion that is advantageous for a good night's sleep. Additionally, information may be included to enable a scent generator installed in the bedroom to emit a scent that helps with a good night's sleep or to turn off the scent generator.
- the D event above is an event that occurs when sleep apnea or respiratory depression occurs while the user is sleeping.
- the D event can be determined by the computing device 100 or the sleep environment control device 400 that has received environmental sensing information sensed by the user terminal 10. As shown in FIG. 4, it is possible to determine when sleep apnea or respiratory depression occurs through environmental sensing information sensed by the user terminal 10.
- the D environment creation information for driving the environment creation device 30 into a sleep mode may be generated.
- the D environment creation information may include control information for alleviating sleep apnea or respiratory depression, or quickly converting stopped or weak breathing to normal breathing.
- the control information may increase the set humidity or temperature if the environment creation device 30 is an air conditioner, or change direct or indirect wind to no wind. Conversion information may be included.
- the environment creation device 30 when the environment creation device 30 includes a humidifying function, it may include information for activating the humidifying function.
- the environment creation device 30 includes a vibration function it may include information activating the corresponding vibration function. Additionally, it may include information that allows lights installed in the bedroom to be illuminated at a specific brightness and color temperature. Additionally, it may include information about turning on a sound device installed in the bedroom. Additionally, it may include information to change the motion of the motion bed installed in the bedroom to a specific motion that helps the user's breathing. Additionally, it may include information that generates a scent that can alleviate sleep apnea by generating a scent generator installed in the bedroom.
- the E event above is an event that means the user has entered deep sleep.
- the E event can be determined by the computing device 100 or the sleep environment control device 400 that has received environmental sensing information sensed by the user terminal 10. As shown in FIG. 3, it is possible to determine when deep sleep has been entered through environmental sensing information sensed by the user terminal 10.
- E environment creation information for driving the environment creation device 30 into a sleep mode may be generated.
- the E environment composition information may include control information for changing the temperature or humidity to be optimized for the deep sleep stage.
- the control information may include information for changing the current temperature or humidity of the bedroom to the optimized temperature or humidity.
- the optimized temperature or humidity may be determined as the specific temperature or humidity at which the user continued deep sleep for the longest time using a quantitative sleep report obtained over the past predetermined period. Additionally, it may include information about turning off lights installed in the bedroom or reducing them to minimum brightness. It may also include information about turning off sound devices installed in the bedroom. Additionally, it may include information to change the motion of the motion bed installed in the bedroom to a specific motion that is advantageous for deep sleep. Additionally, it may include information that generates a scent that can maintain a good night's sleep by generating a scent generator installed in the bedroom.
- the F event above is an event that indicates when the user wakes up during sleep.
- the F event can be determined by the computing device 100 or the sleep environment control device 400 that has received environmental sensing information sensed by the user terminal 10.
- the time of waking up can be determined through environmental sensing information sensed by the user terminal 10.
- the F environment creation information for driving the environment creation device 30 into a sleep mode may be generated.
- the F environment creation information may include control information to help the user fall asleep again.
- the control information includes information for changing the set temperature and humidity of the air conditioner to the preferred temperature or humidity that was mainly set by the user in the past when the environment creation device 30 is an air conditioner. It can be included.
- control information may include information for changing the set temperature or humidity of the environment creation device 30 to a specific temperature or humidity at which the user's waking time was the shortest using a past quantitative sleep report. Additionally, it may include information to ensure that the lighting installed in the bedroom is illuminated with a specific brightness and color temperature that is helpful for the elevation. Additionally, it may include information on turning on or off sound devices installed in the bedroom.
- it may include information to change the motion of the motion bed installed in the bedroom to a specific motion that helps the user re-enter the room. Additionally, it may include information that generates a scent that helps with re-entry by generating a scent generator installed in the bedroom.
- the G event above is an event that means REM sleep occurs near a preset alarm time.
- the G event can be determined by the computing device 100 or the sleep environment control device 400 that has received environmental sensing information sensed by the user terminal 10.
- the time of REM sleep can be determined through environmental sensing information sensed by the user terminal 10.
- the G environment creation information for driving the environment creation device 30 into a sleep mode may be generated.
- the G environment creation information may include control information to help the user wake up.
- the control information is used to change the set temperature or humidity of the air conditioner to a specific temperature or humidity that allows the user to wake up naturally or most refreshed. May contain information.
- control information may include information for changing the set temperature or humidity of the air conditioner to the user's most preferred specific temperature or humidity using past quantitative sleep reports. Additionally, it may include information that allows the lighting installed in the bedroom to be illuminated with a specific brightness and color temperature specific to the weather.
- it may include information about opening curtains or blinds installed in the bedroom. Additionally, it may include information about playing a specific sound source by turning on a sound device installed in the bedroom. Additionally, it may include information to change the motion of the motion bed installed in the bedroom to a specific motion that is beneficial to the weather. Additionally, it may include information that causes a scent generator installed in the bedroom to generate a scent that can lead to a pleasant awakening.
- the H event above is an event that indicates when the user wakes up.
- the H event can be determined by the computing device 100 or the sleep environment control device 400 that has received environmental sensing information sensed by the user terminal 10.
- the wake-up time can be determined by determining whether a predetermined pattern is continuously sensed.
- H environment creation information for driving the environment creation device 30 into a sleep mode may be generated.
- the H environment creation information may include control information that sets the temperature of the bedroom where the user sleeps to the optimal temperature after waking up.
- the control information includes information for changing the set temperature or humidity of the air conditioner to the user's preferred temperature or humidity based on past history at the time the user wakes up when the environment creation device 30 is an air conditioner. can do.
- control information may include suggestion information for changing the set temperature or humidity of the air conditioner after waking up to a recommended temperature or humidity to the user through the user terminal. Additionally, it may include information that allows lights installed in the bedroom to be illuminated at a specific brightness and color temperature. Additionally, it may include information to turn on a sound device installed in the bedroom to display specific media or play a specific sound source. Additionally, it may include information about opening windows installed in the bedroom to allow ventilation. Additionally, it may include information that changes the motion of the motion bed installed in the bedroom to a specific motion that helps the user wake up. Additionally, it may include information that causes a scent generator installed in the bedroom to generate a scent that can help the user move after waking up.
- the embodiment of the present invention is, for example, an embodiment such as (c) in FIG. 1, at least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations. It may be possible.
- the processor 130 may receive sleep plan information from the user terminal 10.
- Sleep plan information is information generated by the user through the user terminal 10 and may include, for example, information about bedtime and wake-up time.
- the processor 130 may generate external environment creation information based on sleep plan information.
- the processor 130 may identify the user's bedtime through sleep plan information and generate external environment creation information based on the corresponding bedtime.
- at least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- the processor 130 may generate first environmental composition information to provide white light of 3000K with an illumination intensity of 30 lux based on the bed position 20 minutes before bedtime. there is. In other words, it is possible to create an illumination level that induces the user to naturally fall asleep in relation to bedtime.
- the description of the above-mentioned values and time points is only an example, and the present invention is not limited thereto.
- Example 1 of method for preventing and alleviating sleep disorders
- Figure 36 (a) is a flowchart explaining a method for preventing and alleviating sleep disorders using an AI-based non-contact sleep analysis system according to an embodiment of the present invention.
- the present invention can analyze the user's sleep in real time and identify the point where sleep disorders (sleep apnea, sleep hyperventilation, sleep hypopnea) occur. If stimulation (tactile, auditory, olfactory, etc.) is provided to the user at the moment the sleep disorder occurs, the sleep disorder may be temporarily alleviated.
- the present invention can stop the user's sleep disorder and reduce the frequency of sleep disorder based on accurate event detection related to the sleep disorder.
- the method for preventing and alleviating sleep disorders using the smart home appliance 800 collects the user's sleep sound information and performs primary sleep analysis and secondary sleep analysis based on this. Perform.
- the first sleep analysis is a sleep analysis based on the user's sleep sound information
- the second sleep analysis corresponds to an analysis based on the first sleep analysis results and sleep sound information
- the specific analysis method is the same as described above.
- the smart home appliance 800 may generate at least one of tactile feedback and auditory feedback.
- the smart home appliance 800 may further include an alarm unit 850 for feedback, which may be implemented as an actuator that generates vibration, a vibration module, or a haptic module, and may be implemented as a speaker module that generates sound or sound. It could be.
- vibration transmitted to a body part in contact with the smart home appliance 800 e.g., the whole body in the case of a smart mat
- a sound or sound echoing in the ear e.g., a smart speaker 804, a smartphone, a smart TV, etc.
- a body part in contact with the smart home appliance 800 e.g., the whole body in the case of a smart mat
- a sound or sound echoing in the ear e.g., a smart speaker 804, a smartphone, a smart TV, etc.
- the above-described sleep analysis learning model can perform learning to predict successive clusters of sleep apnea events.
- the input information based on the user's sleep sound information is input to the input layer through a pre-processing process and a Mel spectrogram conversion process, as described above, and the sleep analysis learning model that learned this is a cluster of continuous occurrence of sleep apnea events. becomes possible to predict.
- sleep apnea can be prevented by vibrating the smartphone 900 once or several times not only at the moment when the sleep apnea event is detected, but also at the pre-predicted time. It prevents, alleviates or improves sleep apnea.
- the present invention can analyze sleep stages and alleviate and improve sleep apnea based on sleep sound information signals.
- the pattern of tactile feedback and auditory feedback applied to the user may be intended to reduce the frequency of sleep apnea while maintaining the user's sound sleep. These patterns can be adjusted in real time based on the user's sleep stage analysis results.
- this pattern may be inferred through a deep learning model learned based on big data on the user's sleep stage analysis results and big data on the frequency of sleep apnea.
- stimulation may be delivered to the user through the smart home appliance 800 if it is determined to be in the REM sleep stage.
- REM sleep is a sleep stage in which brain waves become faster and autonomic activities such as heart rate and breathing are irregular, and is accompanied by mild involuntary muscle spasms or rapid eye movements. It is common to wake up 3 to 4 times approximately at intervals of 80 to 120 minutes, but in severe cases, it may develop into REM sleep disorder and affect the quality of sleep.
- the user can be stimulated through the smart home appliance 800 even at REM sleep points. That is, as a result of the first sleep analysis and the second sleep analysis, when it is determined that the user has entered the REM sleep stage, the smart home appliance 800 may generate at least one of tactile feedback and auditory feedback.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- Example 2 of method for preventing and alleviating sleep disorders
- Figure 36 (b) is a flowchart explaining a method for preventing and alleviating sleep disorders using an AI-based non-contact sleep analysis system according to another embodiment of the present invention.
- the embodiment shown in (b) of FIG. 36 assumes a situation in which sleep analysis is performed on the smart home appliance 800 and the smartphone 900.
- the sleep analysis results may include sleep state information, sleep stage information, sleep disorder occurrence information, time information, etc.
- the smartphone 900 performs sleep analysis based on sleep sound information acquired through a built-in microphone module. Below, a description will be given of how the smartphone 900 uses sleep sound information (Sound) to derive the final sleep analysis result.
- the smartphone 900 can derive the final sleep analysis result using weights. Specifically, the smartphone 900 may derive a secondary sleep analysis result by applying the same weight to the first sleep analysis result and the sleep analysis result using sleep sound information.
- the smartphone 900 determines that the user has entered the corresponding sleep stage only when the sleep stage in the first and second sleep analysis results completely matches, and derives the final sleep analysis result. can do.
- the smartphone 900 first performs a secondary sleep analysis using sleep sound information (Sound) using an AI sleep analysis model described later, and then calculates the AI confidence level for the sleep stage for each time period. Extracted additionally.
- the sleep stage result of the corresponding time period is adopted as the sleep stage result derived by primary sleep analysis.
- the smartphone 900 first secures statistics on areas that are inconsistent with actual analysis results in the AI sleep analysis model described later. Statistics may be entered by a user, but may also be independently obtained through data from multiple users. The smartphone 900 can additionally adopt the first sleep analysis results in areas where the obtained statistics are inconsistent with the actual analysis results, focusing on the secondary sleep analysis results (sound-based analysis).
- the learning method of the AI sleep analysis model will be described in more detail below, but briefly explained, by inputting two pieces of information (first sleep analysis result and sleep sound information) into the deep learning input layer, two factors An AI sleep analysis model that performs sleep analysis can be created.
- the sensor unit if it is determined that sleep apnea has occurred as a result of the secondary sleep analysis by the smartphone 900, the sensor unit immediately transmits the sleep apnea occurrence information to the processor built into the smartphone 900.
- the sleep apnea occurrence information corresponds to a trigger signal for the smart home appliance 800 to generate at least one of tactile feedback and auditory feedback, and the smart home appliance 800 generates vibration and sound when sleep apnea occurrence information is received.
- the user can be stimulated through sound, etc.
- the stimulation quickly relieves the user's sleep apnea, and through continuous monitoring and stimulation, the user's sleep apnea can be prevented or alleviated.
- the first sleep analysis may be omitted, and sleep analysis may be performed only on the smartphone 900. That is, based on the user's sleep sound information, the user's sleep is analyzed in the method mentioned above, and when sleep apnea is detected as a result of the sleep analysis, sleep apnea occurrence information is immediately sent to the smartphone 900.
- the smart home appliance 800 e.g., smart mat, smart speaker, etc.
- the smart home appliance 800 can cause vibration or an alarm (sound, sound) to be generated.
- the frequency of waking up during sleep increases when sleeping in an environment with a relative humidity of 80% and a temperature of 32 degrees Celsius, compared to a sleep state in an environment with a relative humidity of 50% and a temperature of 26 degrees Celsius.
- the rate has decreased.
- Such stimulation to prevent or alleviate the user's sleep disorder may be generated by an environment creation device other than the smartphone 900 or the smart speaker 804.
- other environmental creation devices include lighting, air purifier, humidifier, speaker (audio), clothes manager, TV, clock, PC, motion bed, mattress, smart pillow, blind, curtain, robot, vacuum cleaner, washing machine, dryer, and water purifier. , refrigerator, oven/range, etc.
- Information on the occurrence of a user's sleep disorder can be transmitted to the various environment creation devices mentioned above, and the environment creation device can generate a stimulus source to stimulate the user.
- information on the occurrence of sleep disorders can be used to control lighting (lights) to increase the illuminance, generate an air purifier operation sound, turn on the TV, activate a clock alarm, turn on the PC, Interrupts sleep disorders by stimulating the user by controlling the motion bed to change the bed angle, controlling the smart pillow or smart mattress to provide tactile changes or movement, or operating various home appliances to generate sound. , can be alleviated.
- At least one or more of the electronic devices shown in (c) of FIG. 1 may perform at least one or more of the above-described operations.
- Figure 37 is a diagram illustrating a traffic response method when the sleep analysis method according to the present invention is performed in the cloud.
- FIG 38 is a conceptual diagram for explaining single-person sleep analysis and multi-person sleep analysis in the sleep analysis method according to the present invention.
- the smart home appliance 800 is a smart speaker 804.
- this is only an explanation to aid understanding, and the smart home appliance of the present invention is not limited to this.
- the sleep analysis method according to the present invention can be provided to users through the Amazon Web Services (AWS) cloud. Since the sleep analysis method according to the present invention is mainly performed from evening time to early morning, traffic may occur during that time.
- AWS Amazon Web Services
- the sleep analysis method includes the steps of analyzing a time section in which a lot of traffic occurs, predicting an event entering the time section, and automatically adjusting the AI server 310 when the event occurs ( It may further include steps of adding, rearranging, etc.). Through this, the present invention can flexibly cope with traffic that is likely to occur at a specific time.
- both the smart speaker 804 and the smartphone 900 are located in the same sleep space in the single person sleep analysis. That is, the smart speaker 804 can acquire sleep sound information and sleep environment information of one user, and the smartphone 900 can acquire sleep sound information and sleep environment information (illuminance, etc.) of one user. there is. In such a single-person sleep environment, the sleep analysis method described above can be applied as is.
- the sleep sound information acquired by the smart speaker 804 or the smartphone 900 includes the sleep information of multiple people, such as User 1 and User 2. It can be included.
- the sleep environment control device 400, the user terminal 10, and the external server 20 provide data for the system according to embodiments of the present invention through a network. They can be sent and received mutually.
- the user terminal 10 is a terminal that can receive information related to the user's sleep through information exchange with the sleep environment control device 400, and may refer to a terminal owned by the user.
- the general configuration and functions of the user terminal 10 may be as described above.
- the user terminal 10 can obtain sound information related to the space where the user is located.
- sound information may mean sound information obtained in the space where the user is located.
- Acoustic information can be obtained in relation to the user's activity or sleep in a non-contact manner.
- acoustic information may be acquired in the space while the user is sleeping.
- sound information acquired through the user terminal 10 may be information that serves as the basis for obtaining the user's sleep state information in the present invention.
- sleep state information related to whether the user is before, during, or after sleep may be obtained through sound information obtained in relation to the user's movement or breathing.
- information about changes in the user's sleep stage during sleep time may be obtained through sound information.
- the sleep environment control device 400 of the present invention can receive health checkup information or sleep checkup information from the external server 20 and construct a learning data set based on the corresponding information.
- the description regarding the external server 20 has been described in detail above, and the description will be omitted here.
- the acoustic information used by the sleep environment control device 400 to analyze the sleep state may be acquired in a non-invasive manner during the user's activities or sleep in the work space.
- the sound information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep.
- the environmental sensing information may include sleep sound information, and the sleep sound information may mean sounds related to movement patterns and breathing patterns that occur during the user's sleep.
- sound information may be obtained through at least one of the user terminal 10 and the sound collection unit 414 carried by the user.
- environmental sensing information related to the user's activities in a work space may be obtained through a microphone module provided in the user terminal 10 and the sound collection unit 414.
- the configuration of the microphone module provided in the user terminal 10 or the sound collection unit 414 is the same as described above.
- the acoustic information that is the subject of analysis in the present invention is related to the user's breathing and movements acquired during sleep, and is information about very small sounds (i.e., sounds that are difficult to distinguish), and is acquired along with other sounds during the sleep environment. Therefore, if it is acquired through a microphone module as described above with a low signal-to-noise ratio, detection and analysis may be very difficult.
- the sleep environment control device 400 may obtain sleep state information based on acoustic information acquired through a microphone module composed of MEMS. Specifically, the sleep environment control device 400 can convert and/or adjust ambiguously acquired acoustic information including a lot of noise into data that can be analyzed, and use the converted and/or adjusted data to learn about the artificial neural network. can be performed. When pre-training for the artificial neural network is completed, the learned neural network (e.g., acoustic analysis model) is based on the data (e.g., transformed and/or adjusted) acquired (e.g., transformed and/or adjusted) in response to the acoustic information to determine the user's Sleep state information can be obtained.
- the learned neural network e.g., acoustic analysis model
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Anesthesiology (AREA)
- Psychology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Business, Economics & Management (AREA)
- Hematology (AREA)
- Accounting & Taxation (AREA)
- Acoustics & Sound (AREA)
- Finance (AREA)
- Medical Informatics (AREA)
- Pain & Pain Management (AREA)
- Biophysics (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
본 발명은 환경 조성 장치를 제어하기 위한 방법에 있어서, 환경 센싱 정보를 획득하는 획득 단계; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 전처리 단계; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 생성 단계; 및 상기 생성된 수면 상태 정보에 기초하여 환경 조성 장치를 제어하는 제어 단계;를 포함하는, 환경 조성 장치를 제어하기 위한 방법에 관한 것이다.
Description
본 발명은 AI 기반의 비접촉식 수면 분석을 통한 환경 조성 방법, 장치 및 시스템에 관한 것이다.
진정한 헬스케어를 위해서는 매일 24시간을 모니터링하고 관리해야 한다. 건강 모니터링 및 관리는 단순한 일대일 매칭이 아니라, 모든 요소가 복합적으로 연계되어 있기 때문이다.
또한, 건강을 유지하고 개선시키는 방법에는 운동, 식이요법 등 다양한 방법이 있지만, 하루 중 약 30% 이상의 시간을 차지하는 수면을 잘 관리하는 것이 무엇보다 중요하다.
하지만, 현대인들은 기계의 단순한 노동 대체 및 삶의 여유에도 불구하고 불규칙한 식습관과 생활습관 및 스트레스로 인해 숙면을 취하지 못하고, 불면증, 과다수면, 수면 무호흡 증후군, 악몽, 야경증, 몽유병 등과 같은 수면 질환으로 고통받고 있다.
국민건강보험 공단에 따르면, 국내 수면장애 환자가 2014년부터 2018년까지 연 평균 약 8%씩 증가하는 것으로 나타났으며, 2018년 국내에서 수면장애로 진료받은 환자는 약 57만명에 달한다.
숙면이 신체적 또는, 정신적 건강에 영향을 미치는 중요한 요소로 인식되면서 숙면에 대한 관심이 증가하고 있지만, 수면 질환의 개선을 위해서는 전문 의료 기관을 직접 방문해야 하며, 별도의 검사 비용이 요구되고, 그리고 지속적인 관리가 어려움에 따라 치료에 대한 사용자들의 노력이 미비한 실정이다.
이와 같이 날로 심각해지는 수면 문제로 인하여 수면 건강 관리에 대한 니즈가 증가하고, 이에 따라 수면 문제를 기술로 해결하려는 슬립테크(Sleep Tech) 시장도 빠르게 성장하고 있다.
대한민국 공개특허 제2003-0032529호는 사용자의 신체 정보를 입력받고, 수면 중 사용자의 신체 상태에 따라 반복적인 학습에 의해 검출한 주파수 대역의 진동 및/또는 초음파를 출력하여 최적의 수면 유도가 가능하도록 하는 취침 유도기 및 수면 유도 방법에 대해 개시하고 있다.
다만, 종래의 기술은 신체 착용형 장비로 인해 야기되는 불편함으로 수면의 질이 감소될 우려가 있으며, 장비의 주기적인 관리가(예컨대, 충전 등)이 필요하다.
또한, 종래의 웨어러블 디바이스를 이용한 수면 분석 방법은 웨어러블 디바이스가 사용자 신체에 적절하게 접촉되지 않은 경우, 사용자가 웨어러블 디바이스를 착용하지 않은 경우에는 수면 분석이 불가능하다는 문제점이 있었다.
또한, 복수의 사용자가 같은 공간에서 수면을 취하는 경우, 웨어러블 디바이스 비착용자의 움직임 때문에 웨어러블 디바이스 착용자의 수면 분석에 지장이 생기게 될뿐만 아니라, 웨어러블 디바이스 비착용자에 대한 수면 분석은 불가능하다는 문제점이 있었다.
또한, 종래의 웨어러블 디바이스를 이용한 수면 분석 방법 또는 비접촉식 수면 관리 연구들은 수면 상태일 때와 깨어 있는 상태(wake)일 때 심박변이도(Heart Rate Variability, HRV)의 변이값 또는 뇌파의 변화값을 이용하는데, 그 차이가 크지 않아 모든 수면 치료의 근간이 되는 깨어 있는 상태(wake) 시간을 정확하게 맞추지 못하는 한계가 있었다.
특히, 뇌파의 변화를 코골이 등의 수면 질환 치료 이용시, 코골이의 전조 증상을 뇌파의 변화로 전혀 감지할 수 없어 코골이의 예방에 활용이 불가능하고, 환자의 코골이 후에 뇌파가 후발적으로 변화되는 것을 감지하므로, 코골이의 진단에만 활용되는 한계가 있었다.
이에 따라, 최근에는 비접촉식으로 호흡 패턴, 밤 중 몸의 움직임에 따라 자율신경계의 활성화 정도를 모니터링하여 사용자의 수면 상태를 추정하고, 추정된 수면 상태에 따라서 사용자의 수면 환경을 조성하기 위한 연구들이 진행되고 있다.
특히, 공기의 질, 온도 및 습도 등의 수면 환경과 수면 사이의 관계를 연구한 다수의 논문에 의하면, 공기의 질, 온도 및 습도 등의 수면 환경이 수면의 질에 결정적인 영향을 미친다는 사실이 확인된 바 있다. 이는 수면의 질이 향상되기 위해서는 수면 환경이 최적화될 필요가 있음을 의미한다.
본 발명의 목적은 웨어러블 디바이스를 별도로 구매하거나 착용하지 않고, 시간과 장소에 구애받지 않으면서 편리하게 다양한 종류의 사용자들의 수면을 실시간으로 정확하게 분석할 수 있는 수면분석 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 마이크를 내장한 스마트 가전기기 및 스마트폰을 동시에 이용하여 사용자의 숨소리만을 통해서 종래의 다양한 생체 신호를 대체하고, 인공지능 학습을 통해 사용자의 수면을 심층적으로 분석할 수 있는 수면분석 시스템 및 방법을 제공하는 것이다.
또한, 본 발명은 사용자의 수면 환경에서 감지되는 수면 상태 정보에 기초하여 수면 환경의 공기질, 온도 또는/및 습도 등 다양한 요인과 관련한 최적의 수면환경을 제공하기 위한 다양한 가전기기를 제공함에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 객체의 환경을 조성하기 위한 방법에 있어서, 환경 센싱 정보를 획득하는 단계, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 상기 전처리된 환경 센싱 정보를 데이터화하는 단계, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 단계, 및 상기 생성된 수면 상태 정보에 기초하여 상기 객체의 환경을 조성하기 위한 전자장치를 제어하는 단계를 포함하는, 객체의 환경을 조성하기 위한 방법이 제공될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 상기 전자장치를 제어하는 단계는, 상기 생성된 수면 상태 정보에 기초하여 실시간으로 상기 객체의 환경을 제어하는 정보를 생성하는 단계일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 방법에 있어서, 상기 환경 센싱 정보는 음향 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 방법에 있어서, 상기 음향 정보는 호흡 음향 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 방법에 있어서, 상기 수면 상태 정보는 수면 단계 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 방법에 있어서, 상기 환경 센싱 정보를 데이터화하는 단계는, 상기 전처리된 환경 센싱 정보를 상기 전처리된 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 단계를 더 포함할 수 있다.
여기서, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 방법에 있어서, 상기 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 객체의 환경을 조성하기 위한 전자장치에 있어서, 환경 센싱 정보를 획득하는 센서, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 수단, 상기 전처리된 환경 센싱 정보를 데이터화하는 수단, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 수단, 및 상기 생성된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 전자장치를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 객체의 환경을 조성하기 위한 전자장치에 있어서, 환경 센싱 정보를 획득하는 센서, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 수단, 상기 데이터화된 환경 센싱 정보를 서버로 전송하는 수단, 상기 서버가 상기 전송된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 전자장치를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 객체의 환경을 조성하기 위한 전자장치에 있어서, 환경 센싱 정보를 획득하는 센서, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 수단, 상기 전처리된 환경 센싱 정보를 서버로 전송하는 수단, 상기 서버가 상기 전송된 환경 센싱 정보를 데이터화하고, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 전자장치를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 전자장치가 제공될 수 있다.
여기서, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 전자장치에 있어서, 상기 전자장치를 제어하는 수단은, 상기 생성된 수면 상태 정보에 기초하여 실시간으로 상기 객체의 환경을 제어하는 정보를 생성하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 전자장치에 있어서, 상기 환경 센싱 정보는 음향 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 전자장치에 있어서, 상기 음향 정보는 호흡 음향 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 전자장치에 있어서, 상기 수면 상태 정보는 수면 단계 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 전자장치에 있어서, 상기 데이터화된 환경 센싱 정보는, 상기 전처리된 환경 센싱 정보가, 상기 전처리된 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환된 것일 수 있다.
여기서, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 전자장치에 있어서, 상기 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램일 수 있다.
한편, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 환경 센싱 정보를 획득하는 센서, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 수단, 상기 전처리된 환경 센싱 정보를 데이터화하는 수단, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 수단, 및 상기 생성된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 가전기기를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 환경 센싱 정보를 획득하는 센서, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 수단, 상기 전처리된 환경 센싱 정보를 데이터화하는 수단, 상기 데이터화된 환경 센싱 정보를 서버로 전송하는 수단, 상기 서버가 상기 전송된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 가전기기를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 환경 센싱 정보를 획득하는 센서, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 수단, 상기 전처리된 환경 센싱 정보를 서버로 전송하는 수단, 상기 서버가 상기 전송된 환경 센싱 정보를 데이터화하고, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 가전기기를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 다른 전자장치가, 환경 센싱 정보를 획득하고, 상기 획득된 환경 센싱 정보를 데이터화하고, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 다른 전자장치에서 생성된 상기 수면 상태 정보를 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 상기 객체의 환경이 조성되도록 상기 가전기기를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 다른 전자장치가, 환경 센싱 정보를 획득하고, 상기 획득된 환경 센싱 정보를 데이터화하고, 상기 데이터화된 환경 센싱 정보를 서버로 전송하고, 상기 서버가 상기 전송된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 상기 서버로부터 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 객체의 환경이 조성되도록 상기 가전기기를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 다른 전자장치가, 환경 센싱 정보를 획득하고, 상기 획득된 환경 센싱 정보를 서버로 전송하고, 상기 서버가 상기 전송된 환경 센싱 정보를 데이터화하고, 상기 데이터화된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 상기 서버로부터 수신하는 수단, 및 상기 수신된 수면 상태 정보에 기초하여 객체의 환경이 조성되도록 상기 가전기기를 제어하는 수단을 포함하는, 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 제공될 수 있다.
여기서, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 상기 가전기기를 제어하는 수단은, 상기 생성된 수면 상태 정보에 기초하여 실시간으로 상기 객체의 환경을 제어하는 정보를 생성하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 상기 환경 센싱 정보는 음향 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 상기 음향 정보는 호흡 음향 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 상기 수면 상태 정보는 수면 단계 정보를 포함하는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 상기 데이터화된 환경 센싱 정보는, 상기 전처리된 환경 센싱 정보가, 상기 전처리된 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환된 것일 수 있다.
여기서, 본 발명의 일 실시예에 따른 객체의 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치에 있어서, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램일 수 있다.
본 발명은 환경 조성 장치를 제어하기 위한 방법에 있어서, 환경 센싱 정보를 획득하는 획득 단계; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 전처리 단계; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 생성 단계; 및 상기 생성된 수면 상태 정보에 기초하여 환경 조성 장치를 제어하는 제어 단계;를 포함하는, 환경 조성 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제어 단계에서, 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는, 환경 조성 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 생성 단계는, 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 단계를 더 포함하는, 환경 조성 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제어 단계는, 상기 생성된 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성하는 단계; 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하도록 하는 단계; 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 상기 생성된 사용자의 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하는 단계; 및 상기 환경 조성 장치가 상기 생성된 제2 환경 조성 정보에 기초하여 환경을 조성하도록 하는 단계;를 더 포함하는, 환경 조성 장치를 제어하기 위한 방법에 관한 것이다.
상기 제1 환경 조성 정보를 생성하는 단계는, 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제 1 환경 조성 정보를 생성하는 단계를 더 포함하고, 상기 제2 환경 조성 정보를 생성하는 단계는, 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제2 환경 조성 정보를 생성하는, 환경 조성 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 환경 조성 장치를 제어하는 전자 장치에 있어서, 환경 센싱 정보를 획득하는 센서; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 동작; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작; 및 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작;을 수행하는 제어부;를 포함하는, 환경 조성 장치를 제어하는 전자 장치에 관한 것이다.
본 발명은 상기 제어부는, 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는, 환경 조성 장치를 제어하는 전자 장치에 관한 것이다.
본 발명은 상기 제어부는, 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 동작을 수행하는, 환경 조성 장치를 제어하는 전자 장치에 관한 것이다.
본 발명은 상기 제어부는 상기 생성된 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성하면, 상기 생성된 제1 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하고, 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후, 상기 생성된 사용자의 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하면, 상기 생성된 제2 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는, 환경 조성 장치를 제어하는 전자 장치에 관한 것이다.
본 발명은 상기 생성된 제1 환경 조성 정보는, 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것이고, 상기 생성된 제2 환경 조성 정보는, 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것인, 환경 조성 장치를 제어하는 전자 장치에 관한 것이다.
본 발명은 환경 조성 시스템에 있어서, 환경 센싱 정보를 획득하는 센서, 제어부, 및 네트워크를 통해 정보를 송수신하기 위한 통신부를 포함하는 전자 장치;환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하는 서버; 및환경 조성 장치;를 포함하고, 상기 제어부는 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 동작, 및 상기 통신부를 통해 상기 서버에 상기 전처리된 환경 센싱 정보를 송신하는 동작을 수행하고, 상기 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하고, 상기 제어부는 상기 통신부를 통해 상기 서버로부터 상기 생성된 수면 상태 정보를 수신하는 동작, 및 상기 수신된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 제어부는, 상기 수신된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 제어부는, 상기 수신된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 제어부는, 상기 통신부를 통해 상기 서버로부터 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 정보를 수신하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 제어부는 상기 통신부를 통해 상기 수신된 수면 상태 정보에 기초하여 생성된 제1 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하고, 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후, 상기 통신부를 통해 상기 수신된 사용자의 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하고, 상기 생성된 제2 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 생성된 제1 환경 조성 정보는, 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것이고, 상기 생성된 제2 환경 조성 정보는, 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것인, 환경 조성 시스템에 관한 것이다.
본 발명은 환경 조성 시스템에 있어서, 환경 센싱 정보를 획득하는 센서, 제어부, 및 네트워크를 통해 정보를 송수신하기 위한 통신부를 포함하는 전자 장치;환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작, 및 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 동작을 수행하는 서버; 및 환경 조성 정보에 기초하여 제어되는 환경 조성 장치;를 포함하고, 상기 제어부는 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 동작, 및 상기 통신부를 통해 상기 서버에 상기 전처리된 환경 센싱 정보를 송신하는 동작을 수행하고, 상기 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작, 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하기 위한 환경 조성 정보를 생성하는 동작, 및 상기 생성된 환경 조성 정보를 상기 환경 조성 장치로 송신하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 서버는, 제1 서버 및 제2 서버를 포함하고, 상기 제1 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하고, 상기 제2 서버는 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하기 위한 환경 조성 정보를 생성하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 서버는, 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 서버는, 상기 전자 장치로부터 수신된 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 서버는, 제1 서버 및 제2 서버를 포함하고, 상기 제1 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하고, 상기 제2 서버는 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하기 위한 환경 조성 정보를 생성하는 동작을 수행하는, 환경 조성 시스템에 관한 것이다.
본 발명은 상기 생성된 제1 환경 조성 정보는, 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것이고, 상기 생성된 제2 환경 조성 정보는, 상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것인, 환경 조성 시스템에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 있어서, 환경 센싱 정보를 획득하는 획득 단계; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 전처리 단계; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 생성 단계; 및 상기 생성된 수면 상태 정보에 기초하여 소정의 향을 제공하는 전자 장치를 제어하는 제어 단계;를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 생성된 수면 상태 정보에 기초하여 상기 전자 장치를 실시간으로 제어하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 생성 단계는, 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 단계를 더 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 환경 센싱 정보는 수면 음향 정보를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 수면 상태 정보는, 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제어 단계는, 상기 전자 장치가 제 1 향을 제공하도록 하는 단계; 상기 소정의 향을 제공하는 전자 장치가 상기 제 1 향을 제공하기 시작한 이후 상기 생성된 사용자의 수면 상태 정보에 기초하여 제 2 향 제공 정보를 생성하는 단계; 및 상기 생성된 제 2 향 제공 정보에 기초하여 상기 소정의 향을 제공하는 전자 장치가 상기 제 2 향을 제공하도록 하는 단계;를 더 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제 2 향 제공 정보를 생성하는 단계는, 상기 전자 장치가 상기 제 1 향을 제공하기 시작한 이후, 생성되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향 제공 정보를 생성하는 단계를 더 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제어 단계는, 상기 생성된 수면 상태 정보에 기초하여 제 1 향 제공 정보를 생성하는 단계; 상기 생성된 제 1 향 제공 정보에 기초하여 상기 소정의 향을 제공하는 전자 장치가 제 1 시간동안 상기 제 1 향을 제공하도록 하는 단계; 상기 소정의 향을 제공하는 전자 장치가 제 1 향을 제공하기 시작한 이후 상기 생성된 사용자의 수면 상태 정보에 기초하여 제 2 향 제공 정보를 생성하는 단계; 및 상기 생성된 제 2 향 제공 정보에 기초하여 상기 소정의 향을 제공하는 전자 장치가 제 2 시간동안 상기 제 2 향을 제공하도록 하는 단계;를 더 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제 1 시간 및 상기 제 2 시간은 소정의 최소 시간 단위의 배수인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제 2 향 제공 정보를 생성하는 단계는, 상기 소정의 향을 제공하는 전자 장치가 상기 제 1 향을 제공하기 시작한 이후, 생성되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향 제공 정보를 생성하는 단계를 더 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제 1 향 제공 정보 및 제 2 향 제공 정보는, 향의 속성 정보 및 향의 제공 조절 정보 중 적어도 하나를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제어 단계에 있어서, 상기 제 1 향 제공 정보를 생성하는 단계는, 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제 1 향 제공 정보를 생성하는 단계를 더 포함하고, 상기 제 2 향 제공 정보를 생성하는 단계는, 상기 제 1 향을 제공하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제 2 향 제공 정보를 생성하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 에폭은 30초 단위에 상응하는 데이터로 설정된 것인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 상기 제 1 향 또는 제 2 향 중 적어도 하나는 무향(無香)을 포함하고, 상기 제 1 향 제공 정보 또는 상기 제 2 향 제공 정보 중 적어도 하나는 향을 제공하지 않는다는 정보를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 있어서, 환경 센싱 정보를 획득하는 센서; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 수단; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 수단; 및 상기 생성된 수면 상태 정보에 기초하여 소정의 향을 제공하는 수단;을 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 생성된 수면 상태 정보에 기초하여 소정의 향을 실시간으로 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 수단은, 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 환경 센싱 정보는 수면 음향 정보를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 수면 상태 정보는, 수면 단계 정보, 수면 단계 확률 정보 및 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 생성된 수면 상태 정보에 기초하여 소정의 향을 제공하는 수단은, 사용자에게 제 1 향을 제공하고, 상기 제 1 향을 제공하기 시작한 이후 상기 생성된 사용자의 수면 상태 정보에 기초하여 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 2 향을 제공하는 경우, 상기 제 1 향을 제공하기 시작한 이후 생성되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 생성된 수면 상태 정보에 기초하여 소정의 향을 제공하는 수단은, 상기 생성된 수면 상태 정보에 기초하여 제 1 시간 동안 제 1 향을 제공하고, 상기 제 1 향을 제공하기 시작한 이후 상기 생성된 사용자의 수면 상태 정보에 기초하여 제 2 시간 동안 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 시간 및 상기 제 2 시간은 소정의 최소 시간 단위의 배수인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 2 향을 제공하는 경우, 사용자에게 상기 제 1 향을 제공하기 시작한 이후, 생성되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 향 및 제 2 향은, 향의 속성 정보에 의한 향 및 향의 제공 조절 정보에 의한 향 중 적어도 하나인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 향을 제공하는 경우, 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제 1 향을 제공하고, 상기 제 1 향을 제공하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 에폭은 30초 단위에 상응하는 데이터로 설정된 것인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 향 또는 제 2 향 중 적어도 하나는 무향(無香)을 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 있어서, 환경 센싱 정보를 획득하는 센서; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 수단; 상기 전처리된 환경 센싱 정보를 서버로 전송하는 수단;상기 서버로부터 상기 전송된 환경 센싱 정보에 기초하여 생성된 수면 상태 정보를 수신하는 수단; 및 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 제공하는 수단;을 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 소정의 향을 제공하는 수단;은 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 실시간으로 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 서버로부터 상기 전송된 환경 센싱 정보에 기초하여 생성된 수면 상태 정보를 수신하는 수단은, 상기 서버가 상기 전송된 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하면, 상기 변환된 정보를 수신하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 환경 센싱 정보는 수면 음향 정보를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 수면 상태 정보는, 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 제공하는 수단은, 제 1 향을 제공하고, 상기 제 1 향을 제공하기 시작한 이후 상기 수신된 사용자의 수면 상태 정보에 기초하여 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 2 향을 제공하는 경우, 상기 제 1 향을 제공하기 시작한 이후 수신되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 제공하는 수단은, 상기 수신된 수면 상태 정보에 기초하여 제 1 시간 동안 제 1 향을 제공하고, 상기 제 1 향을 제공하기 시작한 이후 상기 수신된 사용자의 수면 상태 정보에 기초하여 제 2 시간 동안 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 시간 및 상기 제 2 시간은 소정의 최소 시간 단위의 배수인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 2 향을 제공하는 경우, 사용자에게 상기 제 1 향을 제공하기 시작한 이후, 수신되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 향 제공 정보 및 제 2 향 제공 정보는, 향의 속성 정보 및 향의 제공 조절 정보 중 적어도 하나를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 향을 제공하는 경우, 하나 이상의 에폭에 상응하는 시간 동안 수신된 상기 수면 상태 정보에 기초하여 상기 제 1 향을 제공하고, 상기 제 1 향을 제공하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 수신된 상기 수면 상태 정보에 기초하여 상기 제 2 향을 제공하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 에폭은 30초 단위에 상응하는 데이터로 설정된 것인, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 상기 제 1 향 또는 제 2 향 중 적어도 하나는 무향(無香)을 포함하고, 상기 향 제공 정보는 향을 제공하지 않는다는 정보를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 있어서, 환경 센싱 정보를 획득하는 센서; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 수단; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 수단; 및 상기 생성된 수면 상태 정보에 기초하여 소정의 향을 제공하는 가전 기기를 제어하는 수단;을 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 있어서, 환경 센싱 정보를 획득하는 센서; 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 수단; 상기 전처리된 환경 센싱 정보를 서버로 전송하는 수단; 상기 서버로부터 상기 전송된 환경 센싱 정보에 기초하여 생성된 수면 상태 정보를 수신하는 수단; 및 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 제공하는 가전 기기를 제어하는 수단;을 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 있어서, 다른 전자 장치가, 환경 센싱 정보를 획득하고, 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하고, 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보를 수신하는 수신부; 및 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 제공하는 가전 기기를 제어하는 수단;를 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 관한 것이다.
본 발명은 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 있어서, 다른 전자 장치가 환경 센싱 정보를 획득하고, 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하고, 상기 전처리된 환경 센싱 정보를 서버로 전송하면, 상기 서버로부터 상기 전송된 환경 센싱 정보에 기초하여 생성된 수면 상태 정보를 수신하는 수신부; 및 상기 수신된 수면 상태 정보에 기초하여 소정의 향을 제공하는 가전 기기를 제어하는 수단;을 포함하는, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 가전 기기를 제어하는 전자 장치에 관한 것이다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 빛 조절 장치에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보를 서버로 송신하는 송신부; 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하면 상기 서버로부터 상기 생성된 수면 상태 정보를 수신받는 수신부; 상기 수신된 수면 상태 정보에 기초하여 빛 조절 정보를 생성하는 제어부; 및 상기 생성된 빛 조절 정보에 기초하여 조절된 빛을 방출하는 광원부;를 포함하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부는 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여, 사용자의 평균 입면 지연 시간 정보를 생성하면, 상기 생성된 사용자의 평균 입면 지연 시간 정보를 수신받고, 상기 제어부는 상기 사용자의 평균 입면 지연 시간 정보를 기초로 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 설정 시간 정보를 기초로, 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 서버가 사용자가 입면한 것으로 판단하여, 수면 상태 정보를 생성한 경우, 상기 수신부는 상기 수면 상태 정보를 수신하고, 상기 제어부는 상기 수면 상태 정보를 기초로, 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 상기 사용자의 평균 입면시간 정보를 기초로 생성된 빛 조절 정보에 따라, 상기 평균 입면 지연 시간에 도달 시, 상기 광원부의 방출하는 빛의 양을 감소하도록 제어하거나 또는 0 lux로 제어하는 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 사용자가 상기 사용자의 평균 입면 지연 시간보다 빠르게 입면한 경우, 상기 광원부의 방출하는 빛을 임계값 이하로 제어하는 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 사용자가 상기 사용자의 평균 입면 지연 시간보다 늦게 입면한 경우, 상기 광원부의 방출하는 빛을 제1 임계값 이하를 유지하다가, 사용자 입면 시, 제2 임계값 이하로 제어하는 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여 수면 상태 정보를 생성하고, 상기 생성된 수면 상태 정보에 기초하여 사용자의 생체 리듬 정보를 생성하면, 상기 수신부는 상기 생성된 생체 리듬 정보를 상기 서버로부터 수신받는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 상기 수신부가 상기 서버로부터 수신받은 생체 리듬 정보가 소정의 생체 시간 정보에 부합되도록 상기 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 상기 수신부가 소정의 알람 시간 정보를 수신받은 경우, 상기 알람 시간의 임계 시간 전부터, 설정된 소정의 밝기에서 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 소정의 알람 시간 정보를 수신받아, 상기 알람 시간과 임계 시간 사이에 사용자의 렘(REM) 수면이 감지된 경우, 상기 제어부는 상기 사용자의 렘(REM) 수면이 감지된 시점 이후, 소정의 시간 경과 후에, 상기 소정의 시간이 경과한 지점에서, 설정된 소정의 밝기에서 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 소정의 알람 시간 정보를 수신받아, 상기 알람 시간 정보와 임계 시간 사이에 사용자의 렘(REM) 수면이 감지되지 않은 경우, 상기 제어부는 상기 알람 시간의 임계 시간 전, 설정된 소정의 밝기에서 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 제어부는 상기 알람 시간 이후 임계 시간 이상 사용자의 깸(wake) 상태가 감지되지 않는 경우, 상기 광원부가 임계값 이상의 빛을 방출하도록 하는 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 소정의 알람 시간 정보를 수신받은 경우, 상기 제어부는 상기 알람 시간으로부터 임계 시간 전부터, 상기 생성된 사용자의 생체 리듬 정보를 기초로, 설정된 소정의 밝기에서 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 빛 조절 장치에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보를 서버로 송신하는 송신부; 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보에 기초하여, 빛 조절 정보를 생성하고, 상기 생성된 빛 조절 정보를 수신받는 수신부; 및 상기 생성된 빛 조절 정보에 기초하여 조절된 빛을 방출하는 광원부;를 포함하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 빛 조절 장치에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하고, 상기 생성된 수면 상태 정보에 기초하여 빛 조절 정보를 생성하는 제어부; 및 상기 생성된 빛 조절 정보에 기초하여 조절된 빛을 방출하는 광원부;를 포함하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 빛 조절 장치에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보를 제1 서버로 송신하는 송신부; 제2 서버가 제1 서버에서 상기 송신된 음향 정보를 기초로 생성된 수면 상태 정보를 제1 서버로부터 수신받으면, 상기 획득된 음향 정보에 기초하여 빛 조절 정보를 생성하고, 상기 빛 조절 정보를 수신받는 수신부; 상기 수신된 빛 조절 정보에 기초하여 조절된 빛을 방출하는 광원부;를 포함하는 사용자의 수면 환경을 조성하는 빛 조절 장치를 제공한다.
본 과제를 해결하기 위하여, 광원부를 갖는 광원 장치의 빛을 조절하는 장치에 있어서, 음향 정보를 획득하는 센싱부; 애플리케이션이 기록될 수 있는 메모리부; 및 상기 애플리케이션이 실행될 수 있는 프로세서부;를 포함하고, 상기 애플리케이션은 상기 센싱부에서 획득된 음향 정보에 기초하여 수면 상태 정보를 생성하고, 상기 생성된 수면 상태 정보에 기초하여 빛 조절 정보를 생성하며, 상기 빛 조절 정보를 상기 광원부로 송신하도록 구성된 광원부를 갖는 광원 장치의 빛을 조절하는 장치를 제공한다.
본 과제를 해결하기 위하여, 광원부를 갖는 광원 장치의 빛을 조절하는 장치에 있어서, 음향 정보를 획득하는 센싱부; 제1 애플리케이션 및 제2 애플리케이션이 기록될 수 있는 메모리부; 및 상기 제1 애플리케이션 및 상기 제2 애플리케이션이 실행될 수 있는 프로세서부; 를 포함하고, 상기 제1 애플리케이션은, 상기 센싱부에서 획득된 음향 정보에 기초하여 수면 상태 정보를 생성하고, 상기 제2 애플리케이션은 상기 제1 애플리케이션에서 상기 생성된 수면 상태 정보에 기초하여 빛 조절 정보를 생성하며, 상기 빛 조절 정보를 상기 광원부로 송신하도록 구성된 광원부를 갖는 광원 장치의 빛을 조절하는 장치를 제공한다.
본 과제를 해결하기 위하여, 프로그램이 기록된 기록 매체에 있어서, 센싱부에서 획득된 음향 정보를 전처리하여 수면 음향 정보를 획득하는 단계; 상기 획득한 수면 음향 정보를 송신부를 통해 서버로 송신하도록 하는 단계; 상기 서버가 상기 송신된 사용자의 수면 음향 정보에 기초하여, 수면 상태 정보를 생성하면 상기 서버로부터 상기 생성된 수면 상태 정보를 수신부를 통해 수신하도록 하는 제1 수신 단계; 상기 수신된 수면 상태 정보에 기초하여 빛 조절 정보를 생성하는 제어 단계; 및 상기 생성된 빛 조절 정보에 기초하여 조절된 빛이 광원부를 통해 방출하도록 하는 방출 단계;를 수행하기 위한 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 상기 수신 단계는 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여, 사용자의 평균 입면 지연 시간 정보를 생성하면, 상기 생성된 사용자의 평균 입면 지연 시간 정보를 수신받고, 상기 제어 단계는 상기 사용자의 평균 입면 지연 시간 정보를 기초로 빛 조절 정보를 생성하는 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 상기 제어 단계는 설정 시간 정보를 기초로 빛 조절 정보를 생성하는 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 상기 서버가 사용자가 입면한 것으로 판단하여, 수면 상태 정보를 생성한 경우, 상기 수신 단계는 상기 수면 상태 정보를 수신하고, 상기 제어 단계는 상기 수면 상태 정보를 기초로 빛 조절 정보를 생성하는 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 상기 제어 단계는 상기 사용자의 평균 입면 지연 시간 정보를 기초로 생성된 빛 조절 정보에 따라, 상기 평균 입면 지연 시간에 도달 시, 상기 광원부의 방출하는 빛의 양을 감소하도록 제어하거나 또는 설정된 소정의 밝기로 제어하는 빛 조절 정보를 생성하는 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 상기 제어 단계는 사용자가 상기 사용자의 평균 입면 지연 시간에 도달하기 전에 입면이 감지된 경우, 상기 광원부의 방출하는 빛을 임계값 이하로 제어하는 빛 조절 정보를 생성하는 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 온수 매트에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보를 서버로 송신하는 송신부; 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하면 상기 서버로부터 상기 생성된 수면 상태 정보를 수신하는 수신부; 상기 수신된 수면 상태 정보에 기초하여 온도 조절 정보를 생성하는 제어부; 및 상기 생성된 온도 조절 정보에 기초하여 조절된 온도가 되도록 열을 조절하는 열 조절 수단;을 포함하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 사용자가 입면 전이라는 수면 상태 정보를 수신받은 경우, 상기 제어부는 사용자 설정 온도에 기초하여 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 사용자가 입면 잠복기(sleep latency) 중이라는 수면 상태 정보를 수신받은 경우, 또는 사용자 설정 입면 잠복기를 수신받은 경우, 상기 제어부는 상기 수신받은 사용자의 수면 상태 정보 또는 상기 수신받은 사용자 설정 입면 잠복기를 기초로, 상기 사용자 설정 온도로부터 소정의 온도 이하 또는 소정의 온도 이상으로 설정된 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 사용자 체온 측정부를 더 포함하고, 상기 수신부가 상기 서버로부터 사용자가 입면 잠복기 중이라는 수면 상태 정보를 수신받고, 상기 사용자 체온 측정부로부터 사용자 체온 하락 정보를 수신받은 경우, 상기 제어부는 사용자 설정 온도로부터 소정의 온도 이상으로 설정된 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여 수면 상태 정보를 생성하고, 상기 생성된 수면 상태 정보에 기초하여 사용자의 생체 리듬 정보를 생성하면, 상기 수신부는 상기 생성된 생체 리듬 정보를 상기 서버로부터 수신하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 사용자가 입면 잠복기 중이라는 수면 상태 정보를 수신받은 경우, 상기 제어부는 상기 수신부가 상기 서버로부터 수신받은 생체 리듬 정보를 기초로 사용자 설정 온도로부터 소정의 온도로 변화를 준 설정된 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 첫번째 깊은(deep) 수면임을 나타내는 수면 상태 정보를 수신받고, 소정의 시간 이후까지, 상기 제어부가 상기 설정된 온도 조절 정보를 유지하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 첫번째 렘(rem) 수면임을 나타내는 수면 상태 정보를 수신받은 때까지, 상기 제어부가 상기 설정된 온도 조절 정보를 유지하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 렘 수면임을 나타내는 수면 상태 정보를 수신받은 경우, 상기 수신부가 상기 서버로부터 수신받은 수면 상태 정보에 기초하여, 상기 제어부가 상기 렘 수면 동안, 소정의 온도 변화를 주는 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 수신부가 상기 서버로부터 사용자가 깸(wake) 상태, 렘(rem) 상태, 또는 얕은 잠(light) 상태를 나타내는 수면 상태 정보 또는 렘 상태와 얕은 잠 상태 사이의 시점을 나타내는 수면 상태 정보를 수신받은 경우, 상기 제어부가 상기 깸 상태, 상기 렘 상태 또는 상기 얕은 잠 상태 감지 시점으로부터 상기 사용자 희망 깸 시점 사이, 또는 상기 렘 상태 감지 시점과 얕은 잠 상태 감지 시점 사이의 시점으로부터 상기 사용자 희망 깸 시점 사이에 소정의 온도만큼 온도를 높여주는 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 상기 소정의 온도만큼 온도를 높여주는 온도 조절 정보는 상기 수신부가 상기 서버로부터 상기 사용자 희망 깸 시점에 사용자가 얕은 잠 상태를 나타내는 수면 상태 정보를 수신하는 경우, 상기 제어부는 제1 온도 조절 정보를 생성하고, 사용자가 깊은 잠 상태를 나타내는 수면 상태 정보를 수신하는 경우, 상기 제어부는 제2 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 사용자 체온 측정부를 더 포함하고, 상기 수신부가 상기 서버로부터 깸 상태를 나타내는 수면 상태 정보를 수신받고, 상기 사용자 체온 측정부로부터 사용자의 체온이 소정의 온도보다 높은 것을 나타내는 사용자 체온 정보를 수신받은 경우, 상기 제어부가 소정의 온도만큼 온도를 낮춰주는 온도 조절 정보를 생성하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보를 서버로 송신하는 송신부; 상기 서버가 상기 송신된 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하면, 상기 생성된 수면 상태 정보에 기초하여, 온도 조절 정보를 생성하고, 상기 생성된 온도 조절 정보를 수신하는 수신부; 및 상기 생성된 온도 조절 정보에 기초하여 조절된 온도가 되도록 열을 조절하는 열 조절 수단;을 포함하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 온수 매트에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하고, 상기 생성된 수면 상태 정보에 기초하여 온도 조절 정보를 생성하는 제어부; 및 상기 생성된 온도 조절 정보에 기초하여 조절된 온도가 되도록 열을 조절하는 열 조절 수단;을 포함하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 사용자의 수면 환경을 조성하는 온수 매트에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 상기 획득한 사용자의 음향 정보를 제1 서버로 송신하는 송신부; 제2 서버가 제1 서버에서 상기 송신된 음향 정보를 기초로 생성된 수면 상태 정보를 제1 서버로부터 수신받으면, 상기 수신된 수면 상태 정보에 기초하여 온도 조절 정보를 생성하고, 상기 온도 조절 정보를 수신받는 수신부; 상기 수신된 온도 조절 정보에 기초하여 조절된 온도가 되도록 열을 조절하는 열 조절 수단;을 포함하는 사용자의 수면 환경을 조성하는 온수 매트를 제공한다.
본 과제를 해결하기 위하여, 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 애플리케이션이 기록될 수 있는 메모리부; 및 상기 애플리케이션이 실행될 수 있는 프로세서부;를 포함하고, 상기 프로세서부가 상기 애플리케이션을 통해 상기 센싱부에서 획득된 음향 정보에 기초하여 수면 상태 정보를 생성하고, 상기 생성된 수면 상태 정보에 기초하여 온도 조절 정보를 생성하며, 상기 생성된 온도 조절 정보를 온수 매트로 송신하는, 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치를 제공한다.
본 과제를 해결하기 위하여, 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치에 있어서, 음향 정보를 획득하는 센싱부; 제1 애플리케이션 및 제2 애플리케이션이 기록될 수 있는 메모리부; 및 상기 제1 애플리케이션 및 상기 제2 애플리케이션이 실행될 수 있는 프로세서부;를 포함하고, 상기 프로세서부가 상기 제1 애플리케이션을 통해 상기 센싱부에서 획득된 음향 정보에 기초하여 수면 상태 정보를 생성하고, 상기 제2 애플리케이션을 통해 상기 제1 애플리케이션에서 생성된 수면 상태 정보에 기초하여 온도 조절 정보를 생성하며, 상기 온도 조절 정보를 온수 매트로 송신하는 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치를 제공한다.
본 과제를 해결하기 위하여, 프로그램이 기록된 기록 매체에 있어서, 센싱부에서 획득된 음향 정보를 전처리하여 수면 음향 정보를 획득하는 단계; 상기 획득한 수면 음향 정보를 송신부를 통해 서버로 송신하도록 하는 단계; 상기 서버가 상기 송신된 사용자의 수면 음향 정보에 기초하여, 수면 상태 정보를 생성하면 상기 서버로부터 상기 생성된 수면 상태 정보를 수신부를 통해 수신하도록 하는 수신 단계; 상기 수신된 수면 상태 정보에 기초하여 온도 조절 정보를 생성하는 제어 단계; 및상기 생성된 온도 조절 정보에 기초하여 조절된 온도가 되도록 열을 조절하는 열 조절 단계;를 수행하기 위한 프로그램이 기록된 기록 매체를 제공한다.
본 과제를 해결하기 위하여, 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치에 있어서, 애플리케이션이 기록될 수 있는 메모리부; 및 상기 애플리케이션이 실행될 수 있는 프로세서부;를 포함하고, 상기 프로세서부가 상기 애플리케이션을 통해 사용자의 음향 정보를 획득하고, 상기 프로세서부가 상기 애플리케이션을 통해 상기 획득된 사용자의 음향 정보를 제1 서버로 송신하고, 상기 제1 서버가 상기 송신된 사용자의 음향 정보에 기초하여 수면 상태 정보를 생성하면, 상기 프로세서부가 상기 애플리케이션을 통해 상기 수면 상태 정보를 수신받고, 상기 수신받은 수면 상태 정보를 제2 서버로 송신하면, 상기 제2 서버가 상기 수신받은 수면 상태 정보에 기초하여 온도 조절 정보를 생성하고, 상기 프로세서부가 상기 애플리케이션을 통해 상기 생성된 온도 조절 정보를 수신받는 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치를 제공한다.
본 과제를 해결하기 위하여, 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치에 있어서, 사용자의 음향 정보를 획득하는 센싱부; 애플리케이션이 기록될 수 있는 메모리부; 및 상기 애플리케이션이 실행될 수 있는 프로세서부;를 포함하고, 상기 프로세서부가 상기 애플리케이션을 통해 상기 센싱부에서 획득된 음향 정보를 제1 서버로 송신하고, 상기 제1 서버로부터 상기 센싱부에서 획득된 음향 정보를 기초로 획득한 수면 상태 정보를 수신받고, 상기 획득한 수면 상태 정보를 제2 서버로 송신하고, 상기 제2 서버로부터 상기 수신받은 수면 상태 정보를 기초로 획득한 온도 조절 정보를 수신받고, 상기 수신받은 온도 조절 정보를 온수 매트로 송신하는, 열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치를 제공한다.
본 발명에 따른 화장품 추천방법은, 사용자의 수면 지표를 산출하는 단계; 상기 산출된 수면지표에 대응하는 화장품 정보를 생성하는 단계; 및 상기 생성된 화장품 정보를 디스플레이하는 단계;를 포함한다.
그리고, 상기 화장품 정보를 생성하는 단계는, 수면지표에 대응하는 화장품 정보가 기록된 룩업테이블에 기초하여, 추천 화장품 정보를 생성할 수 있다.
또한, 상기 화장품 정보를 생성하는 단계는, 다수의 휴면지표 정보에 대응하여 화장품 정보를 생성하도록 학습하여 화장품 추천모델을 생성하는 단계; 및 상기 수면지표 정보를 상기 화장품 추천모델에 입력하여 추천 화장품 정보를 결과값으로 출력하는 단계;를 포함할 수 있다.
한편, 본 발명에 따른 화장품 검증방법은, 소정의 화장품을 사용한 사용자의 사용자단말로부터 환경센싱정보를 수신하는 단계; 상기 환경 센싱 정보에 기초하여 상기 사용자의 수면상태정보 및 수면단계정보 중 적어도 하나를 획득하는 단계; 상기 수면상태정보 및 수면단계정보 중 적어도 하나를 이용하여 상기 소정의 화장품에 대한 검증지표를 생성하는 단계; 및 상기 검증지표에 기초하여 상기 소정의 화장품의 수면에 질에 대한 효과를 검증하는 단계;를 포함한다.
그리고, 상기 수면상태정보를 획득하는 단계는, 환경센싱정보를 입력으로 학습된 추론모델을 생성하는 단계; 및 상기 사용자단말로부터 수신된 상기 환경센싱정보를 상기 추론모델에 입력하여 상기 수면상태정보를 결과값으로 추출하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 수면에 관한 용품의 추천방법은, 하나 이상의 센서 장치로부터 사용자의 수면 정보를 습득하는 단계; 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 지표를 산출하는 단계; 및 상기 생성된 수면에 관한 용품 정보를 제공하는 단계;를 포함한다.
여기서, 상기 하나 이상의 센서 장치로부터 습득되는 사용자의 수면 정보에는 사용자의 수면 음향 정보를 포함한다.
또한, 본 발명의 일 실시예에 따른 상기 수면에 관한 용품 추천 정보를 생성하는 단계는, 상기 산출된 수면 지표에 대응하는 수면에 관한 용품 정보가 기록된 룩업테이블을 생성하는 단계;를 더 포함할 수 있다.
또는, 본 발명의 일 실시예에 따른 수면에 관한 용품의 추천방법은, 수면에 관한 용품의 검증 지표를 수신하는 단계;를 더 포함하고, 상기 수면에 관한 용품 추천 정보를 생성하는 단계에서 상기 수신한 수면에 관한 용품의 검증 지표 및 상기 산출된 수면 지표에 기초하여 수면에 관한 용품 추천 정보가 생성될 수 있다.
또는, 본 발명의 일 실시예에 따른 수면에 관한 용품의 추천방법은, 사용자로부터 입력작용을 받는 단계;를 더 포함하고, 상기 입력작용은 수면에 관한 용품을 스와이프하는 작용, 키워드를 입력하는 작용, 또는 키워드를 선택하는 작용 중 적어도 하나 이상을 포함하고, 상기 수면에 관한 용품 추천 정보를 생성하는 단계에서 상기 산출된 수면 지표 및 상기 입력작용에 기초하여 수면에 관한 용품 추천 정보가 생성될 수 있다.
또는, 본 발명의 일 실시예에 따른 수면에 관한 용품의 추천방법은, 사용자의 속성에 따른 통계 정보를 수신하는 단계;를 더 포함하고, 상기 사용자의 속성은 사용자의 성별, 연령대, 직업군, 사는 지역, 인종, 반려동물의 유무, 환경적 요인 또는 비환경적 요인 중 적어도 하나를 포함하고, 상기 수면에 관한 용품 추천 정보를 생성하는 단계에서 상기 산출된 수면 지표 및 상기 수신한 사용자의 속성에 따른 통계 정보에 기초하여 수면에 관한 용품 추천 정보가 생성될 수 있다.
또는, 본 발명의 일 실시예에 따른 수면에 관한 용품 추천 정보를 생성하는 단계는, 다수의 수면 지표에 기초하여 수면에 관한 용품 추천 정보를 생성하도록 학습하여 수면에 관한 용품 추천 모델을 생성하는 단계;를 더 포함하고, 상기 산출된 수면 지표를 상기 수면에 관한 용품 추천 모델의 입력으로 하여 수면에 관한 용품 추천 정보를 결과값으로 출력할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 지표를 산출하는 단계는, 사용자의 수면 정보에 포함된 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하고, 상기 변환된 정보에 기초하여 사용자의 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계;를 더 포함할 수 있다.
여기서, 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 지표를 산출하는 단계에서 상기 변환된 정보는 상기 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 시각화하여 나타낸 것일 수 있다.
또는, 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 지표를 산출하는 단계에서 상기 변환된 정보는 스펙트로그램일 수 있다.
한편, 본 발명의 일 실시예에 따른 수면에 관한 용품 검증방법은, 하나 이상의 센서 장치로부터 사용자의 수면 정보를 습득하는 단계; 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계; 및 상기 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나에 기초하여 상기 수면에 관한 용품이 수면에 미치는 영향을 검증하는 단계;를 포함한다.
여기서, 상기 하나 이상의 센서 장치로부터 습득되는 사용자의 수면 정보에는 사용자의 수면 음향 정보를 포함한다.
여기서, 본 발명의 일 실시예에 따른 상기 수면에 관한 용품이 수면에 미치는 영향을 검증하는 단계는, 상기 수면에 관한 용품에 대한 검증 지표를 생성하는 단계;를 더 포함하고, 상기 검증 지표는, 룩업테이블 또는 수면에 관한 수치적인 지표의 형식으로 생성되는 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 수면에 관한 수치적인 지표는 룩업테이블에 기초하여 산출되거나, 또는 수면 분석 결과를 수치적으로 표현한 것에 기초하여 산출되는 것을 특징으로 하고, 상기 수면에 관한 수치적인 지표는 상기 수면에 관한 용품을 사용한 사용자의 입면 지연 시간, 입면 시점, 기상 시점, 총 수면 시간 및 수면 단계 별 수면 시간 중 적어도 하나 이상에 기초하여 산출된 것일 수 있다.
여기서, 본 발명의 일 실시예에 따라 상기 수면 분석 결과를 수치적으로 표현한 것은 100점을 최고점으로 하는 수면의 종합 점수로서, 기 설정된 공식에 의하여 계산되는 것이고, 상기 기 설정된 공식은 각각의 수면 단계 정보마다 대응되는 점수에 기초하여, 상기 수면에 관한 용품을 사용한 사용자의 수면 단계마다 대응되는 점수를 대입함으로써 상기 종합 점수를 계산하는 공식일 수 있다.
한편, 본 발명의 일 실시예에 따라 상기 검증 지표를 생성하는 단계는, 사용자의 주관적인 판단 지표 - 상기 사용자의 주관적인 판단 지표는 문자열 값, 수치 값 또는 사용자의 입력작용 중 적어도 하나 이상에 기초하여 산출된다 - 을 수신하는 단계를 더 포함하고, 상기 검증 지표를 생성하는 단계에서 생성되는 상기 수면에 관한 용품의 검증 지표는 상기 수신한 사용자의 주관적인 판단 지표를 추가적으로 고려하여 생성될 수 있다.
또한, 본 발명의 일 실시예에 따른 수면에 관한 용품을 검증하는 방법은, 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계는, 사용자의 수면 정보에 포함된 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하고, 상기 변환된 정보에 기초하여 사용자의 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 것을 특징으로 할 수 있다.
여기서, 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계에서 상기 변환된 정보는 상기 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 시각화하여 나타낸 것일 수 있다.
또는, 상기 습득된 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계에서 상기 변환된 정보는 스펙트로그램일 수 있다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법은, 스마트 가전기기가 마이크 모듈을 통해 사용자의 수면과 관련한 수면 음향 정보를 실시간으로 획득하는 단계; 사용자 단말이 상기 획득된 수면 음향 정보를 인가받아 스펙트로그램으로 변환 및 분석을 수행하여, 사용자의 수면 단계를 실시간으로 판별하는 단계; 및 상기 판별된 수면 단계별로 발생하는 이벤트에 따라, 상기 사용자 단말이 상기 스마트 가전기기의 동작을 실시간으로 제어하는 제어신호를 출력하는 단계; 를 포함하고, 상기 제어신호를 출력하는 단계는, 상기 스마트 가전기기가 상기 제어신호에 응답하여 사용자에게 수면환경을 제공하는 단계; 를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 판별된 수면 단계는, 침실 입실이 감지되는 경우, 사용자가 침대에 누움이 감지되는 경우, 입면이 감지되는 경우, 깊은 수면 진입이 감지되는 경우, 수면 무호흡증 발생이 감지되는 경우, 수면 중 깸이 감지되는 경우, 알람시간 즈음 REM 수면 발생이 감지되는 경우 및 기상이 감지되는 경우를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 사용자가 침대에 누움이 감지되는 경우는, 침대에 누운 사용자에 의해 입면 버튼이 눌러지는 경우, 상기 사용자 단말에 의해 사용자의 입면의도가 추정되는 단계를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트 가전기기는, 에어컨, 가습기, 제습기, 스마트스피커, 공기청정기, 스마트 TV, 로봇 청소기, 조명, 스마트베드, 의류관리기, 스마트디퓨저, 세탁기, 건조기, 정수기 및 냉장고 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 에어컨은, 상기 사용자의 침대에 누움이 감지되면, 풍량 및 디스플레이부 밝기가 셋팅되고, 바람의 종류가 간접풍으로 전환되며, 사용자의 개인 기록에 따라 입면시간을 단축할 수 있는 온도로 셋팅하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 에어컨은, 상기 입면이 감지되면, 사용자의 수면의 질과 온도의 상관관계에 대한 과거의 매칭 데이터를 통해 사용자에게 맞는 온도가 셋팅되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 에어컨은, 상기 수면 무호흡증 발생이 감지되면, 사용자의 목과 코를 보호하기 위한 온도로 셋팅되고, 상기 수면 중 깸이 감지되면, 사용자가 재입면에 진입할 수 있도록 하는 온도로 셋팅되며, 상기 기상이 감지되면, 사용자의 기상 후 각성을 도울 수 있는 온도 및 풍량으로 셋팅되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 가습기 및 상기 제습기는, 상기 사용자의 침대에 누움이 감지된 상태에서, 사용자별 맞는 습도 또는 사용자의 개인 기록에 따라 입면시간을 단축할 수 있는 습도로 셋팅되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 가습기 및 상기 제습기는, 상기 입면이 감지되면, 저소음 상태로 활성화되고, 상기 깊은 수면 진입이 감지되면, 사용자의 수면 무호흡증 및 수면 중 깸 상태의 발생 여부를 판별하며, 상기 수면 무호흡증이 판별된 경우, 침실 습도를 증가시켜 상기 수면 무호흡증의 증상을 완화시키는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 가습기 및 상기 제습기는, 상기 수면 중 깸이 감지되는 경우로 판별된 경우, 사용자가 재입면에 진입할 수 있도록 하는 습도가 셋팅되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트스피커는, 상기 사용자의 침대에 누움이 감지되면, 사용자의 개인 기록에 따라 수면 유도음이나 소정의 입면 컨텐츠를 재생하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트스피커는, 상기 깊은 수면 진입이 감지되면, 사용자의 수면 무호흡증 및 상기 수면 중 깸 상태의 발생 여부를 판별하며, 상기 상기 수면 중 깸 상태로 판별된 경우, 보이스가 들어가지 않은 입면 컨텐츠가 재생되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 공기청정기는, 상기 사용자의 침대에 누움이 감지되면, LED의 조도를 하강시키고, 구동시 발생하는 소음 및 풍량을 감소시키는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 공기청정기는, 상기 깊은 수면 진입이 감지되면, 풍량을 증가시켜 쾌속 청정 모드로 전환되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 공기청정기가 테이블형인 경우, 상기 기상이 감지되면 사용자의 기상시 수면의 질에 따라 무드등의 색상을 변경시키는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트 TV는, 상기 사용자의 침대에 누움이 감지되면, 사용자의 최근 수면의 질의 통계와, 상기 통계에 기반한 당일의 목표 수면에 대해서 디스플레이하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트 TV는, 상기 기상이 감지되면, 사용자의 기상시, 소정의 수면 리포트를 화면에 디스플레이하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 로봇 청소기는, 상기 입면이 감지되면, 사용자의 입면 상태를 감지하고 자동청소 모드로 가동되고, 상기 깊은 수면 진입이 감지되면, 청소 영역 및 청소 시간의 자유도가 증가되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 로봇 청소기는, 상기 수면 중 깸이 감지되면 청소중인 상태인 경우 중간에 작동을 일시 정지하고, 상기 알람시간 즈음 REM 수면 발생이 감지된 상태에서 충전 거치대로 복귀하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법은, 스마트워치가 마이크 모듈을 통해 사용자의 수면과 관련한 수면 음향 정보를 실시간으로 획득하는 단계; 사용자 단말이 상기 획득된 수면 음향 정보를 인가받아 스펙트로그램으로 변환 및 분석을 수행하여, 사용자의 수면 단계를 실시간으로 판별하는 단계; 및 상기 판별된 수면 단계별로 발생하는 이벤트에 따라, 상기 사용자 단말이 상기 스마트워치의 동작을 실시간으로 제어하는 제어신호를 출력하는 단계; 를 포함하고, 상기 제어신호를 출력하는 단계는, 상기 스마트워치가 상기 제어신호에 응답하여 사용자에게 수면환경을 제공하는 단계; 를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트워치는, 사용자의 침대에 누움이 감지되면, 진동을 통해 입면을 위한 서비스를 제공하고, 입면이 감지되면, 사용자 입면상태의 판별도에 반비례하여 진동의 세기를 조절하거나, 개인별 입면시간 평균값에 맞추어 진동 길이를 조정하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 입면을 위한 서비스는, 호흡법 가이드 및 명상 가이드를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트워치는, 수면 무호흡증 발생이 감지되면, 수면 무호흡증이 검출되거나 발생할 것으로 예측될 때, 사용자에게 가벼운 진동을 제공하여 사용자의 수면 무호흡증을 차단하고, 알람시간 즈음 REM 수면 발생이 감지되면, 진동을 통해 기상 알람을 제공하거나, 사용자의 개인 수면 기록에 따라 사용자가 깨어나기 쉬운 시점에 알람을 제공하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법의 상기 스마트워치는, 기상이 감지되면, 사용자의 기상 시점에 화면을 통해 소정의 수면 리포트를 제공하는 것을 특징으로 한다.
한편, 상기 다른 목적을 달성하기 위한 본 발명에 따른 수면환경 조성 정보의 제공 방법에 대한 정보는 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 게시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 따른 일 실시예에 의하면, 사용자의 깨어 있는 상태(wake) 시간 및/또는 수면 상태 정보를 예측할 수 있어, 시간과 장소에 구애받지 않으면서 가정에서도 다양한 사용자들의 수면을 편리하고 정확하게 분석할 수 있다.
또한, 사용자의 수면분석 시 웨어러블 디바이스 등을 착용할 필요가 없어 수면 시간동안 사용자의 신체 자유도를 증가시킬 수 있다.
또한, 전세계적으로 수면다원검사 결과 등을 수집하여 수면 사운드 데이터를 구축하고, 음향 AI를 다양한 인종, 나이, 성별, 측정 환경까지 검증하는 가정환경 수면 트래킹의 새로운 표준으로 만들 수 있다.
또한, 사용자의 수면 환경의 주변 공간에서 루틴하게 발생하는 노이즈, 비정상적 혹은 간헐적으로 발생하는 노이즈 등을 포함하는 다양한 주변 잡음까지 학습하여 AI 수면단계 분석모델이 구축될 수 있다.
또한, 장기간에 걸쳐 수집한 다수 임상자의 수면다원 검사와 동시에 수집한 스마트폰 사운드 데이터 및 스마트 스피커 사운드 데이터를 활용하여, 사운드 AI와 무선통신 센싱 임상 데이터 세트를 구축할 수 있다.
또한, 스마트 가전기기 및 스마트폰을 이용하여 사용자의 수면을 심층적으로 분석할 수 있고, 1인 수면분석뿐만 아니라, 다인 수면분석까지 수행할 수 있다.
또한, 사용자의 수면장애가 발생한 경우 수면장애를 적절히 완화시킬 수 있고, 다수의 사람이 동일한 공간에서 취침하는 경우 수면장애가 발생한 사용자에 대해서만 수면장애완화를 위한 알람을 전달함으로써 타인의 수면방해를 방지할 수 있게 된다.
또한, 스마트 가전기기 및/또는 스마트폰을 이용하여 24시간 내내 사용자의 신체활동상태를 실시간으로 모니터링할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 사용자의 수면 환경과 관련하여 감지되는 수면 상태 정보를 통해 사용자의 수면의 질을 향상시키기 위한 최적화된 수면 환경을 제공할 수 있다.
특히, 공기질, 수면 환경의 온도 또는/및 습도 등 다양한 요인과 관련한 최적의 수면환경을 함으로써, 수면의 질을 월등히 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1의 (a)는 본 발명의 일 실시예와 관련된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 1의 (b)는 본 발명의 또 다른 실시예와 관련된 수면 환경 조절 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 1의 (c)는 본 발명의 또 다른 실시예와 관련된 다양한 전자장치들의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 2a는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.
도 2b는 본 발명의 일 실시예에 따른 수면 상태 정보 생성 수단이 실장된 환경 조성 장치를 설명하기 위한 블록도이다.
도 2c는 본 발명의 일 실시예에 따른 서버로부터 수면 상태 정보를 수신받아 환경 조성부를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
도 2d는 본 발명의 일 실시예에 따른 수면 상태 정보 생성 수단이 실장된 가전 기기 제어 장치를 설명하기 위한 블록도이다.
도 2e는 본 발명의 일 실시예에 따른 서버로부터 수면 상태 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
도 2f는 본 발명의 일 실시예에 따른 다른 전자 장치로부터 수면 상태 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
도 2g는 본 발명의 일 실시예에 따른 다른 전자 장치가 환경 센싱 정보를 센싱하여, 서버로부터 수면 상태 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
도 2h는 본 발명의 일 실시예에 따른 제1 서버로부터 수면 상태 정보를 수신받고, 제2 서버로부터 환경 조성 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
도 2i는 본 발명의 일 실시예에 따른 제2 서버가 제1 서버로부터 수면 상태 정보를 수신받아 환경 조성 정보를 생성하면, 환경 조성 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
도 2j는 본 발명의 일 실시예에 따른 네트워크를 통해 환경 조성 장치가 제어되는 것을 설명하기 위한 블록도이다.
도 3의 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 4는 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 5는 본 발명의 일 실시예와 관련된 환경 센싱 정보로부터 수면 음향 정보를 획득하는 과정을 설명하기 위한 예시도이다.
도 6의 (a)는 본 발명의 일 실시예와 관련된 수면 음향 정보에 대응하는 스펙트로그램을 획득하는 방법을 설명하기 위한 예시도이다.
도 6의 (b)는 본 발명에 따른 수면 분석 방법에 있어서 사용자로부터 추출된 수면 음향 정보에 대한 멜 스펙트로그램 변환을 이용한 프라이버시 보호 방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예와 관련된 사용자의 수면 상태에 따른 시점별 환경 조성 정보를 예시적으로 나타낸 예시도이다.
도 8은 본 발명의 일 실시예와 관련된 수면 상태 정보에 따른 수면 환경 조성 방법을 제공하기 위한 예시적인 순서도를 도시한다.
도 9는 본 발명의 일 실시예와 관련된 하나 이상의 네트워크 함수를 나타낸 개략도이다.
도 10은 본 발명의 일 실시예와 관련된 수면 환경 조절 장치의 예시적인 블록 구성도를 도시한다.
도 11의 (a)는 본 발명의 일 실시예와 관련된 수신 모듈 및 송신 모듈의 예시적인 블록 구성도를 도시한다.
도 11의 (b)는 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템 내 스마트 가전기기의 구성을 나타내는 블록도이다.
도 12는 본 발명의 일 실시예와 관련된 사용자가 기 설정된 영역에 위치하였는지 여부를 감지하는 제2 센서부를 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예와 관련된 자동 수면 측정 모드를 통해 수면 상태 정보를 생성하는 과정을 예시적으로 나타낸 순서도이다.
도 14는 본 발명의 일 실시예와 관련된 사용자의 수면 인입을 유도하는 환경을 조성하는 과정을 예시적으로 나타낸 순서도이다.
도 15는 본 발명의 일 실시예와 관련된 수면 중 및 기상 직전에 사용자의 수면 환경을 변화시키는 과정을 예시적으로 나타낸 순서도이다.
도 16의 (a) 및 (b)는 본 발명의 일 실시예에 따른 공기조화기의 동작을 설명하기 위한 개념도이다
도 16의 (c) 및 (d)는 본 발명의 일 실시예에 따른 공기청정기의 동작을 설명하기 위한 개념도이다
도 17의 (a)는 본 발명의 일 실시예에 따른 공기조화기의 구성을 나타내는 블록도이다.
도 17의 (b)는 본 발명의 일 실시예에 따른 공기청정기의 구성을 나타내는 블록도이다.
도 18은 도 16 및 도 17에 도시된 공기조화기의 일 예를 설명하기 위한 도면이다.
도 19는 도 16 및 도 17에 도시된 공기조화기의 다른 일 예를 설명하기 위한 도면이다.
도 20 내지 도 21은 도 16 및 도 17에 도시된 공기조화기의 또 다른 일 예를 설명하기 위한 도면이다.
도 22는 도 16 및 도 17에 도시된 공기조화기의 또 다른 일 예를 설명하기 위한 도면이다.
도 23의 (a) 및 (b)는 도 20 내지 도 21에 도시된 실내기(500'')의 디스플레이부(570'')를 통해 실내기(500'')를 슬립모드로 구동시키는 방법을 설명하기 위한 도면이다.
도 23의 (c) 및 (d)는 본 발명의 실시예에 따른 공기청정기(700')의 슬립모드를 설명하기 위한 디스플레이부(4000)의 도면이다.
도 24의 (a)는 본 발명의 일 실시예에 따른 리모컨(600)을 통해 도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시키는 방법을 설명하기 위한 도면이다.
도 24의 (b)는 본 발명의 일 실시예에 따른 공기청정기(700')의 디스플레이부(4000)의 일 예를 보여주는 도면이다.
도 25의 (a) 및 (b)는 본 발명의 일 실시예에 따른 사용자 단말(10)을 통해 도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시키는 방법을 설명하기 위한 도면이다.
도 25의 (c)는 본 발명의 일 실시예에 따른 사용자 단말(10)에서 공기청정기(700'')를 원격으로 제어하는 제1 어플리케이션의 화면을 보여주는 도면이다.
도 25의 (d)는 본 발명의 일 실시예에 따른 공기청정기(700'')의 슬립모드를 제어하는 어플리케이션의 화면을 보여주는 도면이다.
도 26은 실내기 또는 공기청정기가 자동으로 슬립모드로 구동하는 방법을 설명하기 위한 도면이다.
도 27 내지 도 28은 도 26에 도시된 슬립모드 동작의 시점을 설명하기 위한 도면들이다.
도 29의 (a) 및 (b)는 도 16 및 도 17에 도시된 공기청정기의 일 예를 설명하기 위한 도면이다.
도 30은 도 29에 도시된 공기청정기(700')의 커버(1100, 2100)의 일부 파트를 제거한 상태를 보여주는 도면이다.
도 31의 (a)는 도 16 및 도 17에 도시된 공기청정기의 다른 예를 설명하기 위한 도면이다.
도 31의 (b)는 도 26에 도시된 공기청정기(700''')의 슬립모드 동작의 시점을 설명하기 위한 도면이다.
도 32의 (a)는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면단계분석을 설명하기 위한 도면이다.
도 32의 (b)는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면장애 판단을 설명하기 위한 도면이다.
도 33의 (a)는 본 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다.
도 33의 (b)는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면다원검사 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 34는 본 발명에 따른 수면 분석 방법의 정확도를 검증한 표로서, 나이, 성별, BMI, 질환여부에 따라 분석한 실험 결과 데이터이다.
도 35는 본 발명에 따른 수면 분석 방법에 대한 일 실시예로서, 스마트 스피커와 스마트폰을 이용한 경우를 이해하기 용이하게 나타낸 개념도이다.
도 36의 (a)는 본 발명의 일 실시예에 따른 AI 기반의 비접촉식 수면 분석 시스템을 이용한 수면장애 방지 및 완화방법을 설명하는 흐름도이다.
도 36의 (b)는 본 발명의 다른 실시예에 따른 AI 기반의 비접촉식 수면 분석 시스템을 이용한 수면장애 방지 및 완화방법을 설명하는 흐름도이다.
도 37은 본 발명에 따른 수면 분석 방법이 클라우드에서 수행되는 경우의 트래픽 대응 방법을 설명하는 도면이다.
도 38은 본 발명에 따른 수면 분석 방법에 있어서 1인 수면 분석과 다인 수면 분석을 설명하기 위한 개념도이다.
도 39는 본 발명에 따른 AI 기반의 비접촉식 수면 분석 방법의 동작을 설명하기 위한 순서도이다.
도 40은 본 발명에 따른 수면 분석 방법에 사용되는 다양한 스마트 가전기기의 실시예를 나타내는 순서도이다.
도 41은 본 발명에 따른 수면 분석 방법을 이용하여 사용자의 수면단계 별로 시계열적으로 작동하는 복수개의 스마트 가전기기의 구체적인 시나리오 중 취침 준비 단계의 동작의 예시를 나타내는 표이다.
도 42는 상기 시나리오 중 도 41에 시계열적 후순위로 연결된, 입면 후부터 숙면 전까지 단계의 동작의 예시를 나타내는 표이다.
도 43은 상기 시나리오 중 도 42에 시계열적 후순위로 연결된, 숙면 후부터 기상감지 전까지 단계의 동작의 예시를 나타내는 표이다.
도 44는 상기 시나리오 중 도 43에 시계열적 후순위로 연결된, 기상 단계의 동작의 예시를 나타내는 표이다.
도 45는 본 발명의 수면 분석 방법을 종래기술과 비교하기 위해, 종래의 수면 분석 방법에 따라 병원환경에서 수면다원검사 마이크 데이터(S)만을 이용한 경우의 훈련 방법에 관을 도시한 개념도이다.
도 46은 도 45에 도시된 훈련 방법에, 본 발명의 수면 분석 방법에 따라 가정환경에서의 각종 음향을 반영하여 AI 수면 분석 모델을 생성하는 방법의 개념도이다.
도 47은 본 발명에 따른 수면 분석 방법의 성능을 주거 노이즈의 종류에 따라 9개 그룹으로 나누어 훈련한 성능을 검증한 표이다.
도 48은 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템 및 수면 분석 방법에 의한 사용자의 24시간 모니터링 프로세스를 설명하기 위한 개략도이다.
도 49는 본 발명에 따른 스마트 가전기기 및 수면 분석 방법과 기존의 세계 선도적인 슬립 테크 업체들의 제품 및 디바이스와 비교한 클래스 당 평균 (mean per class) 결과값의 표이다.
도 50은 본 발명의 일 실시예에 따른 AI 기반의 비접촉식 수면 분석 시스템의 동작을 설명하기 위한 구성도이다.
도 51은 본 발명의 일 실시예에 따른 AI 기반의 비접촉식 수면 분석 시스템의 구성요소들 간의 동작을 설명하기 위한 구성도이다.
도 52는 환경 조성 장치가 놓이는 위치와, 상세 제품별로, 수면 상태 정보에 따른 활성화여부, 취침모드, 기상모드에서의 예시적인 동작을 기재한 표이다.
도 53은 본 발명에 따른 수면환경 조성 정보의 제공 방법을 구현하는 시스템의 동작을 설명하기 위한 구성도이다.
도 54는 도 53에 도시된 시스템 내 웨어러블 디바이스의 동작을 설명하기 위한 개념도이다.
도 55는 본 발명에 따른 웨어러블 디바이스가 스마트폰과 연동하는 동작을 설명하기 위한 개념도이다.
도 56은 본 발명의 수면환경 조성 정보의 제공 방법을 이용해 사용자의 수면단계 흐름에 따라 작동하는 하나 이상의 스마트 가전기기 중에서 많은 빈도의 동작 전환이 이루어지는 일 실시예의 주요 스마트 가전기기 중 에어컨 및 가습기/제습기의 동작을 나타내는 표이다.
도 57은 본 발명의 일 실시예에 따른 상기 주요 스마트 가전기기 중 스마트스피커 및 공기청정기의 동작을 나타내는 표이다.
도 58은 본 발명의 일 실시예에 따른 상기 주요 스마트 가전기기 중 스마트 TV 및 로봇 청소기의 동작을 나타내는 표이다.
도 59는 본 발명의 다른 실시예에 따라 도 53에 도시된 시스템 내 스마트워치의 동작을 설명하기 위한 순서도이다.
도 60은 본 발명의 다른 실시예에 따른 스마트워치의 동작을 나타내는 표이다.
도 61a는 본 발명에 따른 수면에 관한 용품 추천시스템의 개념도를 도시한다.
도 61b는 본 발명에 따른 수면에 관한 용품 검증시스템의 개념도를 도시한다.
도 61c는 본 발명의 또 다른 실시예에 따른 수면에 관한 용품 추천/검증시스템의 개념도를 도시한다.
도 62는 본 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다.
도 63은 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 64는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 65a는 본 발명에 따른 수면에 관한 용품 추천방법을 나타내는 흐름도이다.
도 65b는 본 발명에 따른 수면에 관한 용품 검증방법을 나타내는 흐름도이다.
도 66은 본 발명의 일 실시예에 따른 수면 분석 모델의 전체적인 구조를 설명하기 위한 도면이다.
도 67은 본 발명의 일 실시예에 따른 피처 추출 모델과 피처 분류 모델을 설명하기 위한 도면이다.
도 68 내지 도 69는 수면 지표에 대응하여 추천되는 수면에 관한 용품 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
도 70a는 수면에 관한 용품이 조성물인 경우에 조성 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
도 70b는 수면에 관한 용품이 섬유 성분으로 이루어지는 경우에 섬유 성분 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
도 71a는 수면에 관한 용품에 대한 검증 지표가 스코어로 표시되는 경우를 설명하기 위한 표이다.
도 71b 및 도 71c는 본 발명의 일 실시예에 따라 수면에 관한 용품에 대한 검증 지표가 사용자의 수면에 관한 수치적인 평가로 표시되는 경우를 설명하기 위한 예시도이다.
도 72은 복수의 사용자로부터 수면 상태 정보를 획득하여 복수 사용자에 대한 검증 지표를 생성하는 것을 설명하기 위한 표이다.
도 73는 다수 수면에 관한 용품에 대한 다수 사용자의 수면평가 통계를 통해 획득한 추천되는 수면에 관한 용품 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
도 74는 본 발명의 일 실시예에 따라 주관적인 판단 지표를 산출하기 위하여 사용자의 입력작용을 받기 위한 그래픽 사용자 인터페이스를 나타낸 도면이다.
도 75는 본 발명의 일 실시예에 따른 화장품 추천 방법을 설명하기 위한 블록도이다.
도 76은 본 발명의 일 실시예에 따른 화장품 검증 방법을 설명하기 위한 블록도이다.
도 77은 수면 환경을 조성하기 위한 온수 매트의 시스템을 나타낸 개념도이다.
도 78은 수면 환경을 조성하기 위한 온수 매트(30-1)의 또 다른 실시예의 시스템을 나타낸 개념도이다.
도 79는 수면 환경을 조성하기 위한 온수 매트에 따른 AI 기반의 비접촉식 수면 분석 시스템의 구성요소들 간의 동작을 설명하기 위한 구성도이다.
도 80은 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론이 서버에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
도 81은 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론과 온도 조절이 서버에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
도 82는 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론과 온도 조절이 온수 매트에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
도 83은 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론은 제1 서버에서 이루어지고, 온도 조절은 제2 서버에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
도 84는 애플리케이션이 실행될 수 있는 프로세서부를 포함하는 온수 매트의 열 조절 수단을 조절하는 장치를 설명하기 위한 도면이다.
도 85는 본 발명의 일 실시예에 따른 서버로부터 수면 상태 정보를 수신받는 빛 조절 장치를 설명하기 위한 블록도이다.
도 86은 본 발명의 일 실시예인 사용자의 수면 환경을 조성하는 빛 조절 방법을 나타낸 개념도이다.
도 87은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보를 멀티모달 데이터로 결합하는 과정을 포함하는 한 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.
도 88은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보 각각을 추론 한 것을 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.
도 89는 본 발명의 일실시예에 따른 수면 음향 정보를 추론한 것을 수면 환경 정보와 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.
도 90은 본 발명의 일 실시예에 따른 컨시스턴시 트레이닝(Consistency training)을 설명하기 위한 도면이다.
도 91은 본 발명에 따른 정서적 모델링의 방법 중 사용자가 스와이프를 하며 선호하는 향을 체크하는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 92는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 향과 관련한 텍스트를 입력받는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 93은 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 향에 대한 키워드를 선택하는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 94는 본 발명에 따른 정서적 모델링의 방법 중 사용자에게 제공된 향에 대하여 기상 후 피드백을 받는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 95는 본 발명에 따른 향 제공 장치가 수면 중인 사용자에게 향을 제공하는 것을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
또한, 이하에서 설명되는 "스마트 가전기기"는 사용자의 호흡음을 감지하고 음향 데이터를 수집할 수 있는 마이크를 내장한 기기로서, 스마트 스피커, 스마트 TV, 스마트 조명, 스마트 매트리스 등을 포함할 수 있다.
또한, "슬립트랙 앱"은 PUI, VUI, GUI를 이용하여 사용자의 수면 리포트를 스마트폰으로 전달하고, 리포트 결과에 따라 스마트 가전기기를 동작시키는 애플리케이션을 의미할 수 있다.
또한, "연구 상호작용"은 향기, 화장품, 음식, 건강기능식, 호르몬 등의 해당 카테고리에서 사용자의 수면의 질 개선을 위한 신제품이 연구개발되는 것을 의미할 수 있다.
또한, "슬립트랙 앱의 연구 상호작용"은 슬립트랙 앱에서 분석된 수면 분석을 바탕으로 수면의 질 개선을 위한 수면 환경 조성 서비스 및 신제품이 개발되는 것을 의미할 수 있다.
또한, "슬립관리 앱 상호작용"은 수면 스토리텔링이 가능한 전통적인 수면 산업, 스포츠, 호텔, 재수학원, 군대 등의 관련 산업과, 하드웨어 솔루션 없이 수면 분석이 가능한 슬립관리 앱과의 상호작용을 의미할 수 있다.
또한, "연구 상호작용으로부터 슬립관리 앱으로의 상호작용"은 디지털 제품이 없는 신제품과 하드웨어 솔루션 없이 수면 분석이 가능한 슬립관리 앱과의 상호작용을 의미할 수 있다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 발명내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
027건
전체적인 구성
도 1의 (a)는 본 발명의 일 실시예와 관련된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다. 본 발명의 실시예들에 따른 시스템은 컴퓨팅 장치(100), 사용자 단말(10), 외부 서버(20), 환경 조성 장치(30) 및 네트워크를 포함할 수 있다. 여기서, 도 1의 (a)에 도시된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 방법을 구현하기 위한 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
한편, 도 1의 (b)는 본 발명의 또 다른 실시예와 관련된 수면 환경 조절 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
본 발명의 실시예들에 따른 시스템은 수면 환경 조절 장치(400), 사용자 단말(10), 외부 서버(20) 및 네트워크를 포함할 수 있다. 여기서, 도 1의 (b)에 도시된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 방법을 구현하기 위한 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1의 (b)에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
먼저, 도 1의 (a)에 도시된 실시예에 따른 시스템에 대하여 설명하기로 한다.
도 1의 (a)에 도시된 바와 같이, 본 발명은 컴퓨팅 장치(100), 사용자 단말(10), 외부 서버(20) 및 환경 조성 장치(30)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.
본 발명의 실시예들에 따른 네트워크는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다. 또한, 여기서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.
본 발명의 실시예들에 따른 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
본 발명의 일 실시예에 따르면, 사용자 단말(10)은 컴퓨팅 장치(100)와의 정보 교환을 통해 사용자의 수면과 관련한 정보를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 예컨대, 사용자 단말(10)은 자신의 수면 습관에 관련한 정보들을 통해 건강을 증진시키고자 하는 사용자와 관련한 단말일 수 있다. 사용자는 사용자 단말(10)을 통해 자신의 수면에 관련한 모니터링 정보를 획득할 수 있다. 수면에 관련한 모니터링 정보는 예컨대, 사용자가 잠에 든 시점, 잠을 잔 시간, 잠에서 깨어난 시점 등에 관련한 수면 상태 정보 또는, 수면 동안 수면 단계의 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 단계 정보는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 단계 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
한편, 도 1의 (c)는 본 발명의 또 다른 실시예와 관련된 다양한 전자장치들의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 1의 (c)에 도시된 전자장치들은, 본 발명의 실시예에 따른 다양한 장치들이 수행하는 동작들 중 적어도 하나 이상을 수행할 수 있다.
예를 들어, 본 발명의 실시예에 따른 다양한 장치들이 수행하는 동작들은 환경 센싱 정보를 획득하는 동작, 수면 분석 모델을 학습하는 동작, 수면 분석 모델을 추론하는 동작, 수면 상태 정보를 획득하는 동작, 전자장치를 제어하는 동작, 수면 상태 정보를 디스플레이하는 동작, 환경 조성 정보를 디스플레이하는 동작을 포함할 수 있다.
또는, 예컨대, 사용자의 수면과 관련한 정보를 제공받거나, 환경 센싱 정보를 송신 또는 수신하거나, 환경 센싱 정보를 판별하거나, 데이터를 처리 또는 가공하거나, 서비스를 처리하거나, 서비스를 제공하거나, 수면 상태를 분석하거나, 사용자의 수면과 관련한 정보에 기초하여 학습 데이터 세트를 구축하거나, 획득한 데이터 또는 신경망의 학습을 위한 복수의 학습 데이터에 대한 정보들을 저장하거나, 환경 조성 정보를 생성하거나, 환경 조성 정보를 결정하거나, 환경 조성 정보에 기초하여 환경 조성 모듈을 동작시키거나, 다양한 정보들을 송신 또는 수신하거나, 네트워크를 통해 본 발명의 실시예들에 따른 시스템을 위한 데이터를 상호 송수신하는 동작 등을 포함할 수도 있다.
도 1의 (c)에 도시된 전자장치들은, 상기 본 발명의 실시예에 따른 다양한 장치들이 수행하는 동작들을 개별적으로 수행할 수도 있으나, 하나 이상의 동작을 동시에 또는 시계열적으로 수행할 수도 있다.
도 1의 (c)를 참조하면, 전자장치(1a 내지 1d)는 사용자의 움직임이나 또는 호흡에 관한 정보 등 객체 상태 정보를 획득할 수 있는 영역인 기 설정된 영역(11a)의 범위 내에 있는 전자장치일 수 있다.
*83한편, 도 1의 (c)를 참조하면, 전자장치(1a 및 1d)는 2개 이상의 복수 개의 전자장치의 조합으로 이루어진 장치일 수 있다.
한편, 도 1의 (c)를 참조하면, 전자장치(1a 및 1b)는 기 설정된 영역(11a) 내에서 네트워크와 연결된 전자장치일 수 있다.
한편, 도 1의 (c)를 참조하면, 전자장치(1c 및 1d)는 기 설정된 영역(11a) 내에서 네트워크와 연결되지 않은 전자장치일 수 있다.
*86한편, 도 1의 (c)를 참조하면, 전자장치(2a 내지 2b)는 기 설정된 영역(11a)의 범위 밖에 있는 전자장치일 수 있다.
한편, 도 1의 (c)를 참조하면, 기 설정된 영역(11a)의 범위 내에서 전자장치들과 상호작용하는 네트워크가 있을 수 있고, 기 설정된 영역(11a)의 범위 밖에서 전자장치들과 상호작용하는 네트워크가 있을 수 있다.
여기서, 기 설정된 영역(11a)의 범위 내에서 전자장치들과 상호작용하는 네트워크는 스마트 가전기기를 제어하기 위한 정보를 송수신하기 위한 역할을 수행할 수 있다.
또한, 기 설정된 영역(11a)의 범위 내에서 전자장치들과 상호작용하는 네트워크는 예를 들면, 근거리 네트워크 또는 로컬 네트워크일 수 있다. 여기서, 기 설정된 영역(11a)의 범위 내에서 전자장치들과 상호작용하는 네트워크는 예를 들면, 원거리 네트워크 또는 글로벌 네트워크일 수 있다.
도 1의 (c)에 도시된 네트워크들의 동작에 대한 구체적인 설명은, 상기 도 1의 (a) 또는 도 1의 (b)의 도면을 통해 설명한 것과 동일하므로, 중복되는 기재는 생략하도록 한다.
한편, 도 1의 (c)를 참조하면, 기 설정된 영역(11a)의 범위 밖에서 네트워크를 통해 연결된 전자장치들은 하나 이상일 수 있으며, 이 경우의 전자장치들은 서로 데이터를 분산처리하거나 또는 하나 이상의 동작을 나누어 수행할 수도 있다.
또는, 기 설정된 영역(11a)의 범위 밖에서 네트워크를 통해 연결된 전자장치가 하나 이상인 경우 전자장치들은 서로 독립하여 동작을 수행할 수도 있다.
이하 도 1의 (c)을 참고하여, 본 발명의 실시예에 따른 다양한 양태를 설명하나, 본 발명은 이에 제한되는 것은 아니다.
예컨대, 본 발명의 일 실시형태에 따르면, 환경 센싱과 제어 기능이 실장된 전자장치 내에서, 환경 센싱 정보를 획득하는 단계, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 상기 전처리된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하는 단계, 상기 변환된 스펙트로그램에 기초하여 수면 상태 정보를 생성하는 단계 및 상기 생성된 수면 상태 정보에 기초하여 환경이 조성되도록 상기 전자장치가 제어되는 단계가 수행될 수도 있다.
또는, 도 51에 도시된 바와 같이, 본 발명의 일 실시형태에 따르면, 환경 센싱과 제어 기능이 실장된 전자장치 내에서, 환경 센싱 정보를 획득하는 단계, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 상기 전처리된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하는 단계, 상기 변환된 스펙트로그램이 AI 서버(310)로 전송되는 단계가 수행되고, 상기 AI 서버(310)가 상기 전송된 스펙트로그램에 기초한 학습 또는 추론 등을 통해 수면 상태 정보를 생성하면, 상기 전자장치가 상기 AI 서버(310)에서 생성한 수면 상태 정보를 수신하는 단계, 상기 수신된 수면 상태 정보에 기초하여 환경이 조성되도록 상기 전자장치가 제어되는 단계가 수행될 수도 있다.
또는, 본 발명의 일 실시형태에 따르면, 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 있어서, 상기 전자장치에서 환경 센싱 정보를 획득하는 단계, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 상기 전처리된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하는 단계, 상기 변환된 스펙트로그램에 기초하여 수면 상태 정보가 생성되는 단계가 수행되고, 상기 전자장치가 상기 생성된 수면 상태 정보에 기초하여 상기 가전기기로 하여금 환경을 조성할 수 있도록 상기 가전기기를 제어하는 단계가 수행될 수도 있다.
또는, 본 발명의 일 실시형태에 따르면, 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 있어서, 상기 전자장치에서 환경 센싱 정보를 획득하는 단계, 상기 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 상기 전처리된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하는 단계, 상기 변환된 스펙트로그램을 AI 서버(310)로 전송하는 단계가 수행되고, 상기 AI 서버(310)가 상기 전송된 스펙트로그램에 기초한 학습 또는 추론 등을 통해 수면 상태 정보를 생성하면, 상기 전자장치가 상기 AI 서버(310)에서 생성한 수면 상태 정보를 수신하는 단계, 상기 전자장치가 상기 수신된 수면 상태 정보에 기초하여 상기 가전기기로 하여금 환경을 조성할 수 있도록 상기 가전기기를 제어하는 단계가 수행될 수도 있다.
또는, 본 발명의 일 실시형태에 따르면, 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 있는데, 다른 전자장치가 환경 센싱 정보를 획득하고, 획득된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하고, 상기 변환된 스펙트로그램에 기초하여 수면 상태 정보를 생성하면, 상기 전자장치가 상기 다른 전자장치로부터 수면 상태 정보를 수신하는 단계, 상기 수신된 수면 상태 정보에 기초하여 상기 가전기기로 하여금 환경을 조성할 수 있도록 상기 가전기기를 제어하는 단계가 수행될 수도 있다. 여기서 다른 전자장치란, 가전기기를 제어하는 전자장치와 다른 장치로서, 하나 이상의 다른 전자장치에 해당할 수 있다. 다른 전자장치가 복수개인 경우에는 환경 센싱 정보의 획득, 환경 센싱 정보에 포함된 음향 정보의 스펙트로그램으로 변환, 수면 상태 정보를 생성하는 단계를 독립하여 수행할 수도 있다.
예컨대, 본 발명의 일 실시형태에 따르면, 환경을 조성하기 위한 가전기기를 제어하기 위한 전자장치가 있는데, 다른 전자장치가 환경 센싱 정보를 획득하고, 상기 획득된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하고, 상기 변환된 스펙트로그램을 AI 서버(310)로 전송하면, 상기 AI 서버(310)가 상기 전송된 스펙트로그램에 기초하여 수면 상태 정보를 생성하면, 상기 전자장치가 상기 AI 서버(310)에서 생성한 수면 상태 정보를 수신받아, 상기 수신된 수면 상태 정보에 기초하여 상기 가전기기로 하여금 환경을 조성할 수 있도록 상기 가전기기를 제어하는 단계가 수행될 수도 있다. 여기서 다른 전자장치에 관한 설명은 앞서 설명한 바와 동일하므로 중복 기재는 생략하기로 한다.
위에서 설명한 본 발명에 따른 다양한 실시예들은, 환경 센싱 정보의 획득과, 환경 센싱 정보의 전처리와, 스펙트로그램의 변환, 수면 상태 정보의 생성, 전자장치 또는 가전기기(예컨대, 스마트 가전기기 등)의 제어 등의 다양한 동작들이 반드시 같은 전자장치 내에서 일어나는 것이 아니라, 여러 장치에서 일어날 수 있는 것이고, 이는 시계열적으로 일어날 수도 있지만, 동시에 일어날 수도 있고, 독립하여 개별적으로 일어날 수도 있다는 것을 설명하기 위한 예시이므로, 본 발명은 위에 설명한 다양한 실시예들에 한정되는 것은 아니다.
이하, 본 발명에 따른 다양한 동작들을 구체적인 예를 들어 설명하기로 한다. 단, 앞서 설명한 바와 같이, 이하 설명하기 위한 전자장치의 예시들은 명확히 이해할 수 있도록 예시로 든 것일 뿐이므로, 특정 동작을 수행하는 전자장치를 한정한 것은 아니다.
도 2b부터 도 2i까지에 대한 설명
도 2b는 본 발명의 일 실시예에 따른 수면 상태 정보 생성 수단이 실장된 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 환경 조성 장치(30)는 환경 센싱 정보 획득 센서(40), 제어부(41) 및 환경 조성부(42)를 포함할 수 있다. 구체적으로, 제어부(41)는 전처리 수행 수단(41-1), 수면 상태 정보 생성 수단(41-2) 및 환경 조성부 제어 수단(41-3)을 포함할 수 있다.
본 발명에 따르면, 환경 조성 장치(30)의 환경 센싱 정보 획득 센서(40)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 전처리 수행 수단(41-1)은 환경 센싱 정보 획득 센서(40)로부터 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 수면 상태 정보 생성 수단(41-2)은 전처리 수행 수단(41-1)으로부터 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성할 수 있다. 환경 조성부 제어 수단(41-3)은 생성된 수면 상태 정보에 기초하여 환경 조성부(42)가 소정의 향을 제공하도록 제어할 수 있다.
환경 조성부 제어 수단(41-3)은 생성된 수면 상태 정보에 기초하여 환경 조성부(42)가 소정의 향을 실시간으로 제공하도록 제어할 수 있다.
수면 상태 정보 생성 수단(41-2)은 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2c는 본 발명의 일 실시예에 따른 서버로부터 수면 상태 정보를 수신받아 환경 조성부를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 환경 조성 장치(30)는 환경 센싱 정보 획득 센서(40), 제어부(41), 환경 조성부(42) 및 통신부(46)를 포함할 수 있다. 구체적으로, 제어부(41)는 전처리 수행 수단(41-1) 및 환경 조성부 제어 수단(41-3)을 포함할 수 있다.
본 발명에 따르면, 환경 조성 장치(30)의 환경 센싱 정보 획득 센서(40)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 전처리 수행 수단(41-1)은 환경 센싱 정보 획득 센서(40)로부터 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 통신부(46)는 전처리 수행 수단(41-1)으로부터 전처리된 환경 센싱 정보를 서버(20)로 전송할 수 있다. 이에 따라, 통신부(46)는 서버(20)에서 생성된 수면 상태 정보를 수신할 수 있다. 환경 조성부 제어 수단(41-3)은 수신된 수면 상태 정보에 기초하여, 환경 조성부(42)가 소정의 향을 제공하도록 제어할 수 있다.
환경 조성부 제어 수단(41-3)은 수신된 수면 상태 정보에 기초하여 환경 조성부(42)가 소정의 향을 실시간으로 제공하도록 제어할 수 있다.
통신부(46)는 서버(20)가 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하면, 변환된 정보를 수신할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2d는 본 발명의 일 실시예에 따른 수면 상태 정보 생성 수단이 실장된 가전 기기 제어 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기를 제어하는 전자 장치(50)는 환경 센싱 정보 획득 센서(51) 및 제어부(52)를 포함할 수 있다. 구체적으로, 제어부(52)는 전처리 수행 수단(52-1), 수면 상태 정보 생성 수단(52-2) 및 가전 기기 제어 수단(52-3)을 포함할 수 있다.
본 발명에 따르면, 가전 기기를 제어하는 전자 장치(50)의 환경 센싱 정보 획득 센서(51)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 전처리 수행 수단(52-1)은 환경 센싱 정보 획득 센서(51)로부터 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 수면 상태 정보 생성 수단(52-2)은 전처리 수행 수단(52-1)으로부터 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성할 수 있다. 이에 따라, 가전 기기 제어 수단(52-3)은 생성된 수면 상태 정보에 기초하여 환경 조성 장치(30)가 소정의 향을 제공하도록 제어할 수 있다.
가전 기기 제어 수단(52-3)은 생성된 수면 상태 정보에 기초하여 환경 조성 장치(30)가 실시간으로 소정의 향을 제공하도록 제어할 수 있다.
수면 상태 정보 생성 수단(52-2)은 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2e는 본 발명의 일 실시예에 따른 서버로부터 수면 상태 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기를 제어하는 전자 장치(50)는 환경 센싱 정보 획득 센서(51), 제어부(52), 및 통신부(56)를 포함할 수 있다. 구체적으로, 제어부(52)는 전처리 수행 수단(52-1) 및 가전 기기 제어 수단(52-3)을 포함할 수 있다.
본 발명에 따르면, 가전 기기를 제어하는 전자 장치(50)의 환경 센싱 정보 획득 센서(51)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 전처리 수행 수단(52-1)은 환경 센싱 정보 획득 센서(51)로부터 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 통신부(56)는 전처리 수행 수단(52-1)으로부터 전처리된 환경 센싱 정보를 서버(20)로 전송할 수 있다. 이에 따라, 통신부(56)는 서버(20)에서 생성된 수면 상태 정보를 수신할 수 있다. 가전 기기 제어 수단(52-3)은 수신된 수면 상태 정보에 기초하여, 환경 조성 장치(30)가 소정의 향을 제공하도록 제어할 수 있다.
가전 기기 제어 수단(52-3)은 수신된 수면 상태 정보에 기초하여 환경 조성 장치(30)가 소정의 향을 실시간으로 제공하도록 제어할 수 있다.
통신부(56)는 서버(20)가 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하면, 변환된 정보를 수신할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2f는 본 발명의 일 실시예에 따른 다른 전자 장치로부터 수면 상태 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기를 제어하는 전자 장치(61)는 수면 상태 정보 수신 수단(61-1) 및 가전 기기 제어 수단(61-2)를 포함할 수 있다.
본 발명에 따르면, 다른 전자 장치(60)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 다른 전자 장치(60)는 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 다른 전자 장치(60)는 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성할 수 있다. 이에 따라, 가전 기기를 제어하는 전자 장치(61)의 수면 상태 정보 수신 수단(61-1)은 다른 전자 장치(60)로부터 수면 상태 정보를 수신할 수 있다. 이에 따라, 가전 기기 제어 수단(61-2)은 수신받은 수면 상태 정보에 기초하여 환경 조성 장치(30)가 소정의 향을 제공하도록 제어할 수 있다.
가전 기기 제어 수단(61-2)은 수신된 수면 상태 정보에 기초하여 실시간으로 환경 조성 장치(30)를 제어할 수 있다.
다른 전자 장치(60)는 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환할 수 있다. 이에 따라, 가전 기기를 제어하는 전자 장치(61)의 수면 상태 정보 수신 수단(61-1)은 변환된 정보를 수신할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2g는 본 발명의 일 실시예에 따른 다른 전자 장치가 환경 센싱 정보를 센싱하여, 서버로부터 수면 상태 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기를 제어하는 전자 장치(61)는 수면 상태 정보 수신 수단(61-1) 및 가전 기기 제어 수단(61-2)를 포함할 수 있다.
본 발명에 따르면, 다른 전자 장치(60)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 다른 전자 장치(60)는 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 다른 전자 장치(60)는 전처리된 환경 센싱 정보를 서버(20)로 전송할 수 있다. 이에 따라, 가전 기기를 제어하는 전자 장치(61)의 수면 상태 정보 수신 수단(61-1)은 서버(20)로부터 수면 상태 정보를 수신할 수 있다. 이에 따라, 가전 기기 제어 수단(61-2)은 수신받은 수면 상태 정보에 기초하여 환경 조성 장치(30)가 소정의 향을 제공하도록 제어할 수 있다.
가전 기기 제어 수단(61-2)은 수신된 수면 상태 정보에 기초하여 환경 조성 장치(30)가 소정의 향을 제공하도록 제어할 수 있다.
서버(20)는 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환할 수 있다. 이에 따라, 가전 기기를 제어하는 전자 장치(61)의 수면 상태 정보 수신 수단(61-1)은 변환된 정보를 수신할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2h는 본 발명의 일 실시예에 따른 제1 서버로부터 수면 상태 정보를 수신받고, 제2 서버로부터 환경 조성 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기 제어 장치(70)는 환경 센싱 정보 획득 센서(71), 제어부(72), 및 통신부(76)를 포함한다. 구체적으로, 제어부(72)는 전처리 수행 수단(72-1) 및 가전 기기 제어 수단(72-2)을 포함할 수 있다.
본 발명에 따르면, 가전 기기 제어 장치(70)의 환경 센싱 정보 획득 센서(71)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 전처리 수행 수단(72-1)은 환경 센싱 정보 획득 센서(71)로부터 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 통신부(76)는 전처리 수행 수단(72-1)으로부터 전처리된 환경 센싱 정보를 제1 서버(20a)로 전송할 수 있다. 이에 따라, 제1 서버(20a)는 수면 상태 정보를 생성하고, 통신부(76)는 수면 상태 정보를 수신한다. 통신부(76)는 다시, 수면 상태 정보를 제2 서버(20b)로 전송하고, 제2 서버(20b)는 전송받은 수면 상태 정보에 기초하여, 환경 조성 정보를 생성한다. 통신부(76)는 제2 서버(20b)로부터 환경 조성 정보를 수신하고, 가전 기기 제어 수단(72-2)은 수신받은 환경 조성 정보에 기초하여 환경 조성 장치(30)를 제어하는 환경 조성 장치 제어 정보를 생성하여, 환경 조성 장치(30)를 제어할 수 있다. 통신부(76)는 제1 서버(20a)가 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하면, 변환된 정보를 수신할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2i는 본 발명의 일 실시예에 따른 제2 서버가 제1 서버로부터 수면 상태 정보를 수신받아 환경 조성 정보를 생성하면, 환경 조성 정보를 수신받아 가전 기기를 제어하는 환경 조성 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기 제어 장치(80)는 환경 센싱 정보 획득 센서(81), 제어부(82), 및 통신부(86)를 포함한다. 구체적으로, 제어부(82)는 전처리 수행 수단(82-1) 및 가전 기기 제어 수단(82-2)을 포함할 수 있다.
본 발명에 따르면, 가전 기기 제어 장치(80)의 환경 센싱 정보 획득 센서(81)는 사용자로부터 환경 센싱 정보를 획득할 수 있다. 전처리 수행 수단(82-1)은 환경 센싱 정보 획득 센서(81)로부터 획득된 환경 센싱 정보에 대하여 전처리를 수행할 수 있다. 통신부(86)는 전처리 수행 수단(82-1)으로부터 전처리된 환경 센싱 정보를 제1 서버(20a)로 전송할 수 있다. 이에 따라, 제1 서버(20a)는 수면 상태 정보를 생성하고, 제1 서버(20a)는 수면 상태 정보를 제2 서버(20b)로 전송하고, 제2 서버(20b)는 전송받은 수면 상태 정보에 기초하여, 환경 조성 정보를 생성한다. 통신부(86)는 제2 서버(20b)로부터 환경 조성 정보를 수신하고, 가전 기기 제어 수단(82-2)은 수신받은 환경 조성 정보에 기초하여 환경 조성 장치(30)를 제어하는 환경 조성 장치 제어 정보를 생성하여, 환경 조성 장치(30)를 제어할 수 있다. 통신부(86)는 제1 서버(20a)가 환경 센싱 정보를 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하면, 변환된 정보를 수신할 수 있다. 구체적으로, 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보는 스펙트로그램(300)일 수 있다.
도 2j는 본 발명의 일 실시예에 따른 네트워크를 통해 환경 조성 장치가 제어되는 것을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따르면, 가전 기기 제어 장치(70)는 환경 센싱 정보 획득 센서(71), 제어부(72), 및 통신부(79)를 포함한다. 구체적으로, 제어부(72)는 전처리 수행 수단(72-1)을 포함할 수 있다.
제어부(72)의 전처리 수행 수단(72-1)은 환경 센싱 정보에 대한 전처리를 수행하고, 네트워크를 통해 정보를 송수신하는 통신부(79)를 통해 전처리된 환경 센싱 정보를 송신할 수 있다.
제1 서버(20a)는 네트워크를 통해 전처리된 환경 센싱 정보를 수신받아 수면 상태 정보를 생성할 수 있고, 생성된 수면 상태 정보를 수신받은 네트워크는 제2 서버(20b)에 수신된 수면 상태 정보를 송신할 수 있다. 이에 따라, 제2 서버(20b)는 수신된 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있고, 네트워크를 통해 환경 조성 장치(30)를 실시간으로 제어할 수 있다.
환경 센싱 정보의 획득
실시예에서, 전자장치(예컨대, 사용자 단말(10) 등)을 통해 본 발명의 환경 센싱 정보가 획득될 수 있다. 환경 센싱 정보는, 사용자가 위치한 공간에서 획득되는 센싱 정보를 의미할 수 있다. 환경 센싱 정보는, 비접촉식 방법으로 사용자의 활동 또는 수면과 관련하여 획득되는 센싱 정보일 수 있다.
예를 들어, 환경 센싱 정보는, 사용자가 수면을 취하는 침실에서 획득되는 수면 음향 정보일 수 있다. 실시예에 따르면, 사용자 단말(10)을 통해 획득된 환경 센싱 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위해 기반이 되는 정보일 수 있다. 구체적인 예를 들어, 사용자의 활동에 관련하여 획득되는 환경 센싱 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다.
예를 들어, 환경 센싱 정보는, 사용자의 호흡 및 움직임 정보를 포함할 수 있다. 이를 위해, 사용자 단말(10)은 모션 센서(motion sensor)로서 레이더 센서(radar sensor)를 구비할 수 있다. 사용자 단말(10)은 상기 레이더 센서를 통해 측정된 사용자의 움직임과 거리를 신호처리하여 사용자의 호흡에 해당하는 이산 파형(호흡 정보)를 생성할 수 있다.
예를 들어, 환경 센싱 정보는, 침실의 온도, 습도 및 조명 수준을 측정하는 센서를 통해 얻은 측정값을 포함할 수 있다. 이를 위해, 사용자 단말(10)은 침실의 온도, 습도 및 조명 수준을 측정하는 센서를 구비할 수 있다.
이러한 사용자 단말(10)은 컴퓨팅 장치(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 사용자 단말(10)은 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc), 인공지능(AI) 스피커 및 인공지능 TV 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 사용자 단말(10)은 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수 도 있다. 또한, 사용자 단말(10)은 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 외부 서버(20)는 신경망의 학습을 위한 복수의 학습 데이터에 대한 정보들을 저장하는 서버일 수 있다. 복수의 학습데이터는 예컨대, 건강검진 정보 또는 수면검진 정보 등을 포함할 수 있다. 예를 들어, 외부 서버(20)는 병원 서버 및 정보 서버 중 적어도 하나일 수 있으며, 복수의 수면다원검사 기록, 전자건강기록 및 전자의료기록 등에 관한 정보를 저장하는 서버일 수 있다. 예를 들어, 수면다원검사 기록은 수면검진 대상자의 수면 동안의 호흡 및 움직임 등에 대한 정보 및 해당 정보들에 대응하는 수면 진단 결과(예컨대, 수면 단계 등)에 대한 정보를 포함할 수 있다. 외부 서버(20)에 저장된 정보들은 본 발명에서의 신경망을 학습시키기 위한 학습 데이터, 검증 데이터 및 테스트 데이터로 활용될 수 있다.
본 발명의 컴퓨팅 장치(100)는 외부 서버(20)로부터 건강검진 정보 또는 수면검진 정보 등을 수신하고, 해당 정보들에 기초하여 학습 데이터 세트를 구축할 수 있다. 컴퓨팅 장치(100)는 학습 데이터 세트를 통해 하나 이상의 네트워크 함수에 대한 학습을 수행함으로써, 환경 센싱 정보에 대응하는 수면 상태 정보를 획득하기 위한 수면 분석 모델을 생성할 수 있다. 본 발명의 신경망 학습을 위한 학습 데이터 세트를 구축하는 구성 및 학습 데이터 세트를 활용한 학습 방법에 대한 구체적인 설명은 후술하도록 한다.
본 발명에 따르면, 외부 서버(20)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 외부 서버(20)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 환경 조성 장치(30)는 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 환경 조성 장치(30)는 하나 이상의 환경 조성 모듈을 포함할 수 있으며, 컴퓨팅 장치(100)로부터 수신한 환경 조성 정보에 기초하여 사용자가 위치한 공간의 공기질, 조도, 온도, 풍향, 습도 및 음향 중 적어도 하나에 관련한 환경 조성 모듈을 동작시킴으로써, 사용자의 수면 환경을 조정할 수 있다.
또한, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작을 수행할 수도 있다.
본 발명의 일 실시 형태에 따르면, 환경 조성 장치(30)는 이미지와 동영상을 제공하며 음향을 발생하는 TV, 공기질을 제어할 수 있는 공기청정기, 광량(조도)을 제어할 수 있는 조명장치, 온도를 제어할 수 있는 냉/난방기, 온도와 습도를 조절할 수 있는 공기조화기, 습도를 제어할 수 있는 가습기/제습기, 음향을 제어할 수 있는 오디오/스피커, 의류를 관리할 수 있는 스타일러, 블라인드 또는 커튼, 로봇 또는 청소기, 세탁기 또는 건조기, 정수기, 오븐 또는 레인지 등으로 구현될 수 있다.
환경 조성 정보는, 사용자의 수면 상태 정보 판정에 기초하여 컴퓨팅 장치(100)로부터 생성된 신호일 수 있다. 예를 들어, 환경 조성 정보는, 조도를 낮추거나 또는 높이는 등에 관한 정보를 포함할 수 있다. 환경 조성 장치(30)가 조명장치인 경우, 환경 조성 정보는, 기상이 예측되는 시점으로부터 30분 전부터 3000K의 백색광을 0 lux 에서 250 lux조도로 점진적으로 증가시키도록 하는 제어 정보를 포함할 수 있다.
구체적인 예를 들어, 환경 조성 장치(30)가 공기청정기 또는 공기조화기인 경우, 환경 조성 정보는 사용자의 실시간 수면상태에 기초하여 온도 또는/및 습도 조절, 미세먼지(미세먼지, 초미세먼지, 극초미세먼지) 제거, 유해가스 제거, 알러지 케어 구동, 탈취/제균 구동, 제습/가습 조절, 송풍 강도 조절, 공기청정기 또는 공기조화기 구동소음 조절, LED 점등, 스모그원인물질(SO2, NO2) 관리, 생활냄새 제거 등과 관련한 다양한 정보 등을 포함할 수 있다. 또한, 환경 조성 장치(30)가 공기조화기인 경우, 환경 조성 정보는 사용자의 실시간 수면상태에 기초하여 수면 공간의 온도와 습도 조절, 송풍 강도 조절, 구동 소음 조절, LED 점등 등을 포함할 수 있다.
추가적인 예를 들어, 환경 조성 정보는 온도, 습도, 풍향 또는 음향 중 적어도 하나를 조정하기 위한 제어 정보를 포함할 수 있다. 전술한 환경 조성 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시 형태에 따르면, 환경 조성 장치(30)에 포함된 하나 이상의 환경 조성 모듈은 예를 들어, 조도 제어 모듈, 온도 제어 모듈, 풍향 제어 모듈, 습도 제어 모듈 및 음향 제어 모듈 중 적어도 하나를 포함할 수 있다. 다만, 이에 제한되는 것은 아니고, 하나 이상의 환경 조성 모듈은 사용자의 수면 환경에 변화를 가져올 수 있는 다양한 환경 조성 모듈들을 더 포함할 수 있다. 즉, 환경 조성 장치(30)는 컴퓨팅 장치(100)의 환경 제어 신호에 기초하여 하나 이상의 환경 조성 모듈을 구동시킴으로써, 사용자의 수면 환경을 조정할 수 있다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 사용자의 수면 상태 정보를 획득하고, 그리고 수면 상태 정보에 기초하여 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 환경 센싱 정보에 기초하여 사용자가 수면 전인지, 중인지 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있으며, 해당 수면 상태 정보에 따라 사용자가 위치한 공간의 수면 환경을 조정할 수 있다. 구체적인 예를 들어, 컴퓨팅 장치(100)는 사용자가 수면 전이라는 수면 상태 정보를 획득한 경우, 해당 수면 상태 정보에 기초하여 수면을 유도하기 위한 광의 세기 및 조도(예컨대, 3000K의 백색광, 30 lux의 조도), 공기질(미세먼지 농도, 유해가스 농도, 공기습도, 공기온도 등)에 관련한 환경 조성 정보를 생성할 수 있다. 컴퓨팅 장치(100)는 수면을 유도하기 위한 광의 세기 및 조도, 공기질에 관련한 환경 조성 정보를 환경 조성 장치(30)로 전송할 수 있다. 이 경우, 환경 조성 장치(30)는 컴퓨팅 장치(100)로부터 수신한 환경 조성 정보에 기초하여 사용자가 위치한 공간의 광의 세기 및 조도를 수면을 유도하기 위한 적절한 세기 및 조도(예컨대, 3000K의 백색광을 30 lux의 조도)로 조정할 수 있다. 즉, 컴퓨팅 장치(100)에서 생성된 환경 조성 정보는 환경 조성 장치(30)의 일 실시형태인 조명장치로 전달되어 수면공간 내의 조도 등이 조절될 수 있다.
또한, 컴퓨팅 장치(100)는 사용자의 수면 상태 정보에 기초하여 미세먼지 제거, 유해가스 제거, 알러지 케어 구동, 탈취/제균 구동, 제습/가습 조절, 송풍 강도 조절, 환경 조성 장치(30)의 구동소음 조절, LED점등과 관련한 다양한 정보 등의 환경 조성 정보를 생성할 수 있다.
또한, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작을 수행할 수도 있다.
예컨대, 컴퓨팅 장치(100)에서 생성된 환경 조성 정보는 환경 조성 장치(30)의 실시예인 공기청정기 또는 공기조화기로 전달되어 실내, 차량내, 혹은 수면공간 내의 온도와 습도 또는 공기질 등이 조절될 수 있다.
이하에서는 스마트 가전기기의 동작을 설명함에 있어 편의상 '취침모드'와 '기상모드'라는 용어를 사용하기로 한다. '취침모드'란, 사용자가 취침을 준비하는 단계, 사용자가 입면하는 단계, 사용자가 수면 중인 단계의 스마트 가전기기의 동작 모드를 각각 포함하는 개념이고, '기상모드'란, 사용자의 기상 전 단계, 기상 단계, 기상 후 단계에서의 스마트 가전기기의 동작 모드를 각각 포함하는 개념이다.
도 52에 대한 설명
도 52는 환경 조성 장치가 놓이는 위치와, 상세 제품별로, 수면 상태 정보에 따른 활성화여부, 취침모드, 기상모드에서의 예시적인 동작을 기재한 표이다. 구체적으로 설명하면, 환경 조성 장치(30)가 놓여지는 위치와 환경 조성 장치(30)의 상세 제품별로, 수면 상태 정보에 따른 활성화여부(취침, 입면, 수면, 기상 전, 기상, 기상 후), 취침모드 및 기상모드에서의 예시적인 동작을 기재한 것이다. 환경 조성 정보는 각 제품별로 상기 활성화여부, 취침모드 및 기상모드에서의 동작이 수행되도록 하는 제어 정보를 포함할 수 있다.
전술한 수면 상태 정보 및 환경 조성 정보에 관련한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
환경 센싱 정보에 대한 설명
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)가 수면 상태 분석을 위해 활용하는 환경 센싱 정보는, 일 공간 상에서의 사용자의 활동 또는 수면 동안 비침습적 방식으로 획득되는 정보를 포함할 수 있다. 구체적인 예를 들어, 환경 센싱 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 또는, 환경 센싱 정보는, 수면 동안 사용자의 움직임에 관련된 움직임과 거리 정보와, 이를 기초로 생성된 호흡 정보를 포함할 수 있다.
실시예에 따르면, 환경 센싱 정보는 수면 음향 정보를 포함할 수 있으며, 해당 수면 음향 정보는, 사용자의 수면 동안에 발생하는 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다. 또는 환경 센싱 정보는 수면 움직임 정보를 포함할 수 있으며, 수면 움직임 정보는, 사용자의 수면 동안에 발생하는 움직임 패턴 및 호흡 패턴에 관련된 정보를 의미할 수 있다.
실시예에서, 환경 센싱 정보는 사용자가 소지한 사용자 단말(10)을 통해 획득될 수 있다. 예컨대, 사용자 단말(10)에 구비된 마이크 모듈을 통해 일공간 상에서 사용자의 활동에 관련한 환경 센싱 정보가 획득될 수 있다. 또는 사용자 단말(10)에 구비된 레이더 센서를 통해 일 공간 상에서 사용자의 활동에 관련된 환경 센싱 정보가 획득될 수 있다.
일반적으로, 사용자가 소지한 사용자 단말(10)에 구비된 마이크 모듈은, 비교적 작은 크기의 사용자 단말(10)에 구비되어야 하므로 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은 매우 소형으로 제작이 가능하나, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 낮은 신호 대 잡음비(SNR)를 가질 수 있다. 신호 대 잡음비가 낮다는 것은, 식별하고자 하는 음향 대비 식별하지 않고자 하는 음향인 잡음의 비율이 높은 것으로 음향의 식별이 용이하지 않음(즉, 불분명함)을 의미할 수 있다.
본 발명에서 분석의 대상이 되는 환경 센싱 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 음향 정보 즉, 수면 음향 정보를 포함할 수 있다. 이러한 수면 음향 정보는, 사용자의 호흡 및 움직임 등 매우 작은 음향(즉, 구분이 어려운 음향)에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 사용자 단말(10)로부터 획득된 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 많은 노이즈를 포함하여 불명료하게 획득된 환경 센싱 정보를 분석이 가능한 데이터 변환 및/또는 조정할 수 있으며, 변환 및/또는 조정된 데이터를 활용하여 인공 신경망에 대한 학습을 수행할 수 있다. 인공 신경망에 대한 사전 학습이 완료된 경우, 학습된 신경망(예컨대, 음향 분석 모델)은 수면 음향 정보에 대응하여 획득된(예컨대, 변환 및/또는 조정된) 데이터(예컨대, 스펙트로그램)에 기초하여 사용자의 수면 상태 정보를 획득할 수 있다.
실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보뿐만 아니라, 수면 동안 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 상태 정보는 제1시점에는 사용자가 REM수면이었으며, 제1시점과 상이한 제2시점에는 사용자가 얕은 수면이었다는 수면 단계 정보를 포함할 수 있다. 이 경우, 해당 수면 상태 정보를 통해, 사용자는 제1시점에 비교적 깊은 수면에 빠졌으며, 제2시점에는 보다 얕은 수면을 취했다는 정보가 획득될 수 있다.
즉, 컴퓨팅 장치(100)는 음향을 수집하도록 일반적으로 많이 보급된 사용자 단말(예컨대, 인공지능 스피커, 침실 IoT기기, 휴대폰 등)을 통해 낮은 신호 대 잡음비를 갖는 수면 음향 정보를 획득하는 경우, 이를 분석에 적절한 데이터로 가공하고, 가공된 데이터를 처리하여 수면 단계의 변화에 관련한 수면 상태 정보를 제공할 수 있다. 이는 명료한 음향 획득을 위해 사용자의 신체에 접촉식으로 마이크를 구비하지 않아도 되며, 또한, 높은 신호 대 잡음비를 가진 별도의 추가 디바이스를 구매하지 않고 소프트웨어 업데이트 만으로 일반적인 가정 환경에서 수면 상태를 모니터링할 수 있게 하여 편의성을 증대시키는 효과를 제공할 수 있다.
도 1의 (a)에서 컴퓨팅 장치(100) 및 환경 조성 장치(30)가 별도의 엔티티로서 분리되어 표현되었지만, 본 발명의 실시예에 따라서, 환경 조성 장치(30)가 컴퓨팅 장치(100) 내에 포함되어, 수면 상태 측정 및 환경 조정 동작 기능을 하나의 통합 장치에서 수행할 수도 있다.
또한, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작을 수행할 수도 있다.
실시예에서, 컴퓨팅 장치(100)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 컴퓨팅 장치(100)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 컴퓨팅 장치(100)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 보다 구체적으로, 컴퓨팅 장치(100)는 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 상기 클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다.
또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다. 또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 발명의 컴퓨팅 장치(100)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 발명의 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.
컴퓨팅 장치의 전체적인 구성
본 발명의 컴퓨팅 장치(100)의 구체적인 구성, 기술적 특징들 및 기술적 특징들에 따른 효과들을 첨부된 도면을 참조하면서 설명한다.
도 2는 본 발명의 일 실시예와 관련된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.
도 2에 도시된 바와 같이, 컴퓨팅 장치(100)는 네트워크부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 전술한 컴퓨팅 장치(100)에 포함된 컴포넌트들로 제한되지 않는다. 즉, 본 발명내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 사용자 단말(10), 외부 서버(20) 및 환경 조성 장치(30)와 데이터를 송수신하는 네트워크부(110)를 포함할 수 있다. 네트워크부(110)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다.
즉, 네트워크부(110)는 컴퓨팅 장치(100)와 사용자 단말(10), 외부 서버(20) 및 환경 조성 장치(30) 간의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(110)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(110)는 사용자 단말(10)로부터 사용자가 활동하는 공간에 관련한 환경 센싱 정보를 수신할 수 있다. 또 다른 예를 들어, 네트워크부(110)는 환경 조성 장치(30)로 사용자가 위치한 공간의 환경을 조정하기 위한 환경 조성 정보를 전송할 수 있다. 추가적으로, 네트워크부(110)는 컴퓨팅 장치(100)로 프로시저를 호출하는 방식으로 컴퓨팅 장치(100)와 사용자 단말(10) 및 외부 서버(20) 간의 정보 전달을 허용할 수 있다.
본 발명의 일 실시예에 따른 네트워크부(110)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크부(110)는 4G, 5G(LTE) 등의 이동 통신 시스템, 스타링크 등의 위성 통신 시스템들과 같은 현재 및 장래 실현될 수 있는 다양한 무선 통신 시스템들을 사용할 수 있다.
본 발명에서 네트워크부(110)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
본 발명의 일 실시예에 따르면, 메모리(120)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(130)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(120)는 프로세서(130)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(110)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(120)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 입/출력되는 데이터들(예를 들어, 사용자의 수면 환경에 관련한 환경 센싱 정보, 환경 센싱 정보에 대응하는 수면 상태 정보 또는, 수면 상태 정보에 따른 환경 조성 정보 등)을 임시 또는 영구 저장할 수도 있다.
본 발명의 일 실시예에 따르면, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
컴퓨터 프로그램은 메모리(120)에 로드될 때, 프로세서(130)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(130)는 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램은, 사용자의 수면 상태 정보를 획득하는 단계, 상기 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 단계 및 상기 환경 조성 정보를 환경 조성 장치로 전송하는 단계를 포함하는 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 발명의 일실시예에 따라 프로세서(130)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(130)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
또한, 프로세서(130)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 명세서에서 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.
본 명세서에서 모델은 네트워크 함수를 포함할 수 있다. 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.
프로세서(130)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(130)는 수면 상태 정보에 기초하여 환경 조성 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(130)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다. 수면 분석 모델과 관련해서는 아래에서 더욱 상세히 설명하기로 한다.
본 발명에 따르면, 수면 분석 모델에 기초해서 사용자의 수면의 질과 관련한 수면 정보가 추론될 수 있다. 사용자로부터 실시간 혹은 주기적으로 획득되는 환경 센싱 정보가 상기 수면 분석 모델에 입력값으로 입력되어 사용자의 수면과 관련한 데이터를 출력하게 된다.
이와 같은 수면 분석 모델의 학습과, 이에 기초한 추론은 도 1의 (a)의 컴퓨팅 장치(100)에 의하여 수행될 수 있다. 즉, 학습과 추론이 모두 컴퓨팅 장치(100)에 의하여 수행되는 것으로 설계할 수 있다. 다만, 다른 실시예에서는, 학습은 컴퓨팅 장치(100)에서 하되, 추론은 사용자 단말(10)에서 수행될 수 있다. 또한, 학습은 컴퓨팅 장치(100)에서 하되, 추론은 스마트가전(공기조화기, TV, 조명, 냉장고, 공기청정기 등의 다양한 가전)등으로 구현되는 환경 조성 장치(30)에서 수행될 수 있다. 또, 다른 실시예에서는 도 1의 (b)의 수면 환경 조절 장치(400)에 의하여 수행될 수 있다. 즉, 학습과 추론이 모두 수면 환경 조절 장치(400)에 의하여 수행될 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 처리할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 사용자의 수면 상태 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른, 수면 상태 정보의 획득은, 메모리(120)에 저장된 수면 상태 정보를 획득하거나 또는 로딩(loading)하는 것일 수 있다. 또한, 수면 상태 정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체에, 다른 컴퓨팅 장치, 동일한 컴퓨팅 장치 내의 별도 처리 모듈로부터 데이터를 수신하거나 또는 로딩하는 것일 수 있다.
또한, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
수면 상태 정보
일 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함할 수 있다. 구체적으로, 수면 상태 정보는, 사용자가 수면 전이라는 제1 수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다. 다시 말해, 사용자에 관련하여 제1 수면 상태 정보가 추론되는 경우, 프로세서(130)는 해당 사용자가 수면 전(즉, 취침 전)인 상태인 것으로 판단할 수 있으며, 제2 수면 상태 정보가 추론되는 경우, 해당 사용자가 수면 중인 상태인 것으로 판단할 수 있고, 그리고 제3 수면 상태 정보가 획득되는 경우, 해당 사용자가 수면 후(즉, 기상)인 상태인 것으로 판단할 수 있다.
이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득되는 것을 특징으로 할 수 있다. 환경 센싱 정보는, 비접촉 방식으로 사용자가 위치한 공간에서 획득되는 센싱 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(130)는 환경 센싱 정보를 획득할 수 있다. 구체적으로, 환경 센싱 정보는 사용자가 소지한 사용자 단말(10)을 통해 획득될 수 있다. 예컨대, 사용자가 소지한 사용자 단말(10)을 통해 사용자가 활동하는 공간에 관련한 환경 센싱 정보가 획득될 수 있으며, 프로세서(130)는 해당 환경 센싱 정보를 사용자 단말(10)로부터 수신할 수 있다. 환경 센싱 정보는, 사용자의 일상 생활 속에서 비접촉 방식으로 획득되는 음향 정보일 수 있다. 예컨대, 환경 센싱 정보는, 청소에 관련한 음향 정보, 음식 조리에 관련한 음향 정보, TV 시청에 관련한 음향 정보, 수면 중 획득되는 수면 음향 정보 등 사용자의 생활에 따라 획득되는 다양한 음향 정보를 포함할 수 있다. 실시예에서, 사용자의 수면 중 획득되는 수면 음향 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 즉, 본 발명에서의 수면 음향 정보는, 사용자의 수면 동안에 관련한 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다.
수면 분석 정보 및 수면 단계 정보
수면 분석에서는 입면 시간, 기상 시간, 총 수면 시간 등의 다양한 정보를 분석하며, 일 실시예에 따르면, 프로세서(130)는 수면 단계 정보를 추출할 수 있다. 수면 단계 정보는 사용자의 환경 센싱 정보에 기초하여 추출될 수 있다. 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다. 수면 단계 분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
수면 분석에서는, 수면단계들의 변화를 분석하고, 분석된 수면단계들의 변화를 식별할 수 있도록 힙노그램을 생성할 수 있고, 이에 의하여 사용자의 수면 주기가 식별될 수 있다.
도 3은 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따라 획득된 수면 단계 정보는 수면다원검사와 매우 일치할 뿐만 아니라, 오히려 수면 단계(Wake, Light, Deep, REM)와 관련한 더욱 정밀하고도 유의미한 정보를 포함한다. 도 3의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 음향 정보를 입력받아서 수면 단계를 예측할 때, 30초 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어디에 속하는지에 대한 확률을 나타낸다. 여기서 4개의 클래스는 각각 깨어 있는 상태, 가볍게 잠이 든 상태, 깊게 잠이 든 상태, REM 수면 상태를 의미한다.
도 4는 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다. 도 4의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 음향 정보를 입력받아서 수면 질환을 예측할 때, 30초 단위로 2개의 질환(수면 무호흡증, 호흡저하) 중 어디에 속하는지에 대한 확률을 나타낸다.
본 발명에 따른 수면 단계 정보를 이용하면, 도 4에 도시된 바와 같이, 본 발명에 따라 획득된 수면 단계 정보는 수면다원검사와 매우 일치할 뿐만 아니라, 무호흡증과 호흡저하와 관련한 더욱 정밀한 분석 정보를 포함한다.
본 발명에 따르면, 프로세서(130)는 수면 단계 정보에 의하여 환경 조성 정보를 생성할 수 있다. 예를 들어, 수면 단계가 Light 단계 혹은 N1 단계에 있는 경우 딥슬립을 유도하기 위하여 환경 조성 장치(공기조화기, 조명, 공기청정기 등)를 제어하기 위한 환경 조성 정보를 생성할 수 있다.
예를 들어, 본 발명의 실시예에 따른 스마트 가전기기(800)의 일부는 사용자에 의해 설정된 기상 시간의 30분 이내에 REM 수면이 감지되면 알람을 울리게 할 수 있다.
이는 REM 수면 중에 알람이 울리면 좀 더 개운하게 일어날 수 있기 때문인데, 본 발명의 수면관리 앱을 통해 사용자의 수면 중에 실시간으로 REM을 감지하고 청각적 또는 촉각적 자극을 사용자에게 전달하여 상기 시간 내에 사용자를 깨워 줄 수 있다.
또한, 본 발명의 실시예에 따른 스마트 가전기기(800)의 일부는 사용자의 수면 중에 수면 음향 정보에 기초하여 호흡 불안정 구간을 감지하고, 사용자에게 진동식 촉각 자극(vibrotactile stimulation)을 주어 안정된 호흡으로 돌아오게 유도할 수도 있다.
일반적으로, 수면 무호흡증이 지속되면 교감신경이 항진되고 추후에 심혈관계 질환으로 이어질 가능성이 크므로, 본 발명의 수면관리 앱을 통해 사용자의 수면 중에 실시간으로 호흡 불안정 구간이 감지될 때, 본 발명의 실시예에 따른 스마트 가전기기(800)의 일부를 통해 청각적, 촉각적 자극을 사용자에게 전달하여 사용자의 호흡 불안정을 중단시킬 수 있다.
신체 움직임 정보 또는 사용자의 자세 정보에 기초하여, 폐쇄성 수면 무호흡을 단계적으로 선별할 수 있다.
수면 분석(Sleep Analysis)에서는, 수면 음향 정보에 기초하여 수면의 질, 수면단계 및 수면 무호흡 여부를 분석한다. 수면 음향 정보는 사용자의 수면 중 발생하는 호흡과 관련한 음향 정보를 의미할 수 있다.
수면 분석은 사용자의 수면 음향 정보를 전처리하고 AI 알고리즘을 통하여 사용자의 수면단계를 분석하는 것으로, 구체적인 분석방법은 아래에서 더욱 상세히 설명하기로 한다.
기설정된 패턴 감지에 따른 특이점 식별
본 발명의 일 실시예에 따르면, 프로세서(130)는 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다. 구체적으로, 프로세서(130)는 환경 센싱 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많을 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다.
반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(130)는 환경 센싱 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(130)는 식별된 특이점을 기준으로 획득되는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(130)는 시계열적으로 획득되는 환경 센싱 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.
도 5는 본 발명의 일 실시예와 관련된 환경 센싱 정보(200)로부터 수면 음향 정보(210)를 획득하는 과정을 설명하기 위한 예시도이다.
구체적인 예를 들어, 도 5를 참조하면, 프로세서(130)는 환경 센싱 정보(200)로부터 기 설정된 패턴이 식별되는 시점에 관련한 특이점(201)을 식별할 수 있다. 프로세서(130)는 식별된 특이점을 기준으로 해당 특이점 이후에 획득되는 음향 정보들에 기초하여 수면 음향 정보(210)를 획득할 수 있다. 도 5에서의 음향에 관련한 파형 및 특이점은 본 발명의 이해를 위한 예시에 불과할 뿐, 본 발명은 이에 제한되지 않는다.
즉, 프로세서(130)는 환경 센싱 정보로부터 사용자의 수면에 관련한 특이점을 식별함으로써, 특이점에 기초하여 방대한 양의 음향 정보(즉, 환경 센싱 정보)로부터 수면 음향 정보만을 추출하여 획득할 수 있다. 이는, 사용자가 자신의 수면 시간을 기록하는 과정을 자동화하도록 하여 편의성을 제공함과 동시에, 획득되는 수면 음향 정보의 정확성 향상에 기여할 수 있다.
또한, 실시예에서, 프로세서(130)는 환경 센싱 정보(200)로부터 식별된 특이점(201)을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 프로세서(130)는 특이점(201)이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점(201)이 식별되는 경우, 해당 특이점(201) 이후 사용자가 수면 중이라고 판단할 수 있다. 또한, 프로세서(130)는 특이점(201)이 식별된 이후, 기 설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.
즉, 프로세서(130)는 환경 센싱 정보(200)에서 특이점(201)이 식별되는지 여부 및 특이점이 식별된 이후, 기 설정된 패턴이 지속적으로 감지되는지 여부에 기초하여 사용자가 수면 전인지, 중인지, 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 스마트 가전기기(800)에 포함된 프로세서(830)는 환경 센싱 정보(200)로부터 기설정된 패턴이 식별되는 시점에 관련한 특이점(201)을 식별할 수 있다.
본 발명에 따르면, 프로세서(830)는 식별된 특이점(201)을 기준으로 해당 특이점(201) 이후에 획득되는 음향 정보들에 기초하여 수면 음향 정보(210)를 획득할 수 있다.
도 5에서의 음향에 관련한 파형 및 특이점은 본 발명의 이해를 위한 예시에 불과할 뿐, 본 발명은 이에 제한되지 않는다.
즉, 본 발명의 일 실시예에 따른 스마트 가전기기(800)에 포함된 프로세서(830)는 음향 정보로부터 사용자의 수면에 관련한 특이점(201)을 식별함으로써, 특이점(201)에 기초하여 방대한 양의 환경 센싱 정보(즉, 음향 정보)로부터 수면 음향 정보(210)만을 추출하여 획득할 수 있다.
이는, 사용자가 자신의 수면 시간을 기록하는 과정을 자동화하도록 하여 편의성을 제공함과 동시에, 획득되는 수면 음향 정보의 정확성 향상에 기여할 수 있다.
또한, 실시예에서, 프로세서(830)는 환경 센싱 정보(200)로부터 식별된 특이점(201)을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 프로세서(830)는 특이점(201)이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점(201)이 식별되는 경우, 해당 특이점(201) 이후 사용자가 수면 중이라고 판단할 수 있다.
또한, 프로세서(830)는 특이점(201)이 식별된 이후, 기설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.
즉, 프로세서(830)는 환경 센싱 정보(200)에서 특이점(201)이 식별되는지 여부 및 특이점이 식별된 이후, 기 설정된 패턴이 지속적으로 감지되는지 여부에 기초하여 사용자가 수면 전인지, 중인지, 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있다.
한편, 프로세서(830)는 환경 센싱 정보(200)가 아닌, 수면 음향 정보에 기초하여 수면 상태 정보를 획득할 수 있다.
본 발명에서는 1차 수면 분석시 수면 음향 정보를 이용하여 사용자의 수면 상태 정보를 사전에 파악하기 때문에, 수면상태에 대한 분석 신뢰성을 더욱 향상시킬 수 있다.
본 발명에 따른 수면 분석 방법은 환경 센싱 정보의 심층학습을 통해 추론모델을 생성하며, 추론모델은 사용자의 수면 상태 및 수면단계를 추출한다.
다시 간략히 설명하면, 수면 음향 정보 등을 포함하는 환경 센싱 정보(200)는 스펙트로그램으로 변환되며, 스펙트로그램에 기초하여 추론 모델이 생성된다.
이때, 음향 정보를 이용하는 수면 분석에 있어서 사용자의 프라이버시 보호를 간과할 수 없고, 본 발명은 사용자의 프라이버시 보호를 위하여 환경 센싱 정보(200)를 전처리하는 과정을 이용한다.
상술한 바와 같이, 환경 센싱 정보(200)의 심층 학습을 통해 사용자의 수면 상태 및 수면 단계를 추출하기 위한 추론 모델이 생성된다. 다시 간략히 설명하면, 음향 정보 등을 포함하는 환경 센싱 정보(200)는 스펙트로그램으로 변환되며, 스펙트로그램에 기초하여 추론 모델이 생성될 수 있다.
추론 모델은, 위에서 설명한 바와 같이, 도 1의 (a)에 도시된 컴퓨팅 장치(100) 또는 도 1의 (b)에 도시된 수면 환경 조절 장치(400)에 구축될 수 있다.
이후, 사용자 단말(10)을 통해 획득되는, 사용자 음향 정보를 포함하는 환경 센싱 정보가 해당 추론 모델로 입력되어, 수면 상태 정보 및/또는 수면 단계 정보를 결과값으로 출력한다. 이때, 학습과 추론은 동일한 주체에서 수행될 수도 있으나, 학습과 추론이 별개 주체에서 수행될 수도 있다. 즉, 학습과 추론 모두가 도 1의 (a)의 컴퓨팅 장치(100) 또는 도 1의 (b)의 환경 조절 장치(400)에 의하여 수행될 수 있고, 학습은 컴퓨팅 장치(100)에서 하되 추론은 사용자 단말(10)에서 수행될 수 있고, 학습은 컴퓨팅 장치(100)에서 하되 추론은 스마트가전(공기조화기, TV, 조명, 냉장고, 공기청정기 등의 다양한 가전) 등으로 구현되는 환경 조성 장치(30)에서 수행될 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
수면 분석 모델 및 수면 분석 방법
본 발명의 일 실시예에 따르면, 수면 단계 정보는 환경 센싱 정보에 기반하여 사용자의 수면 단계를 분석하는 수면 분석 모델을 통해 획득되는 것을 특징으로 할 수 있다. 즉, 본 발명의 수면 단계 정보는, 수면 분석 모델을 통해 획득될 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(130) 또는 프로세서(830)는 환경 센싱 정보를 획득할 수 있으며, 해당 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수있다. 이 경우, 수면 음향 정보는, 사용자의 수면 동안에 획득되는 음향에 관련한 정보로, 예를 들어, 사용자의 수면 동안 사용자가 뒤척임에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향을 포함할 수 있다.
이하 도면을 이용하여 본 발명의 실시예에 따른 수면 분석 방법에 대하여 설명한다.
도 32의 (a)는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면단계분석을 설명하기 위한 도면이다.
도 32의 (b)는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면장애 판단을 설명하기 위한 도면이다.
도 33의 (a)는 본 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다.
도 33의 (b)는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면다원검사 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 32의 (a)에 도시된 바와 같이, 사용자의 수면음향정보가 입력되면 그에 대응되는 수면단계(Wake, REM, Light, Deep)가 즉각적으로 추론될 수 있다.
이에 더하여, 수면음향정보에 기초한 2차 분석은 수면단계에 대응하는 멜 스펙트럼의 특이점을 통해 수면장애(수면무호흡, 과호흡)나 코골이 등이 발생한 시점을 추출할 수 있다.
도 32의 (b)에 도시된 바와 같이, 하나의 멜 스펙트로그램에 있어서 호흡 패턴을 분석하고, 수면무호흡(apnea)이나 과호흡(hyperpnea) 이벤트에 대응하는 특성이 감지되면 해당 시점을 수면장애가 발생한 시점으로 판단할 수 있다. 이때, 주파수 분석을 통해서 수면무호흡(apnea)이나 과호흡(hyperpnea)이 아닌 코골이로 분류하는 과정을 더 포함할 수도 있다.
도 33의 (a)에 도시된 바와 같이, 사용자의 수면 영상과 수면음향이 실시간으로 획득되며, 획득된 수면음향정보는 스펙트로그램으로 즉각 변환된다. 이때, 수면음향정보의 전처리과정이 이루어질 수 있다. 스펙트로그램은 수면 분석 모델에 입력되어 즉각적으로 수면단계가 분석된다.
수면다원검사(polysomnography, PSG) 결과와 비교하면, 수면음향정보를 입력으로 하는 수면 분석 모델 결과값이 매우 정확하다는 것을 확인할 수 있었다.
도 33의 (a)의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 수면음향정보를 입력받아 수면단계를 예측할 때, 30초 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어디에 속하는지에 대한 확률을 나타낸다. 여기서 4개의 클래스는 각각 깨어 있는 상태, 가볍게 잠이 든 상태, 깊게 잠이 든 상태, REM 수면 상태를 의미한다.
도 33의 (b)에 도시된 바와 같이, 본 발명에 따라 획득된 수면 분석 결과는 수면다원검사와 매우 일치할 뿐만 아니라, 오히려 수면단계(Wake, Light, Deep, REM)와 관련한 더욱 정밀하고도 유의미한 정보를 포함한다.
스펙트로그램의 생성 및 획득
도 6의 (a)는 본 발명의 일 실시예와 관련된 수면 음향 정보에 대응하는 스펙트로그램을 획득하는 방법을 설명하기 위한 예시도이다.
본 발명에 따르면 수면 음향 정보에 기초하여 생성된 스펙트로그램을 이용하여 수면 분석 모델을 생성할 수 있다. 오디오 데이터로 표현되는 수면 음향 정보를 그대로 이용하게 되면 정보량이 매우 많기 때문에 연산량, 연산시간이 큰 폭으로 증가하게 되며, 원치 않는 신호까지 포함되어 있기 때문에 연산 정밀도가 저하될 뿐만 아니라, 사용자의 모든 오디오 신호가 서버로 전송되는 경우 프라이버시 침해의 우려가 있을 수 있다. 본 발명은 수면 음향 정보의 노이즈를 제거한 뒤, 이를 스펙트로그램(Mel spectrogram)으로 변환하고, 스펙트로그램을 학습시켜 수면 분석 모델을 생성하기 때문에, 연산량, 연산 시간을 줄일 수 있고, 개인의 프라이버시의 보호까지 도모할 수 있게 된다.
본 발명의 실시예에 따른 프로세서(130) 또는 프로세서(830)는, 도 6의 (a)에 도시된 바와 같이, 수면 음향 정보(210)에 대응하여 스펙트로그램(300)을 생성할 수 있다.
스펙트로그램(300) 생성의 기초가 되는 로우 데이터(수면 음향 정보)를 입력받을 수 있는데, 로우 데이터는 사용자가 입력한 시작시점부터 종료시점까지 사용자 단말 등을 통해 획득되거나, 사용자의 단말 조작(예: 알람 설정)이 이루어진 시점부터 단말 조작에 대응되는 시점(예: 알람 설정 시간)까지 획득되거나, 사용자의 수면 패턴에 기초하여 자동적으로 시점이 선택되어 획득될 수도 있고, 사용자의 수면 의도 시점을 사운드(사용자 말소리, 호흡소리, 주변기기(TV, 세탁기) 소리 등)나 조도 변화 등에 기초하여 자동적으로 시점을 결정하여 획득될 수 있다.
도 6의 (a)에 도시되지는 않았지만, 입력된 로우 데이터를 전처리하는 과정이 더 포함될 수 있다. 전처리 과정은 로우 데이터의 노이즈 리덕션 과정을 포함한다. 노이즈 리덕션 과정에서 로우 데이터에 포함된 노이즈(예: 화이트노이즈)가 제거된다. 노이즈 리덕션 과정은 백그라운드 노이즈(background noise)를 제거하기 위한 스펙트럴 게이팅(spectral gating), 스펙트럴 서브스트랙션(spectral substraction) 등의 알고리즘을 이용하여 이루어질 수 있다. 나아가, 본 발명에서는 딥러닝 기반의 노이즈 리덕션 알고리즘을 이용하여 노이즈 제거 과정을 수행할 수 있다. 즉, 딥러닝을 통해 사용자의 숨소리, 호흡소리에 특화된 노이즈 리덕션 알고리즘을 이용할 수 있다. 특히, 본 발명은 로우 데이터에서 페이즈를 제외한 앰플리튜드만에 기초하여 스펙트로그램을 생성할 수 있지만, 이에 한정되지 않는다. 이는 프라이버시를 보호할 뿐만 아니라, 데이터 용량을 낮추어 처리 속도를 향상시킨다.
본 발명의 실시예에 따른 프로세서(130) 또는 프로세서(830)는 수면 음향 정보(210)에 대한 고속 푸리에 변환을 수행하여 수면 음향 정보(210)에 대응하는 스펙트로그램(300)을 생성할 수 있다.
스펙트로그램(300)은 소리나 파동을 시각화하여 파악하기 위한 것으로, 파형(waveform)과 스펙트럼(spectrum)의 특징이 조합된 것일 수 있다. 스펙트로그램(300)은 시간 축과 주파수 축의 변화에 따라 진폭을 차이를 인쇄 농도 또는, 표시 색상의 차이로 나타낸 것일 수 있다.
전처리된 음향 관련 로우 데이터는 30초 단위로 잘려 멜 스펙트로그램으로 변환될 수 있다. 이에 따라, 30초의 멜 스펙트로그램은 20 frequency bin x 1201 time step의 차원을 가질 수 있다. 본 발명에서는 직사각형의 멜 스펙트로그램을 정사각형 형태로 바꾸기 위하여 스플릿-캣(split-cat) 방식을 이용함으로써 정보량을 보존할 수 있게 된다.
한편, 본 발명은 클린한 숨소리에 가정환경에서 발생하는 다양한 노이즈를 더해 다양한 가정환경에서 측정된 숨소리를 시뮬레이션하는 방법을 이용할 수 있다. 소리는 애디티브(additive)한 성질을 가지고 있기 때문에 서로 더할 수 있다. 하지만, mp3나 pcm 등의 원본 음향 신호를 더하고 멜 스펙트로그램으로 변환하는 것은 많은 컴퓨팅 자원이 소모될 수 있다.
따라서, 본 발명은 숨소리, 노이즈를 각각 멜 스펙트로그램으로 변환하여 더하는 방법을 제시한다. 이를 통해, 다양한 가정환경에서 측정된 숨소리를 시뮬레이션하여 딥러닝 모델 학습에 활용함으로써 다양한 가정환경에서의 robustness를 확보할 수 있게 된다.
본 발명에서 수면 음향 정보(210)는, 사용자의 수면 시간 동안 획득되는 호흡 및 몸 움직임에 관련한 음향에 관련한 것이므로, 매우 작은 소리일 수 있다. 이에 따라, 프로세서(130) 또는 프로세서(830)는 수면 음향 정보를 스펙트로그램(300)으로 변환하여 음향에 대한 분석을 수행할 수 있다. 이 경우, 스펙트로그램(300)은 전술한 바와 같이, 소리의 주파수 스펙트럼이 시간에 따라 어떻게 변화하는지 보여주는 정보를 포함하고 있으므로, 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 식별할 수 있어 분석의 효율이 향상될 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작을 수행할 수 있다.
일 실시예에 따르면, 다양한 수면 단계에 따라, 각각의 스펙트로그램이 상이한 농도의 주파수 스펙트럼을 갖도록 구성될 수 있다. 구체적으로, 수면 음향 정보의 에너지 레벨의 변화만으로는, 깨어있는 상태, REM 수면 상태, 얕은 수면 상태 및 깊은 수면 상태 중 적어도 하나인지를 예측하기 어려울 수 있으나, 수면 음향 정보를 스펙트로그램으로 변환함으로써, 각 주파수의 스펙트럼의 변화를 용이하게 감지할 수 있으므로, 작은 소리(예컨대, 호흡 및 몸 움직임)에 대응한 분석이 가능해질 수 있다.
또한, 프로세서(130) 또는 프로세서(830)는 스펙트로그램(300)을 수면 분석 모델의 입력으로 처리하여 수면 단계 정보를 획득할 수 있다. 여기서 수면 분석 모델은, 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 획득하기 위한 모델로, 사용자의 수면 동안 획득된 수면 음향 정보를 입력으로 하여 수면 단계 정보를 출력할 수 있다. 실시예에서, 수면 분석 모델은, 하나 이상의 네트워크 함수를 통해 구성되는 신경망 모델을 포함할 수 있다.
네트워크 함수 및 뉴럴 네트워크
*234본 발명의 실시예에서, 수면 분석 모델은 하나 이상의 네트워크 함수를 통해 구성되는 신경망 모델을 포함할 수 있다. 수면 분석 모델은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 '노드'라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 '노드'들은 '뉴런(neuron)'들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 '링크'에 의해 상호 연결될 수 있다.
도 9는 본 발명의 일 실시예와 관련된 하나 이상의 네트워크 함수를 나타낸 개략도이다.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다.
즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며, 본 발명은 이에 제한되지 않는다.
본 발명의 실시예에서 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다.
각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭 또는 비대칭일 수 있다.
본 발명의 실시예에 따른 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다.
병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 및 반-교사학습(semi-supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다.
뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다.
교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어 있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다.
라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다.
계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다.
입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다.
예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다.
과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다.
과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 정규화(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.
본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다(이하에서는 신경망으로 통일하여 기술함). 데이터 구조는 신경망을 포함할 수 있다.
그리고 신경망을 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망을 포함한 데이터 구조는 또한 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 학습을 위한 손실 함수를 포함할 수 있다.
신경망을 포함한 데이터 구조는 상기 개시된 구성들 중 임의의 구성 요소들을 포함할 수 있다. 즉, 신경망을 포함한 데이터 구조는 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 트레이닝을 위한 손실 함수 등 전부 또는 이들의 임의의 조합을 포함하여 구성될 수 있다. 전술한 구성들 이외에도, 신경망을 포함한 데이터 구조는 신경망의 특성을 결정하는 임의의 다른 정보를 포함할 수 있다.
또한, 데이터 구조는 신경망의 연산 과정에 사용되거나 발생되는 모든 형태의 데이터를 포함할 수 있으며 전술한 사항에 제한되는 것은 아니다. 컴퓨터 판독 가능 매체는 컴퓨터 판독가능 기록 매체 및/또는 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다.
전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 도 8에서 보는 바와 같이, 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호연결하는 노드는 가중치(weight)를 가질 수 있다.
가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다.
예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.
신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n레이어를 구성할 수 있다.
최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다.
그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다.
이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.
신경망은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일 또는 상이할 수 있다.
입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일 또는 상이할 수 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고, 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
피처 추출 모델 및 피처 분류 모델
본 발명의 일 실시예에 따르면, 수면 분석 모델은, 미리 정해진 에폭 별 하나 이상의 피처를 추출하는 피처추출 모델 및 피처추출 모델을 통해 추출된 피처들 각각을 하나 이상의 수면단계로 분류하여 수면단계 정보를 생성하는 피처분류 모델을 포함할 수 있다.
실시예에 따르면, 피처추출 모델은, 스펙트로그램(300)의 시계열적 주파수 패턴을 분석하여 호흡음, 호흡패턴 패턴에 관련한 피처들을 추출할 수 있다.
일 실시예에서, 피처추출 모델은 학습 데이터 세트를 통해 사전 학습된 신경망 모델(예컨대, 오토인코더)의 일부를 통해 구성될 수 있다. 여기서 학습 데이터 세트는, 복수의 스펙트로그램 및 각 스펙트로그램에 대응하는 복수의 수면단계 정보로 구성될 수 있다.
일 실시예에서, 피처추출 모델은, 학습 데이터 세트를 통해 학습된 독자적인 딥러닝 모델(예컨대, 오토인코더)을 통해 구성될 수 있다. 피처추출 모델은 지도 학습 또는 비지도 학습 방식을 통해 학습될 수 있다. 피처추출 모델은 학습 데이터 세트를 통해 입력 데이터와 유사한 출력 데이터를 출력하도록 학습될 수 있다.
자세히 설명하면, 인코더를 통해 인코딩 과정에서 입력된 스펙트로그램의 핵심 특징 데이터(또는 피처)만을 히든 레이어를 통해 학습하고 나머지 정보를 손실시킬 수 있다. 이 경우, 디코더를 통한 디코딩 과정에서 히든 레이어의 출력 데이터는 완벽한 복사 값이 아닌 입력 데이터(즉, 스펙트로그램)의 근사치일 수 있다. 즉, 오토인코더는 출력 데이터와 입력 데이터가 최대한 같아지도록 가중치를 조정하도록 학습될 수 있다.
학습 데이터 세트에 포함된 복수의 스펙트로그램 각각에는, 수면단계 정보가 태깅될 수 있다. 복수의 스펙트로그램 각각이 피처추출 모델에 입력될 수 있으며, 각 스펙트로그램에 대응하는 출력은 태깅된 수면단계 정보와 매칭하여 저장될 수 있다.
구체적으로 제1 수면단계 정보(예컨대, 얕은 수면)가 태깅된 제1 학습 데이터 세트들(즉, 복수의 스펙트로그램)을 입력으로 하는 경우, 해당 입력에 대한 출력에 관련한 피처들은 제1 수면단계 정보와 매칭하여 저장될 수 있다. 실시예에서, 출력에 관련한 하나 이상의 피처는 벡터 공간 상에 표시될 수 있다.
이 경우, 제1 학습 데이터 세트들을 각각에 대응하여 출력된 특징 데이터들은 제1 수면단계에 관련한 스펙트로그램을 통한 출력이므로, 벡터 공간 상에서 비교적 가까운 거리에 위치할 수 있다. 즉, 각 수면단계에 대응하여 복수의 스펙트로그램들이 유사한 피처를 출력하도록 학습이 수행될 수 있다.
인코더의 경우, 디코더가 입력 데이터를 잘 복원할 수 있도록 하는 특징을 잘 추출하도록 학습될 수 있다. 따라서, 피처 추출 모델은 학습된 오토인코더 중 인코더를 통해 구현됨에 따라, 입력 데이터(즉, 스펙트로그램)을 잘 복원할 수 있도록 하는 특징들(즉, 복수의 피처)를 추출할 수 있다.
전술한 학습 과정을 통해 피처 추출 모델을 구성하는 인코더는 스펙트로그램(300)(예컨대, 수면 음향 정보에 대응하여 변환된 스펙트로그램)을 입력으로 하는 경우, 해당 스펙트로그램(300)에 대응하는 피처를 추출할 수 있다.
실시예에서, 프로세서(130) 또는 프로세서(830)는 수면 음향 정보(210)에 대응하여 생성된 스펙트로그램(300)을 피처 추출 모델의 입력으로 처리하여 피처를 추출할 수 있다. 여기서, 수면 음향 정보(210)는 사용자의 수면 동안 시계열적으로 획득되는 시계열 데이터이므로, 프로세서(130) 또는 프로세서(830)는 스펙트로그램(300)을 미리 정해진 에폭으로 분할할 수 있다. 예컨대, 프로세서(130) 또는 프로세서(830)는 수면 음향 정보(210)에 대응하는 스펙트로그램(300)을 30초 단위로 분할하여 복수 개의 스펙트로그램들을 획득할 수 있다. 예를 들어, 사용자의 7시간(즉, 420분) 수면 동안 수면 음향 정보가 획득된 경우, 프로세서(130) 또는 프로세서(830)는 30초 단위로 스펙트로그램을 분할하여 840개의 스펙트로그램을 획득할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다. 전술한 수면 시간, 스펙트로그램의 분할 시간 단위 및 분할 개수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
본 발명의 실시예에 따른 프로세서(130) 또는 프로세서(830)는 분할된 복수 개의 스펙트로그램 각각을 피처추출 모델의 입력으로 처리하여 복수 개의 스펙트로그램 각각에 대응하는 복수의 피처를 추출할 수 있다. 예컨대, 복수 개의 스펙트로그램의 개수가 840개인 경우, 이에 대응하여 피처추출 모델이 추출하는 복수의 피처의 개수 또한 840개일 수 있다. 전술한 스펙트로그램 및 복수의 피처의 개수에 관련한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
또한, 프로세서(130) 또는 프로세서(830)는 피처추출 모델을 통해 출력된 복수의 피처를 피처분류 모델의 입력으로 처리하여 수면단계 정보를 획득할 수 있다. 실시예에서, 피처분류 모델은 피처에 대응하여 수면단계를 예측하도록 모델링된 신경망 모델일 수 있다.
예컨대, 피처분류 모델은 완전 연결 레이어(fully connected layer)를 포함하여 구성되며, 피처를 수면단계들 중 적어도 하나로 분류하는 모델일 수 있다. 예를 들어, 피처분류 모델은 제1 스펙트로그램에 대응하는 제1 피처를 입력으로 하는 경우, 해당 제1 피처를 얕은 수면으로 분류할 수 있다.
피처분류 모델은 여러 에폭에 관련한 스펙트로그램을 입력으로 하여 여러 에폭의 수면단계를 예측하는 멀티 에폭 분류를 수행할 수 있다. 멀티 에폭 분류란, 단일 에폭의 스펙트로그램(즉, 30초에 해당하는 하나의 스펙트로그램)에 대응하여 하나의 수면단계 분석 정보를 제공하는 것이 아닌, 복수의 에폭에 해당하는 스펙트로그램들(즉, 각각 30초에 해당하는 스펙트로그램들의 조합)을 입력으로 하여 여러 수면단계들(예컨대, 시간 변화에 따른 수면단계들의 변화)을 한 번에 추정하기 위한 것일 수 있다.
예컨대, 호흡 패턴은 뇌파 신호 또는 다른 생체 신호에 비해 천천히 변화하기 때문에, 과거와 미래의 시점에서 패턴이 어떻게 변화하는지를 관찰해야 정확한 수면단계 추정이 가능할 수 있다. 구체적인 예를 들어, 피처분류 모델은, 40개의 스펙트로그램(예컨대, 각각 30초에 해당하는 스펙트로그램이 40개)을 입력으로 하여, 가운데에 위치한 20개의 스펙트로그램에 대한 예측을 수행할 수 있다. 즉, 1 내지 40의 스펙트로그램을 모두를 살펴보나, 10 내지 20에 대응하는 스펙트로그램에 대응하는 분류를 통해 수면단계를 예측할 수 있다. 전술한 스펙트로그램의 개수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 수면단계를 추정하는 과정에서, 단일 스펙트로그램 각각에 대응하여 수면단계 예측을 수행하는 것이 아닌, 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 활용하도록 함으로써, 출력의 정확도 향상을 도모할 수 있다.
전술한 바와 같이, 프로세서(130) 또는 프로세서(830)는 수면 음향 정보에 기초하여 스펙트로그램을 획득할 수 있다. 이 경우, 스펙트로그램으로의 변환은 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 분석하도록 하기 위함일 수 있다. 또한, 프로세서(130) 또는 프로세서(830)는 피처 추출 모델 및 피처 분류 모델을 포함하여 구성되는 수면 분석 모델을 활용하여 획득한 스펙트로그램에 기초한 수면 단계 정보를 생성할 수 있다. 이 경우, 수면 분석 모델은 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 하여 수면 단계 예측을 수행할 수 있으므로, 보다 정확도 있는 수면 단계 정보를 출력할 수 있다.
즉, 프로세서(130) 또는 프로세서(830)는 전술한 바와 같은 수면 분석 모델을 활용하여 수면 음향 정보에 대응하는 수면 단계 정보를 출력할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작을 수행할 수 있다.
실시예에 따르면, 수면 단계 정보는, 사용자의 수면 동안 변화하는 수면 단계들에 관련한 정보일 수 있다. 예를 들어, 수면 단계 정보는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 단계 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
사용자의 프라이버시 보호 방법
도 6의 (b)는 본 발명에 따른 수면 분석 방법에 있어서 사용자로부터 추출된 수면 음향 정보에 대한 멜 스펙트로그램 변환을 이용한 프라이버시 보호 방법을 설명하기 위한 개념도이다.
도 6의 (b)에 도시된 바와 같이, 사용자로부터 추출된 음향정보, 혹은 이로부터 추출된 로우 데이터(raw data)인 수면음향정보는 노이즈 리덕션의 전처리 과정을 거친다. 노이즈 리덕션 과정에서는 로우 데이터(raw data)에 포함된 노이즈(예: 화이트노이즈)가 제거된다.
노이즈 리덕션 과정은 백그라운드 노이즈(background noise)를 제거하기 위한 스펙트럴 게이팅(spectral gating), 스펙트럴 서브스트랙션(spectral substraction) 등의 알고리즘을 이용하여 이루어질 수 있다.
나아가, 본 발명에서는 딥러닝 기반의 노이즈 리덕션 알고리즘을 이용하여 노이즈 제거 과정을 수행할 수 있다. 딥러닝 기반의 노이즈 리덕션 알고리즘은 사용자의 숨소리, 호흡소리에 특화된, 다시 말해, 사용자의 숨소리나 호흡소리를 통해 학습된(learned) 노이즈 리덕션 알고리즘을 이용할 수 있다.
이후, 노이즈가 제거된 로우 데이터(raw data)는 멜 스펙트로그램(Mel-Spectrogram)으로 생성된다. 여기에서, 멜 스펙트로그램이란 주어진 입력 문장(텍스트)으로 주파수 영역의 간소화된 벡터들의 열을 의미한다.
이때, 로우 데이터(raw data)에서 페이즈를 제외한 앰플리튜드만에 기초하여 멜 스펙트로그램을 생성하는 방식을 이용할 수 있고, 이는 프라이버시를 보호할 뿐만 아니라, 데이터 용량을 낮추어 처리 속도를 향상시킨다. 다만, 다른 실시예에서는 페이즈와 앰플리튜드 모두를 이용하여 멜 스펙트로그램을 생성하는 것도 가능하다.
본 발명은 수면 음향 정보(210)에 기초하여 생성된 멜 스펙트로그램(300)을 이용하여 수면 분석 모델을 생성하며, 오디오 데이터로 표현되는 수면 음향 정보를 그대로 이용하게 되면 정보량이 매우 많기 때문에 연산량, 연산시간이 큰 폭으로 증가하게 되며, 원치 않는 신호까지 포함되어 있기 때문에 연산 정밀도가 저하될 뿐만 아니라, 사용자의 모든 오디오 신호가 외부 서버(20) 또는 AI 서버(310)로 전송되는 경우 프라이버시 침해의 우려가 있다.
본 발명은 상술한 방법으로 수면 음향 정보의 노이즈를 제거한 뒤, 이를 멜 스펙트로그램(Mel spectrogram)으로 변환하고, 멜 스펙트로그램을 학습시켜 수면 분석 모델을 생성하기 때문에, 연산량, 연산 시간을 줄일 수 있고, 개인의 프라이버시 보호까지 도모할 수 있게 된다.
이때, 사운드 데이터의 비식별화는 자연어 및 호흡음에 대하여 이루어질 수 있고, 이는 각각 자연어 변환 멜 스펙트로그램, 호흡음 변환 멜 스펙트로그램으로 변환될 수 있다. 본 발명에 따른 수면 분석에서는 분석모델에 필요한 정보만을 활용하여 연산속도를 향상시키고, 연산부하를 감소시킬 수 있다.
수면 분석 방법의 정확도 검증 및 실시예
도 34는 본 발명에 따른 수면 분석 방법의 정확도를 검증한 표로서, 나이, 성별, BMI, 질환여부에 따라 분석한 실험 결과 데이터이다.
도 34는 본 발명에 따른 수면 분석 방법에 대한 일 실시예로서, 스마트 스피커와 스마트폰을 이용한 경우를 이해하기 용이하게 나타낸 개념도이다.
본 발명에 따른 수면 분석 방법은 병원에서의 수면다원검사 방법과 달리, 검사 도중에 조명을 온/오프할 수도 있고, 실내 온도 및 습도를 자유롭게 조절할 수도 있다.
즉, 고정되어 있는 병원 환경 검증을 넘어 초격차를 위해 다양한 실제 상황에 대한 검증이 가능하고, 스마트 가전기기(800) 및 스마트폰(900) 만을 이용하여 병원이 아닌 다양한 환경에서도 편리하고 유연성 있게 수면 분석이 가능해진다.
이로 인하여, 도 34에서 보는 바와 같이, 다양한 범위의 나이, 성별, BMI, 수면무호흡증, 사지운동장애 대상군에 대해서도 실제로 지속적으로 높은 정확도를 보이는 실험결과를 확인할 수 있었다.
도 34에서 보는 바와 같이, 이해의 편의를 위하여 스마트 가전기기(800)를 스마트 스피커(804)로 상정하였지만, 이에 한정되지 않는다. 즉, 스마트 가전기기(800)는 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 헤드마운티드 디스플레이 (head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 워치(smart watch)), 스마트 미러(smart mirror), 키오스크(kiosk) 등으로 구현될 수 있다.
나아가, 스마트 가전기기(800)는 TV, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스), 게임 콘솔, 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자와 같은 스마트 가전 제품(smart home appliance), 각종 의료기기, 가정용 로봇, 사물 인터넷 장치(internet of things)(예:전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등)로 구현될 수 있다. 또한, 스마트 가전기기(800)는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector) 등으로 구현될 수 있으며, 위에서 언급한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 다양한 장치들 중 하나 또는 그 이상의 조합에 해당할 수 있다.
따라서, 본 발명에 따른 수면 분석 방법은 병원이 아닌 곳에서도 시간과 장소에 구애받음 없이 스마트폰(900)이나 스마트 스피커(804) 등의 스마트 가전기기(800)를 통해서 편리하고 간단하게 사용자의 심층 수면 분석이 가능하다.
비접촉식 수면 분석 시스템의 구성
도 50은 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템의 동작을 설명하기 위한 구성도로서, 하나 이상의 스마트 가전기기(800), 슬립트랙 앱, 자율주행차량(801) 및 거주 공간(802)을 포함한다.
도 51은 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템의 구성요소들 간의 동작을 설명하기 위한 구성도로서, 스마트 가전기기(800), 스마트폰(900) 및 AI 서버(310)를 포함한다.
도 50에 도시된 바와 같이, 본 발명에 따른 스마트 가전기기(800)는 내장된 마이크가 사용자의 수면 음향 정보를 획득하고 이를 이용하여 수면 분석(비접촉식 수면 분석)을 수행함으로써 더욱 범용적이고 정밀한 수면 분석을 수행할 수 있다.
즉, 병원의 수면다원검사 등의 환경 검증을 넘어 다양한 실제 상황 검증을 할 수 있고, 불면증뿐 아니라 수면 무호흡증 및 수면 저호흡증 이벤트까지 실시간으로 정확하게 감지하며, 다양한 범위의 나이, 성별, 인종, BMI, 질환여부에 대해서도 수면 진단 솔루션을 제공할 수 있다.
도 51에서 보는 바와 같이, 스마트 가전기기(800) 및 스마트폰(900)이 연동하여 사용자의 수면 분석을 수행한다. 스마트 가전기기(800)와 스마트폰(900)은 블루투스 등을 통해 페어링되거나, 기타 무선통신 방식으로 서로 연결될 수 있다.
본 발명에 따르면, 스마트폰(900)은 스마트 가전기기(800)로부터 획득되는 사용자의 수면 음향 정보에 기초하여 수면 분석을 수행할 수 있다.
이때, 사용자의 수면 음향 정보는 스마트 가전기기(800)로부터 획득되어 스마트폰(900)으로 전달될 수도 있지만, 스마트폰(900)에 내장된 마이크를 통하여 자체 획득될 수도 있다.
즉, 도 51에 도시된 실시예에서, 수면단계 분석은 스마트 가전기기(800) 및 스마트폰(900)을 통해 비접촉식 수면단계 분석이 이루어진다. 사용자는 스마트폰(900)에서 도출된 수면단계 분석결과를 스마트폰(900)의 화면을 통해 확인할 수 있다.
이와 같이, 사용자가 스마트 가전기기(800)를 착용하지 않은 경우에도, 적어도 상기 수면 분석을 위한 입력신호의 일부(예: 신체 움직임 정보), 또는 수면 분석을 위한 입력신호(수면 음향 정보)를 수신하기 위하여, 스마트 가전기기(800)가 사용자 주변에 적절히 배치될 필요가 있다.
특히, 신체 움직임 정보를 추출하기 위해서는 적어도 사용자의 움직임을 감지할 수 있는 영역(예: 베개 하부, 매트리스 상부 등)에 배치되는 것이 좋을 수 있다.
반면, 음향은 방사적인 방향으로 전달되기 때문에, 수면 음향 정보 만을 이용하는 경우에는 사용자의 위치, 사용자와 스마트 가전기기(800)와의 거리나 각도와 무관하게 정보를 수집 및 분석할 수 있는 장점이 있다.
따라서, 본 발명의 스마트 가전기기(800)는 반드시 사용자에 착용되지 않아도, 사용자의 위치, 사용자와의 거리나 각도와 무관하게 사용자 수면 공간 내에 소정의 반경(예: 4~5 m) 내에서 적절히 배치된다면 위에서 설명한 수면단계분석이 가능해진다. 반경에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
일 실시예에서는, 스마트 가전기기(800)가 수면 분석을 위한 입력신호(수면 음향 정보)를 수신할 수 있도록, 스마트 가전기기(800)가 사용자에 미착용된 경우, 사용자로 하여금 스마트 가전기기(800)를 사용자에 가깝게 배치할 수 있도록 소정의 신호를 송출할 수 있다. 소정의 신호는 진동, 알람, 텍스트, LED 등일 수 있다.
사용자와 스마트 가전기기(800) 사이의 반경은 스마트 가전기기(800)에 의하여 추출될 수도 있고, 스마트폰(900)에 의하여 추출될 수도 있다.
즉, 사용자의 수면 공간은 고정되어 있기 때문에, 스마트 가전기기(800)의 위치를 추적하여 스마트 가전기기(800)가 적절한 위치에 배치되어 있는지 판단할 수 있다.
한편, 스마트 가전기기(800)는 사용자에 착용가능한 디바이스가 아닌, 사용자 수면에 이용되는 수면용 제품(디바이스)에 해당할 수 있다.
예를 들어, 스마트 가전기기(800)의 하나로서, 스마트 스피커(smart speaker,804)가 이용될 수 있다. 스마트 스피커(804)는 다양한 음향정보를 측정하기 위하여, 음향센서를 내부에 포함할 수 있다.
스마트 스피커(804)는 음향센서를 통하여 획득된 음향정보를 이용하여, 1차 수면 분석을 수행할 수 있다. 스마트 스피커(804)는 스마트폰(900)과 페어링되어, 스마트 스피커(804)에서 측정된 정보, 또는 스마트 스피커(804)에서 분석된 1차 수면 분석 결과가 스마트폰(900)으로 전달될 수 있다. 이때, 스마트 스피커(804)는 통신 모듈을 포함할 수 있다.
또한, 스마트 가전기기(800)의 하나로서, 스마트 매트리스(smart mattress)가 이용될 수 있다. 스마트 매트리스는 다양한 음향정보를 측정하기 위하여, 음향센서를 내부에 포함할 수 있다.
스마트 매트리스는 음향정보를 이용하여, 1차 수면 분석을 수행할 수 있다. 스마트 매트리스는 스마트폰(900)과 페어링되어, 스마트 매트리스가 측정한 정보, 또는 스마트 매트리스가 분석된 1차 수면 분석 결과를 스마트폰(900)으로 전달할 수 있다. 이때, 스마트 매트리스는 통신 모듈을 포함할 수 있다.
한편, 스마트 매트리스는 온도를 조절하기 위한 각종 모듈(온도조절 모듈, 적외선 조사모듈, 쿨링모듈)을 포함할 수 있고, 최종 수면단계 분석 결과에 기초하여 온도가 조절될 수 있다. 이는 사용자의 수면의 질을 향상시킨다.
한편, 위에서 언급한 스마트 스피커(804)나 스마트 매트리스는, 후술하는 수면장애 완화 및 개선을 위하여, 진동 모듈 또는 알람 모듈을 포함할 수 있다. 즉, 수면무호흡, 코골이, 수면 과호흡, REM 수면 등이 감지되면, 스마트 스피커(804)나 스마트 매트리스의 진동 모듈 또는 알람 모듈을 활성화시켜, 사용자에게 촉각적 혹은 청각적 자극을 전달할 수 있다.
그 밖에, 자율주행차량(801)이나, 최근에 건설되는 거주 공간(802)에서도 하나 이상의 스마트 디바이스가 슬립트랙 앱과 연동되어 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템이 구축되어 동작할 수도 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
전술한 스마트 가전기기나 공간의 종류에 대한 기재는 예시일 뿐이며, 본 발명은 이에 제한되지 않는다.
수면 분석 시스템 내 스마트 가전기기
도 11의 (b)는 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템 내 스마트 가전기기의 구성을 나타내는 블록도이다.
본 발명에 따른 스마트 가전기기(800)는 통신부(810), 센서부(820), 프로세서(830), 메모리(840) 및 알람부(850)를 포함한다. 그 외 스마트 가전기기(800)의 기능을 수행하기 위한 다양한 구성이 더 포함될 수 있다.
즉, 본 발명의 실시예들에 대한 구현 양태에 따라 추가적인 구성이 더 포함될 수 있고, 혹은, 상기 구성들 중 일부가 생략되거나, 2개 이상의 구성이 1개의 구성으로 통합될 수도 있다.
통신부(810)는 무선 통신망을 통해 스마트폰(900)이나 AI 서버(310)와 데이터 송수신을 수행한다. 무선 통신망은 지웨이브(Z-wave), 지그비(zigbee), 와이파이(wifi), 블루투스(ble), LTE-M, 로라(LoRa, long Range), 협대역 사물인터넷(NB-IoT), 적외선통신(Infrared Data Association, IrDA) 등의 근거리 무선 통신망을 포함할 수 있다. 또한, 무선통신망은 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), Wifi(wireless fidelity), WiMax(world interoperability for microwave access), GSM(global system for mobile communication) 또는 CDMA(code division multiple access)와 같은 2G 이동통신망, WCDMA(wideband code division multiple access) 또는 CDMA2000과 같은 3G 이동통신망, HSDPA(high speed downlink packet access) 또는 HSUPA(high speed uplink packet access)와 같은 3.5G 이동통신망, LTE(long term evolution)망 또는 LTE-Advanced 망과 같은 4G, 5G, 6G 이동통신망 등을 포함할 수 있지만, 이에 한정되지 않는다.
본 발명의 일 실시 형태에 따르면, 센서부(820)는 사용자의 수면 음향 정보를 추출하기 위한 마이크 모듈을 포함할 수 있다. 마이크 모듈은 소형 디바이스에 적용되기 위한 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은 매우 소형으로 제작이 가능하며, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 매우 낮은 SNR(Signal Noise Ratio)를 가질 수 있다.
이때, 수면 음향 정보는 수면 중 음향신호의 정보로서, 수면 그 자체와 밀접한 상호작용을 하고, 스마트 워치, 스마트 링 등 웨어러블 디바이스를 별도로 착용하지 않고서도 획득될 수 있다.
본 발명의 일 실시 형태에 따르면, 센서부(820)는 기압 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 온도 센서, 습도 센서, 조도 센서를 포함할 수 있다.
본 발명의 일 실시 형태에 따르면, 메모리(840)는 수면 분석을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 후술하는 프로세서(830)에 의하여 판독되어 실행될 수 있다. 또한, 메모리(840)는 프로세서(830)가 생성하거나 결정한 임의의 형태의 정보 및 통신부(810)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(840)는 사용자의 수면에 관련한 데이터를 저장할 수 있다.
예를 들어, 메모리(840)는 입/출력되는 데이터들을 임시 또는 영구 저장할 수도 있다.
본 발명에 따르면, 메모리(840)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체로 구현될 수 있지만, 이에 한정되지 않는다.
본 발명에 따르면, 컴퓨터 프로그램은 메모리(840)에 로드될 때, 프로세서(830)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(830)는 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작을 수행할 수 있다.
본 발명의 일 실시 형태에 따르면, 프로세서(830)는 하나 이상의 코어로 구성될 수 있으며, 스마트 가전기기의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.
본 발명의 일 실시 형태에 따르면, 프로세서(830)는 메모리(840)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(830)는 신경망의 학습을 위한 연산을 수행할 수 있다.
본 발명에 따르면, 프로세서(830)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
또한, 프로세서(830)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다.
예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 스마트 가전기기의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다.
또한, 본 발명의 일 실시예에 따른 스마트 가전기기(800)에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 발명에 따르면, 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.
본 발명에 따르면, 모델(추론 모델)은 네트워크 함수를 포함할 수 있다. 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.
본 발명에 따르면, 프로세서(830)는 메모리(840)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(830)는 수면 분석 모델을 이용하여 수면 음향 정보에 기초해 사용자의 수면 분석을 수행할 수 있다.
즉, 사용자의 수면 중 호흡은 수면을 분석하기 위한 많은 정보를 담는데, 몸의 움직임이나 수면 중 호흡음뿐 아니라, 다양한 수면 질환(예를 들어, 수면 무호흡증, 수면 저호흡증, 코골이) 등의 많은 정보를 담고 있어, 인공지능(AI)을 활용할 경우, 높은 정확도를 기대할 수 있다.
도 32의 (b)에서 보는 바와 같이, 수면 단계에서는 사용자의 호흡 패턴과 규칙성, 수면중 움직임 소리 및 숨소리가 측정되고, 무호흡증 이벤트 발생 후의 회복 호흡음과, 저 호흡증 이벤트 동안의 불안정한 호흡음이 측정될 수 있다.
또한, 호흡음의 주파수 패턴이 분석되면, 코골이나 수면 무호흡증의 원인에 대한 근본적인 예측이 가능하다.
특히, 수면 중 호흡음은 사용자의 수면 중 숨소리로서, 도 35에서 보는 바와 같이 스마트폰(900)이나 스마트 스피커(804) 등의 다양한 스마트 가전기기(800)를 통해서 병원이 아닌 곳에서도 편리하게 측정 가능한 정보이다.
본 발명의 일 실시 형태에 따르면, 프로세서(830)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다. 수면 분석 모델에 기초해서 사용자의 수면단계, 수면의 질, 수면장애 발생 등과 관련한 수면정보가 추론될 수 있다. 사용자로부터 실시간 혹은 주기적으로 획득되는 수면 음향 정보가 수면 분석 모델에 입력값으로 입력되어 사용자의 수면과 관련한 데이터(수면단계, 수면의 질, 수면장애 발생 등에 관한 데이터)를 출력하게 된다.
한편, 본 발명에 따른 스마트 가전기기(800)는 알람부(850)를 더 포함할 수 있다. 알람부(850)는 1차 및 2차 수면 분석 중 수면무호흡과 같은 수면장애가 발생한 경우, 사용자의 촉각적 혹은 청각적 피드백을 부여하기 위한 수단이다.
예를 들어, 알람부(850)는 진동을 생성하는 액추에이터, 진동 모듈, 햅틱 모듈로 구현될 수 있고, 소리, 음향을 생성하는 스피커 모듈로 구현될 수도 있다.
한편, 본 발명에 있어서, 수면상태정보는 사용자가 수면을 취하고 있는지 여부에 관련한 정보일 수 있다. 구체적으로, 수면상태정보는, 사용자가 수면 전이라는 제1 수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다.
다시 말해, 사용자에 관련하여 제1 수면 상태 정보가 추론되는 경우, 프로세서(830)는 해당 사용자가 수면 전(즉, 취침 전)인 상태인 것으로 판단할 수 있으며, 제2 수면 상태 정보가 추론되는 경우, 해당 사용자가 수면 중인 상태인 것으로 판단할 수 있고, 그리고 제3 수면 상태 정보가 획득되는 경우, 해당 사용자가 수면 후(즉, 기상)인 상태인 것으로 판단할 수 있다.
이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득될 수 있다. 환경 센싱 정보는, 비접촉 방식으로 사용자가 위치한 공간에서 획득되는 센싱 정보일 수 있다.
예를 들어, 프로세서(830)는 센서부(820)에서 획득된 환경 센싱 정보(청소에 관련한 음향 정보, 음식 조리에 관련한 음향 정보, TV 시청에 관련한 음향 정보, 수면 중 획득되는 수면 음향 정보 등)에 기초하여 수면 상태 정보를 추출할 수 있다.
이때, 사용자의 수면 중 획득되는 수면 음향 정보는, 수면 중 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 중 호흡 사운드 등을 포함할 수 있다. 즉, 본 발명에서의 수면 음향 정보는 사용자의 수면 동안에 관련한 호흡 패턴에 관련한 음향 정보를 의미할 수 있다.
본 발명에 따르면, 수면단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면단계의 설정은 일반적으로 통용되는 수면단계를 기준으로 정의될 수도 있지만, 설계자에 따라 다양한 방식으로 임의설정될 수도 있다.
본 발명의 일 실시 형태에 따르면, 수면단계 분석을 통해서는 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
본 발명에 따르면, 프로세서(830)는 스마트 가전기기(800)로부터 획득되는 음향정보에 기초하여 수면상태 정보를 획득할 수 있다. 구체적으로, 프로세서(830)는 음향정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다.
여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많을 수 있다.
또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고, 호흡음도 커질 수 있다.
즉, 프로세서(830)는 음향정보에서, 규칙적인 호흡, 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(830)는 식별된 특이점(201)을 기준으로 획득되는 음향정보에 기초하여 수면 음향 정보를 획득할 수 있다.
프로세서(830)는 시계열적으로 획득되는 음향정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
종래의 수면 분석 방법과 본 발명의 수면 분석 방법의 비교
도 45는 본 발명의 수면 분석 방법을 종래기술과 비교하기 위해, 종래의 수면 분석 방법에 따라 병원환경에서 수면다원검사 마이크 데이터(S)만을 이용한 경우의 훈련 방법에 관을 도시한 개념도이다.
도 46은 도 45에 도시된 훈련 방법에, 본 발명의 수면 분석 방법에 따라 가정환경에서의 각종 음향을 반영하여 AI 수면 분석 모델을 생성하는 방법의 개념도이다.
여기에서, 파형(a)는 병원환경에서 수면다원검사 마이크 데이터(S)의 파형, 파형(b)는 가정환경에서 발생하는 각종 노이즈 데이터(N)의 파형, 파형(c)는 파형(a)와 파형(b)가 결합된 파형이다.
도 47은 본 발명에 따른 수면 분석 방법의 성능을 주거 노이즈의 종류에 따라 9개 그룹으로 나누어 훈련한 성능을 검증한 표로서, 제1 내지 제 9 그룹(group 0 ~ group8)을 대상으로 하여 테스트한 실험 결과 데이터이다.
주거 노이즈의 종류가 제1 그룹은 비 소리, 바람 소리, 제2 그룹은 선풍기 소리, 에어콘 소리, 제3 그룹은 TV 소리, 전화 소리, 비디오 레코더 소리, 제4 그룹은 자동차 소리, 모터 바이크 소리, 기타 차량 소리, 제5 그룹은 시계 소리, 제6 그룹은 사람의 대화 소리, 목소리, 제7 그룹은 전자제품 소리, 제8 그룹은 방간/층간 소음, 제9 그룹은 반려동물 소리이다.
도 45에서 보는 바와 같이, 종래의 병원환경에서 수면다원검사 마이크 데이터(S)만을 이용한 경우의 훈련 방법은 병원에서 수집된 수면다원검사 마이크 데이터(S)를 입력받아 제1 AI 수면 분석 모델을 거쳐 출력되면, 분류 손실(classification loss)이 반영된 수면 분석 및 진단의 라벨이 생성 및 피드백된다.
반면, 가정용 수면다원검사 마이크 데이터(H)를 이용한 경우의 훈련 방법은 다음과 같다.
먼저, 도 46에서 보는 바와 같이, 종래의 병원환경에서 수면다원검사 마이크 데이터(S)만을 이용한 경우의 훈련 방법(a)에서 이용된 수면다원검사 마이크 데이터(S)에, 가정환경에서 발생하는 각종 노이즈 데이터(N)가 결합되어 입력된다.
이러한 결합 데이터(S+N)가 입력되어 제2 AI 수면 분석 모델을 거쳐 출력되면, 일관성 손실(consistency loss)이 발생한다.
이 일관성 손실에 도 20에 도시된 훈련 방법에 의해 발생된 분류 손실이 합산되어 반영되면, 제3 AI 수면 분석 모델이 생성된다.
이때, 제1 및 제2 AI 수면 분석 모델은 서로의 출력데이터 간 관련성을 부과한다.
사용자의 24시간 모니터링 프로세서 및 클래스 당 평균 결과값 비교
도 48은 본 발명에 따른 AI 기반의 비접촉식 수면 분석 시스템 및 수면 분석 방법에 의한 사용자의 24시간 모니터링 프로세스를 설명하기 위한 개략도이다.
도 49는 본 발명에 따른 스마트 가전기기 및 수면 분석 방법과 기존의 세계 선도적인 슬립 테크 업체들의 제품 및 디바이스와 비교한 클래스 당 평균 (mean per class) 결과값의 표이다.
기존의 스마트워치만을 이용하여 사용자의 활동, 휴식, 수면 등의 패턴을 분석했던 종래의 경우에는 수면시 스마트워치를 벗어놓으면서 수면 분석이 중단되는 문제점이 있었다. 본 발명은 스마트 가전기기(800)와 연동된 스마트폰(900)을 이용하여 수면시 스마트워치를 벗어놓은 상태에도 사용자의 모든 활동을 실시간으로 중단없이(seamlessly) 모니터링할 수 있게 한다.
예를 들어, 스마트워치를 벗었을 때, 충전기에 꽂았을 때, 충전패드에 거치했을 때 등, 스마트폰(900)을 자동으로 구동시킴으로써 사용자의 활동, 휴식, 수면 등에 관한 분석을 연속적으로 이어갈 수 있게 된다. 이때, 스마트 가전기기(800)에 인접하지 않은 상태에서 수면시간이 되었을 때 스마트폰(900)을 구동시킬 수 있다.
이와 같은 방식으로 수면을 포함한 사용자 활동 측정의 연속성을 확보할 수 있게 된다. 예를 들어, 도 48에 도시된 바와 같이, 24시간의 데이터는 스마트폰(900)을 통해 확보될 수 있다. 그리고, 해당 데이터는 다양한 리포트로 가공되어 사용자에게 제공될 수 있다.
사용자는 스마트폰(900)의 스크린을 터치하여 수면기록을 시작하고, 위에서 언급한 방식으로 분석된 수면 분석 결과 리포트(취침 시간, 입면 지연 시간, 수면 시간, 알람 후 깨는 데 걸리는 시간 등)를 제공받으며, 수면단계에 맞추어 알람(개인 수면 단계에 맞춰 점차 커지는 소리의 알람 등)이 자동적으로 생성될 수 있고, 유저 프로파일링(수면 정보, 선호 컨텐츠, 연령대/성별/직업군에 따른 컨텐츠 추천 등), 개인 수면패턴에 최적화된 맞춤형 수면/운동/섭식/화장품/행동규정 등에 대한 추천 등의 올데이 케어 서비스를 제공받을 수 있게 된다.
본 발명은 체중/혈압과 수면무호흡, 불면증, 또는 운동과 불면증 등을 수면측정기록으로 보여주며, 이는 사용자에게 자신의 건강을 개선하기 위한 행동 변화의 동기부여가 될 수 있다. 즉, 본 발명은 사용자 행동변화의 순응도를 매우 자연스럽게 향상시킬 수 있다.
예를 들어, 사용자가 과체중일 경우, 수면무호흡이 흔하게 발생하는데, 체중 감량이 수면무호흡 호전에 도움이 되므로, 본 발명은 헬스케어 앱의 식단, 운동 및 체중 트랙킹(weight tracking)과 연계될 수 있다.
즉, 수면무호흡 이력(history)은 본 발명의 실시간 수면무호흡 감지와 정확도로 행동 개입이 가능하게 된다.
또한, 수면무호흡은 고혈압의 원인이 되므로, 호흡 불안정 구간이 정기적일 경우 본 발명을 이용하여 혈압 추적 관리가 가능하게 된다.
즉, 체중 감량은 인체의 혈압을 낮추는 데 도움이 되므로, 체중 감량 성공 시, PSQI를 활용하여 객관적인 수면의 질 전후를 비교할 수 있다.
또한, 운동(취침 전 3시간 이내 제외)은 불면증 완화에 도움이 되므로, 야외 활동으로 자연광을 마주하는 시간이 길어지고 사용자의 기분(mood)이 향상된다.
또한, 헬스케어 앱으로부터 다양한 운동 프로그램을 추천받는 것이 가능하게 된다.
아울러, 본 발명은 스트레스 수치와 수면, 또는 생리전 증후군과 불면 등의 상관관계를 유저에게 보여줄 수 있고, 이는 사용자가 자신의 건강상태를 재인식하게 만들 수 있다.
즉, 스트레스 수치와 수면의 질 간의 상관관계를 표기함으로써 흥미적 요소를 추가하고, 사용자의 스트레스 수치 및 우울증 정도에 따라, 헬스케어 앱에서 제공하는 정신의학 관련 설문지 작성이 가능하게 된다.
또한, 생리전 증후군의 증상 중 하나로 불면증을 호소하는 경우, 생리 주기 트래킹 기능 내 캘린더에 수면 데이터의 비교가 가능토록 수면 효율을 병기하여 사용자의 생리 현상과 관련된 건강상태를 점검받게 할 수 있다.
한편, 수면단계 분석에 있어서 중요한 것 중 하나는 사용자가 수면 중 깨는 상황이 생기는지, 진정한 기상이 이루어졌는지를 판단하는 것이다. 즉, 깨는 단계인 WAKE 단계를 제대로 분석할 수 있어야 하는데, 수면음향신호(sound)는 진정한 WAKE 단계에 있는지를 검출해내는 데 매우 유용한 요인이 된다.
종래 수면다원분석에서의 뇌파 측정의 경우, 사용자가 깬 상태에서 변화된 뇌파를 확인하는 것에 불과했다면, 본 발명의 수면단계 분석에 이용하는 수면음향신호는 사용자가 깨기 전(WAKE 단계에 도달하기 전)부터 전조 신호(사운드 패턴, 움직임 패턴 등)를 나타내고, 이를 통해 WAKE 단계를 예측 및 검출할 수 있다.
다수의 데이터를 통해 학습된 AI 수면단계 분석모델에 의하면, 특히 수면음향신호(sound)에 기초한 WAKE 단계의 판단이 더욱 정밀해지게 된다. 또한, 사용자가 잠에서 깨어나는 경우는 신체 바이오리듬에 따르는 경우도 있지만, 외부 인자(주변 소음, 잡음 등)에 영향을 받는 경우도 있다.
본 발명은 사용자의 수면 환경, 즉, 주변 공간에서 루틴하게 발생하는 노이즈, 비정상적 혹은 간헐적으로 발생하는 노이즈 등 다양한 주변 잡음까지 학습하여 AI 수면단계 분석모델이 구축되기 때문에, WAKE 단계를 더욱 명확하고 신뢰성 있게 예측하고, 검출해 낼 수 있게 된다.
실제로, 도 49에서 보는 바와 같이, 기존의 세계 선도적인 슬립 테크 업체들의 솔루션과 비교했을 때, Wake의 정확도 면에서 기존의 웨어러블 대비 43%, 기존의 비접촉식 대비 52% 향상된 결과가 산출되었고, Wake/Sleep 평균 정확도 면에서 기존의 웨어러블 대비 16%, 기존의 비접촉식 대비 20% 향상된 결과가 산출되었다.
또한, Wake/NREM/REM(3C) 평균 정확도 면에서 기존의 웨어러블 대비 15%, 기존의 비접촉식 대비 25% 향상된 결과가 산출되었다.
또한, 수면 음향 정보를 이용하는 본 발명의 수면 분석은 마이크 등이 포함된 디바이스만 있다면, 누구나 수면 분석이 가능하기 때문에, 매우 높은 범용성을 가지며, 다양한 장치에 적용될 수 있다.
본 발명에 따른 수면 분석 방법, 수면장애완화 및 방지방법, 수면장애개선방법, 모니터링 방법은 클라우드 컴퓨팅 서비스를 제공하는 서버에 의하여 제공될 수 있다. 보다 구체적으로, 본 발명에 따른 수면 분석 방법, 수면장애완화 및 방지방법, 수면장애개선방법, 모니터링 방법은 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버에 의하여 실행될 수 있다.
즉, 도 50 및 51에 도시된 실시예에서, 스마트 가전기기(800) 및 스마트폰(900)에서 획득된 다양한 수면 음향 정보는 AI 서버(310)로 전송되고, AI 서버(310)는 해당 정보를 이용하여 수면 분석을 수행한 뒤, 다시 스마트 가전기기(800) 및 스마트폰(900)으로 그 결과를 전송할 수 있다.
본 발명의 다른 실시형태에 의하면, 스마트폰(900)에서 획득된 다양한 수면 음향 정보는 스마트폰(900)에서 스펙트로그램으로 변환되어 AI 서버(310)로 전송될 수 있다. 이 경우 AI 서버(310)는 해당 스펙트로그램을 이용하여 수면 분석을 수행할 수 있다.
본 발명의 또다른 실시형태에 의하면, 스마트폰(900)에서 획득된 다양한 수면 음향 정보는 AI 서버(310)에서 스펙트로그램으로 변환되어 AI 서버(310)가 해당 스펙트로그램을 이용하여 수면 분석을 수행할 수 있다.
클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. 또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다.
또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 발명의 스마트 가전기기(800)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 발명의 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.
본 발명에 따른 수면 분석 방법, 수면장애완화 및 방지방법, 수면장애개선방법, 모니터링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
환경 조성 정보 생성
본 발명의 일 실시예에 따르면, 프로세서(130) 또는 프로세서(830)는 수면 상태 정보 및/또는 수면 단계 정보에 기초하여 환경 조성 정보를 생성할 수 있다.
수면 상태 정보는, 사용자가 수면을 취하는지 여부에 관련한 정보로, 사용자가 수면 전이라는 제1 수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다. 이하 환경 조성 정보를 생성하는 단계에 대하여 프로세서(130)를 예로 들어 자세히 설명한다.
실시예에 따르면, 프로세서(130)는 제1 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성할 수 있다. 구체적으로, 프로세서(130)는 사용자가 수면 전이라는 제1 수면 상태 정보를 획득한 경우, 해당 제1 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성할 수 있다.
실시예에 따르면, 제1 환경 조성 정보는, 자연스럽게 수면에 들도록 유도하는 광의 세기 및 조도에 관한 정보일 수 있다. 구체적으로, 제1 환경 조성 정보는, 수면 유도 시점을 기준으로 상기 제2 수면 상태 정보가 획득되는 시점까지 3000K의 백색광을 30 lux의 조도로 공급하도록 하는 제어 정보일 수 있다.
실시예에 따르면, 수면 유도 시점은, 프로세서(130)에 의해 결정될 수 있다. 구체적으로, 프로세서(130)는 사용자의 사용자 단말(10)과의 정보 교환을 통해 수면 유도 시점을 결정할 수 있다. 구체적인 예를 들어, 사용자는 자신이 수면하고자 하는 시점을 사용자 단말(10)을 통해 설정하여 프로세서(130)로 전달할 수 있다. 프로세서(130)는 사용자 단말(10)로부터 사용자가 수면을 취하고자 하는 시점에 기초하여 수면 유도 시점을 결정할 수 있다. 예를 들어, 프로세서(130)는 사용자가 수면을 취하고자 하는 시점을 기준으로 20분 전 시점을 수면 유도 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 설정한 수면을 취하고자 하는 시점이 11시인 경우, 프로세서(130)는 10시 40분을 수면 유도 시점으로 결정할 수 있다. 전술한 시점에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
또한 실시예에 따르면, 프로세서(130)는 환경 센싱 정보에 기초하여 사용자의 수면 의도 정보를 획득하고, 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 수면 의도 정보는, 사용자가 수면을 취할 의도를 정량적인 수치로 나타낸 정보일 수 있다. 예컨대, 사용자의 수면 의도가 높을수록 10게 가까운 수면 의도 정보가 산출되며, 수면 의도가 낮을수록 0에 가까운 수면 의도 정보가 산출될 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
전술한 수면 의도 정보에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
수면 의도 정보 획득
본 발명의 일 실시 형태에 따르면, 프로세서(130) 또는 프로세서(830)는 환경 센싱 정보에 기반하여 수면 의도 정보를 획득할 수 있다. 또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 수면 의도 정보를 획득할 수도 있다. 이하, 수면 의도 정보를 획득하는 단계에 대하여 프로세서(130)를 예로 들어 자세히 설명한다.
일 실시예에 따르면, 프로세서(130)는 환경 센싱 정보에 포함된 음향의 종류를 식별할 수 있다. 또한, 프로세서(130)는 식별된 음향의 종류의 수에 기초하여 수면 의도 정보를 산출할 수 있다. 프로세서(130)는 음향의 종류의 수가 많을수록 수면 의도 정보를 낮게 산출할 수 있으며, 음향의 종류가 적을수록 수면 의도 정보를 높게 산출할 수 있다. 구체적인 예를 들어, 환경 센싱 정보에 포함된 음향의 종류가 3가지(예컨대, 청소기 소리, TV소리 및 사용자 목소리)인 경우, 프로세서(130)는 수면 의도 정보를 2점으로 산출할 수 있다. 또한 예를 들어, 환경 센싱 정보에 포함된 음향의 종류가 1가지(예컨대, 세탁기)인 경우, 프로세서(130)는 수면 의도 정보를 6점으로 산출할 수 있다. 전술한 환경 센싱 정보에 포함된 음향의 종류 및 수면 의도 정보에 관한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 프로세서(130)는 환경 센싱 정보에 포함된 음향의 종류의 수에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 많은 종류의 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.
또한 실시예에서, 프로세서(130)는 복수의 음향 정보 각각에 상이한 의도 점수를 사전 매칭하여 의도 점수 테이블을 생성 또는 기록할 수 있다. 예를 들어, 세탁기에 관련한 제1음향 정보에는 2점이라는 의도 점수가 매칭되어 있을 수 있으며, 가습기 소리에 관련한 제2음향 정보에는 5점이라는 의도 점수가 사전 매칭되어 있을 수 있고, 그리고 목소리에 관련한 제3음향 정보에 1점이라는 의도 점수가 매칭되어 있을 수 있다. 프로세서(130)는 사용자의 수면과 관련한 음향 정보(예컨대, 사용자가 활동함에 따라 발생하는 소리로, 청소기, 설거지, 목소리 음향 등)에 대하여 비교적 높은 의도 점수를 사전 매칭하며, 사용자의 수면과 관련없는 음향 정보(예컨대, 사용자의 활동과 무관한 소리로, 차량 소음, 비오는 소리 등)에 대하여 비교적 낮은 의도 점수를 사전 매칭하여 의도 점수 테이블을 생성할 수 있다. 전술한 각 음향 정보에 매칭된 의도 점수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
프로세서(130)는 환경 센싱 정보 및 의도 점수 테이블에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적으로, 프로세서(130)는 환경 센싱 정보에서 의도 점수 테이블에 포함된 복수의 음향 중 적어도 하나가 식별되는 시점에 대응하여, 식별된 음향에 매칭된 의도 점수를 기록할 수 있다. 구체적인 예를 들어, 실시간으로 환경 센싱 정보가 획득되는 과정에서 제1시점에 대응하여 청소기 소리가 식별되는 경우, 프로세서(130)는 해당 청소기 소리에 매칭된 의도 점수 2점을 제1시점에 매칭하여 기록할 수 있다. 프로세서(130)는 환경 셍신 정보 획득 과정에서, 다양한 음향 각각이 식별될 때마다 식별된 음향에 매칭된 의도 점수를 해당 시점에 매칭하여 기록할 수 있다.
실시예에서, 프로세서(130)는 미리 정해진 시간(예컨대, 10분) 동안 획득된 의도 점수의 합에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적인 예를 들어, 10분 동안 획득된 의도 점수가 높을수록 높은 수면 의도 정보가 획득될 수 있으며, 10분 동안 획득된 의도 점수가 낮을수록 낮은 수면 의도 정보가 획득될 수 있다. 전술한 미리 정해진 시간에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 프로세서(130)는 환경 센싱 정보에 포함된 음향의 특성에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 사용자의 활동에 관련한 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.
환경 조성 정보 결정 및 스마트 가전기기의 동작
본 발명의 실시예에 따르면, 프로세서(130) 또는 프로세서(830)는 수면 상태 정보및/또는 수면 의도 정보에 기초하여 환경 조성 정보를 결정할 수 있다.
또한, 환경 조성 정보에 기초하여 본 발명의 실시예에 따른 다양한 스마트 가전기기(800)가 동작할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다. 이하, 환경 조성 정보의 결정과 스마트 가전기기의 동작을 도면 등을 활용하여 자세히 설명하기로 한다.
전체적인 동작
도 8은 본 발명의 일 실시예와 관련된 수면 상태 정보에 따른 수면 환경 조성 방법을 제공하기 위한 예시적인 순서도를 도시한다.
본 발명의 일 실시예에 따르면, 상기 방법은, 사용자의 수면 상태 정보를 획득하는 단계(S100)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 방법은, 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 단계(S200)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 방법은, 환경 조성 정보를 환경 조성 장치(30)로 전송하는 단계(S300)를 포함할 수 있다.
전술한 도 8에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
도 39는 본 발명에 따른 AI 기반의 비접촉식 수면 분석 방법의 동작을 설명하기 위한 순서도이다.
도 40은 본 발명에 따른 수면 분석 방법에 사용되는 다양한 스마트 가전기기의 실시예를 나타내는 순서도이다.
도 50 및 도 51과 도 39을 참조하여 본 발명에 따른 AI 기반의 비접촉식 수면 분석 방법의 전반적인 동작을 개략적으로 설명하면 다음과 같다.
수면 분석 앱이 스마트폰(900)에 다운로드 될 수 있다(S1000).
적어도 하나 이상의 스마트 가전기기(800)가 사용자의 수면 음향 정보를 실시간으로 수집하여 서버(310)로 전송할 수 있다(S2000).
스마트폰(900)이 사용자의 수면 음향 정보를 동시에 실시간으로 수집하여 서버(310)로 전송할 수 있다(S3000).
서버(310)가 AI로 학습된 수면 분석 결과 리포트를 스마트폰(900)으로 전송할 수 있다(S4000).
스마트폰(900)이 적어도 하나 이상의 스마트 가전기기(800)의 동작을 제어하는 제어신호를 출력할 수 있다(S5000).
적어도 하나 이상의 스마트 가전기기(800)가 사용자에게 맞춤형 수면환경을 제공할 수 있다(S6000).
다음으로, 도 50 및 도 51과 도 40을 참조하여 본 발명에 따른 AI 기반의 비접촉식 수면 분석 방법의 세부적인 동작을 설명하면 다음과 같다.
먼저, 스마트 가전기기(800)에 마이크가 내장되어 있는지 여부가 판단될 수 있다(S7000).
만일, 긍정일 경우, 스마트폰(900)에 본 발명에 따른 수면 분석 앱(이하, 슬립트랙(sleeptrack) 앱)이 다운로드될 수 있고(S7100), 부정일 경우, 스마트폰(900)에 기존에 설치되어 있던 앱에 슬립트랙 앱이 연동될 수 있다(S7200).
여기에서, 슬립트랙 앱의 특징은 다음과 같다.
사용자의 실시간 수면 단계 및 호흡 불안정 구간을 탐지하는 수면 분석 앱으로서, 주 단위, 월 단위의 수면의 질 지표와 수면 환경을 저장할 수 있는 데이터베이스와, 사용 세션, 수면 통계 등을 통해 서비스 인사이트를 도출할 수 있는 대시보드를 이용하여 하룻밤의 정확도가 높은 수면 단계 그래프(힙노그램), 수면 평가 지표 및 호흡 불안정 지표를 산출할 수 있다.
또한, 슬립트랙 앱은 웨어러블 디바이스를 별도로 착용하지 않고도 비접촉식(contactless)으로 일상-수면 간 끊김없는(seamless) 모니터링 및 데이터 수집이 가능하다.
이를 통하여, 수면시 신체 자유도를 증가시킬 수 있을 뿐 아니라, 모든 수면 치료의 근간이 되는 깨어 있는 상태(wake) 시간을 정확하게 맞출 후 있어, 시간과 장소에 구애받지 않으면서 가정에서도 다양한 종류의 사용자들의 수면을 편리하고 정확하게 분석할 수 있다.
또한, 슬립트랙 앱의 용도는 다음과 같다.
실시간 수면 트래킹에 기반해 사용자의 수면에 개입(intervention)하여, 수면 분석 결과에 기반해 사용자에게 최적의 수면 환경을 조성해 주기 위하여, 사용자별 수면 패턴 분석 리포트를 제공할 뿐 아니라, 개인 수면 단계에 맞춘 알람, 수면 위생 가이드, 입면/기상 사운드 콘텐츠까지 제공할 수 있다.
또한, 연령대, 성별, 직업군에 따라 사용자별 수면 정보, 선호 컨텐츠, 잠 BTI, 추천 컨텐츠 반응성 등의 사용자 프로파일과, 개인 수면 패턴에 최적화된 맞춤형 운동, 섭식 등 행동 교정 및 수면 루틴을 형성할 수 있는 콘텐츠를 추천할 수 있다.
한편, 단계(S7100)에서, 해당 스마트 가전기기가 수면환경을 조성할 수 있는지 여부가 판단된다(S8000). 여기에서, 수면환경은 온도, 습도, 빛, 사운드, 머리 및 몸의 위치, 향기 등이 포함될 수 있다.
단계(S8000)에서, 긍정일 경우, 슬립트랙 앱이 작동됨과 동시에, 연구 상호작용이 생성될 수 있고(S810), 부정일 경우, 각종 유저 인터페이스(예: PUI, VUI 및/또는 GUI)를 통해 수면 분석에 기반한 고객 가치, 즉 데이터를 제공할 수 있는 기기인지 여부가 판단될 수 있다(S9000).
단계(S9000)에서, 긍정일 경우 슬립트랙 앱이 작동되고(S9100), 부정일 경우, 슬립트랙 앱의 도입이 의미가 없으므로 동작이 종료될 수 있다.
예시적으로, 단계(S8100)까지 도달하는 스마트 가전기기는 온도를 조절하는 에어컨 및/또는 공기청정기, 습도를 조절하는 가습기 및/또는 제습기, 빛을 조절하는 블라인드 및/또는 커튼, 전등, 음향을 조절하는 스마트 스피커(804), 사용자의 머리 및 몸의 위치를 조절하는 스마트 베드, 향기를 조절하는 스마트 디퓨저, 헬스케어 앱을 설치한 스마트 기기 등을 포함할 수 있다.
또한, 단계(S9100)까지 도달하는 스마트 가전기기는 TV, 의류 관리기, 로봇 청소기, 세탁기 및/또는 건조기, 냉장고, 헬스케어 앱을 설치한 스마트 기기 등을 포함할 수 있다.
또한, 단계(S8100) 및 단계(S9100) 외의 "슬립관리 앱 상호작용"까지 도달할 수 있는 응용분야는, 향기, 화장품, 건강기능식, 전통적인 수면 산업, 스포츠, 호텔, 재수학원, 소방서 및 정부기관 등과 관련된 산업분야일 수 있다.
이때, "슬립관리 앱"은 하드웨어 솔루션 없이 수면 분석이 가능한 일종의 수면관리 앱을 의미한다.
또한, "슬립트랙 앱"은 PUI, VUI 및/또는 GUI를 통해 사용자의 수면 리포트를 사용자의 스마트폰(900)에 실시간으로 전달하고, 리포트 결과에 따라 스마트 가전기기(800)를 동작시키는 수면 분석 앱을 의미할 수 있다.
전술한 도면들에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
이하 환경 조성 정보를 결정하는 단계에 대하여 프로세서(130)를 예로 들어 수면 상태 및 수면 단계로 나누어 자세히 설명한다. 또한, 환경 조성 정보에 따라 동작하는 스마트 가전기기(800)의 예를 들어 자세히 설명한다. 다만, 이하 서술하는 실시예에 한정되는 것은 아니며, 본 발명은 이에 제한되지 않는다.
수면 유도 시점 결정
실시예에 따르면, 프로세서(130)는 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 수면 유도 시점을 결정할 수도 있다. 구체적으로, 프로세서(130)는 수면 의도 정보가 미리 정해진 임계 점수를 초과하는 시점을 수면 유도 시점으로 식별할 수 있다. 즉, 프로세서(130)는 높은 수면 의도 정보가 획득되는 경우, 이를 수면 유도에 적절한 시점 즉, 수면 유도 시점으로 식별할 수 있다.
전술한 바와 같이, 프로세서(130)는 사용자의 수면 유도 시점을 결정할 수 있다. 실시예에 따르면, 프로세서(130)는 사용자가 수면 전이라는 제1 수면 상태 정보를 획득하는 경우, 수면 유도 시점을 기준으로 제2 수면 상태 정보가 획득되는 시점까지 광을 조정하도록 하는 제1 환경 조성 정보(3000K의 백색광을 30 lux의 조도로 공급)를 생성할 수 있다.
취침 전 상태에 기초한 제1 환경 조성 정보 및 스마트 가전기기의 동작
본 발명의 일 실시예에 따르면, 프로세서(130)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지 광을 조정하도록 하는 제1 환경 조성 정보를 생성할 수 있으며, 해당 제1 환경 조성 정보를 환경 조성 장치(30)로 전송할 것을 결정할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
이에 따라, 사용자가 잠들기 20분(예컨대, 수면 유도 시점) 전부터 잠에 드는 순간까지 3000K의 백색광이 30 lux의 조도로 공급될 수 있다. 이는 사용자가 잠들기 전 멜라토닌 분비에 탁월한 광이며, 자연스럽게 수면에 들도록 유도하는 것으로, 사용자의 수면 효율을 향상시킬 수 있다.
또한, 실시예에 따르면, 프로세서(130)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지, 스마트 가전기기를 제어하기 위한 제1 환경 조성 정보를 생성할 수 있다.
구체적으로, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하거나, 입면을 위한 실내 온도와 습도를 제어하는 등의 제1 환경 조성 정보를 생성할 수 있다. 또한, 제1 환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 스마트 가전기기를 제어하거나, 공기청정기 또는 공기조화기 등의 스마트 가전기기의 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추거나, 직접풍을 간접풍으로 전환하는 등의 정보를 포함할 수 있다. 또한, 제1 환경 조성 정보는 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 스마트 가전기기를 제어하기 위한 정보를 포함할 수 있다. 또한, 제1 환경 조성 정보는 공기청정기 또는 공기조화기 등의 스마트 가전기기의 가동 히스토리와 획득되는 수면 상태(수면의 질)에 따라서 개인 맞춤형 온도, 습도, 송풍 세기 및 소음 등을 조절하도록 하는 제어 정보를 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지, 스마트 가전기기가 제1 환경 조성 정보에 따라 동작할 수 있다. 이하 다양한 스마트 가전기기의 동작을 예를 들어 설명한다.
예를 들어, 사용자가 수면을 준비하는 것으로 예측되는 시점 또는 사용자가 수면을 의도하는 시점 등 사용자가 취침을 준비하는 단계에서, 침실, 거실, 주방, 화장실 등에 설치된 전등은 내장된 모션센서가 사용자의 재실 여부를 감지할 수 있다. 또한 헬스케어 앱이 사용자의 수면 측정을 개시할 수 있다.
본 발명의 실시예에 따른 TV는 사용자 최적화 수면 컨텐츠를 제공할 수 있다. 또는 스크린 소등 시간을 설정할 수 있다. 여기에서, 사용자 최적화 수면 컨텐츠는 마음챙김(Mindfulness), 심상치료(Guided Imagery), ASMR, 숫자 거꾸로 세기, 양 세기 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 에어컨 및/또는 공기청정기는 사용자의 입면을 위한 실내 온도를 조절할 수 있다. 또한 제공되는 공기 종류를 간접풍으로 전환할 수 있다.
본 발명의 일 실시예에 따른 가습기 및/또는 제습기는 저소음 상태로 활성화할 수 있다. 또한 적정 습도를 유지할 수 있다.
본 발명의 일 실시예에 따른 냉장고는 사용자의 개인 취침 시간 분석을 기반으로 수면에 도움이 되는 음식(예: 따뜻한 우유, 카모마일 등)을 추천하거나, 사용자로 하여금 야식을 하지 않도록 유도할 수 있다.
본 발명의 일 실시예에 따른 의류 관리기는 저소음 모드로 전환하거나, 기상시 바로 작동되도록 취침 시작 시간이 설정될 수 있다.
본 발명의 일 실시예에 따른 블라인드 및/또는 커튼은 자동으로 클로징(closing)될 수 있고, 전등 중 수면등은 약한 불빛으로 전환될 수 있다. 이외 모든 전등은 소등되도록 설정될 수 있다.
또한, 본 발명의 실시예에 따라, 사용자가 잠이 드는 시점에서, 헬스케어 앱은 사용자의 입면 사실을 인식할 수 있다. TV는 사용자 최적화 수면 콘텐츠 중 사운드 관련 콘텐츠는 계속 제공하고, 스크린은 소등되도록 설정될 수 있다.
제2 수면 상태에 기초한 제2 환경 조성 정보 및 스마트 가전기기의 동작
본 발명의 일 실시예에 따르면, 프로세서(130)는 제2 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성할 수 있다. 또한, 예를 들어, 프로세서(130)는 제2 수면 상태 정보를 통해 사용자가 수면에 인입하는 시점 즉, 수면 인입 시점을 파악할 수 있으며, 이에 기초하여 제2 환경 조성 정보를 생성할 수 있다.
예컨대, 프로세서(130)는, 도 7에 도시된 바와 같이, 수면 인입 시점부터 빛을 최소화하거나 스마트 가전기기를 취침모드로 제어하여 온도와 습도를 최적화하고 조용한 암실과 같은 분위기를 조성하도록 하는 제2 환경 조성 정보를 생성할 수 있다. 이러한 제2 환경 조성 정보는, 사용자가 깊은 수면에 빠지도록 하여 수면의 질을 향상시키는 효과가 있다.
실시예에서, 프로세서(130)는 수면 단계 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 실시예에서, 수면 단계 정보는 수면 음향 정보에 대한 분석을 통해 시계열적으로 획득되는 사용자의 수면 단계 변화에 관한 정보를 포함할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상기 동작을 수행할 수도 있다.
제2 환경 조성 정보는, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 제어 정보일 수 있다. 예컨대, 수면 중 빛의 간섭이 있을 경우, 파편적으로 잠을 잘 확률이 높아져 좋은 숙면을 취하기 어려울 수 있다.
또한, 프로세서(130)는 제2 수면 상태 정보에 기초하여 스마트 가전기기의 표시부의 밝기를 소정 밝기로 낮추거나, 표시부를 오프시키거나, 기설정된 레벨 이하의 소음으로 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하거나, 간점풍을 유지하도록 스마트 가전기기를 제어하기 위한 제2 환경 조성 정보를 생성할 수 있다.
본 발명에 따르면, 제2 환경 조성 정보는 수면 단계에 따라, 깊은 수면(deep sleep)을 취하고 있는 경우 잠에서 깰 염려가 적기 때문에, 실내 공간의 공기의 질을 향상시키거나 온도와 습도를 최적화시키는 등으로 스마트 가전기기를 동작시키기 위한 제어 정보를 포함할 수 있다.
즉, 프로세서(130)는 사용자가 수면(또는 수면 단계)에 진입하였음을 감지하는 경우(제2 수면 상태 정보를 획득하는 경우), 광이 공급되지 않도록 하거나, 스마트 가전기기의 동작을 제어할 수 있는 제2 환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자가 깊은 잠을 잘 확률이 높아져 수면의 질이 향상될 수 있다.
또한, 구체적인 예를 들어, 프로세서(130)는 사용자의 수면 단계 정보를 통해 사용자가 수면 단계(예컨대, 얕은 수면)에 진입했음을 식별하는 경우, 실내 온도와 습도를 최적화하거나, 조도를 최소화하여 빛이 없는 암실 환경을 조성하거나, 숙면을 취할 수 있도록 스마트 가전기기를 제어하여 미세먼지/유해가스의 제거, 공기의 온도 및 습도 조절, LED의 점등, 구동소음의 레벨조절, 송풍량 등을 수행하도록 하는 외부 환경 조성 정보를 생성할 수 있다. 즉, 사용자의 수면 단계 별 최적의 조도 즉 최적의 수면 환경을 조성함으로써, 사용자의 수면 효율을 향상시킬 수 있다.
이 밖에도, 프로세서(130)는 수면 중, 사용자의 수면 단계 변화에 따라 적정한 조도를 제공하거나 공기질을 조절하도록 하기 위한 환경 조성 정보를 생성할 수 있다. 예를 들어, 얕은 수면에서 깊은 수면으로 변화되는 경우, 미세한 적색광을 공급하거나, 또는 REM 수면에서 얕은 수면으로 변화되는 경우, 조도를 낮추거나 청생광을 공급하는 등 수면 단계 변화에 따라 보다 다양한 외부 환경 조성 정보를 생성할 수 있다. 이는, 수면 전, 또는 기상 직후뿐만 아닌 수면 중 상황까지 자동으로 고려하여 수면 경험의 일부가 아닌 전체를 고려함으로써 사용자로 하여금 수면의 질을 극대화시키는 효과를 가질 수 있다.
이하 제2 수면 상태 정보에 기초한 다양한 스마트 가전기기의 동작을 예를 들어 설명한다.
본 발명의 일 실시예에 따른 헬스케어 앱은 사용자의 호흡음을 실시간 분석하고, 무호흡 시 진동이나 알람 등의 자극을 제공할 수 있다.
본 발명의 일 실시예에 따른 TV는 스크린을 소등시키고 사운드를 오프시킬 수 있다.
본 발명의 일 실시예에 따른 에어컨 및/또는 공기청정기는 적정 실내 온도와 간접풍을 유지할 수 있다. 또한 온도 변화로 얕은(Light) 수면 탐지 시 온도를 조절할 수 있다.
본 발명의 일 실시예에 따른 가습기 및/또는 제습기는 저소음 모드 및 적정 습도를 유지할 수 있다.
본 발명의 일 실시예에 따른 도어락은 잠금 상태를 확인할 수 있다.
본 발명의 일 실시예에 따른 콘센트 및/또는 스위치는 저전력 모드로 전환할 수 있다.
본 발명의 일 실시예에 따른 전등 중에서 수면등은 사용자의 입면 사실이 인식된 시점으로부터 기 설정된 시점(예컨대, 15 내지 25분 후)에 소등될 수 있다.
한편, 취침모드 중 수면 단계는 다시 기본 수면 모드, 수면 개인화 모드, 특수 케어 모드로 옵션이 분류될 수 있다.
기본 수면 모드는 쾌적한 수면 환경을 만들 수 있는 환경(공기, 온도, 습도, 빛, 향 등)을 수면 모드 기본값으로 설정하여 제공할 수 있다.
수면 개인화 모드는 축적된 사용자 데이터를 바탕으로 사용자의 수면의 질에 따라 맞춤형 수면 모드를 제공할 수 있다.
특수 케어 모드는 가려움증, 과체중 등 수면에 불편함이 있는 특이 사용자들마다 최적화된 맞춤형 수면 모드를 개발하여 제공할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
기상 유도 시점에 기초한 제3 환경 조성 정보 및 스마트 가전기기의 동작
본 발명의 일 실시예에 따르면, 프로세서(130)는 기상 유도 시점에 기초하여 제3 환경 조성 정보를 생성할 수 있다. 또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 제3 환경 조성 정보를 생성할 수도 있다.
예를 들어, 프로세서(130)는 수면 계획 정보를 통해 사용자의 기상 시간을 식별하고, 해당 기상 시간에 기초하여 기상 예측 시점을 생성하고, 이에 따라, 환경 조성 정보를 생성할 수 있다. 예컨대, 프로세서(130)는, 도 7에 도시된 바와 같이, 기상 예측 시점 30분 전부터 침대 위치를 기준으로 3000K의 백색광을 0 lux부터 시작해서 250 lux에 도달하게끔 서서히 조도를 서서히 높여주도록 하는 제3 환경 조성 정보를 생성할 수 있다. 이러한 제3 환경 조성 정보는, 희망 기상 시간에 대응하여 자연스럽고 개운하게 기상하도록 유도할 수 있다.
또한, 프로세서(130)는 환경 조성 정보를 환경 조성 장치(30)로 전송할 것을 결정할 수 있다. 즉, 프로세서(130)는 수면 계획 정보에 기초하여 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 외부 환경 조성 정보를 생성함으로써, 사용자의 수면의 질을 향상시킬 수 있다.
추가적인 실시예에서, 프로세서(130)는 수면 단계 정보에 기초하여 추천 수면 계획 정보를 생성할 수 있다. 구체적으로, 프로세서(130)는 수면 단계 정보를 통해 사용자의 수면 단계 변화에 대한 정보(예컨대, 수면 사이클)를 획득할 수 있으며, 이러한 정보들을 기반으로 기상 예상 시간을 설정할 수 있다.
예컨대, 일반적으로 하루동안의 수면 사이클은, 얕은 수면, 깊은 수면, 앞은 수면, REM 수면 단계를 거칠 수 있다. 프로세서(130)는 REM 수면 이후가 사용자가 가장 개운하게 기상할 수 있는 시점으로 판단하여 REM 시점 이후로 기상 시간을 결정함으로서, 추천 수면 계획 정보를 생성할 수 있다. 또한, 프로세서(130)는 추천 수면 계획 정보에 따라 환경 조성 정보를 생성하고, 이를 환경 조성 장치(30)로 전송할 것을 결정할 수 있다. 따라서, 사용자는 프로세서(130)가 추천한 추천 수면 계획 정보에 따라 자연스럽게 기상할 수 있다. 이는, 프로세서(130)가 사용자의 수면 단계 변화에 따라 사용자의 기상 시점을 추천한 것으로, 사용자의 피로도가 최소화되는 시점일 수 있으므로, 사용자의 수면 효율이 향상된다는 장점을 가질 수 있다.
상술한 바와 같이, 제3 환경 조성 정보는, 기상 유도 시점으로부터 기상 시점까지 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제어 정보인 것을 특징으로 할 수 있다. 예를 들어, 제3 환경 조성 정보는 사용자의 기상 전 30분 전(즉, 기상 유도 시점)부터 조도를 서서히 올리는 것에 관련한 제어 정보일 수 있다. 여기서, 기상 유도 시점은, 기상 예측 시점에 기초하여 결정되는 것을 특징으로 할 수 있다.
일 실시예에서, 기상 유도 시점은, 기상 예측 시점에 기초하여 결정되는 것을 특징으로 할 수 있다. 기상 예측 시점은, 사용자가 기상할 것으로 예상되는 시점에 관한 정보일 수 있다. 예컨대, 기상 예측 시점은, 제1사용자의 오전 7시일 수 있다. 전술한 기상 예측 시점 또는 수치에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
제3 환경 조성 정보는 기상 시점에 실내 온도, 습도, 송풍 세기, 소음, 진동 중 적어도 하나 이상을 높이거나 낮춰 기상을 유도하도록 스마트 가전기기를 제어하기 위한 정보를 포함할 수 있다. 또한, 제3 환경 조성 정보는 기상을 서서히 유도하기 위해 백색 소음을 발생시킬 수 있도록 스마트 가전기기를 제어하기 위한 제어 정보를 포함할 수 있다.
본 발명에 따르면, 제3 환경 조성 정보는 기상 이후 스마트 가전기기의 소음을 기설정된 레벨 이하로 유지하도록 제어하기 위한 제어 정보를 포함할 수 있다.
또한, 제3 환경 조성 정보는 기상 예측 시점, 기상 추천 시점에 연동하여 스마트 가전기기를 제어하기 위한 제어 정보를 포함할 수 있다. 기상 추천 시점은 사용자의 수면 패턴에 따라 자동적으로 추출된 시점일 수 있으며, 기상 예측 시점은 뒤에서 자세히 설명하도록 한다.
이하 기상 유도 시점 및 기상 시점에 기초한 다양한 스마트 가전기기의 기상모드 동작을 예를 들어 설명한다.
기상 전 단계에서, 본 발명의 일 실시예에 따른 헬스케어 앱은 사용자의 수면 분석을 진행하고, 사용자의 수면 패턴을 인식할 수 있다.
본 발명의 일 실시예에 따른 에어컨 및/또는 공기청정기는 사용자의 기상을 위하여 실내 공기질, 온도 또는 습도 등의 환경을 조절할 수 있다.
기상 단계에서, 본 발명의 일 실시예에 따른 헬스케어 앱은 사용자의 램(REM) 수면이 탐지되거나, 사용자의 체온 변화가 감지될 경우, 앱에 설치된 스마트 알람을 작동시킬 수 있다.
본 발명의 일 실시예에 따른 가습기 및/또는 제습기는 일반 운영 모드로 전환될 수 있다.
본 발명의 일 실시예에 따른 의류 관리기는 취침 준비 단계에서 기 설정되었던 기상 알람 시간에 맞추어 동작을 개시할 수 있다.
본 발명의 일 실시예에 따른 블라인드 및/또는 커튼은 자동으로 오픈될 수 있다.
본 발명의 일 실시예에 따른 세탁기는 세탁 동작을 개시할 수 있다.
또한, 본 발명의 일 실시예에 따른 건조기는 건조 동작을 개시할 수 있다.
기상 후 단계에서, 본 발명의 일 실시예에 따른 헬스케어 앱은 분석된 사용자의 수면 리포트를 사용자의 스마트폰(900)에 디스플레이하고, 오늘의 날씨, 주요 뉴스 등 사용자 최적화 콘텐츠를 제공할 수 있다.
본 발명의 일 실시예에 따른 의류 관리기는 기 설정된 외출 시간에 맞추어 의류의 먼지나 구김에 대한 케어, 냄새 제거, 살균, 건조 등의 작업을 완료할 수 있다.
본 발명의 일 실시예에 따른 로봇 청소기는 이 단계에서 필요시 사용자의 스마트폰(900)에 리포트를 전달하고, 사용자 데이터를 확보, 분석 및 반영하며, 사용자의 외출 전에 세탁기의 세탁 동작 및 건조기의 건조 동작을 완료한 후에, 사용자 데이터를 확보, 분석 및 반영할 수 있다.
본 발명의 일 실시예에 따른 정수기는 사용자의 선호도가 반영된 자동 맞춤형 물을 출수한 후에, 사용자 데이터를 확보, 분석 및 반영할 수 있다.
본 발명의 일 실시예에 따른 냉장고는 전면에 설치된 분석된 사용자의 수면 및 헬스 데이터를 기초로 하여, 추천 및 비추천 아침식사 메뉴 목록과 추천 아침운동 목록을 디스플레이부에 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 오븐/전자 레인지는 냉장고에서 추천한 아침식사 추천 메뉴 중에서 하나 이상이 클릭되면 해당 메뉴를 자동으로 예열한 후에, 사용자 데이터를 확보, 분석 및 반영할 수 있다.
또한, 전 스마트 가전기기(800)의 사용자 데이터를 확보, 분석 및 반영하여, 개인 데이터 기반 최상의 수면 환경(온도, 습도, 공기의 질, 조도 등)이 추천될 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
기상 예측 시점의 판단
일 실시예에서, 기상 예측 시점은 사용자의 사용자 단말(10)과의 정보 교환을 통해 사전 결정되는 것을 특징으로 할 수 있다. 구체적인 예를 들어, 사용자는 자신이 기상하고자 하는 시점을 사용자 단말(10)을 통해 설정하여 프로세서(130)로 전달할 수 있다. 즉, 프로세서(130)는 사용자 단말(10)의 사용자가 설정한 시점에 기초하여 기상 예측 시점을 획득할 수 있다. 예를 들어, 프로세서(130)는 사용자가 사용자 단말(10)을 통해 알람시간을 설정한 경우, 설정한 알람시간을 기상 예측 시점으로 판단할 수 있다.
다른 실시예에서, 기상 예측 시점은, 제2 수면 상태 정보를 통해 식별된 수면 인입 시점에 기초하여 결정되는 것을 특징으로 할 수 있다. 구체적으로, 프로세서(130)는 사용자가 수면 중이라는 제2 수면 상태 정보를 통해 사용자의 수면 인입 시점을 파악할 수 있다. 프로세서(130)는 제2 수면 상태 정보를 통해 파악할 수면 인입 시점에 기초하여 기상 예측 시점을 결정할 수 있다. 예를 들어, 프로세서(130)는 수면 인입 시점을 기준으로 적정 수면 시간인 8시간 이후 시점을 기상예측 시점으로 결정할 수 있다. 구체적인 예를 들어, 수면 인입 시점이 오후 11시인 경우, 프로세서(130)는 기상 예측 시점을 오전 7시로 결정할 수 있다. 전술한 각 시점에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. 즉, 프로세서(130)는 사용자가 수면에 잠든 시점에 기초하여 기상 예측 시점을 결정할 수 있다.
또 다른 실시예에서, 기상 추천 시점은, 사용자의 수면 단계 정보에 기초하여 결정되는 것을 특징으로 할 수 있다. 예컨대, 사용자는 REM 단계에서 기상하는 경우 가장 개운하게 일어날 수 있다. 하루밤 수면 동안, 사용자는 경도 수면(light), 깊은 수면(deep), 경도 수면, REM 수면 순으로 수면 사이클을 가질 수 있으며, REM 수면 단계에서 기상했을 때 가장 개운하게 기상할 수 있다. 바람직하게는, 사용자의 적정 또는 희망 수면 시간을 고려하여, 적정 또는 희망 수면 시간을 최소한 만족하면서, 수면 추천 시점을 결정할 수 있다.
이에 따라, 프로세서(130)는 사용자의 수면 단계에 관련한 수면 단계 정보를 통해 사용자의 기상 예측 시점을 결정할 수 있다. 구체적인 예를 들어, 프로세서(130)는 수면 단계 정보를 통해 사용자가 REM 단계에서 다른 수면 단계로 변화하는 시점(바람직하게는, REM 단계에서 다른 수면 단계로 천이하기 직전 시점)을 기상 추천 시점으로 결정할 수 있다. 즉, 프로세서(130)는 사용자가 가장 개운하게 기상할 수 있는 수면 단계 정보(즉, REM 수면 단계)에 기초하여 기상 예측 시점을 결정할 수 있다.
전술한 바와 같이, 프로세서(130)는 사용자 설정, 수면 인입 시점 및 수면 단계 정보 중 적어도 하나에 기초하여 사용자의 기상 예측 시점을 결정할 수 있다. 또한, 프로세서(130)는 사용자가 기상하고자 하는 시점인 기상 예측 시점을 결정한 경우, 해당 기상 예측 시점에 기초하여 기상 유도 시점을 결정할 수 있다. 예를 들어, 프로세서(130)는 사용자가 기상하고자 하는 시점을 기준으로 30분 전 시점을 기상 유도 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 설정한 기상하고자 하는 시점(즉, 기상 예측 시점)이 오전 7시인 경우, 프로세서(130)는 오전 6시 30분을 기상 유도 시점으로 결정할 수 있다. 전술한 시점에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 프로세서(130)는 사용자의 기상이 예측되는 기상 예측 시점을 파악하여 기상 유도 시점을 결정하고, 기상 유도 시점으로부터 기상 시점(예컨대, 사용자가 실제 기상할 때까지) 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제3 환경 조성 정보를 생성할 수 있다. 프로세서(130)는 해당 제3 환경 조성 정보를 환경 조성 장치(30) 전송할 것을 결정할 수 있으며, 이에 따라, 환경 조성 장치(30)는 제3 환경 조성 정보에 기반하여 사용자가 위치한 공간에서 광에 관련한 조정 동작을 수행할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다. 예컨대, 환경 조성 장치(30)는 광 공급 모듈이 기상 30분 전부터 3000K의 백색광을 0 lux에서 250 lux조도 점진적으로 증가시키도록 제어할 수 있다. 전술한 수치에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
제3 수면 상태 정보에 기초한 제4 환경 조성 정보 및 스마트 가전기기의 동작
본 발명의 일 실시예에 따르면, 프로세서(130)는 제3 수면 상태 정보에 기초하여 제4 환경 조성 정보를 획득할 수 있다. 구체적으로, 프로세서(130)는 사용자의 수면 질병 정보를 획득할 수 있다. 일 실시예에서, 수면 질병 정보는, 수면 위상 지연 증후군을 포함할 수 있다. 수면 위상 지연 증후군이란, 원하는 시간에 잠들지 못하고, 이상적인 수면 시간대가 뒤로 밀리는 수면 장애 증상일 수 있다. 실시예에 따르면, 청색광 치료(blue-light therapy)는 수면 위상 지연 증후군의 치료 방법 중 하나로, 사용자가 희망 기상 시간에 일어난 후 약 30분 정도 청색광을 공급하는 치료일 수 있다. 이러한 청색광 공급을 매일 아침 반복하는 경우, 일주기 리듬(circadian rhythm)을 원상태로 되돌려주어 정상인에 비해 더 늦은 밤시간에 잠이 오게 되는 것이 예방될 수 있다.
이에 따라, 프로세서(130)는 수면 질병 정보 및 제3 수면 상태 정보에 기초하여 제4 환경 조성 정보를 생성할 수 있다. 예를 들어, 사용자 단말(10)을 통해 사용자가 수면 위상 지연 증후군에 해당한다는 수면 질병 정보 및 사용자가 수면 후(즉, 기상)라는 제3 수면 상태 정보를 획득하는 경우, 프로세서(130)는 제4 환경 조성 정보를 생성할 수 있다. 이 경우, 제4 환경 조성 정보는, 기상 시점으로부터 기 설정된 시간 동안 300 lux의 조도, 221도의 색상도, 100% 채도, 56% 밝기의 청색광을 공급하도록 하는 제어 정보일 수 있다. 일 실시예에서, 300 lux의 조도, 221도의 색상도, 100% 채도, 56% 밝기의 청색광은 수면 위상 지연 증후군을 치료하기 위한 청색광을 의미할 수 있다. 구체적인 예를 들어, 수면 위상 지연 증후군을 가진 사용자가 오전 7시에 기상하는 경우, 프로세서(130)는 제3 수면 상태 정보에 기초하여 기상 시점을 7시로 파악하고, 해당 기상 시점인 오전 7시부터 기 설정된 시점(예컨대, 오전 7시 30분)까지 300 lux의 조도, 221도의 색상도, 100% 채도, 56% 밝기의 청색광을 공급하도록 하는 제4 환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자의 일주기 리듬이 정상인 범위(예컨대, 밤 12즈음에 잠이 들고, 아침 7시 즈음 기상하도록)로 조정될 수 있다. 즉, 제4 환경 조성 정보 생성을 통해 특정 수면 질환을 가진 사용자의 수면의 질이 향상될 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 환경 조성 정보를 환경 조성 장치로 전송할 것을 결정할 수 있다. 구체적으로, 프로세서(130)는 조도 조정에 관련한 환경 조성 정보를 생성할 수 있으며, 해당 환경 조성 정보를 환경 조성 장치(30)로 전송할 것을 결정함으로써, 환경 조성 장치(30)의 조도 조정 동작을 제어할 수 있다.
실시예에 따르면, 빛은 수면의 질에 영향을 줄 수 있는 대표적인 요인 중 하나일 수 있다. 예컨대, 빛의 조도, 색, 노출 정도 등에 따라 수면의 질에 좋은 영향을 끼칠 수 있고, 그리고 나쁜 영향을 끼칠 수 있다. 이에 따라, 프로세서(130)는 조도를 조정하여 사용자의 수면의 질을 향상시킬 수 있다. 예를 들어, 프로세서(130)는 잠들기 전이나 잠든 후의 상황을 모니터링 하고, 이에 따라 사용자를 효과적으로 깨우기 위한 조도 조정을 수행할 수 있다. 즉, 프로세서(130)는 수면 상태(예컨대, 수면 단계)를 파악하여 자동으로 조도를 조정하여 수면의 질을 극대화시킬 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다. 전술한 수치와 시점에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
감지된 이벤트에 따른 환경 조성 정보
본 발명의 일 실시예는, 감지된 적어도 하나 이상의 이벤트에 따라 환경 조성 장치를 제어하기 위한 환경 조성 정보를 생성할 수 있다.
본 발명의 일 실시예에 따른 환경 조성 정보의 생성은 도 1의 (a)에 도시된 컴퓨팅 장치(100) 또는 도 1의 (b)에 도시된 수면 환경 조절 장치(400)에서 수행될 수 있다.
이벤트는 적어도 하나 이상으로 다양하게 미리 설정될 수 있다. 예를 들어, 이벤트는 다음의 A 내지 H 이벤트들 중 적어도 하나 이상의 이벤트를 포함할 수 있다.
A. 인룸(in room)
B. 인베드(in bed)
C. 입면(Fall asleep)
D. 무호흡(Apnea)
E. 숙면(Deep sleep)
F. 자다 깸(Wake up during sleep)
G. 알람 시간에 근처에서 렘수면(REM near alarm)
H. 기상(Wake up)
이하, 각 이벤트들을 상세히 설명한다.
위 A 이벤트는 사용자가 수면을 취하는 공간, 예를 들어, 침실에 들어온 것을 의미하는 이벤트이다. 상기 A 이벤트는 존재 감지 센서(presence detection sensor)를 통해 감지될 수 있다.
상기 존재 감지 센서는 인체 감지 센서라고도 불리며, 예를 들어, 레이더 센서, PIR 모션 센서, 와이파이 센싱(WiFi sensing) 센서, 카메라 센서, 초음파 센서 등이 있다.
상기 존재 감지 센서는, 환경 조성 장치(30)에 장착될 수도 있고, 침실에 별도로 장착되어 환경 조성 장치(30)에 유선 또는 무선으로 연결될 수도 있다. 또는, 상기 존재 감지 센서는, 도 1의 (a) 또는 도 1의 (b)의 네트워크에 연결되어 감지 신호를 컴퓨팅 장치(100), 수면 환경 조절 장치(400), 사용자 단말(10) 또는 환경 조성 장치(30)로 전송할 수도 있다. 또는, 상기 존재 감지 센서는 사용자 단말(10)과 근거리 통신을 통해 연결되어 감지 신호를 사용자 단말(10)로 전송할 수도 있다.
또는, 본 발명이 도 1의 (c)의 실시형태로 구현되는 경우, 상기 존재 감지 센서는 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상에 존재할 수도 있다.
상기 A 이벤트 발생 시, 즉, 상기 A 이벤트가 상기 존재 감지 센서에 의해 감지되면, 환경 조성 장치(30)를 자동으로 켜기 위한 제A 환경 조성 정보가 생성될 수 있다. 여기서, 제A 환경 조성 정보는 환경 조성 장치(30)를 자동으로 켜는 것 이외에도 환경 조성 장치(30)를 특정 동작 모드로 변경 설정하는 제어 정보를 포함할 수도 있다.
위 B 이벤트는 사용자가 침대에 누운 것을 의미하는 이벤트이다. 상기 B 이벤트는 압전 센서를 통해 감지될 수 있다. 압전 센서는 사용자가 수면을 취하는 침대에 장착될 수 있다. 하지만 이에 한정하는 것은 아니며, 상기 압전 센서는 사용자가 수면을 취할 수 있는 쇼파나 안마의자 등에도 장착될 수 있다.
상기 압전 센서는 환경 조성 장치(30)에 유선 또는 무선으로 연결될 수도 있다. 또는, 상기 압전 센서는, 도 1의 (a) 또는 도 1의 (b)의 네트워크에 연결되어 감지 신호를 컴퓨팅 장치(100), 수면 환경 조절 장치(400), 사용자 단말(10) 또는 환경 조성 장치(30)로 전송할 수도 있다. 또는, 상기 압전 센서는 사용자 단말(10)과 근거리 통신을 통해 연결되어 감지 신호를 사용자 단말(10)로 전송할 수도 있다.
상기 B 이벤트 발생 시, 즉 상기 B 이벤트가 상기 압전 센서에 의해 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제B 환경 조성 정보가 생성될 수 있다. 상기 제B 환경 조성 정보는 사용자의 입면을 위한 환경 조성 장치(30)의 제어 정보를 포함할 수 있다. 상기 제어 정보는 환경 조성 장치(30)에서 발생되는 소음이나 빛 등을 줄이기 위한 정보를 포함할 수 있다. 예를 들어, 환경 조성 장치(30)가 공기조화기인 경우에 풍량을 특정 세기 이하로 변경 설정하거나 현재 풍량을 상기 특정 세기 이하로 낮추거나, 직접풍을 간접풍 또는 무풍으로 전환하거나, 디스플레이부의 밝기를 소정 밝기 이하로 낮추는 등의 정보를 포함할 수 있다.
또한, 침실에 설치된 조명을 끄거나 소정 밝이 이하로 낮추는 정보를 포함할 수 있다. 또한, 침실에 설치된 커튼 또는 블라인드를 닫아 외부로부터의 수면 방해 요인을 제거하는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 켜서 특정 음원을 재생하거나, 반대로 상기 사운드 장치를 끄는 정보를 포함할 수 있다. 또한, 침실에 설치된 모션배드의 모션을 입면 전의 독서나 미디어 시청에 유리한 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 동작시켜 입면에 도움을 주는 향기가 발생되도록 하는 정보를 포함할 수 있다.
위 C 이벤트는 사용자가 수면 입면(또는 인입)에 들어간 것을 의미하는 이벤트이다. 상기 C 이벤트는 앞서 설명한 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 수신한 컴퓨팅 장치(100) 또는 수면 환경 조절 장치(400)가 판별할 수 있다. 도 7에 도시된 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 통해 수면 입면(또는 인입) 시점을 판별할 수 있다.
상기 C 이벤트 발생 시, 즉, 상기 C 이벤트가 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제C 환경 조성 정보가 생성될 수 있다. 상기 C 환경 조성 정보는 최적의 침실 수면 환경을 조성하기 위한 제어 정보를 포함할 수 있다. 여기서, 상기 최적의 침실 수면 환경은 지난 소정의 기간(예, 일주일, 또는 한 달) 동안에 획득된 페어 데이터(온도 또는/및 습도 & 수면의 질)를 기초로 하여 얻어진 최적의 환경 정보일 수 있다. 예를 들어, 지난 일주일 동안 수면을 취한 사용자의 수면의 질을 나타내는 정량적인 데이터와 해당 정량적인 데이터가 얻어진 동안의 침실의 온도와 습도 데이터를 기초로 하여, 사용자가 가장 잘 수면을 취했던 침실의 온도와 습도를 상기 최적의 침실 수면 환경으로 결정할 수 있다.
상기 제어 정보는 환경 조성 장치(30)의 침실의 온도와 습도를 최적의 온도와 습도로 설정하는 것일 수 있다. 또한, 침실에 설치된 조명을 끄는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 끄는 정보를 포함할 수 있다. 또한, 침실에 설치된 모션배드의 모션을 숙면에 유리한 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 숙면에 도움을 주는 향기가 발생되도록 하거나 향기 발생기를 끄는 정보를 포함할 수 있다.
위 D 이벤트는 사용자가 수면 중에 수면 무호흡증 또는 호흡저하가 발생한 경우를 의미하는 이벤트이다. 상기 D 이벤트는 앞서 설명한 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 수신한 컴퓨팅 장치(100) 또는 수면 환경 조절 장치(400)가 판별할 수 있다. 도 4에 도시된 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 통해 수면 무호흡증 또는 호흡저하가 발생된 시점을 판별할 수 있다.
상기 D 이벤트 발생 시, 즉 상기 D 이벤트가 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제D 환경 조성 정보가 생성될 수 있다. 상기 D 환경 조성 정보는 수면 무호흡 또는 호흡 저하를 완화하거나, 정지 또는 미약한 호흡을 빠르게 정상 호흡으로 전환시키기 위한 제어 정보를 포함할 수 있다. 예를 들어, 상기 제어 정보는 수면 무호흡이 발생된 사용자의 기도와 목을 보호해주기 위해, 환경 조성 장치(30)가 공기조화기인 경우 설정된 습도나 온도를 높이거나, 직접풍 또는 간접풍을 무풍으로 전환하는 정보를 포함할 수 있다.
또는, 환경 조성 장치(30)가 가습 기능을 포함하는 경우에 해당 가습 기능을 활성화하는 정보를 포함할 수 있다. 또는 환경 조성 장치(30)가 진동 기능을 포함하는 경우에 해당 진동 기능을 활성화는 정보를 포함할 수 있다. 또한, 침실에 설치된 조명을 특정 밝기와 색온도로 조명되도록 하는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 켜는 정보를 포함할 수 있다. 또한, 침실에 설치된 모션배드의 모션을 사용자의 호흡을 도와주는 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 발생시켜 수면 무호흡증을 완화할 수 있는 향기가 발생되도록 하는 정보를 포함할 수 있다.
위 E 이벤트는 사용자가 깊은 수면(Deep sleep)에 진입한 것을 의미하는 이벤트이다. 상기 E 이벤트는 앞서 설명한 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 수신한 컴퓨팅 장치(100) 또는 수면 환경 조절 장치(400)가 판별할 수 있다. 도 3에 도시된 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 통해 깊은 수면(Deep)이 진입된 시점을 판별할 수 있다.
상기 E 이벤트가 발생되면, 즉, 상기 E 이벤트가 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제E 환경 조성 정보가 생성될 수 있다. 상기 E 환경 조성 정보는 깊은 수면 단계에 최적화된 온도 또는 습도로 변경하기 위한 제어 정보를 포함할 수 있다. 예를 들어, 상기 제어 정보는, 상기 환경 조성 장치(30)가 공기조화기인 경우에 현재 침실의 온도 또는 습도를 상기 최적화된 온도 또는 습도로 변경 설정하기 위한 정보를 포함할 수 있다.
여기서, 상기 최적화된 온도 또는 습도는 지난 소정 기간 동안에 획득된 정량적인 수면 리포트를 이용하여 해당 사용자가 깊은 수면을 제일 오래 지속하였던 특정 온도 또는 습도로 결정될 수 있다. 또한, 침실에 설치된 조명을 끄거나 최소한의 밝기로 낮추는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 끄는 정보를 포함할 수 있다. 또한, 침실에 설치된 모션배드의 모션을 깊은 수면에 유리한 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 발생시켜 숙면을 유지할 수 있는 향기가 발생되도록 하는 정보를 포함할 수 있다.
위 F 이벤트는 사용자가 수면 중에 깬 경우를 의미하는 이벤트이다. 상기 F 이벤트는 앞서 설명한 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 수신한 컴퓨팅 장치(100) 또는 수면 환경 조절 장치(400)가 판별할 수 있다. 도 3에 도시된 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 통해 자다 깬(Wake) 시점을 판별할 수 있다.
상기 F 이벤트가 발생되면, 즉, 상기 F 이벤트가 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제F 환경 조성 정보가 생성될 수 있다. 상기 제F 환경 조성 정보는 사용자가 다시 잠들 수 있게 돕기 위한 제어 정보를 포함할 수 있다. 예를 들어, 상기 제어 정보는, 환경 조성 장치(30)가 공기조화기인 경우에 공기조화기의 설정 온도와 습도를 과거에 사용자가 입면 시에 주로 설정하였던 선호 온도 또는 습도로 변경 설정하는 정보를 포함할 수 있다.
또는, 상기 제어 정보는 환경 조성 장치(30)의 설정 온도 또는 습도를 과거의 정량적인 수면 리포트를 이용하여 사용자의 입면 시간이 가장 짧았던 특정 온도 또는 습도로 변경 설정하는 정보를 포함할 수 있다. 또한, 침실에 설치된 조명을 입면에 도움이 되는 특정 밝기와 색온도로 조명되도록 하는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 켜거나 끄는 정보를 포함할 수 있다.
또한, 침실에 설치된 모션배드의 모션을 사용자의 재입면에 도움을 주는 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 발생시켜 재입면에 도움을 주는 향기가 발생되도록 하는 정보를 포함할 수 있다.
위 G 이벤트는 미리 설정된 알람 시간 근처에서 렘(REM) 수면이 발생된 경우를 의미하는 이벤트이다. 상기 G 이벤트는 앞서 설명한 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 수신한 컴퓨팅 장치(100) 또는 수면 환경 조절 장치(400)가 판별할 수 있다. 도 3에 도시된 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 통해 렘(REM) 수면 시점을 판별할 수 있다.
상기 G 이벤트가 발생되면, 즉, 상기 G 이벤트가 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제G 환경 조성 정보가 생성될 수 있다. 상기 제G 환경 조성 정보는 사용자의 기상을 돕기 위한 제어 정보를 포함할 수 있다. 예를 들어, 상기 제어 정보는, 환경 조성 장치(30)가 공기조화기인 경우에 공기조화기의 설정 온도 또는 습도를 사용자가 자연스럽게 또는 가장 개운하게 기상할 수 있는 특정 온도 또는 습도로 변경 설정하기 위한 정보를 포함할 수 있다.
또는, 상기 제어 정보는 공기조화기의 설정 온도 또는 습도를 과거의 정량적인 수면 리포트를 이용하여 사용자가 가장 선호하는 특정 온도 또는 습도로 변경 설정하기 위한 정보를 포함할 수 있다. 또한, 침실에 설치된 조명을 기상에 특화된 특정 밝기와 색온도로 조명되도록 하는 정보를 포함할 수 있다.
또한, 침실에 설치된 커튼 또는 블라인드를 여는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 켜서 특정 음원을 재생하는 정보를 포함할 수 있다. 또한, 침실에 설치된 모션배드의 모션을 기상에 이로운 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 발생시켜 상괘한 기상이 이뤄지도록 할 수 있는 향기가 발생되도록 하는 정보를 포함할 수 있다.
위 H 이벤트는 사용자가 기상한 시점을 의미하는 이벤트이다. 상기 H 이벤트는 앞서 설명한 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보를 수신한 컴퓨팅 장치(100) 또는 수면 환경 조절 장치(400)가 판별할 수 있다. 도 5에 도시된 바와 같이, 사용자 단말(10)에서 센싱된 환경 센싱 정보에서 특이점(201)이 식별된 후에 소정의 패턴이 지속적으로 감지되는 여부를 판별하여 기상 시점을 판별할 수 있다.
상기 H 이벤트가 발생되면, 즉, 상기 H 이벤트가 감지되면, 환경 조성 장치(30)를 슬립모드로 구동시키기 위한 제H 환경 조성 정보가 생성될 수 있다. 상기 제H 환경 조성 정보는, 사용자가 수면을 취한 침실의 온도를 기상 후의 최적의 온도로 설정하는 제어 정보를 포함할 수 있다. 상기 제어 정보는 환경 조성 장치(30)가 공기조화기인 경우에 공기조화기의 설정 온도 또는 습도를 사용자의 기상 시점에 과거의 히스토리를 기반으로 사용자가 선호했던 온도 또는 습도로 변경 설정하는 정보를 포함할 수 있다.
또는 상기 제어 정보는 사용자 단말을 통해 사용자에게 기상 후의 공기조화기의 설정 온도 또는 습도를 추천 온도 또는 습도로 변경하는 제안 정보를 포함할 수도 있다. 또한, 침실에 설치된 조명을 특정 밝기와 색온도로 조명되도록 하는 정보를 포함할 수 있다. 또한, 침실에 설치된 사운드 장치를 켜서 특정 미디어를 디스플레이하거나 특정 음원을 재생시키는 정보를 포함할 수 있다. 또한, 침실에 설치된 창문을 열어 환기가 되도록 하는 정보를 포함할 수 있다. 또한, 침실에 설치된 모션배드의 모션을 사용자가 일어나는데 도움을 주는 특정 모션으로 변경하는 정보를 포함할 수 있다. 또한, 침실에 설치된 향기 발생기를 발생시켜 기상 후의 사용자 움직임에 도움을 줄 수 있는 향기가 발생되도록 하는 정보를 포함할 수 있다.
또한, 본 발명의 실시형태가 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
수면 계획 정보
일 실시예에서, 프로세서(130)는 사용자 단말(10)로부터 수면 계획 정보를 수신할 수 있다. 수면 계획 정보는, 사용자가 사용자 단말(10)을 통해 생성하는 정보로, 예컨대, 취침 시간 및 기상 시간에 관한 정보를 포함할 수 있다. 프로세서(130)는 수면 계획 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 구체적인 예를 들어, 프로세서(130)는 수면 계획 정보를 통해 사용자의 취침 시간을 식별하고, 해당 취침 시간에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
예컨대, 프로세서(130)는, 도 7에 도시된 바와 같이, 취침 시간 20분 전, 침대 위치를 기준으로 3000K의 백색광을 30 lux의 조도의 빛을 제공하도록 하는 제1 환경 조성 정보를 생성할 수 있다. 즉, 취침 시간에 관련하여 사용자가 자연스럽게 수면에 들도록 유도하는 조도를 조성할 수 있다. 전술한 수치와 시점에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
수면장애 방지 및 완화방법의 실시예 1
도 36의 (a)는 본 발명의 일 실시예에 따른 AI 기반의 비접촉식 수면 분석 시스템을 이용한 수면장애 방지 및 완화방법을 설명하는 흐름도이다.
본 발명은 사용자의 수면 분석을 실시간으로 분석하면서 수면장애(수면무호흡, 수면과호흡, 수면저호흡)가 발생한 지점을 파악할 수 있다. 수면장애가 발생한 순간 사용자에게 자극(촉각적, 자극 청각적 자극, 후각적 자극 등)을 제공하면, 수면장애가 일시적으로 완화될 수 있다.
즉, 본 발명은 수면장애와 관련한 정확한 이벤트탐지를 바탕으로 사용자의 수면장애를 중단시키고, 수면장애의 빈도를 감소시킬 수 있다.
도 36의 (a)를 참고하면, 본 발명에 따른 스마트 가전기기(800)를 이용한 수면장애 방지 및 완화방법은 사용자의 수면 음향 정보를 수집하고, 이에 기초하여 1차 수면 분석 및 2차 수면 분석을 수행한다.
1차 수면 분석은 사용자의 수면 음향 정보에 기초한 수면 분석이고, 2차 수면 분석은 1차 수면 분석 결과 및 수면 음향 정보에 기초한 분석에 해당하며, 구체적인 분석 방법은 위에서 설명한 바와 동일하다.
1차 수면 분석과 2차 수면 분석의 결과, 사용자에게 수면무호흡이 발생했다고 판단되는 시점에 스마트 가전기기(800)는 촉각적 피드백 및 청각적 피드백 중 적어도 하나를 생성할 수 있다. 스마트 가전기기(800)는 피드백을 위한 알람부(850)를 더 포함할 수 있으며, 이는 진동을 생성하는 액추에이터, 진동 모듈, 햅틱 모듈로 구현될 수 있고, 소리, 음향을 생성하는 스피커 모듈로 구현될 수도 있다.
본 발명에 따르면, 스마트 가전기기(800)가 접촉된 신체부위(예: 스마트 매트인 경우 전신)에 전해지는 진동이나, 귓가에 울리는 소리나 음향(예: 스마트 스피커(804), 스마트폰, 스마트 TV 등)은 사용자의 뇌를 자극하고, 이에 따라서 수면무호흡이 비교적 빠르게 완화된다. 사용자의 수면 중 이와 같은 과정이 지속되는 경우, 수면무호흡의 빈도도 현저히 감소함을 알 수 있다.
이때, 단일의 수면무호흡 이벤트가 감지될 뿐만 아니라, 수면무호흡 이벤트가 연속적으로 발생할 클러스트를 사전에 예측할 수도 있다. 이를 위해, 상술의 수면 분석 학습모델은 수면무호흡 이벤트의 연속 발생 클러스트를 예측하기 위한 학습을 수행할 수 있다.
즉, 사용자의 수면 음향 정보에 기초한 입력정보는, 위에서 설명한 바와 같이, 전처리 과정과 멜 스펙트로그램 변환 과정을 거쳐 입력층에 입력되고, 이를 학습한 수면 분석 학습모델은, 수면무호흡 이벤트의 연속 발생 클러스트를 예측할 수 있게 된다.
본 발명에 따르면, 수면무호흡 이벤트가 연속적으로 발생할 클러스트가 사전에 예측된다면, 수면무호흡 이벤트가 감지되는 순간뿐만 아니라, 사전 예측된 시점에 스마트폰(900)을 1회 내지 수회 진동시킴으로써 수면무호흡을 사전에 방지하거나, 수면무호흡을 완화 혹은 개선하게 된다.
즉, 본 발명은 수면 음향 정보 신호에 기초하여, 수면 단계를 분석하고, 수면무호흡을 완화, 개선할 수 있게 된다.
본 발명에 따르면, 사용자에게 가해지는 촉각적 피드백 및 청각적 피드백의 패턴은, 사용자의 숙면을 유지하면서 수면무호흡의 빈도를 감소시키기 위한 것일 수 있다. 이러한 패턴은, 사용자의 수면 단계 분석 결과를 기초로 실시간으로 조정될 수 있다.
또한, 이러한 패턴은, 사용자의 수면 단계 분석 결과에 관한 빅데이터와, 수면무호흡 빈도에 관한 빅데이터를 기초로 학습된 딥러닝 모델을 통해 추론되는 것일 수 있다.
위에서는, 수면무호흡, 과호흡 등의 수면장애를 언급했으나, 수면의 질을 향상시키기 위하여, REM 수면단계라고 판단되면 스마트 가전기기(800)를 통해 사용자에 자극을 전달할 수도 있다.
본 발명에 따르면, REM 수면은 뇌파가 빨라지고, 심장박동수나 호흡과 같은 자율신경성 활동이 불규칙적인 수면단계로, 가벼운 불수의적 근육경련이나 급속한 안구운동을 수반한다. 대략 80분~120분 간격으로 3~4회 일어나는 것이 일반적이지만, 심한 경우에는 REM 수면 장애로 발전하는 경우가 있고, 수면의 질에 영향을 미칠 수 있다.
따라서, 수면무호흡, 과호흡, 코골이 등의 수면장애뿐만 아니라, REM 수면 지점에서도 스마트 가전기기(800)를 통하여 사용자를 자극할 수 있다. 즉, 1차 수면 분석과 2차 수면 분석의 결과, 사용자가 REM 수면 단계에 진입했다고 판단되는 시점에 스마트 가전기기(800)는 촉각적 피드백 및 청각적 피드백 중 적어도 하나를 생성할 수 있다.
또는, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
수면장애 방지 및 완화방법의 실시예 2
도 36의 (b)는 본 발명의 다른 실시예에 따른 AI 기반의 비접촉식 수면 분석 시스템을 이용한 수면장애 방지 및 완화방법을 설명하는 흐름도이다.
도 36의 (b)에 도시된 실시예는 수면 분석이 스마트 가전기기(800) 및 스마트폰(900)에서 이루어지는 상황을 상정한 것이다.
본 발명의 일 실시 형태에 따르면, 수면 분석 결과는 수면 상태 정보, 수면단계정보, 수면장애발생정보, 시간정보 등을 포함할 수 있다. 스마트폰(900)은 내장된 마이크 모듈을 통해 획득한 수면 음향 정보에 기초하여 수면 분석을 수행한다. 이하에서는, 스마트폰(900)이 수면 음향 정보(Sound)를 이용하여, 최종 수면 분석결과를 도출하는 방식에 대해 설명한다.
먼저, 스마트폰(900)은 가중치를 이용하여 최종 수면 분석결과를 도출할 수 있다. 구체적으로, 스마트폰(900)은 1차 수면 분석 결과와, 수면 음향 정보를 이용한 수면 분석 결과에 동일한 가중치를 적용하여 2차 수면 분석 결과를 도출할 수 있다.
다른 실시예에서, 스마트폰(900)은 1차 수면 분석 결과와 2차 수면 분석 결과에 있어서 수면단계가 완전히 일치하는 경우에만, 사용자가 해당 수면단계 진입한 것으로 판단하여, 최종 수면 분석결과를 도출할 수 있다. 다른 실시예에서, 스마트폰(900)은 후술하는 AI 수면 분석 모델을 이용하여 수면 음향 정보(Sound)를 이용해서 2차 수면 분석을 먼저 수행한 뒤, 각 시간대별 수면단계에 대한 AI 확신도를 부가적으로 추출한다.
본 발명에 따르면, 추출된 확신도가 기설정된 수치 이하인 경우, 해당 시간대의 수면단계는 1차 수면 분석에 의하여 도출된 수면단계 결과를 채용한다.
즉, 2차 수면 분석 결과를 중심으로, 1차 수면 분석 결과를 부가적으로 채용함으로써, 더욱 신뢰성 있는 수면 분석 결과를 도출할 수 있다.
또 다른 실시예에서, 스마트폰(900)은 후술하는 AI 수면 분석 모델에서 실제 분석결과와 불일치하는 부분의 통계를 먼저 확보한다. 통계는 사용자에 의하여 입력될 수도 있지만, 다수의 사용자 데이터에 의하여 자체적으로 확보될 수도 있다. 스마트폰(900)은 2차 수면 분석 결과(Sound에 기초한 분석)를 중심으로, 확보된 통계에서 실제 분석결과와 불일치하는 부분에서는 1차 수면 분석 결과를 부가적으로 채용할 수 있다.
본 발명에 따르면, AI 수면 분석 모델의 학습방법은 아래에서 더욱 상세히 설명하겠지만, 간략히 설명하면, 딥러닝 입력층에 2가지 정보(1차 수면 분석 결과 및 수면음향 정보)를 입력함으로써, 2가지 요인에 의하여 수면 분석을 수행하는 AI 수면 분석 모델이 생성될 수 있다.
이는 어디까지나 실시예에 불과하고, 최종 수면 분석 결과 도출은 다양한 방식으로 이루어질 수 있다.
본 발명의 일 실시 형태에 따르면, 스마트폰(900)에 의한 2차 수면 분석 결과 수면무호흡이 발생했다고 판단된다면, 센서부에서 즉각적으로 수면무호흡 발생정보를 스마트폰(900)에 내장된 프로세서로 전달할 수 있다. 수면무호흡 발생정보는, 스마트 가전기기(800)가 촉각적 피드백 및 청각적 피드백 중 적어도 하나를 생성하기 위한 트리거 신호에 해당하며, 스마트 가전기기(800)는 수면무호흡 발생정보가 수신되면 진동, 소리, 음향 등을 통하여 사용자를 자극할 수 있다. 해당 자극은 사용자의 수면무호흡을 빠르게 완화시키고, 지속적인 모니터링과 자극을 통하여 사용자의 수면무호흡을 방지 또는 완화할 수 있게 된다.
한편, 도 34 내지 도 36에 도시된 실시예와 달리, 1차 수면 분석이 생략되고, 스마트폰(900)에서만 수면 분석이 이루어질 수도 있다. 즉, 사용자의 수면 음향 정보에 기초하여, 위에서 언급한 방법으로 사용자의 수면 분석이 이루어지고, 해당 수면 분석결과 수면무호흡이 검출되면, 즉각적으로 수면무호흡 발생정보를 상기 스마트폰(900)과 연동된 스마트 가전기기(800)(예: 스마트 매트, 스마트 스피커 등)로 전달함으로써, 스마트 가전기기(800)로 하여금 진동이나 알람(소리, 음향)을 생성하도록 할 수 있다.
한편, 공기의 질과 수면의 상관 관계는 다음과 같다.
*631한 연구결과에 의하면, 산모가 나쁜 공기에 노출된 기간이 임신 1~8주이면 출산된 아기의 수면 효율이 저하되고, 임신 31~35주이면 출산된 아기의 수면 시간이 저하되는 것으로 알려져 있으며, 성장기의 수면의 질은 지식 습득력 및 성장 발육과 밀접한 관련성이 있다는 연구결과도 있다.
또한, 여름에 PM 10 노출이 수면 중 호흡의 불규칙성을 증가시키고, 이는 인체의 심혈관 질환 및 사망률 상승과도 관련성이 있다는 연구결과도 있다.
한편, 온/습도와 수면의 상관 관계는 다음과 같다.
이산화탄소가 800 ppm인 상태에서의 수면 상태와 17000 ppm인 상태에서의 수면 상태를 비교 실험해 본 결과, 800 ppm인 상태에서 공기가 더 답답하고 덥다는 느낌이 있었다는 연구결과가 있고, 온도가 섭씨 28도인 챔버에서 수면을 취했을 때가 섭씨 24도인 챔버에서 수면을 취했을 때보다 수면 효율 및 다음날 작업 효율이 저하되었다는 연구결과도 있다.
또한, 상대습도가 80 %, 온도가 섭씨 32도인 환경에서의 수면 상태가, 상대습도가 50 %, 온도가 섭씨 26도인 환경에서의 수면 상태와 비교했을 때 수면 중 깨어남의 빈도가 증가하고, 숙면의 비율이 감소되었다는 연구결과도 있다.
이와 같은 사용자의 수면장애를 방지, 완화하기 위한 자극은 스마트폰(900)이나 스마트 스피커(804)가 아닌 다른 환경조성장치에 의하여 발생할 수 있다.
여기서, 다른 환경조성장치는, 조명, 공기청정기, 가습기, 스피커(오디오), 의류 관리기, TV, 시계, PC, 모션베드, 매트리스, 스마트 필로우, 블라인드, 커튼, 로봇, 청소기, 세탁기, 건조기, 정수기, 냉장고, 오븐/레인지 등일 수 있다. 사용자의 수면장애 발생정보는 위에서 언급한 다양한 환경조성장치에 전달될 수 있고, 환경조성장치는 사용자를 자극하기 위한 자극원을 생성할 수 있다.
예컨대, 수면장애 발생정보는 조명(전등)을 제어하여 조도를 높게 만들거나, 공기청정기의 구동음을 발생시키거나, TV를 켜거나, 시계 알람을 동작시키거나, PC를 온상태로 만들거나, 모션베드를 제어하여 베드각도를 변경시키거나, 스마트 필로우나 스마트 매트리스를 제어하여 촉각적인 변화나 움직임을 주거나, 각종 가전을 구동시켜서 소리를 발생시키는 등의 방식을 통해 사용자를 자극시킴으로써 수면장애를 중단, 완화시킬 수 있다.
또한, 예컨대 도 1의 (c)와 같은 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 동작들 중 적어도 하나 이상을 수행할 수도 있다.
트래픽 대응 방법 및 1인/다인 수면 분석
도 37은 본 발명에 따른 수면 분석 방법이 클라우드에서 수행되는 경우의 트래픽 대응 방법을 설명하는 도면이다.
도 38은 본 발명에 따른 수면 분석 방법에 있어서 1인 수면 분석과 다인 수면 분석을 설명하기 위한 개념도이다. 설명의 이해를 돕기 위하여 이하에서는 스마트 가전기기(800)를 스마트 스피커(804)로 상정하여 설명하기로 한다. 다만, 이는 이해를 돕기 위한 설명일 뿐, 본 발명의 스마트 가전기기는 이에 제한되는 것은 아니다.
본 발명에 따른 수면 분석 방법은 아마존 웹 서비스(Amazon Web Services, AWS) 클라우드를 통하여 사용자에게 제공될 수 있다. 본 발명에 따른 수면 분석 방법은 주로 저녁시간부터 새벽시간까지 이루어지기 때문에 해당 시간에 트래픽이 발생할 수 있다.
따라서, 본 발명에 따른 수면 분석 방법은 많은 트래픽이 발생되는 시간구간을 분석하는 단계, 해당 시간구간에 진입하는 이벤트를 예측하는 단계, 해당 이벤트가 발생한 시점에 AI 서버(310)를 자동으로 조정(추가, 재배치 등)하는 단계를 더 포함할 수 있다. 이를 통해, 본 발명은 특정 시간에 발생할 가능성이 있는 트래픽에 유연하게 대처할 수 있게 된다.
먼저, 도 38의 (a)에 도시된 1인 수면시에는, 1인 수면 분석에 있어서 스마트 스피커(804)나 스마트폰(900)은 모두 동일한 수면 공간 내에 위치하게 된다. 즉, 스마트 스피커(804)는 사용자 1인의 수면 음향 정보, 수면 환경 정보 등을 획득할 수 있고, 스마트폰(900)은 사용자 1인의 수면 음향 정보, 수면 환경 정보(조도 등) 등을 획득할 수 있다. 이와 같은 1인 수면 환경에서는 위에서 설명한 수면 분석 방법이 그대로 적용될 수 있다.
다만, 도 38의 (b)에 도시된 다인(多人) 수면시에는, 스마트 스피커(804)나 스마트폰(900)에 의하여 획득되는 수면 음향 정보는 사용자1 및 사용자2 등 다수의 수면정보를 포함할 수 있다.
따라서, 복수의 사용자가 동일한 수면공간 내에서 수면을 취하는 경우의 수면 분석은 더욱 정밀한 과정을 거치게 된다. 다인 수면 분석 방법에 대하여는 앞서 도 39 내지 도 46을 참조하여 설명하였으므로 중복되는 서술은 생략하기로 한다.
수면 환경 조절 장치
이하에서는 도 1의 (b)에 도시된 수면 환경 조절 장치에 대하여 더욱 구체적으로 설명한다. 도 1의 (b)에 도시된 바와 같이, 수면 환경 조절 장치(400), 사용자 단말(10) 및 외부 서버(20)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.
본 발명의 실시예들에 따른 네트워크는 위에서 상세히 설명한 바와 같으므로, 중복 설명은 생략한다.
본 실시예에 따르면, 사용자 단말(10)은 수면 환경 조절 장치(400)와의 정보 교환을 통해 사용자의 수면과 관련한 정보를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 사용자 단말(10)의 일반적인 구성 및 기능은 위에서 설명한 바와 같을 수 있다. 사용자 단말(10)은 사용자가 위치한 공간에 관련한 음향 정보를 획득할 수 있다. 예컨대, 음향 정보는, 사용자가 위치한 공간에서 획득되는 음향 정보를 의미할 수 있다. 음향 정보는, 비접촉식 방법으로 사용자의 활동 또는 수면과 관련하여 획득될 수 있다.
예를 들어, 음향 정보는, 사용자가 수면을 취하는 동안 해당 공간에서 획득되는 것일 수 있다. 실시예에 따르면, 사용자 단말(10)을 통해 획득되는 음향 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위한 기반이 되는 정보일 수 있다. 구체적인 예를 들어, 사용자의 움직임 또는 호흡에 관련하여 획득되는 음향 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다. 또한, 예를 들어, 음향 정보를 통해 수면 시간 동안 사용자의 수면 단계 변화에 대한 정보가 획득될 수 있다.
본 발명의 수면 환경 조절 장치(400)는 외부 서버(20)로부터 건강검진 정보 또는 수면검진 정보 등을 수신하고, 해당 정보들에 기초하여 학습 데이터 세트를 구축할 수 있다. 외부 서버(20)와 관련한 설명은 위에서 상세히 기재한 바, 여기서는 그 설명을 생략하기로 한다.
일 실시예에 따르면, 수면 환경 조절 장치(400)가 수면 상태 분석을 위해 활용하는 음향 정보는, 일 공간 상에서의 사용자의 활동 또는 수면 동안 비침습적 방식으로 획득되는 것 일 수 있다. 구체적인 예를 들어, 음향 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 실시예에 따르면, 환경 센싱 정보는 수면 음향 정보를 포함할 수 있으며, 해당 수면 음향 정보는, 사용자의 수면 동안에 발생하는 움직임 패턴 및 호흡 패턴에 관련한 음향을 의미할 수 있다.
실시예에서, 음향 정보는 사용자가 소지한 사용자 단말(10) 및 음향 수집부(414) 중 적어도 하나를 통해 획득될 수 있다. 예컨대, 사용자 단말(10) 및 음향수집부(414)에 구비된 마이크 모듈을 통해 일 공간 상에서 사용자의 활동에 관련한 환경 센싱 정보가 획득될 수 있다.
사용자 단말(10) 또는 음향수집부(414)에 구비된 마이크 모듈의 구성은 위에서 설명한 바와 동일하다.
본 발명에서 분석의 대상이 되는 음향 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 것으로, 매우 작은 음향(즉, 구분이 어려운 음향)에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다.
본 발명의 일 실시예에 따르면, 수면 환경 조절 장치(400)는 MEMS로 구성된 마이크 모듈을 통해 획득된 음향 정보에 기초하여 수면 상태 정보를 획득할 수 있다. 구체적으로, 수면 환경 조절 장치(400)는 많은 노이즈를 포함하여 불명료하게 획득된 음향 정보를 분석이 가능한 데이터 변환 및/또는 조정할 수 있으며, 변환 및/또는 조정된 데이터를 활용하여 인공 신경망에 대한 학습을 수행할 수 있다. 인공 신경망에 대한 사전 학습이 완료된 경우, 학습된 신경망(예컨대, 음향 분석 모델)은 음향 정보에 대응하여 획득된(예컨대, 변환 및/또는 조정된) 데이터(예컨대, 스펙트로그램)에 기초하여 사용자의 수면 상태 정보를 획득할 수 있다. 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보뿐만 아니라, 수면 동안 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 상태 정보는 제1시점에는 사용자가 REM 수면이었으며, 제1시점과 상이한 제2시점에는 사용자가 얕은 수면이었다는 수면 단계 정보를 포함할 수 있다. 이 경우, 해당 수면 상태 정보를 통해, 사용자는 제1시점에 비교적 깊은 수면에 빠졌으며, 제2시점에는 보다 얕은 수면을 취했다는 정보가 획득될 수 있다.
즉, 수면 환경 조절 장치(400)는 음향을 수집하도록 일반적으로 많이 보급된 사용자 단말(예컨대, 인공지능 스피커, 침실 IoT기기, 휴대폰 등) 또는 음향수집부(414)를 통해 낮은 신호 대 잡음비를 갖는 수면 음향 정보를 획득하는 경우, 이를 분석에 적절한 데이터로 가공하고, 가공된 데이터를 처리하여 사용자가 수면 전인지, 중인지, 후인지에 대한 정보 및 수면 단계의 변화에 관련한 수면 상태 정보를 제공할 수 있다.
실시예에서, 수면 환경 조절 장치(400)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 수면 환경 조절 장치(400)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 수면 환경 조절 장치(400)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 수면 환경 조절 장치(400)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 해당 서버는 위에서 상세히 설명한 바, 여기서는 설명을 생략하기로 한다.
또는, 예컨대 도 1의 (c)의 실시형태인 경우, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 수면 환경 조절 장치(400)로 구현될 수 있다.
도 10은 본 발명의 일 실시예와 관련된 수면 환경 조절 장치의 예시적인 블록 구성도를 도시한다.
도 10에 도시된 바와 같이, 수면 환경 조절 장치(400)는 수신 모듈(410) 및 송신 모듈(420)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 수면 환경 조절 장치(400)는 무선신호를 송신하는 송신 모듈(420) 및 송신된 무선 신호를 수신하는 수신 모듈(410)을 포함할 수 있다. 일 실시예에서, 무선 신호는, 직교 주파수 분할 다중 방식의 신호를 의미할 수 있다. 예컨대, 무선 신호는, wifi 기반 OFDM 센싱 신호일 수 있다. 또한, 본 발명의 송신 모듈(420)은, 노트북, 스마트폰, 태블릿 PC, 스마트 스피커(804) 등을 통해 구현될 수 있으며, 수신 모듈(410)은, wifi 수신기를 통해 구현될 수 있다. 실시예에 따르면, 수신 모듈(410)은 노트북, 스마트폰, 태블릿 PC 등 다양한 컴퓨팅 장치를 통해 구현될 수도 있다. 예를 들어, 송신 모듈(420) 및 수신 모듈(410)에는 Wi-Fi 802.11n, 802.11ac 또는 OFDM을 지원하는 다른 표준을 따르는 무선 칩이 탑재되어 있을 수 있다. 즉, 비교적 저가의 장비를 통해 고신뢰도를 가진 객체 상태 정보의 획득하는 수면 환경 조절 장치(400)가 구현될 수 있다.
일 실시예에서, 송신 모듈(420)은 객체가 위치한 일 방향으로 무선 신호를 송신할 수 있으며, 수신 모듈(410)은 송신 모듈(420)과 사전 결정된 이격거리를 통해 구비되어, 송신 모듈(420)로부터 송신된 무선 신호를 수신할 수 있다. 이러한 무선 신호는 직교 주파수 분할 다중 방식의 신호임에 따라 복수의 서브 캐리어를 통해 송신 또는 수신될 수 있다.
이러한 송신 모듈(420) 및 수신 모듈(410)은 사전 결정된 이격 거리를 갖도록 구비될 수 있다. 이 경우, 사전 결정된 이격 거리는 객체가 활동하거나 또는 위치한 공간을 의미할 수 있다. 구체적인 실시예에서, 송신 모듈(420) 및 수신 모듈(410)은 기 설정된 영역을 기준으로 서로 대향하는 위치가 구비되는 것을 특징으로 할 수 있다. 여기서 기 설정된 영역(11a)이란, 예를 들어, 도 12에 도시된 바와 같이, 사용자가 수면을 취하는 위치에 관련한 영역으로, 예컨대, 침대가 위치한 영역일 수 있다. 또는, 예를 들어, 사용자의 움직임이나 또는 호흡에 관한 정보 등 객체 상태 정보를 획득할 수 있는 영역을 의미할 수 있다. 여기서 객체 상태 정보는, 사용자의 움직임이나 또는 호흡에 관한 정보에 한정되는 것은 아니고, 사용자와 관련한 음향 정보 또는, 시각 정보 등 다양한 정보에 해당할 수 있다.
송신 모듈(420) 및 수신 모듈(410)은 사용자가 수면을 취하는 침대를 중심으로 양측면 각각에 구비될 수 있다. 이 경우, 본 발명의 수면 환경 조절 장치(400)는 송신 모듈(420) 및 수신 모듈(410)을 통해 송신 및 수신되는 wifi기반 OFDM 신호에 기반하여 사용자가 기 설정된 영역에 위치하였는지 관한 정보 및 사용자의 움직임이나 또는 호흡에 관한 정보 등의 객체 상태 정보를 획득할 수 있다.
일 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410)은 하나 이상의 안테나를 통해 무선 신호(예컨대, OFDM 신호)를 송신 및 수신할 수 있다. 예를 들어, 송신 모듈(420) 및 수신 모듈(410) 각각에 3개의 안테나가 구비되는 경우, 3개의 안테나와 64개의 서브 캐리어를 통해 총 192개(즉, 3 X 64) 채널에 관련한 채널 상태 정보가 매 프레임 마다 획득될 수 있다. 전술한 안테나 및 서브 캐리어에 대한 구체적인 수치적 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
일 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410)은 복수 개로 구비될 수 있다. 보다 구체적인 예를 들어, 3개의 송신 모듈 및 4개의 수신 모듈 각각이 사전 결정된 이격 거리를 통해 구비될 수 있다. 이 경우, 복수 개의 송신 모듈 및 수신 모듈 각각이 송신 및 수신하는 무선 신호는 서로 상이할 수 있다.
실시예에서, 수신 모듈(410)을 통해 수신된 무선 신호는, 기 설정된 영역에 대응하는 채널을 통과한 무선 신호로 해당 채널을 특성을 나타내는 정보를 포함할 수 있다. 수신 모듈(410)은 무선 신호로부터 채널 상태 정보를 획득할 수 있다. 채널 상태 정보는 사용자가 위치한 일 공간과 관련한 채널에 관련한 특성을 나타내는 정보이며, 송신 모듈(420)로부터 송신된 무선 신호 및 수신 모듈을 통해 수신된 무선 신호에 기초하여 산출되는 것을 특징으로 할 수 있다.
구체적으로, 송신 모듈(420)로부터 송신된 무선 신호는 특정 채널(즉, 사용자가 위치한 공간)을 통과하여 수신 모듈(410)을 통해 수신될 수 있다. 이 경우, 무선 신호는 멀티 패스(multi-path) 각각에 대응하여 복수의 서브 캐리어를 통해 송신된 것일 수 있다. 이에 따라, 수신 모듈(410)을 통해 수신된 무선 신호는, 기 설정된 영역(11a)에서의 사용자의 움직임이 반영된 신호일 수 있다. 프로세서는 수신된 무선 신호를 통해 무선 신호가 채널(즉, 사용자가 위치한 공간)을 통과하며 경험한 채널 특성에 관련한 채널 상태 정보를 획득할 수 있다. 이러한 채널 상태 정보는, 진폭과 위상으로 구성되어 있을 수 있다. 즉, 수면 환경 조절 장치(400)는 송신 모듈(420)로부터 송신된 무선 신호와 수신 모듈(410)을 통해 수신된 무선 신호(즉, 객체의 움직임이 반영된 신호)에 기반하여 송신 모듈(420)과 수신 모듈(410) 사이 공간(즉, 기 설정된 영역)의 특성에 관련한 채널 상태 정보를 획득할 수 있다.
실시예에 따르면, 수신 모듈(410)은 송신 모듈(420)로부터 송신된 무선 신호를 수신하는 경우, 수신한 무선 신호에 기초하여 사용자의 움직임을 감지하는 것을 특징으로 할 수 있다. 수신 모듈(410)은 채널 상태 정보의 변화를 통해 기 설정된 영역에 사용자가 위치하였는지 여부에 관한 정보를 획득할 수 있다. 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410)을 통해 무선 신호를 송수신하는 과정에서, 사용자가 송신 모듈(420) 및 수신 모듈(410) 사이에 위치하거나 또는 위치하지 않았을 때 획득되는 채널 상태 정보는 서로 상이할 수 있다. 구체적인 실시예에 따르면, 송신 모듈(420)과 수신 모듈(410) 사이 영역(즉, 기 설정된 영역) 내에 사용자가 위치한 경우와, 위치하지 않는 경우 각각에 대응하여 획득되는 채널 상태 정보의 차이가 극대화되도록 송신 모듈(420) 및 수신 모듈(410)이 배치될 수 있다. 추가적인 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410) 각각에 대응하여 지향성 패치 안테나가 구비될 수 있다. 여기서 지향성 패치 안테나는, m x n패치로 구성된 안테나 모듈(즉, m개의 가로 패치 수 및 n개의 세로 패치 수)일 수 있다. 예컨대, 사용자가 송신 모듈(420) 및 수신 모듈(410) 사이에 위치하거나, 또는 위치하지 않았을 때의 신호의 차이가 커질 수 있도록 안테나 사전 빔이 설정될 수 있다. 안테나의 beam width가 최적이 되도록 사전 설정되고, 이러한 지향성 패치 안테나를 이용하여 신호를 송수신 하는 방향에 사용자가 눕는 위치가 되도록 송신 모듈(420)과 수신 모듈(410)을 배치시킬 수 있다. 즉, 송신 모듈(420)과 수신 모듈(410) 각각의 지향성 패치 안테나 사이에 Line-of-Sight 직접적으로 확보되는 무선 링크가 형성될 수 있다. 이러한 구성을 통해 각 모듈의 안테나를 지향성 안테나로 동작하게 하여 보다 좁은 영역(예컨대, 기 설정된 영역)에 대응하여 무선 링크를 형성할 수 있다.
즉, 송신 모듈(420)과 수신 모듈(410)의 안테나 사이에 무선 링크가 형성될 수 있으며, 이러한 무선 링크 사이에 사용자가 위치한 경우, 사용자의 신체가 무선 링크를 가로막게 되어 무선 링크가 왜곡되어 신호 레벨(즉, 채널 상태 정보)이 크게 달라지게 된다. 실시예에서, 신호 레벨의 변화는, RSSI(Received Signal Strength Indicator)와 CSI(Channel State Information)의 변화를 통해 감지할 수 있으며, 이에 따라, 수신 모듈(410)은 이러한 변화를 통해 사용자가 기 설정된 영역(11a)에 위치하였는지 여부를 판별할 수 있다.
실시예에서, 사용자가 기 설정된 영역(11a)에 위치하였는지 여부에 관한 정보는, 환경조성부(415)의 구동 여부를 결정하는데 활용되거나 또는 사용자의 수면 의도를 파악하는데 활용될 수 있다.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 사용자의 수면 상태 정보를 산출하고, 그리고 수면 상태 정보에 기초하여 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 수신 모듈(410)은 획득한 센싱 정보에 기초하여 사용자가 수면 전인지, 중인지 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있으며, 해당 수면 상태 정보에 따라 사용자가 위치한 공간의 수면 환경을 조정할 수 있다. 구체적인 예를 들어, 수신 모듈(410)은 사용자가 수면 전이라는 수면 상태 정보를 획득한 경우, 해당 수면 상태 정보에 기초하여 수면을 유도하기 위한 광의 세기 및 조도(예컨대, 3000K의 백색광, 30 lux의 조도)에 관련한 환경 조성 정보를 생성할 수 있다. 또한, 수신 모듈(410)은 수면을 유도하기 위한 광의 세기 및 조도에 관련한 환경 조성 정보에 기초하여 사용자가 위치한 공간의 광의 세기 및 조도를 수면을 유도하기 위한 적절한 세기 및 조도(예컨대, 3000K의 백색광을 30 lux의 조도)로 조정할 수 있다.
또한, 수신 모듈(410)은 사용자가 수면 전이라는 수면 상태 정보를 획득한 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지, 스마트 가전기기를 제어하기 위한 환경 조성 정보를 생성할 수 있다.
구체적으로, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하거나, 실내 온도와 습도를 게절이나 사용자에 따라 최적화되도록 제어하거나, 조도를 제어하는 등의 환경 조성 정보를 생성할 수 있다.
또한, 환경 조성 정보는 다양한 스마트 가전기기에 있어 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 제어하거나, 송풍세기를 기 설정된 세기 이하로 조절하거나, LED의 세기를 낮추거나, 직접풍을 간접풍으로 전환하는 등의 정보를 포함할 수 있다.
또한, 제1 환경 조성 정보는 스마트 가전기기의 가동 히스토리와 획득되는 수면 상태(예컨대, 수면의 질)에 따라서 개인맞춤형 실내 온도, 실내 습도, 송풍 세기 또는 소음 등 다양한 환경 중 적어도 하나 이상을 조절하도록 하는 제어 정보를 포함할 수 있다.
전술한 수면 상태 정보 및 환경 조성 정보에 관련한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
도 11의 (a)는 본 발명의 일 실시예와 관련된 수신 모듈 및 송신 모듈의 예시적인 블록 구성도를 도시한다.
*683도 11의 (a)에 도시된 바와 같이, 수신 모듈(410)은 네트워크부(411), 메모리(412), 센서부(413), 음향수집부(414), 환경조성부(415) 및 수신제어부(416)를 포함할 수 있다. 수신 모듈(410)은 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 발명내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 발명의 일 실시예에 따르면, 송신 모듈(420)은 도 11의 (a)에 도시된 바와 같이, 무선 신호를 송신하는 송신부(421) 및 송신부(421)의 무선 신호 송신 동작을 제어하는 송신제어부(422)를 포함할 수 있다. 실시예에서, 송신제어부(422)는 송신부(421)를 통해 무선 신호가 송신되는 시점을 결정할 수 있다. 예컨대, 송신제어부(422)는 수면 측정 모드가 개시되는 시점에 대응하여 송신부(421)를 제어함으로써, 무선 신호가 송신되도록 할 수 있다.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 송신 모듈(420), 사용자 단말(10) 및 외부 서버(20)와 데이터를 송수신하는 네트워크부(411)를 포함할 수 있다. 네트워크부(411)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조절 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크부(411)는 수신 모듈(410)과 송신 모듈(420), 사용자 단말(10) 및 외부 서버(20) 간의 통신 기능을 제공할 수 있다. 예를 들어,
네트워크부(411)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(411)는 사용자 단말(10)로부터 사용자가 활동하는 공간에 관련한 음향 정보를 수신할 수 있다. 또 다른 예를 들어, 네트워크부(411)는 환경조성부(415)로 사용자가 위치한 공간의 환경을 조정하기 위한 환경 조성 정보를 전송할 수 있다. 추가적으로, 네트워크부(411)는 수면 환경 조절 장치(400)로 프로시저를 호출하는 방식으로 수면 환경 조절 장치(400)와 사용자 단말(10) 및 외부 서버(20) 간의 정보 전달을 허용할 수 있다.
본 발명의 일 실시예에 따른 네트워크부(411)는 위에서 설명한 다양한 유무선 통신 시스템 중 어느 하나 혹은 이들의 조합으로 구성될 수 있다.
본 발명의 일 실시예에 따르면, 메모리(412)는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 수면 환경 조절 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 수신제어부(416)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(412)는 수신제어부(416)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(411)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(412)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. 예를 들어, 메모리(412)는 입/출력되는 데이터들(예를 들어, 사용자의 수면 환경에 관련한 음향 정보, 음향 정보에 대응하는 수면 상태 정보 또는, 수면 상태 정보에 따른 환경 조성 정보 등)을 임시 또는 영구 저장할 수도 있다.
본 발명의 일 실시예에 따르면, 메모리(412)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 수면 환경 조절 장치(400)는 인터넷(internet) 상에서 상기 메모리(412)의 저장 기능을 수행하는 웹스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
컴퓨터 프로그램은 메모리(412)에 로드될 때, 수신제어부(416)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 수신제어부(416)는 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 일 공간에 관련한 하나 이상의 센싱 정보를 획득하는 센서부(413)를 포함할 수 있다. 본 발명에서 일 공간은, 사용자가 생활하는 공간을 의미하는 것으로, 예컨대, 사용자가 수면을 취하는 침실을 의미할 수 있다.
실시예에 따르면, 센서부(413)는 일 공간에서의 사용자의 움직임을 감지하는 제1 센서부를 포함할 수 있다. 제1 센서부는 PIR 센서(Passive Infrared Sensor) 및 초음파 센서 중 적어도 하나를 포함하여 구비될 수 있다. PIR 센서는 사용자의 신체에서 방출되는 적외선의 변화량을 감지하여 감지 범위 안에서 사용자의 움직임을 감지할 수 있다. 예컨대, PIR 센서는 사용자의 신체에 방출되는 8㎛~14㎛의 적외선을 식별하여 침실 내에서의 사용자의 움직임을 감지할 수 있다. 초음파 센서는 음파를 발생시키고, 특정 객체에 반사되어 돌아오는 신호를 감지하여 객체의 움직임을 감지할 수 있다. 예를 들어, 초음파 센서는 침실 공간내에 음파를 발생시키고, 사용자가 침실 내부로 들어옴에 따라 사용자의 신체에 반사되는 음파를 통해 침실 내부에 사용자의 움직임이 발생한 것을 감지할 수 있다.
또한, 실시예에서, 센서부(413)는 무선 신호에 기초하여 사용자가 일 공간의 기 설정된 영역에 위치하였는지 여부를 감지하는 제2 센서부를 포함할 수 있다. 제2 센서부는 송신 모듈(420)로부터 송신된 무선 신호를 수신하고, 수신한 무선 신호에 기초하여 기 설정된 영역에 사용자가 위치하였는지 여부를 감지할 수 있다. 실시예에서, 기 설정된 영역은, 일 공간 내에 위치한 영역 중 사용자가 수면을 취하기 위해 눕는 영역에 관련한 것으로, 예컨대, 침대가 구비된 영역을 의미할 수 있다. 구체적인 예를 들어, 본 발명에서 일 공간은, 침실 내부 공간을 의미할 수 있으며, 기 설정된 영역은 침대가 위치한 공간을 의미할 수 있다.
실시예에서, 제2 센서부는 기 설정된 영역을 기준으로 송신 모듈(420)과 서로 대향하는 위치에 구비되는 것을 특징으로 할 수 있다. 예를 들어, 송신 모듈(420) 및 제2 센서부는 사용자가 수면을 취하는 침대를 중심으로 양측면 각각에 구비될 수 있다. 이 경우, 본 발명의 수면 환경 조절 장치(400)는 송신 모듈(420) 및 수신 모듈()을 통해 송신 및 수신되는 wifi 기반 OFDM 신호에 기반하여 사용자가 기 설정된 영역에 위치하였는지 관한 정보 및 사용자의 움직임이나 또는 호흡에 관한 정보인 객체 상태 정보를 획득할 수 있다.
일 실시예에 따르면, 수신 모듈(410)은 제2 센서부를 통해 사용자가 기 설정된 영역에 위치하는 것으로 판별된 경우, 환경조성부(415)의 구동을 허용할 수 있다. 다시 말해, 수신 모듈(410)은 사용자가 기 설정된 영역(11a)에 위치한 것으로 감지된 경우에만 환경조성부(415)의 구동을 허용할 수 있다. 즉, 수신 모듈(410)은 사용자가 기 설정된 영역에 위치한 경우에만, 환경 조성 정보를 생성함으로써, 환경 조정 동작을 수행하는 환경조성부(415)의 구동을 제어할 수 있다. 환경조성부(415)는 사용자가 특정 위치에 위치하지 않는 경우, 수면 환경을 변화시키기 위한 동작을 수행하지 않을 수 있다.
추가적인 실시예에서, 센서부(413)는 사용자의 수면 환경과 관련하여 사용자의 신체 온도, 실내 온도, 실내 기류, 실내 습도 및 실내 조도 중 적어도 하나에 관련한 실내 환경 정보를 획득하기 위한 하나 이상의 환경 센싱 모듈을 포함할 수 있다. 실내 환경 정보는, 사용자의 수면 환경과 관련한 정보로서, 사용자의 수면 단계의 변화에 관련한 수면 상태를 통해 사용자의 수면에 대한 외부적 요인의 영향을 고려하기 위한 기준이 되는 정보일 수 있다. 하나 이상의 환경 센싱모듈은 예를 들어, 온도 센서, 기류 센서, 습도 센서, 음향 센서, 조도 센서 중 적어도 하나의 센서 모듈을 포함할 수 있다. 다만, 이에 제한되는 것은 아니고, 사용자의 수면에 영향을 줄 수 있는 외부적 환경을 측정할 수 있는 다양한 센서들을 더 포함할 수도 있다.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 음향수집부(414)를 포함할 수 있다. 음향수집부(414)는 소형의 마이크 모듈을 포함하여 구성되며, 사용자가 수면을 취하는 일 공간에 발생하는 음향에 대한 정보를 획득할 수 있다. 실시예에 따르면, 음향수집부(414)에 구비된 마이크 모듈은 비교적 작은 크기로 구비되는 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은, 비용적인 측면에서 유리하며, 매우 소형으로 제작이 가능하나, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 낮은 신호 대 잡음비(SNR)를 가질 수 있다. 신호 대 잡음비가 낮다는 것은, 식별하고자 하는 음향 대비 식별하지 않고자 하는 음향인 잡음의 비율이 높은 것으로 음향의 식별이 용이하지 않음(즉, 불분명함)을 의미할 수 있다. 본 발명에 서 분석의 대상이 되는 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 음향 정보 즉, 수면 음향 정보일 수 있다. 이러한 수면 음향 정보는, 사용자의 호흡 및 움직임 등 매우 미세한 음향에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다. 이에 따라, 수신제어부(416)는 낮은 신호 대 잡음비를 가진 수면 음향 정보가 획득되는 경우, 이를 처리 및/또는 분석하기 위한 데이터로 가공 처리할 수 있다.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 환경조성부(415)를 포함할 수 있다. 환경조성부(415)는 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 환경조성부(415)는 환경 조성 정보에 기초하여 사용자가 위치한 공간의 공기질, 조도, 온도, 풍향, 습도 및 음향 중 적어도 하나를 조정할 수 있다. 환경 조성 정보는, 사용자의 수면 상태 정보 판정에 기초하여 수신제어부(416)로부터 생성된 신호일 수 있다. 예를 들어, 환경 조성 정보는, 조도를 낮추거나 또는 높이는 등에 관한 정보를 포함할 수 있다. 보다 구체적인 예를 들어, 환경 조성 정보는, 기상이 예측되는 시점으로부터 30분 전부터 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시키도록 하는 제어 정보를 포함할 수 있다. 추가적인 예를 들어, 환경 조성 정보는 온도, 습도, 풍향 또는 음향 중 적어도 하나를 조정하기 위한 제어정보를 포함할 수 있다. 환경 조성 정보는 사용자의 실시간 수면상태에 기초하여 미세먼지 제거, 유해가스 제거, 알러지 케어 구동, 탈취/제균 구동, 실내 온도 조절, 제습 조절, 가습 조절, 송풍 강도 조절, 풍향종류의 선택과 조절, 구동소음 조절, 진동 조절, LED 점등 조절 등과 관련한 다양한 정보 등을 포함할 수 있다. 전술한 환경 조성 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
본 발명에 따르면, 환경조성부(415)는, 조도 제어, 온도 제어, 풍향 제어, 습도 제어 및 음향 제어 중 적어도 하나에 대한 제어를 수행할 수 있다. 다만, 이에 제한되는 것은 아니고, 환경조성부는 사용자의 수면 환경에 변화를 가져올 수 있는 다양한 제어 동작을 더 수행할 수 있다. 즉, 환경조성부(415)는 수신제어부(416)의 환경제어 신호에 기초하여 다양한 제어 동작을 수행함으로써, 사용자의 수면 환경을 조정할 수 있다.
추가적인 실시예에서, 환경조성부(415)는 사물 인터넷(IOT, Internet of Things)을 통한 연계를 통해 구현될 수도 있다. 구체적으로, 환경조성부(415)는 사용자가 위치하는 공간에 관련하여 실내 환경의 변화를 줄 수 있는 다양한 기기들과의 연계를 통해 구현될 수 있다. 예를 들어, 환경조성부(415)는 사물인터넷을 통한 연계에 기반한 스마트 공기조화기, 스마트 히터, 스마트 공기청정기, 스마트 보일러, 스마트 창문, 스마트 가습기, 스마트 제습기 및 스마트 조명 등 다양한 스마트 가전기기로 구현될 수 있다. 전술한 환경조성부에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이제 제한되지 않는다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.
본 발명에 따르면, 수신제어부(416)는 메모리(412)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다.
본 발명의 일실시예에 따라 수신제어부(416)는 신경망의 학습을 위한 연산을 수행할 수 있다. 수신제어부(416)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
또한, 수신제어부(416)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 명세서에서 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.
본 명세서에서 모델은 네트워크 함수를 포함할 수 있다. 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.
본 발명에 따르면, 수신제어부(416)는 메모리(412)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 수신제어부(416)는 수면 상태 정보에 기초하여 환경 조성 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 수신제어부(416)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 통상적으로 수면 환경 조절 장치(400)의 전반적인 동작을 처리할 수 있다. 수신제어부(416)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(412)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 사용자가 수면을 취하는 공간에 관련한 음향 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른, 음향 정보의 획득은, 메모리(412)에 저장된 음향 정보를 획득하거나 또는 로딩(loading)하는 것일 수 있다. 또한, 음향 정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체에, 다른 컴퓨팅 장치, 동일한 컴퓨팅 장치 내의 별도 처리 모듈로부터 데이터를 수신하거나 또는 로딩하는 것일 수 있다.
일 실시예에 따르면, 수신제어부(416)는 생활 환경 음향 정보로부터 수면 음향 정보를 획득할 수 있다. 여기서 생활 환경 음향 정보는, 사용자의 일상생활 속에서 획득되는 음향 정보일 수 있다. 예컨대, 생활 환경 음향 정보는, 청소에 관련한 음향 정보, 음식 조리에 관련한 음향 정보, TV 시청에 관련한 음향 정보 등 사용자의 생활에 따라 획득되는 다양한 음향 정보를 포함할 수 있다.
구체적으로, 수신제어부(416)는 생활 환경 음향 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많은 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신 경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 수신제어부(416)는 생활 환경 음향 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 수신제어부(416)는 식별된 특이점을 기준으로 획득되는 생활 환경 음향 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 수신제어부(416)는 시계열적으로 획득되는 생활 환경 음향 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.
구체적인 예를 들어, 수신제어부(416)는 생활 환경 음향 정보로부터 기 설정된 패턴이 식별되는 시점에 관련한 특이점을 식별할 수 있다. 또한, 수신제어부(416)는 식별된 특이점을 기준으로 해당 특이점 이후에 획득되는 음향 정보들에 기초하여 수면 음향 정보를 획득할 수 있다.
즉, 수신제어부(416)는 생활 환경 음향 정보로부터 사용자의 수면에 관련한 특이점을 식별함으로써, 방대한 양의 음향 정보로부터 수면 음향 정보만을 추출하여 획득할 수 있다. 다시 말해, 일 공간에서 발생한 음향들 중 수면에 관련한 음향(즉, 수면 음향 정보)만을 획득할 수 있다. 이는, 사용자가 자신의 수면 시간을 기록하는 과정을 자동화하도록 하여 편의성을 제공함과 동시에, 획득되는 수면 음향 정보의 정확성 향상에 기여할 수 있다.
실시예에 따르면, 수신제어부(416)는 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다. 구체적으로, 수신제어부(416)는 음향수집부(414)를 통해 획득한 사용자의 수면 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다.
일 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함할 수 있다. 구체적으로, 수면 상태 정보는, 사용자가 수면 전이라는 제1 수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다. 다시 말해, 사용자에 관련하여 제1 수면 상태 정보가 획득되는 경우, 수신제어부(416)는 해당 사용자가 수면 전(즉, 취침 전)인 상태인 것으로 판단할 수 있으며, 제2 수면 상태 정보가 획득되는 경우, 해당 사용자가 수면 중인 상태인 것으로 판단할 수 있고, 그리고 제3 수면 상태 정보가 획득되는 경우, 해당 사용자가 수면 후(즉, 기상)인 상태인 것으로 판단할 수 있다.
이러한 수면 상태 정보는, 수면 음향 정보에 기초하여 획득되는 것을 특징으로 할 수 있다. 수면 음향 정보는, 비접촉 방식으로 사용자가 위치한 공간에서 사용자의 수면 동안 획득되는 음향 정보를 포함할 수 있다.
일 실시예에 따르면, 수신제어부(416)는 수집된 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다(S140). 실시예에서, 수신제어부(416)는 음향 정보로부터 식별된 특이점을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 수신제어부(416)는 특이점이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점이 식별되는 경우, 해당 특이점 이후 사용자가 수면 중이라고 판단할 수 있다. 또한, 수신제어부(416)는 특이점이 식별된 이후, 기 설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.
즉, 수신제어부(416)는 음향 정보에서 특이점이 식별되는지 여부 및 특이점이 식별된 이후, 기 설정된 패턴이 지속적으로 감지되는지 여부에 기초하여 사용자가 수면 전인지, 중인지, 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 센싱 정보 및 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 구체적으로, 수신제어부(416)는 센서부(413)를 통해 획득한 센싱 정보 및 음향 분석 결과 획득된 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 수신제어부(416)는 센싱 정보 및 수면 상태 정보에 기초하여 환경 조성 정보를 생성하고, 생성된 환경 조성 정보를 환경조성부(415)로 전송함으로써, 환경조성부(415)의 수면 환경 변화 동작을 제어할 수 있다.
실시예에서, 수신제어부(416)는 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 수면 상태 정보는, 사용자가 수면을 취하는지 여부에 관련한 정보로, 사용자가 수면 전이라는 제1 수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다.
보다 자세히 설명하면, 수신제어부(416)는 제1 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성할 수 있다. 구체적으로, 수신제어부(416)는 사용자가 수면 전이라는 제1 수면 상태 정보를 획득한 경우, 해당 제1 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성할 수 있다. 즉, 수신제어부(416)는 사용자의 수면 상태가 수면 전인 경우, 일정시간 동안 기 설정된 백색광을 공급하도록 하는 제1 환경 조성 정보를 생성할 수 있다.
실시예에 따르면, 수면 유도 시점은, 수신제어부(416)에 의해 결정될 수 있다. 구체적으로, 수신제어부(416)는 사용자의 사용자 단말(10)과의 정보 교환을 통해 수면 유도 시점을 결정할 수 있다. 구체적인 예를 들어, 사용자는 자신이 수면하고자 하는 시간 및 기상하고자 하는 시간을 사용자 단말(10)을 통해 설정하여 수면 계획 정보를 생성할 수 있으며, 생성된 수면 계획 정보를 수신제어부(416)로 전달할 수 있다. 이 경우, 수면 계획 정보는, 희망 취침 시간 정보 및 희망 기상 시간 정보를 포함할 수 있다. 수신제어부(416)는 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별할 수 있다. 예를 들어, 수신제어부(416)는 사용자가 수면을 취하고자 하는 시점(즉, 희망 취침 시간)을 기준으로 20분 전 시점을 수면 유도 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 설정한 수면을 취하고자 하는 시점이 11시인 경우, 수신제어부(416)는 10시 40분을 수면 유도 시점으로 식별할 수 있다. 전술한 시점에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
또한 실시예에 따르면, 수신제어부(416)는 생활 환경 음향 정보에 기초하여 사용자의 수면 의도 정보를 획득하고, 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 수면 의도 정보는, 사용자가 수면을 취할 의도를 정량적인 수치로 나타낸 정보일 수 있다. 예컨대, 사용자의 수면 의도가 높을수록 10에 가까운 수면 의도 정보가 산출되며, 수면 의도가 낮을수록 0에 가까운 수면 의도 정보가 산출될 수 있다. 전술한 수면 의도 정보에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
수신제어부(416)는 생활 환경 음향 정보에 기반하여 수면 의도 정보를 획득할 수 있다. 일 실시예에 따르면, 수신제어부(416)는 생활 환경 음향 정보에 포함된 음향의 종류를 식별할 수 있다. 또한, 수신제어부(416)는 식별된 음향의 종류의 수에 기초하여 수면 의도 정보를 산출할 수 있다. 수신제어부(416)는 음향의 종류의 수가 많을수록 수면 의도 정보를 낮게 산출할 수 있으며, 음향의 종류가 적을수록 수면 의도 정보를 높게 산출할 수 있다. 구체적인 예를 들어, 생활 환경 음향 정보에 포함된 음향의 종류가 3가지(예컨대, 청소기 소리, TV소리 및 사용자 목소리)인 경우, 수신제어부(416)는 수면 의도 정보를 2점으로 산출할 수 있다. 또한 예를 들어, 생활 환경 음향 정보에 포함된 음향의 종류가 1가지(예컨대, 세탁기)인 경우, 수신제어부(416)는 수면 의도 정보를 6점으로 산출할 수 있다. 전술한 생활 환경 음향 정보에 포함된 음향의 종류 및 수면 의도 정보에 관한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 수신제어부(416)는 생활 환경 음향 정보에 포함된 음향의 종류의 수에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 많은 종류의 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.
또한 실시예에서, 수신제어부(416)는 복수의 음향 정보 각각에 상이한 의도 점수 사전 매칭하여 의도 점수 테이블을 생성할 수 있다. 예를 들어, 세탁기에 관련한 제1음향 정보에는 2점이라는 의도 점수가 매칭되어 있을 수 있으며, 가습기 소리에 관련한 제2음향 정보에는 5점이라는 의도 점수가 사전 매칭되어 있을 수 있고, 그리고 목소리에 관련한 제3음향 정보에 1점이라는 의도 점수가 매칭되어 있을 수 있다. 수신제어부(416)는 사용자의 수면과 관련한 음향 정보(예컨대, 사용자가 활동함에 따라 발생하는 소리로, 청소기, 설거지, 목소리 음향 등)에 대하여 비교적 높은 의도 점수를 사전 매칭하며, 사용자의 수면과 관련 없는 음향 정보(예컨대, 사용자의 활동과 무관한 소리로, 차량 소음, 비오는 소리 등)에 대하여 비교적 낮은 의도 점수를 사전 매칭하여 의도 점수 테이블을 생성할 수 있다. 전술한 각 음향 정보에 매칭된 의도 점수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
수신제어부(416)는 생활 환경 음향 정보 및 의도 점수 테이블에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적으로, 수신제어부(416)는 생활 환경 음향 정보에서 의도 점수 테이블에 포함된 복수의 음향 중 적어도 하나가 식별되는 시점에 대응하여, 식별된 음향에 매칭된 의도 점수를 기록할 수 있다. 구체적인 예를 들어, 실시간으로 생활 환경 음향 정보가 획득되는 과정에서 제1시점에 대응하여 청소기 소리가 식별되는 경우, 수신제어부(416)는 해당 청소기 소리에 매칭된 의도 점수 2점을 제1시점에 매칭하여 기록할 수 있다. 수신제어부(416)는 생활 환경 음향 정보 획득 과정에서, 다양한 음향 각각이 식별될 때마다 식별된 음향에 매칭된 의도 점수를 해당 시점에 매칭하여 기록할 수 있다.
실시예에서, 수신제어부(416)는 미리 정해진 시간(예컨대, 10분) 동안 획득된 의도 점수의 합에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적인 예를 들어, 10분 동안 획득된 의도 점수가 높을수록 높은 수면 의도 정보가 획득될 수 있으며, 10분 동안 획득된 의도 점수가 낮을수록 낮은 수면 의도 정보가 획득될 수 있다. 전술한 미리 정해진 시간에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 수신제어부(416)는 생활 환경 음향 정보에 포함된 음향의 특성에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 사용자의 활동에 관련한 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.
실시예에 따르면, 수신제어부(416)는 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 구체적으로, 수신제어부(416)는 수면 의도 정보가 미리 정해진 임계 점수를 초과하는 시점을 수면 유도 시점으로 식별할 수 있다. 즉, 수신제어부(416)는 높은 수면 의도 정보가 획득되는 경우, 이를 수면 유도에 적절한 시점 즉, 수면 유도 시점으로 식별할 수 있다.
또한, 실시예에서, 수신제어부(416)는 센서부(413)를 통해 획득한 센싱 정보에 기초하여 수면 의도 가중 정보를 산출할 수 있다. 구체적으로, 수신제어부(416)는 제1 센서부를 통해 일 공간에 사용자의 움직임 발생한 이후, 제2 센서부를 통해 기 설정된 영역에 사용자가 위치함을 식별한 경우, 사용자가 수면 의도가 높은 것으로 판별할 수 있으며, 이에 대응하여 1에 관련한 수면 의도 가중 정보를 산출할 수 있다. 수신제어부(416)는 제1 센서부 및 제2 센서부를 통해 일 공간 및 기설정된 영역 내 사용자의 움직임이 발생하지 않으며, 사용자가 위치하지 않음을 감지하는 경우, 사용자가 수면 의도를 갖고 있지 않는 것으로 판별할 수 있으며, 이에 대응하여 0에 관련한 수면 의도 가중 정보를 산출할 수 있다. 즉, 수신제어부(416)는 센서부(413)를 통해 사용자가 특정 공간(예컨대, 침대 공간)에 위치한 것으로 감지되는 경우, 1에 관련한 수면 의도 가중 정보를 산출하고, 특정 공간에 사용자가 위치하지 않았다고 감지하는 경우, 0에 관련한 수면 의도 가중 정보를 산출할 수 있다. 다시 말해, 수신제어부(416)는 일 공간 및 기 설정된 영역에 사용자가 위치하였는지 여부에 따라 0 또는 1에 관련한 수면 의도 가중 정보를 산출할 수 있다.
실시예에 따르면, 수신제어부(416)는 센싱 정보 및 수면 상태 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 구체적으로, 수신제어부(416)는 센서부(413)를 통해 획득한 센싱 정보 및 음향 분석 결과 획득된 수면 상태 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 수신제어부(416)는 생활 환경 음향 정보에 기반하여 산출된 수면 의도 정보와 센싱 정보를 통해 산출된 수면 의도 가중 정보에 기초하여 수면 유도 시점을 결정할 수 있다.
예컨대, 수면 의도 정보와 수면 의도 가중 정보를 통해 최종 수면 의도 정보가 획득될 수 있으며, 최종 수면 의도 정보가 일정 이상의 임계치를 초과하는 시점을 수면 유도 시점으로 결정할 수 있다. 예를 들어, 수신제어부(416)는 수면 의도 정보와 수면 의도 가중 정보의 곱을 통해 최종 수면 의도 정보를 산출할 수 있다. 구체적인 예를 들어, 생활 환경 음향 정보에 기초하여 산출된 수면 의도 정보가 '9'이며, 센싱 정보에 기초하여 산출된 수면 의도 가중 정보가 '0'인 경우, 최종 수면 의도 정보는 0으로 산출될 수 있으며, 수신제어부(416)는 미리 정해진 임계치(예컨대, 8)를 넘지 못하는 것으로 판별할 수 있다.
다른 예를 들어, 수면 의도 정보가 '9'이며, 수면 의도 가중 정보가 '1'인 경우, 최종 수면 의도 정보는 9로 산출될 수 있으며, 수신제어부(416)는 미리 정해진 임계치(예컨대, 8)를 초과한 것으로 판별하여 해당 시점을 수면 유도 시점으로 결정할 수 있다. 전술한 수면 의도 정보, 수면 의도 가중 정보 및 최종 수면 의도 정보에 관한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. 상기와 같이, 음향 정보를 통해 높은 수면 의도 정보가 획득될지라도, 사용자가 일정 위치에 위치하였는지 여부에 따라 최종 수면 의도 정보가 변화될 수 있다. 예컨대, 생활 환경 음향 정보에 기초하여 높은 수면 의도 정보(예컨대, 10)이 산출되더라도, 사용자가 일정 위치에 위치하지 않는 경우, 최종 수면 의도 정보가 0이 됨에 따라, 최종적으로 사용자의 수면 의도가 낮다고 판별할 수 있다.
전술한 바와 같이, 수신제어부(416)는 사용자의 수면 유도 시점을 결정할 수 있다. 이에 따라, 수신제어부(416)는 사용자가 수면 전이라는 제1 수면 상태 정보를 획득하는 경우, 수면 유도 시점을 기준으로 제2 수면 상태 정보가 획득되는 시점까지 광을 조정하도록 하는 제1 환경 조성 정보(3000K의 백색광을 30 lux의 조도로 공급)를 생성할 수 있다.
즉, 수신제어부(416)는 사용자의 상태가 수면 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지 광을 조정하도록 하는 제1 환경 조성 정보를 생성할 수 있으며, 해당 제1 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 제2 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성할 수 있다. 제2환경 조성 정보는, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 제어 정보일 수 있다. 즉, 수신제어부(416)는 사용자의 수면 상태가 수면 중인 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 할 수 있다.
즉, 수신제어부(416)는 사용자가 수면(또는 수면 단계)에 진입하였음을 감지하는 경우(제2 수면 상태 정보를 획득하는 경우), 광이 공급되지 않도록 하는 제어 정보 즉, 제2 환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자가 깊은 잠을 잘 확률이 높아져 수면의 질이 향상될 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 기상 유도 시점에 기초하여 제3환경 조성 정보를 생성할 수 있다.
즉, 수신제어부(416)는 사용자의 수면 상태가 수면 중인 경우, 기상 유도 시점으로부터 사용자의 기상 시점까지 백색광의 조도를 점신적으로 증가시켜 공급하도록 하는 등의 제3환경 조성 정보를 생성할 수 있다.
일 실시예에서, 기상 유도 시점은, 희망 기상 시간 정보에 기초하여 결정되는 것을 특징으로 할 수 있다.
희망 기상 시간 정보는, 사용자가 희망하는 기상 시점에 관한 정보일 수 있다. 예컨대, 제1 사용자로부터 획득한 희망 기상 시간 정보는, 오전 7시에 관련할 수 있다. 전술한 기상 예측 시점에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
일 실시예에서, 희망 기상 시간 정보는 사용자의 사용자 단말(10)과의 정보 교환을 통해 획득되는 것을 특징으로 할 수 있다. 사용자는 자신이 취침하고자 하는 시점 및 자신이 기상하고자 하는 시점을 사용자 단말(10)을 통해 설정하여 수신제어부(416)로 전달할 수 있다. 수신제어부(416)는 사용자 단말(10)의 사용자가 설정한 기상 시점에 기초하여 희망 기상 시간 정보를 획득할 수 있다.
다른 실시예에서, 기상 유도 시점은 기상 예측 시점에 기초하여 결정될 수 있다. 여기서, 기상 예측 시점은, 제2 수면 상태 정보를 통해 식별된 수면 인입 시점에 기초하여 결정되는 것을 특징으로 할 수 있다. 구체적으로, 수신제어부(416)는 사용자가 수면 중이라는 제2 수면 상태 정보를 통해 사용자의 수면 인입 시점을 파악할 수 있다. 수신제어부(416)는 제2 수면 상태 정보를 통해 파악한 수면 인입 시점에 기초하여 기상 예측 시점을 결정할 수 있다. 예를 들어, 수신제어부(416)는 수면 인입 시점을 기준으로 적정 수면 시간인 8시간 이후 시점을 기상 예측 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 수면에 인입한 시점이 오후 11시인 경우, 수신제어부(416)는 기상 예측 시점을 7시로 결정할 수 있다. 전술한 각 시점에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. 즉, 수신제어부(416)는 사용자가 수면에 잠든 시점에 기초하여 기상 예측 시점을 결정할 수 있다.
또 다른 실시예에서, 기상 예측 시점은, 사용자의 수면 단계 정보에 기초하여 결정되는 것을 특징으로 할 수 있다. 예컨대, 사용자는 REM 단계에서 기상하는 경우 가장 개운하게 일어날 수 있다. 하루밤 수면 동안, 사용자는 경도 수면(light), 깊은 수면(deep), 경도 수면, REM 수면 순으로 수면 사이클을 가질 수 있으며, REM 수면 단계에서 기상했을 때 가장 개운하게 기상할 수 있다.
이에 따라, 수신제어부(416)는 사용자의 수면 단계에 관련한 수면 단계 정보를 통해 사용자의 기상 예측 시점을 결정할 수 있다. 구체적인 예를 들어, 수신제어부(416)는 수면 단계 정보를 통해 사용자가 REM 단계에서 다른 수면 단계로 변화하는 시점을 기상 예측 시점으로 결정할 수 있다. 즉, 수신제어부(416)는 사용자가 가장 개운하게 기상할 수 있는 수면 단계 정보(즉, REM 수면 단계)에 기초하여 기상 예측 시점을 결정할 수 있다.
전술한 바와 같이, 수신제어부(416)는 사용자 단말로부터 획득한 수면 계획 정보, 수면 인입 시점 및 수면 단계 정보 중 적어도 하나에 기초하여 사용자의 기상 예측 시점을 결정할 수 있다. 또한, 수신제어부(416)는 사용자가 기상하고자 하는 시점인 기상 예측 시점을 결정한 경우, 해당 기상 예측 시점에 기초하여 기상 유도 시점을 결정할 수 있다. 예를 들어, 수신제어부(416)는 사용자가 기상하고자 하는 시점을 기준으로 30분 전 시점을 기상 유도 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 설정한 기상하고자 하는 시점(즉, 기상 예측 시점)이 7시인 경우, 수신제어부(416)는 6시 30분을 기상 유도 시점으로 결정할 수 있다. 전술한 시점에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 수신제어부(416)는 사용자의 기상이 예측되는 기상 예측 시점을 파악하여 기상 유도 시점을 식별하고, 기상 유도 시점으로부터 기상 시점(예컨대, 사용자가 실제 기상할 때까지) 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제3환경 조성 정보를 생성할 수 있다. 수신제어부(416)는 해당 제3환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있으며, 이에 따라, 환경조성부(415)는 제3 환경 조성 정보에 기반하여 사용자가 위치한 공간에서 광에 관련한 조정 동작을 수행할 수 있다. 예컨대, 환경조성부(415)는 기상 30분 전부터 3000K의 백색광을 0 lux에서 250 lux조도 점진적으로 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 생활 환경 음향 정보를 획득할 수 있으며, 해당 음향 정보에 기초하여 수면 음향 정보를 획득할 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 수면 음향 정보에 대한 전처리를 수행할 수 있다. 수면 음향 정보에 대한 전처리는 노이즈 제거에 관한 전처리일 수 있다. 구체적으로, 수신제어부(416)는 수면 음향 정보를 미리 정해진 시간 단위를 갖는 하나 이상의 음향 프레임으로 분류할 수 있다. 또한, 수신제어부(416)는 하나 이상의 음향 프레임 각각의 에너지 레벨에 기초하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별할 수 있다. 수신제어부(416)는 최소 음향 프레임에 기초하여 수면 음향 정보에 대한 노이즈 제거를 수행할 수 있다.
구체적인 예를 들어, 수신제어부(416)는 30초의 수면 음향 정보를 매우 짧은 40ms 크기의 하나 이상의 음향 프레임으로 분류할 수 있다. 또한, 수신제어부(416)는 40ms 크기에 관련한 복수의 음향 프레임 각각의 크기를 비교하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별할 수 있다. 수신제어부(416)는 전체 수면 음향 정보(즉, 30초의 수면 음향 정보)에서 식별된 최소 음향 프레임 성분을 제거할 수 있다. 예컨대, 수면 음향 정보에서 최소 음향 프레임 성분이 제거됨에 따라, 전처리된 수면 음향 정보가 획득될 수 있다. 즉, 수신제어부(416)는 최소 음향 프레임을 백그라운드 노이즈 프레임으로써 식별하여 원본 신호(즉, 수면 음향 정보)에서 제거함으로서, 노이즈 제거에 관한 전처리를 수행할 수 있다.
또한, 수신제어부(416)는, 도 6의 (a)에 도시된 바와 같이, 수면 음향 정보(210)에 대응하여 스펙트로그램(300)을 생성할 수 있다. 여기서 수면 음향 정보(210)는, 전처리된 수면 음향 정보를 의미할 수 있다. 즉, 수신제어부(416)는 전처리된 수면 음향 정보에 대응하여 스펙트로그램을 생성할 수 있다. 스펙트로그램 생성과 관련해서는 위에서 상세히 설명한 바 중복 설명은 피하기로 한다.
본 발명의 일 실시예에 따르면, 수신제어부(416)가 수면 음향 정보(210)에 대응하여 생성하는 스펙트로그램은, 멜 스펙트로그램을 포함할 수 있다. 수신제어부(416)는, 스펙트로그램에 대한 멜-필터 뱅크(Mel-Filter Bank)를 통해 멜 스펙트로그램(Mel-Spectrogram)을 획득할 수 있다.
일반적으로, 인간의 달팽이관은 음성 데이터의 주파수에 따라 진동하는 부위가 상이할 수 있다. 또한, 인간의 달팽이관은 주파수가 낮은 대역에서 주파수 변화를 잘 감지하며, 높은 대역에서의 주파수 변화를 잘 감지하지 못하는 특성을 가지고 있다. 이에 따라, 음성 데이터에 대한 인간의 달팽이관의 특성과 유사한 인식 능력을 갖도록 멜-필터 뱅크를 활용하여 스펙트로그램으로부터 멜 스펙트로그램을 획득할 수 있다. 즉, 멜-필터 뱅크는, 낮은 주파수 대역에서 적은 필터 뱅크를 적용하고, 고대역으로 갈수록 넓은 필터 뱅크를 적용하는 것 일 수 있다. 다시 말해, 수신제어부(416)는 인간의 달팽이관의 특성과 유사하도록 음성 데이터를 인식하기 위해 멜-필터 뱅크를 스펙트로그램에 적용함으로써, 멜 스펙트로그램을 획득할 수 있다. 멜 스펙트로그램은 인간의 청각특성이 반영된 주파수 성분을 포함할 수 있다. 즉, 본 발명에서 수면 음향 정보에 대응하여 생성되며, 신경망을 활용한 분석의 대상이 되는 스펙트로그램은, 전술한 멜 스펙트로그램을 포함할 수 있다.
또한, 수신제어부(416)는 스펙트로그램(300)을 수면 분석 모델의 입력으로 처리하여 수면 단계 정보를 획득할 수 있다. 여기서 수면 분석 모델은, 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 획득하기 위한 모델로, 사용자의 수면 동안 획득된 수면 음향 정보를 입력으로 하여 수면 단계 정보를 출력할 수 있다. 실시예에서, 수면 분석 모델은, 하나 이상의 네트워크 함수를 통해 구성되는 신경망 모델을 포함할 수 있다. 네트워크 함수와 관련해서는 위에서 상세히 설명한 바 중복 설명은 피하기로 한다.
전술한 바와 같이, 수신제어부(416)는 수면 음향 정보에 기초하여 스펙트로그램을 획득할 수 있다. 이 경우, 스펙트로그램으로의 변환은 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 분석하도록 하기 위함일 수 있다. 또한, 수신제어부(416)는 피처 추출 모델 및 피처 분류 모델을 포함하여 구성되는 수면 분석 모델을 활용하여 획득한 스펙트로그램에 기초한 수면 단계 정보를 생성할 수 있다. 이 경우, 수면 분석 모델은 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 하여 수면 단계 예측을 수행할 수 있으므로, 보다 정확도 있는 수면 단계 정보를 출력할 수 있다.
즉, 수신제어부(416)는 전술한 바와 같은 수면 분석 모델을 활용하여 수면 음향 정보에 대응하는 수면 단계 정보를 출력할 수 있다. 실시예에 따르면, 수면 단계 정보는, 사용자의 수면 동안 변화하는 수면 단계들에 관련한 정보일 수 있다. 예를 들어, 수면 단계 정보는, 사용자의 지난 밤 8시간 수면 동안 각 시점별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 단계 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 전처리된 수면 음향 정보에 기초하여 데이터 증강을 수행할 수 있다. 이러한 데이터 증강은, 수면 분석 모델로 하여금 다양한 도메인에서 측정된 사운드(예컨대, 다른 침실, 다른 마이크, 다른 배치 위치 등)에서도 robust하게 수면 상태 정보(예컨대, 수면 단계 정보)를 출력하도록 하기 위함이다. 실시예에서 데이터 증강은, Pitch shifting, gaussian noise, loudness control, dynamic range control 및 spec augmentation 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 수신제어부(416)는 수면 음향 정보에 기초하여 Pitch shifting에 관련한 데이터 증강을 수행할 수 있다. 예컨대, 수신제어부(416)는 미리 정해진 간격으로 사운드의 피치를 높이거나, 또는 내리는 등 음향의 피치를 조정함으로써, 데이터 증강을 수행할 수 있다.
본 발명에 따르면, 수신제어부(416)는 Pitch shifting 뿐만 아니라, 노이즈에 관련한 보정을 통해 데이터 증강을 수행하는 gaussian noise, 음량을 변화시켜도 음질이 유지되는 느낌을 주도록 음향을 보정하여 데이터 증강을 수행하는 loudness control, 음향의 최대 진폭과 최소 진폭 사이를 dB로 측정한 대수비인 다이내믹 레인지를 조정하여 데이터 증강을 수행하는 dynamic range control 및 음향의 사양 증가에 관련한 spec augmentation을 수행할 수 있다.
즉, 수신제어부(416)는 본 발명의 분석에 기초가 되는 음향 정보(즉, 수면 음향 정보)에 대한 데이터 증강을 통해, 수면 분석 모델이 다양한 환경에서 획득되는 수면 음향에 대응하여 강인한 인식을 수행하도록 하여 수면 단계 예측의 정확성을 향상시킬 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 제3 수면 상태 정보에 기초하여 제4환경 조성 정보를 획득할 수 있다. 제4환경 조성 정보와 관련해서는 도 1의 (a)의 실시예의 프로세서(130)의 동작과 관련해서 설명한 바와 동일하므로, 중복 설명은 생략하기로 한다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있다. 구체적으로, 수신제어부(416)는 조도 조정에 관련한 환경 조성 정보를 생성할 수 있으며, 해당 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정함으로써, 환경조성부(415)의 조도 조정 동작을 제어할 수 있다.
실시예에 따르면, 빛이나 공기질은 수면의 질에 영향을 줄 수 있는 대표적인 요인 중 하나일 수 있다. 예컨대, 빛의 조도, 색, 노출 정도 등에 따라 수면의 질에 좋은 영향을 끼칠 수 있고, 그리고 나쁜 영향을 끼칠 수 있다. 또한, 미세먼지의 종류/농도, 유해가스의 종류/농도, 알러지성 물질의 유무, 공기의 온도나 습도 등에 의해서도 수면의 질이 크게 좌우된다. 이에 따라, 수신제어부(416)는 조도나 공기질을 조정하여 사용자의 수면의 질을 향상시킬 수 있다. 예를 들어, 수신제어부(416)는 잠들기 전이나 잠든 후의 상황을 모니터링 하고, 이에 따라 사용자를 효과적으로 깨우기 위한 조도 조정을 수행할 수 있다. 즉, 수신제어부(416)는 수면 상태(예컨대, 수면 단계)를 파악하여 자동으로 조도나 공기질을 조정하여 수면의 질을 극대화시킬 수 있다.
일 실시예에서, 수신제어부(416)는 사용자 단말(10)로부터 수면 계획 정보를 수신할 수 있다. 수면 계획 정보는, 사용자가 사용자 단말(10)을 통해 생성하는 정보로, 예컨대, 희망 취침 시간 정보 및 희만 기상 시간 정보를 포함할 수 있다. 수신제어부(416)는 수면 계획 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 구체적인 예를 들어, 수신제어부(416)는 수면 계획 정보를 통해 사용자의 취침 시간을 식별하고, 해당 취침 시간에 기초하여 환경 조성 정보를 생성할 수 있다.
또한, 수신제어부(416)는 사용자 단말(10)로부터 수면 계획 정보를 수신하고, 이에 기초하여, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지, 본 발명의 실시예에 따른 스마트 가전기기를 제어하기 위한 제1 환경 조성 정보를 생성할 수 있다.
또한, 예를 들어, 수신제어부(416)는 제2 수면 상태 정보를 통해 사용자가 수면에 인입하는 시점 즉, 수면 인입 시점을 파악할 수 있으며, 이에 기초하여 제2환경 조성 정보를 생성할 수 있다.
실시예에서, 수신제어부(416)는 수면 단계 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 실시예에서, 수면 단계 정보는 수면 음향 정보에 대한 분석을 통해 시계열적으로 획득되는 사용자의 수면 단계 변화에 관한 정보를 포함할 수 있다.
또한, 수신제어부(416)는 수면 중, 사용자의 수면 단계 변화에 따라 적정한 조도를 제공하도록 하기 위한 환경 조성 정보를 생성할 수 있다.
또한, 예를 들어, 수신제어부(416)는 수면 계획 정보를 통해 사용자의 희망 기상 시간을 식별하고, 해당 희망 기상 시간에 기초하여 기상 예측 시점을 생성하고, 이에 따라, 환경 조성 정보를 생성할 수 있다.
또한, 수신제어부(416)는 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있다. 즉, 수신제어부(416)는 수면 계획 정보에 기초하여 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 환경 조성 정보를 생성하고 해당 환경 조성 정보를 통해 환경조성부(415)의 환경 조성 동작을 제어함으로써, 사용자의 수면의 질을 향상시킬 수 있다.
추가적인 실시예에서, 수신제어부(416)는 수면 단계 정보에 기초하여 추천 수면 계획 정보를 생성할 수 있다.
일 실시예에 따르면, 수신제어부(416)는 사용자의 실제 기상 시간과 희망 기상 시간 정보를 비교하여 환경 조성 정보를 업데이트할 수 있다.
본 발명에 따르면, 수신제어부(416)는 희망 기상 시간 정보 및 실제 기상 시간 정보에 대한 비교를 수행하고, 비교 결과 각 정보가 서로 상이한 경우, 환경 조성 정보를 업데이트할 수 있다. 여기서, 희망 기상 시간 정보와 비교되는 실제 기상 시간 정보는 일정 횟수 이상 누적된 실제 기상 시간에 관한 정보들을 포함할 수 있다. 예컨대, 실제 기상 시간 정보는, 일주일동안 사용자가 실제 기상한 시점에 관한 정보들을 포함할 수 있다.
실시예에서, 수신제어부(416)는 희망 기상 시간과 누적된 실제 기상 시간의 차이를 분석하여 환경 조성 정보를 업데이트할 수 있다. 구체적으로, 수신제어부(416)는 희망 기상 시간보다 실제 기상 시간이 늦는 경우, 사용자의 일주기 리듬을 앞당기기 위해 기상 시점에 공급되는 백색광의 최대 밝기를 점진적으로 증가시킬 수 있다. 예컨대, 실제 기상 시간이 희망 기상 시간 보다 늦은 다음 날에는, 사용자의 기상 시점에 대응하여 백색광의 최대 밝기가 전날 보다 더 높게 공급되도록 환경 조성 정보를 업데이트할 수 있다. 이와 반대로, 수신제어부(416)는 실제 기상 시간이 희망 기상 시간보다 빠른 경우, 사용자의 기상 시점을 늦추기 위해 기상 시점에 공급되는 백색광의 최대 밝기를 감소시킬 수 있다. 예를 들어, 실제 기상 시간이 희망 기상 시간 보다 빠른 다음 날에는, 사용자의 기상 시점에 대응하여 백색광의 최대 밝기가 전날 보다 낮게 공급되도록 환경 조성 정보를 업데이트할 수 있다. 즉, 수신제어부(416)는 사용자의 실제 기상 시점과 희망 기상 시점을 비교할 수 있으며, 비교 결과에 따라 사용자의 일주기리듬을 변화시키기 위하여 환경 조성 정보를 업데이트할 수 있다. 이에 따라, 사용자에게 최적화된 수면환경이 조성될 수 있어, 수면 효율이 더욱 증대될 수 있다.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 수동 수면 측정 모드 및 자동 수면 측정 모드 중 적어도 하나의 측정 모드를 통해 음향수집부를 구동하여 음향 정보를 수집하며, 수집된 음향 정보에 기초하여 수면 상태 정보를 산출하는 것을 특징으로 할 수 있다.
실시예에서, 수동 수면 측정 모드는, 사용자에 의해 수면 입력 신호가 생성됨에 따라 수동적으로 측정 모드가 개시되는 것을 의미할 수 있다.
예컨대, 사용자는 수면 환경 조절 장치(400)의 외면에 형성된 수면 입력 버튼에 물리적인 압력을 가함으로써 수면 입력 신호를 생성하거나, 사용자 단말을 활용하여 수면 입력 신호를 생성할 수 있다. 수면 입력 신호가 생성되는 경우, 수면 환경 조절 장치(400)(즉, 수신 모듈)은 해당 시점을 기준으로 일 공간에 관련한 음향 정보가 획득되며, 해당 음향 정보를 기초로 사용자의 수면 상태 정보가 획득될 수 있다. 즉, 수동 구면 측정 모드를 통해 사용자는 자신의 수면 상태 측정을 개시하는 시점을 직접 결정할 수 있다.
또한, 실시예에 따르면, 자동 수면 측정 모드는 수면 입력 신호를 생성하기 위한 별도의 사용자의 동작이 필요없이 자동으로 수면 측정이 개시되는 것을 의미할 수 있다. 자동 수면 측정 모드는, 제1센서부를 통해 일 공간 내에서 사용자의 움직임이 발생한 것을 감지한 이후, 제2센서부를 통해 사용자가 기 설정된 영역에 위치한 것으로 식별되는 경우, 자동으로 측정 모드가 개시되는 것을 특징으로 할 수 있다. 자동 수면 측정 모드에 관한 구체적인 설명은 도 13을 참조하여 이하에서 후술하도록 한다. 또한, 앞서 설명했던 내용과 중복되는 사항의 서술은 생략하기로 한다.
도 13은 본 발명의 일 실시예와 관련된 자동 수면 측정 모드를 통해 수면 상태 정보를 생성하는 과정을 예시적으로 나타낸 순서도이다. 도 13에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
일 실시예에 따르면, 수신제어부(416)는 제1 센서부를 통해 일 공간내에서 사용자의 움직임이 발생하는 것을 감지할 수 있다(S110).
제1센서부는 PIR센서 및 초음파 센서 중 적어도 하나를 포함하여 구비될 수 있다. PIR 센서는 사용자의 신체에서 방출되는 적외선의 변화량을 감지하여 감지 범위 안에서 사용자의 움직임을 감지할 수 있다. 예컨대, PIR 센서는 사용자의 신체에 방출되는 8㎛~14㎛ 의 적외선을 식별하여 침실 내에서의 사용자의 움직임을 감지할 수 있다.
초음파 센서는 음파를 발생시키고, 특정 객체에 반사되어 돌아오는 신호를 감지하여 객체의 움직임을 감지할 수 있다. 예를 들어, 초음파 센서는 침실 공간내에 음파를 발생시키고, 사용자가 침실 내부로 들어옴에 따라 사용자의 신체에 반사되는 음파를 통해 침실 내부에 사용자의 움직임이 발생한 것을 감지할 수 있다.
일 실시예에 따르면, 수신제어부(416)는 제2 센서부를 통해 사용자가 기 설정된 영역에 위치한 것을 식별할 수 있다(S120).
일 실시예에 따르면, 수신제어부(416)는 음향수집부(414)를 구동하여 일 공간에 관련한 음향 정보를 수집할 수 있다(S130). 즉, 수신제어부(416)는 제1센서부를 통해 일 공간에서 사용자의 움직임이 발생함을 감지하고, 그리고 제2센서부를 통해 기 설정된 영역에 사용자가 움직임을 식별한 경우에 자동으로 음향수집부(414)를 통해 일 공간에 관련한 음향 정보를 수집하도록 할 수 있다.
도 14는 본 발명의 일 실시예와 관련된 사용자의 수면 인입을 유도하는 환경을 조성하는 과정을 예시적으로 나타낸 순서도이다. 도 14에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
일 실시예에 따르면, 수신 모듈(410)은 사용자의 수면 상태가 수면 전인 경우, 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별할 수 있다(S210). 구체적인 예를 들어, 사용자는 자신이 수면하고자 하는 시간 및 기상하고자 하는 시간을 사용자 단말(10)을 통해 설정하여 수면 계획 정보를 생성할 수 있으며, 생성된 수면 계획 정보를 수신 모듈(410)로 전달할 수 있다. 이 경우, 수면계획 정보는, 희망 취침 시간 정보 및 희망 기상 시간 정보를 포함할 수 있다. 수신 모듈(410)은 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별할 수 있다. 예를 들어, 수신 모듈(410)은 사용자가 수면을 취하고자 하는 시점(즉, 희망 취침 시간)을 기준으로 20분 전 시점을 수면 유도 시점으로 결정할 수 있다. 수면 유도 시점과 관련한 자세한 예시는 앞서 서술한 바와 같으므로 생략하기로 한다.
또한, 수신 모듈(410)은 제2 센서부를 통해 수면 유도 시점에 사용자가 기 설정된 영역에 위치하였는지 여부를 감지할 수 있다(S220).
실시예에서, 기 설정된 영역에 사용자가 위치하지 않았음을 감지하는 경우, 수신 모듈(410)은 사용자 단말에 알림을 전송할 수 있다(S230). 구체적으로, 수면 유도 시점에 임박했으나, 사용자가 기 설정된 영역에 위치하지 않은 경우, 사용자 단말로 취침을 준비하도록 하는 알림을 전송할 수 있다.
또한, 실시예에서, 기 설정된 영역에 사용자가 위치하였음을 감지하는 경우, 수신 모듈(410)은 수면 유도 시점으로부터 수면 시점까지 기 설정된 백색광을 공급하도록 하는 제1 환경 조성 정보를 생성할 수 있다(S240). 즉, 수면 유도시점에 대응하여 사용자가 기 설정된 영역에 위치한 경우에만 제1 환경 조성 정보를 생성할 수 있다.
도 15는 본 발명의 일 실시예와 관련된 수면 중 및 기상 직전에 사용자의 수면 환경을 변화시키는 과정을 예시적으로 나타낸 순서도이다. 도 15에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
일 실시예에 따르면, 수신 모듈(410)은 사용자의 수면 상태가 수면 중인 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 제2환경 조성 정보를 생성할 수 있다(S310).
즉, 수신 모듈(410)은 사용자가 수면(또는 수면 단계)에 진입하였음을 감지하는 경우(제2수면 상태 정보를 획득하는 경우), 광이 공급되지 않도록 하는 제어 정보 즉, 제2환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자가 깊은 잠을 잘 확률이 높아져 수면의 질이 향상될 수 있다.
일 실시예에 따르면, 수신 모듈(410)은 사용자가 희망 기상 시간 정보에 기초하여 기상 유도 시점을 식별하고 기상 유도 시점으로부터 희망 기상 시점까지 백색광의 조도를 점진적으로 증가시켜 공급하도록 하는 제3환경 조성 정보를 생성할 수 있다(S320). 예컨대, 제3환경 조성 정보는, 기상 유도 시점으로부터 기상 시점까지 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제어 정보인 것을 특징으로 할 수 있다.
즉, 수신 모듈(410)은 사용자의 수면 상태가 수면 중인 경우, 기상유도 시점으로부터 사용자의 기상 시점까지 백색광의 조도를 점진적으로 증가시켜 공급하도록 하는 제3환경 조성 정보를 생성할 수 있다. 예를 들어, 제3환경 조성 정보는 사용자의 기상 전 30분 전(즉, 기상 유도 시점)부터 조도를 서서히 올리는 것에 관련한 제어 정보일 수 있다.
그 외에 환경 조성 정보 및 그에 따른 스마트 가전기기의 동작와 관련한 구체적인 설명은 앞서 도 1의 (a)의 프로세서(130)를 통해 서술한 바와 동일하므로, 자세한 설명은 생략하기로 한다.
또한, 이상으로 수면 환경 조절 장치의 구성과, 그에 따라 다양한 동작을 수행하는 것에 대하여 서술하였으나, 상술한 동작들은 수면 환경 조절 장치에서 수행되는 것에 한정되는 것은 아니고, 예컨대 도 1의 (c)와 같은 실시형태로 발명이 실시되는 경우에는, 도 1의 (c)에 도시된 전자장치들 중 적어도 하나 이상이 상술한 수면 환경 조절 장치의 동작들 중 적어도 하나 이상을 수행할 수도 있다.
본 발명의 몇몇 실시예에 따른 스마트 가전기기의 구성
공기조화기
공기조화기의 동작
이하에서는 본 발명에 따른 공기조화기에 대하여 상세히 설명하기로 한다. 도 16의 (a)와 (b)는 본 발명에 따른 공기조화기의 동작을 설명하기 위한 개념도이다.
구체적으로, 도 16의 (a)는 도 1의 (a)의 환경 조성 장치(30)가 공기조화기(500)로 구현된 모식도이고, 도 16의 (b)는 공기조화기(500)가 사용자 단말(10)과 연동하여 동작하는 모식도이다.
도 16의 (a)에 도시된 바와 같이, 본 발명에 따른 공기조화기(500)는 사용자 단말(10) 및 컴퓨팅 장치(100)와 연동하여 동작할 수 있다.
컴퓨팅 장치(100)는 네트워크부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다(도 2 참조). 네트워크부(110)는 사용자 단말(10), 외부 서버(20) 및 공기조화기(500)와 데이터를 송수신한다. 네트워크부(110)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크부(110)는 컴퓨팅 장치(100)와 사용자 단말(10), 외부 서버(20) 및 공기조화기(500) 간의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(110)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(110)는 사용자 단말(10)로부터 사용자가 활동하는 공간에 관련한 환경 센싱 정보를 수신할 수 있다. 또 다른 예를 들어, 네트워크부(110)는 공기조화기(500)로 사용자가 위치한 공간의 환경을 조정하기 위한 온도 또는/및 습도 등에 관련된 환경 조성 정보를 전송할 수 있다.
여기서 네트워크부(110) 및 메모리(120)의 동작방식, 하드웨어적 구성, 소프트웨어적 구성은 위에서 설명한 바와 동일하므로, 중복되는 설명은 생략한다.
본 발명에 따르면, 프로세서(130)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(130)는 수면 상태 정보에 기초하여 환경 조성 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(130)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다. 수면 분석 모델의 구체적인 사항은 위에서 설명한 바와 동일하다.
본 발명에 따르면, 프로세서(130)는 사용자의 수면 상태 정보 및 환경 센싱 정보를 획득할 수 있으며, 이는 위에서 설명한 바와 같다. 프로세서(130)는 제1 환경 조성 정보 내지 제n 환경 조성 정보를 생성할 수 있다. 구체적으로, 프로세서(130)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기조화기를 제어하기 위한 제1 환경 조성 정보를 생성할 수 있다. 구체적으로, 사용자의 수면 전 소정시간(예: 20분 전)까지 실내 온도 또는/및 실내 습도를 계절별 또는 사용자별로 최적화하도록 공기조화기를 제어하는 제1 환경 조성 정보를 생성할 수 있다.
또는, 제1 환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기조화기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추거나 직접풍을 간접풍으로 전환하는 등의 정보를 포함할 수 있다. 이와 함께, 제1 환경 조성 정보는 수면공간 내의 온도 온도/및 습도 정보에 기초하여 제습/가습을 실행하도록 공기조화기를 제어하기 위한 정보를 포함할 수 있다.
본 발명의 일 실시 형태에 따르면, 프로세서(130)는 제2 수면 상태 정보에 기초하여 공기조화기의 표시부의 밝기를 낮추거나, 표시부를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기조화기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 값으로 유지하거나, 간접풍을 유지하도록 공기조화기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다.
또한, 프로세서(130)는 제3수면 상태 정보 및 제4 수면 상태 정보에 기초하여 제3환경 조성 정보 및 제4환경 조성 정보를 생성할 수 있다.
본 발명에 따르면, 프로세서(130)는 환경 조성 정보를 공기조화기(500)로 전송할 것을 결정할 수 있다. 즉, 프로세서(130)는 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 외부 환경 조성 정보를 생성함으로써, 사용자의 수면의 질을 향상시킬 수 있다.
도 16의 (b)에 도시된 바와 같이, 본 발명에 따른 공기조화기(500)는 사용자 단말(10)과 연동하여 동작할 수 있다. 즉, 도 16의 (b)에 따른 실시예의 시스템은 공기조화기(500), 사용자 단말(10), 외부 서버(20) 및 네트워크를 포함할 수 있다. 본 실시예에서, 본 발명에 따른 공기조화기(500)는, 도 16의 (a)의 컴퓨팅 장치(100)의 구성과 공기조화기로써 동작하기 위한 부가구성들을 포함한다.
도 17의 (a)는 본 발명에 따른 공기조화기의 구성을 나타내는 블록도이다. 도 17의 (a)에 도시된 바와 같이, 본 발명에 따른 공기조화기(500)는 네트워크부(5100), 메모리(5200), 프로세서(5300), 구동부(5400) 및 측정부(5500)를 포함할 수 있다.
본 발명에 따르면, 공기조화기(500)는 빌딩, 아파트, 주택 내의 벽에 고정 설치되는 벽걸이공기조화기 또는 벽걸이냉난방공기조화기로 구현될 수도 있으며, 천장에 매립된 형태의 시스템공기조화기로 구현될 수도 있고, 실내 공간의 일측이나 구석에 배치되는 스탠드 공기조화기로 구현될 수도 있으며, 휴대와 이동이 간편한 이동형 공기조화기로 구현될 수도 있다.
본 발명에 따르면, 공기조화기(500)의 네트워크부(5100), 메모리(5200), 프로세서(5300)의 기능, 동작, 하드웨어적 구성, 소프트웨어적 구성에 대해서는 위에서 설명한 바와 동일하다. 프로세서(5300)에 의해서 생성된 제1 내지 제n환경 조성 정보는 구동부(5400)로 전달될 수 있다. 구동부(5400)는 공기조화기(500)에 구비된 다양한 하드웨어적 요소를 동작시킨다.
본 발명에 따르면, 측정부(5500)는 수면 공간 내의 온도, 습도, 먼지농도 및 공기조화기 부품상태 등을 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 구체적으로, 측정부는 PM1.0, PM2.5, PM10 등 보이지 않는 부유입자를 감지하는 먼지센서, 실내조도를 감지하는 조도센서, 실내온도를 측정하는 온도센서, 실내습도를 측정하는 습도 센서 등을 포함할 수 있다.
또한, 측정부(5500)는 인체 감지 센서를 포함할 수 있다. 프로세서(5300)는 상기 인체 감지 센서를 통해 사용자를 감지하여 사용자가 위치한 공간으로 냉풍 또는 온풍을 보내거나(직접풍), 사용자가 위치하지 않는 공간으로 냉풍 또는 온풍을 보내는(간접풍) 제어를 수행할 수 있다.
또한, 측정부(5500)는 사용자의 음성을 인식하는 음성 인식 센서를 더 포함할 수 있다.
도면에는 도시하지 않았으나, 공기조화기(500)는 토출구와 흡입구가 구비된 하우징, 필터부, 송풍팬, 살균부, 가습부, 가열부, 냉각부, 측정부 등으로 구성될 수 있다. 하우징은 공기조화기(500)의 벽걸이공기조화기, 시스템공기조화기, 스탠드공기조화기 등 구현방식에 따라 다양하게 설계될 수 있다. 필터부는 집진필터식, 흡착필터식 등의 방식에 대응하여 선택될 수 있다. 송풍팬은 전원공급부로부터 공급된 전원에 의하여 회전하는 모터에 연결될 수 있다. 살균부는 화학적, 전기적 방식을 이용하여 흡입된 공기를 살균하는 기능을 가진다. 가습부는 흡입된 공기를 가습하여 송출하는 기능을 갖고, 가열부와 냉각부는 흡입된 공기를 소정 온도로 가열하거나 냉각시키는 기능을 갖는다.
상술한 공기조화기(500)의 하드웨어적 요소는 일 실시예에 불과하며, 이 중 일부가 통합되어 하나의 구성으로 구현될 수도 있고, 일부 구성이 생략될 수 있으며, 위에서 설명되지 않은 공기청정 기능을 수행하기 위한 다양한 구성이 부가될 수 있을 것이다.
한편, 환경 센싱 정보는 사용자 단말(10)을 통해 획득될 수 있다. 환경 센싱 정보는, 사용자가 수면을 취하는 침실에서 획득되는 수면 음향 정보일 수 있다.
또한, 환경 센싱 정보는 공기조화기(500) 내에 구비된 측정부(5500)로부터 획득된 수면공간내 온도 또는/및 습도, 또는 공기질 정보일 수 있다. 사용자 단말(10) 또는 측정부(5500)를 통해 획득된 환경 센싱 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위한 기반이 되는 정보일 수 있다.
구체적인 예를 들어, 사용자의 활동에 관련하여 획득되는 환경 센싱 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다 또한, 사용자의 수면 전, 수면 중 및 수면 후 주변 공기질과 관련한 정보가 획득될 수 있다.
본 발명에 따르면, 프로세서(5300)는 사용자 단말(10) 및/또는 측정부(5500)를 통해 획득된 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다.
구체적으로, 프로세서(5300)는 환경 센싱 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많은 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다.
반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(5300)는 환경 센싱 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(5300)는 식별된 특이점을 기준으로 획득되는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(5300)는 시계열적으로 획득되는 환경 센싱 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.
또한, 측정부(5500)를 통해 측정된 온도 또는/및 습도, 또는/및 공기질은 사용자의 수면에 많은 영향을 미친다. 온도 또는/및 습도 수면 사이의 관계를 분석한 논문에 따르면, 수면 중의 깨어남의 빈도와 깊은 잠의 비율에 차이가 있고, 다음 날의 사용자의 작업 효율에 악영향을 끼치며, 공기질과 수면 사이의 관계를 분석한 논문에 따르면, 수면 장애는 공기오염과 통계적으로 유의미한 연관성을 보이는 것이 확인되었다. 예를 들어, CO2(800ppm, 1700ppm)과 온도(24도, 28도)를 비교한 실험에서, 28도 챔버에서 잤을 때 수면 효율 및 다음 날 작업 효율이 저하되고, CO2 800ppm일 때, 공기가 더 답답하고 덥다고 느꼈음이 확인되었다.
또한, 32℃(상대습도 80%)와 26℃(상대습도 50%)의 수면 상태를 비교한 실험에서, 32℃(상대습도 80%)에서 수면 중에 깨어남의 빈도가 증가했고, 깊은 잠의 비율이 감소함이 확인되었다. 한편, PM10에 노출된 경우 수면을 유지하는데 어려움을 겪을 수 있고, 특히, 남성이 PM1에 노출되었을 때 수면장애가 나타날 확률이 가장 높은 것을 확인할 수 있었다. 또한, 여성의 경우, PM1, PM2.5에 노출 되었을 때 수면 장애가 생길 가능성이 가장 높다는 것이 확인되었다. 또한, SO2, O3가 높을 때 천명(wheezing)과 관련된 수면 방해가 나타날 확률이 가장 높다는 것이 확인되었다. 뿐만 아니라, 임산부가 임신 31~35주 사이에 PM2.5에 노출 되면 태어난 아이가 수면 길이가 짧아질 가능성이 가장 높다는 것도 확인되었다. AHI와 공기의 질을 측정하는 수치들과의 연관성에 대해 다양한 연구가 진행되었고, 결과는 연구마다 조금씩 다르게 나오고 있지만, 공기질과 수면의 연관성이 매우 높다는 결과는 동일했다.
본 발명에 따른 공기조화기(500)는 환경 센싱 정보에 기초하여 수면 상태 정보를 획득한 뒤 환경 조성 정보를 생성하고, 이를 이용하여 수면 단계에 적절한 동작을 수행할 수 있다.
구체적으로, 공기조화기(500)의 프로세서(5300)는 사용자의 상태가 취침 전 상태인 것으로 판단된 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기조화기를 제어하기 위한 제1 환경 조성 정보를 생성할 수 있다. 제1 환경 조성 정보는 측정부(5500)에서 측정된 PM농도, 유해가스농도, CO2농도, SO2농도, O3농도, 습도, 온도 등을 반영하여 생성될 수 있다.
제1 환경 조성 정보는, 사용자의 수면 전 소정시간(예: 20분 전)까지 실내 온도 또는/및 실내 습도를 최적화하도록 공기조화기를 제어하는 정보, 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기조화기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추거나, 직접풍을 간접풍으로 전환하는 등의 정보, 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기조화기를 제어하기 위한 정보 등을 포함할 수 있다.
또한, 프로세서(5300)는 제2 수면 상태 정보에 기초하여 공기조화기의 표시부의 밝기를 낮추거나, 표시부를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기조화기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하거나, 간접풍을 유지하도록 공기조화기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다.
본 발명에 따르면, 제2 환경 조성 정보는 제2 수면 상태 정보에 기초한 것으로, 공기조화기의 표시부의 밝기를 낮추거나, 표시부를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기조화기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하거나, 간접풍을 유지하도록 공기조화기를 제어하기 위한 제어 정보일 수 있다. 사용자는 수면 직전에 최적화된 온도와 습도를 갖는 수면공간 내에서 공기흐름, 백색소음 등으로 수면이 유도될 수 있고, 입면 후 최적의 온도, 습도 등이 제어된 상태에서 숙면을 취할 수 있게 된다.
실시예에 따른 공기조화기의 구성
도 18은 도 16 및 도 17에 도시된 공기조화기의 일 예를 설명하기 위한 도면이다.
도 18을 참조하면, 본 발명의 일 예에 따른 공기조화기는, 실내기(500')를 포함한다. 일례로, 상기 실내기(500')는 실내공간의 벽면에 설치되는 벽걸이형 실내기일 수 있다.
상기 실내기(500')에는, 외관을 형성하는 케이싱을 포함한다. 상기 케이싱에는, 실내기의 전면 외관을 형성하는 전면부(511) 및 상기 전면부(511)의 양측에 구비되며 상기 전면부(511)로부터 벽면을 향하여 후방으로 연장되는 측면부(513)가 포함된다.
그리고, 상기 케이싱에는, 상기 측면부(513)의 후측에 배치되는 후면부(미도시)가 더 포함된다. 상기 후면부(미도시)는 상기 양 측면부(513)의 사이에 배치되며, 실내공간의 벽면에 결합될 수 있다.
본 발명의 일 실시 형태에 따르면, 상기 전면부(511), 양 측면부(513) 및 후면부(미도시)는 내부 공간을 형성하며, 상기 내부 공간에는 실내기(500')에 구비되는 다수의 부품이 수용될 수 있다. 상기 다수의 부품에는, 열교환기(미도시), 팬(미도시), 프로세서(미도시) 등이 포함될 수 있다.
본 발명에 따르면, 상기 실내기(500')에는, 상기 케이싱의 상부에 배치되는 필터어셈블리(520)가 더 포함된다. 상기 필터어셈블리(520)는 상기 케이싱의 상면부를 형성할 수 있다. 그리고, 상기 필터어셈블리(520)에는, 실내공간의 공기를 실내기(500')의 내부로 흡입하는 다수의 필터흡입구(523)가 형성된다. 상기 필터흡입구(523)에서 흡입된 공기는 상기 열교환기를 통과하면서 냉각 또는 가열될 수 있다.
상기 필터어셈블리(520)는 상기 케이싱의 상면에 형성되어 공기가 흡입되는 흡입부에 배치되어 공기를 여과할 수 있다. 상기 흡입부는 상기 케이싱의 상기 전면부(511), 양 측면부(513) 및 후면부(미도시)의 상면에 의해 형성된 개구일 수 있다.
상기 필터어셈블리(520)는 필터부재(521)를 포함할 수 있다. 필터부재(521)는 황사나 초미세먼지 등을 걸러주는 필터로서, 항균 극세 필터에 항균 기능이 적용된 것일 수 있다.
본 발명의 일 실시 형태에 따르면, 상기 필터부재(521)는 다수의 필터흡입구(523)가 형성된 구성일 수 있고, 이 경우, 상기 필터부재(521)는 다수의 필터흡입구(523)가 형성되기 위한 다수의 프레임으로 구성될 수 있다. 또한, 상기 필터흡입구(523)에는 흡입되는 공기가 필터링되기 위해 그물망이 배치될 수 있다.
상기 실내기(500')에는, 상기 케이싱의 하부에 배치되며, 상기 실내기(500')로 흡입된 공기가 배출되는 토출구(530)를 가지는 토출패널(531)이 더 포함된다. 상기 토출구(530)에는, 움직임 가능하게 제공되어 상기 토출구(530)에서 토출되는 공기의 토출방향 또는 풍량을 조절하는 상하 풍향 조절기(540)가 설치될 수 있다. 일례로, 상기 상하 풍향 조절기(540)은, 상기 풍향 조절기(540)의 양단에 구비되는 힌지축을 중심으로 전후방으로 회전 가능하게 구비되어 바람의 방향을 위 또는 아래로 조절할 수 있다. 또한, 상기 토출구(530)에는, 움직임 가능하게 제공되어 상기 토출구(530)에서 토출되는 공기의 토출방향 또는 풍량을 조절하는 좌우 풍향 조절기(545)가 설치될 수 있다.
상기 팬이 구동하면, 실내공간의 공기는 상기 필터어셈블리(520)를 통하여 상기 실내기(500')의 내부로 흡입되어 상기 열교환기에서 열교환 된다. 그리고, 상기 열교환 된 공기는 상기 토출구(530)를 통하여 배출될 수 있다.
본 실시 예에서는, 실내기로 공기를 흡입하는 필터어셈블리(520)가 실내기의 상부에 위치되며, 공기를 배출하는 토출구(530)가 실내기(500')의 하부에 위치하는 것으로 설명하였다. 다만, 이와는 반대로, 상기 필터어셈블리(520)가 실내기의 하부에 위치하고 상기 토출구(530)가 상기 실내기의 상부에 위치할 수도 있다. 다른 예로서, 상기 케이싱의 전면부(511)에는, 추가적인 필터어셈블리 또는 토출부가 형성될 수 있다.
정리하면, 본 발명에 따른 실내기(500')는, 상부 흡입 및 하부 토출, 하부 흡입 및 상부 토출, 전면 흡입 및 하부 토출, 상부 흡입 및 전면 토출등의 기류가 발생하도록 구성될 수 있다.
상기 케이싱의 측면부(513)에는, 실내공간의 공기 중 포함된 먼지량을 감지할 수 있는 센서장치(550)가 구비될 수 있다. 상기 센서장치(550)가 상기 측면부(513)에 설치됨으로써, 상기 실내기(500')를 통한 흡입 및 토출기류에 영향을 받지 않고, 센서장치(550)로 소량의 공기만을 흡입하여 먼지량을 감지할 수 있다.
본 발명에 따르면, 상기 케이싱의 측면부(513)에는, 사용자의 음성을 인식하는 음성 인식 센서(555)가 배치될 수 있다.
상기 케이싱의 전면부(511)에는, 공기조화기를 강제로 켜거나 끌 때, 또는 시운전을 할 때 사용할 수 있는 강제 운전 버튼(560)이 배치될 수 있다.
상기 케이싱의 전면부(511)에는, 공기조화기가 운전할 때 희망하는 온도와 부가 기능 작동 상태를 확인할 수 있는 디스플레이부(570)가 배치될 수 있다. 여기서, 상기 디스플레이부(570)에는 리모컨 신호를 받아들이는 센서가 배치될 수 있다.
상기 이온발생장치(580)는 상기 실내기(500')의 상측에 배치되어, 양측으로 이온을 확산시킬 수 있는 수단이다. 상세히, 상기 이온발생장치(580)는 상기 케이싱 내부의 프레임에 결합되어, 양 측으로 이온을 확산시킬 수 있는 수단이다.
상기 이온발생장치(580)는 양 측으로 고전압을 발생시킴으로써, 공기 중의 분자를 이온화시키고, 이에 따라 이온화된 분자에 의해 먼지들이 대전되고, 대전된 먼지는 상기 필터어셈블리(520)에 효과적으로 집진될 수 있다.
도 19는 도 16 및 도 17에 도시된 공기조화기의 다른 일 예를 설명하기 위한 도면이다.
도 19를 참조하면, 본 발명의 다른 일 예에 따른 공기조화기는, 실내기(500'')를 포함한다. 일례로, 상기 실내기(500'')는 실내공간의 천장에 설치되는 시스템에어컨용 실내기일 수 있다.
본 발명의 다른 일 예에 따른 실내기(500'')는, 케이싱을 포함한다. 상기 케이싱은 전면부(511')를 포함할 수 있다. 도면에 도시하지 않았지만, 상기 케이싱에는 전면부(511') 이외의 다른 부분들이 더 포함될 수 있다.
상기 전면부(511')는 사용자가 천장을 바라보았을 때, 보여지는 부분일 수 있다.
상기 전면부(511')에는 실내 공기가 흡입되는 흡입구(523') 및 냉기 또는 열기의 공기가 토출되는 토출구(530')가 형성될 수 있다.
상기 전면부(511')에는 공기조화기의 작동 상태를 확인할 수 있는 디스플레이부(570')가 배치될 수 있다. 디스플레이부(570')에는 무선 리모콘의 신호를 받아들이는 수신부가 배치될 수 있다. 또한, 강제 운전 버튼도 배치될 수 있다.
상기 전면부(511')에는 실내 공기 상태에 따라 색깔을 다양하게 표시하는 공기청정 표시등(590)이 배치될 수 있다.
상기 케이싱 내부에는 소정의 내부 공간이 형성되고, 내부 공간에는 실내기(500'')에 구비되는 다수의 부품이 수용될 수 있다. 상기 다수의 부품에는, 열교환기(미도시), 팬(미도시), 프로세서(미도시) 등이 포함될 수 있다.
도 20 내지 도 21은 도 16 및 도 17에 도시된 공기조화기의 또 다른 일 예를 설명하기 위한 도면이다.
도 20 내지 도 21을 참조하면, 본 발명의 또 다른 일 예에 따른 공기조화기는, 실내기(500''')를 포함한다. 일례로, 상기 실내기(500''')는 실내공간의 바닥에 세워져 설치되는 스탠드용 실내기일 수 있다.
실내기(500''')는, 실내에 구비되고, 냉매배관(미도시)을 통해 실외에 배치된 실외기(미도시)와 연결될 수 있다.
실내기(500''')는, 전면부 외관을 형성하는 전면부(511'') 및 전면부(511'')에 배치되고, 상하 방향으로 이동하여 개폐되는 서큘레이터 도어(503)를 포함할 수 있다.
실내기(500''')는 베이스(516), 캐비닛(517), 전면부(511'')을 포함할 수 있다. 전면부(511'')은 실내기(500''')의 전면 외관을 형성하고, 캐비닛(517)은 베이스(516)의 상측에 위치되게 설치될 수 있다.
본 발명에 따르면, 전면부(511'')에는 서큘레이터 도어(503)가 설치될 수 있다.
실내기(500''')는, 공기 흡입구와 공기 토출구를 포함하고, 공기 흡입구를 통해 흡입된 공기를 내부에서 공조한 후 공기 토출구를 통해 토출할 수 있다. 예를 들어, 실내기(500''')의 후면에 흡입구가 형성될 수 있고, 실내기(500''')의 전면 상부에 토출구가 형성될 수 있다. 또는, 공기 흡입구는 실외기에 배치될 수 있다. 여기서, 흡입구 및 토출구는 실내기(500''')의 다른 위치에 형성될 수 있다. 예를 들어, 실내기(500''') 하부의 측면 등에 토출구가 형성될 수 있다. 또한, 토출구가 실내기(500''')의 전면 상부, 및 실내기(500''') 하부의 측면 등에 다수 형성되는 것도 가능할 것이다. 흡입구는 본체의 후면, 하부의 전면, 측면 중 하나 이상의 위치에 형성될 수 있다. 흡입구에는 흡입된 공기에 포함된 먼지 등의 이물질을 걸러내는 필터부(미도시)가 설치될 수 있다.
도 21에 도시된 바와 같이, 실내기(500'')에는 무빙 필터(552)를 청소하는 청소모듈(505)이 배치될 수 있다.
닫힌 상태의 서큘레이터 도어(503)의 후방에는 서큘레이터 모듈(502)이 구비될 수 있다. 서큘레이터 모듈(502)은 흡입구를 통해 공기를 흡입하고 토출구를 통해 공기가 토출되도록 송풍력을 발생시킬 수 있다.
도 21에 도시된 바와 같이, 서큘레이터 모듈(502)은, 실내기(500''')의 내부에 설치되어 있다가, 동작시 서큘레이터 도어(503)의 열림에 따라 노출되는 토출구로 공기를 토출할 수 있다.
본 발명에 따르면, 서큘레이터 도어(503)가 열려 개방되는 토출구로 서큘레이터 모듈(502)이 전진 이동하여 동작할 수 있다. 예를 들어, 서큘레이터 모듈(502)의 적어도 일부가, 서큘레이터 도어(503)가 하측 방향으로 이동하여 개방되는 원형의 토출구를 통과하도록 전진 이동한 후에, 서큘레이터 모듈(502)의 서큘레이터 팬이 회전하며 동작할 수 있다.
상술한 것과 같이, 본 명세서에서, 토출구는 공기를 토출하는 토출유닛인 서큘레이터 모듈(502)의 적어도 일부가 통과하는 개구부를 의미할 수 있다.
서큘레이터 도어(503)는 토출구를 개폐할 수 있다. 서큘레이터 도어(503)는 메인(main) 토출구를 개폐하며, 열교환된 공기, 정화된 공기 등 공기조화기에서 처리된 공기가 외부로 토출되도록 구비될 수 있다.
서큘레이터 도어(503)는 본체 동작 시 열려 서큘레이터 모듈(502)이 외부로 노출되어 토출구로 공기가 토출되도록 하고, 동작이 종료되면 닫혀 토출구를 폐쇄한다. 전면부(511'')의 내측 또는 후면에는 토출구 개방 시, 서큘레이터 도어(503)가 수용되는 공간이 구비될 수 있다.
전면부(511'')의 내측 일면에는 서큘레이터 도어(503)를 이동시키기 위한 이동수단(미도시)이 설치될 수 있다. 예를 들어, 전면부(511'')의 내측 일면에는 서큘레이터 도어 모터, 상기 서큘레이터 도어 모터의 회전에 따라 상기 서큘레이터 도어(503)를 상측 또는 하측 방향으로 이동시키기 위한 기어 부재, 레일 부재 등을 포함할 수 있다. 한편, 서큘레이터 도어 모터로 가격이 저렴하고, 제어가 용이한 스텝(step) 모터가 사용될 수 있다. 이 경우에, 서큘레이터 도어 모터는 서큘레이터 도어 스텝(step) 모터로 명명될 수 있다.
서큘레이터 도어(503)는 실내기(500''')의 내측에서, 상측 방향 또는 하측 방향으로 이동하여 열리도록 구성될 수 있다. 서큘레이터 도어(503)는 실내기(500''')의 전면부(511'')의 상측에 배치되므로, 서큘레이터 도어(503)는, 하측 방향으로 이동하여 열리도록 구성되는 것이 공간 이용 측면에서 더 바람직하다.
또는, 서큘레이터 도어(503)는 실내기(500''')의 내측으로 후진 이동 후, 상측 방향 또는 하측 방향으로 이동하여 열리도록 구성될 수 있다. 이 경우에도, 서큘레이터 도어(503)는, 실내기(500''')의 내측으로 후진 이동 후, 하측 방향으로 이동하여 열리도록 구성되는 것이 공간 이용 측면에서 더 바람직하다.
이하에서는, 서큘레이터 도어(503)가 상하 방향으로 이동하여 열리고 닫히는 예를 중심으로 설명하나, 서큘레이터 도어(503)가 내측 방향으로 후진 후 하측 방향으로 이동하여 열릴 수 있고, 서큘레이터 도어(503)가 상측 방향으로 이동한 후 전면 방향으로 전진하여 닫힐 수 있다.
서큘레이터 도어(503)가 열리면, 서큘레이터 모듈(502)은 전면부(511'')을 향하는 전방 방향으로 전진 이동하여 공기를 토출할 수 있다. 또한, 동작이 종료되면, 서큘레이터 모듈(502)은 실내기(500''')의 내측으로 후진 이동하고, 서큘레이터 도어(13)의 이동으로 토출구를 폐쇄할 수 있다.
경우에 따라, 본체의 내부에 송풍력을 보조하기 위한 송풍팬(미도시)이 더 설치될 수 있다.
실내기(500''')의 내부에 서큘레이터 모듈(502) 외에도 다수의 송풍팬을 더 포함할 수 있다. 예를 들어, 서큘레이터 모듈(502)의 아래쪽에는 복수의 송풍팬이 배치될 수 있다.
한편, 캐비닛(517)의 측면에는 보조 토출구(504)가 더 설치될 수 있다. 또한, 보조 토출구(504)에는 토출되는 공기의 풍향을 조절하는 풍향조절수단이 배치될 수 있다.
실내기(500''')의 상단에 서큘레이터 모듈(502)을 구비함으로써, 원거리로 바람을 보내기에 더욱 용이하다.
또한, 서큘레이터 모듈(502)이 공기 토출 경로상 최종 단계에 위치함으로써, 열교환된 공기 및 정화된 공기를 직접 원거리까지 토출할 수 있다.
서큘레이터 도어(503)가 개방된 후, 토출유닛인 서큘레이터 모듈(502)이 2차원적으로 회전하게 구성할 수 있다. 예를 들어, 서큘레이터 모듈(502)은, 2중 조인트, 기어랙 구조를 이용한 2축 회전구조로 구성되는 회전부를 포함함으로써, 다양한 방향으로 자유롭게 회전할 수 있다. 이에 따라, 사용자가 원하는 곳에 서큘레이터 모듈(502)이 회전하여 기류제어가 가능하다.
서큘레이터 모듈(502) 전체가 회전한 후에, 사용자가 원하는 곳에 바람을 보내 집중 냉방을 하게 됨으로써, 사용자의 쾌적감, 만족도를 더욱 상승시킬 수 있다.
본 발명에 따르면, 전면부(511'')에는 디스플레이부(570'')가 배치될 수 있다. 디스플레이부(570'')는 실내기(500''')의 동작상태 및 설정정보를 표시하고, 터치스크린으로 구성되어 사용자 명령을 입력받을 수 있다. 실시 예에 따라서, 전면부(511'')에는 스위치, 버튼 또는 터치패드의 적어도 하나의 입력수단을 포함하는 조작부(미도시)가 구비될 수 있다.
디스플레이부(570'')의 어느 일측에는 근접센서(571)와 리모컨 수신부(572)가 구비될 수 있다. 실시예에 따라, 근접센서(571)로부터 사용자의 접근에 대응하는 근접신호가 입력되면, 디스플레이부(570'')이 활성화되어 동작정보를 표시할 수 있고, 실내기(500''')에 구비되는 적어도 하나의 조명이 동작할 수 있다.
디스플레이부(570'')는 하나 이상의 조명을 더 포함할 수 있다.
도 21에 도시된 바와 같이, 베이스(516)에는 자동 문 열림 센서(506)가 설치될 수 있다. 자동 문 열림 센서(506)는 실내기(500''')에 사용자가 접근하는 것을 감지하여, 전면부(511'')가 개폐될 수 있다. 한편, 자동 문 열림 센서(506)는 전면부(511'')의 하부 소정 영역에 배치될 수도 있다.
도시된 바와 같이, 베이스(516)에는 마이크 및/또는 스피커(507)가 배치될 수 있다. 마이크 및/또는 스피커(507)를 통해 사용자의 음성을 인식하고, 사용자에게 정보를 음성으로 전달할 수 있다.
도 20에 도시된 바와 같이, 실내기(500''')는 인체감지 센서(508)를 더 포함할 수 있다. 인체감지 센서(508)은 전면부(511'')의 상부에 배치될 수 있다. 인체감지 센서(508)를 통해 사람을 감지하여 운전모드에 따라 사람이 있는 방향 혹은 사람이 없는 방향으로 바람이 가도록 제어할 수 있다. 한편, 전면부(511'')의 상부에 적어도 하나의 카메라를 포함하는 비전모듈이 설치될 수 있다.
실내기(500''')는 내부에, 흡입된 공기를 냉매와 열교환시키는 열교환기(미도시)를 포함할 수 있다.
전면부(511'')는 좌측 또는 우측으로 슬라이딩되어 이동할 수 있다. 따라서, 전면부(511'')은 슬라이딩 도어(sliding door)로도 명명될 수 있다.
전면부(511'')은 캐비닛(517)에 형성된 슬라이딩 수단에 의해 장착되어 좌우 이동할 수 있다. 전면부(511'')의 이동에 의해 내부패널(509)의 일부가 외부로 노출될 수 있다.
캐비닛(517)에는 슬라이딩 도어 스텝(step) 모터, 상기 슬라이딩 도어 스텝 모터의 회전에 따라 전면부(511'')을 좌측 또는 우측 방향으로 이동시키기 위한 기어 부재, 레일 부재 등을 포함할 수 있다.
도 21에 도시된 바와 같이, 내부패널(509)에는 서큘레이터 모듈(502)이 수용되고, 서큘레이터 모듈(502)을 이동시키기 위한 이동수단(미도시)이 설치될 수 있다.
실시예에 따라서는, 서큘레이터 모듈(502)은, 서큘레이터 팬(미도시), 적어도 서큘레이터 팬(미도시)이 향하는 방향이 변경되도록 회전시킬 수 있는 서큘레이터 회전부(미도시), 적어도 서큘레이터 팬(미도시)을 이동시킬 수 있는 서큘레이터 이동부(미도시)를 포함할 수 있다.
도 21에 도시된 바와 같이, 내부패널(509)에는 하부에 가습모듈의 가습용 물통(551)이 설치될 수 있다. 물통(551)은 전면부(511'')이 좌측 또는 우측 방향으로 이동하여 열림에 따라 외부로 노출될 수 있다.
본 발명에 따르면, 가습용 물통(551)의 소정 영역에는 물을 채울 수 있는 투입구가 형성될 수 있다. 실시예에 따라서는, 투입구가 개방되어 있거나, 투입구의 적어도 일부를 개폐할 수 있는 커버(cover)가 배치될 수 있다.
본 발명의 가습용 물통(551)은 하부에 이동축이 형성되어, 캐비닛(517)에 연결될 수 있다. 가습용 물통(551)의 상부는 하부의 이동축을 기준으로, 전면으로 돌출되도록 이동되어 투입구가 개방되도록 형성될 수 있다. 가습용 물통(551)은 상부가 내부패널(509)과 소정각을 이루도록 전면으로 틸팅(tilting)될 수 있다.
또한, 가습용 물통(551)은 실내기(500''')로부터 분리될 수 있다. 실내기(500''')의 내부에는 물통(551)의 장착 여부를 감지하는 센서가 구비될 수 있다.
가습용 물통(551)은 근접센서(571)에 의해 사용자의 접근이 감지되면, 근접신호에 따라 자동으로 이동하여 투입구가 개방될 수 있다. 가습용 물통(551)은 손잡이(미도시)가 전면을 향해 당겨짐에 따라 이동하여 투입구가 개방될 수 있다. 가습용 물통(551)은 내측으로 눌림에 의해 고정부(미도시)가 해제됨에 따라 전면으로 이동하여 투입구가 개방될 수 있다. 가습용 물통(551)은 전면부(511'')가 슬라이딩되어 열림에 따라, 자동으로 회전하여 투입구가 개방될 수 있다.
내부패널(509) 또는 가습용 물통(551)의 일부에는 물통의 수위를 표시하는 수위표시부(미도시)가 구비될 수 있다.
가습용 물통(551)은 내부의 물의 양을 확인할 수 있도록 구성될 수 있다. 예를 들어, 가습용 물통(551)은 전면이 투명한 재질로 형성될 수 있다. 물통은 전면의 어느 일부가 투명한 재질로 형성될 수 있다. 또한, 가습용 물통(551)은 전체가 투명한 재질로 형성될 수 있다.
실내기(500''')는 무빙 필터(552)를 포함한다. 무빙 필터(552)는 실내기(500''')의 후면에 배치될 수 있다.
실내기(500''')는 실내온도 센서(553)을 포함한다. 실내온도 센서(553)는 실내 온도를 센싱하고, 실내기(500''')의 후면에 배치될 수 있다.
도 21에 도시된 바와 같이, 실내기(500''')는 청소모듈(505)에 의해 수집된 먼지를 수납하는 먼지통(554)를 포함할 수 있다.
도시된 바와 같이, 실내기(500''')는 습도 센서(559)를 더 포함할 수 있다. 습도 센서(559)는 실내 습도를 센싱하고, 실내기(500''')의 후면에 배치될 수 있다.
도시된 바와 같이, 실내기(500''')는 배관 홀(556) 및 드레인 홀(557)을 더 포함할 수 있다. 배관 홀(556) 및 드레인 홀(557)은 실내기(500''')의 후면에 배치될 수 있다.
실내기(500''')는 PM1.0 센서(558)를 포함할 수 있다. PM1.0 센서(558)는 미세먼지를 센싱하고, 실내기(500''')의 후면에 배치될 수 있다.
도 22는 도 16 및 도 17에 도시된 공기조화기의 또 다른 일 예를 설명하기 위한 도면이다.
도 22를 참조하면, 본 발명의 또 다른 일 예에 따른 공기조화기는, 실내기(500'''')를 포함한다. 일례로, 상기 실내기(500'''')는 실내공간의 바닥에 세워져 설치되는 스탠드용 실내기일 수 있다.
실내기(500'''')는 전면부(511''')를 포함한다. 전면부(511''')는 실내기(500'''')의 전면 외관을 형성한다.
실내기(500'''')는 서클부(518)을 포함할 수 있다. 서클부(518)은 전면부(511''')에 형성된 원형의 개구부에 배치될 수 있다.
실내기(500'''')는 디스플레이부(570''')를 포함할 수 있다. 디스플레이부(570''')는 전면부(511''')에 배치될 수 있다. 디스플레이부(570''')는 서클부(518)에 배치될 수 있다. 디스플레이부(570''')는 동작상태 및 설정정보를 표시할 수 있다. 여기서, 디스플레이부(570''')는 터치스크린으로 구성되어 사용자 명령을 입력받을 수도 있다.
실내기(500'''')는 리모컨 수신부(572)를 포함할 수 있다. 리모컨 수신부(572)는 서클부(518)에 배치될 수 있고, 디스플레이부(570''')의 일측에 배치될 수 있다.
실내기(500'''')는 실내기 버튼부(575)를 포함할 수 있다. 실내기 버튼부(575)는 전면부(511''')에 배치될 수 있다. 실내기 버튼부(575)는 리모컨 없이도 전원을 켜고 끄거나 온도와 바람의 세기를 설정할 수 있다.
실내기(500'''')는 공기를 토출하는 토출구(504', 504'')를 가질 수 있다. 제1 토출구(504')는 전면부(511''')에 형성되고, 서클부(518)을 둘러싸는 링 형상을 가질 수 있다. 제1 토출구(504')는 전면부(511''')과 서클부(518) 사이의 개구부일 수 있다. 제2 토출구(504'')는 실내기(500'''')의 좌우 토출구로서 양쪽 측면에서 실내로 바람을 보내 사용자가 원하거나 미리 셋팅된 온도로 실내 온도를 맞출 수 있다.
실내기(500'''')는 에어 가드(528)을 포함할 수 있다. 에어 가드(528)는 실내기(500'''')의 양쪽 측면에 배치되고, 제2 토출구(504'')에서 토출되는 바람의 방향을 조절할 수 있다.
실내기(500'''')는 마이크(507')을 포함할 수 있다. 마이크(507')는 실내기(500'''')의 하단부를 구성하는 베이스(516')에 배치될 수 있다.
실내기(500'''')는 스피커(537)을 포함할 수 있다. 스피커(537)는 실내기(500'''')의 캐비닛(517')에 배치될 수 있다.
실내기(500'''')는 필터(552)를 포함할 수 있다. 필터(552)는 실내기(500'''')의 후면에 배치될 수 있다.
실내기(500'''')는 실내온도 센서(553)을 포함할 수 있다. 실내온도 센서(553)는 실내 온도를 센싱하고, 실내기(500'''')의 후면에 배치될 수 있다.
실내기(500'''')는 청소모듈(505)에 의해 수집된 먼지를 수납하는 먼지통(554)를 포함할 수 있다.
실내기(500'''')는 습도 센서(559)를 더 포함할 수 있다. 습도 센서(559)는 실내 습도를 센싱하고, 실내기(500'''')의 후면에 배치될 수 있다.
실내기(500'''')는 배관 홀(556) 및 드레인 홀(557)을 더 포함할 수 있다. 배관 홀(556) 및 드레인 홀(557)은 실내기(500'''')의 후면에 배치될 수 있다.
실내기(500'''')는 PM1.0 센서(558)를 포함할 수 있다. PM1.0 센서(558)는 미세먼지를 센싱하고, 실내기(500'''')의 후면에 배치될 수 있다.
도 18 내지 도 22에 도시된 실내기들(500', 500'', 500''', 500'''')은 디스플레이부(570, 570', 570'', 570''')를 갖는다.
도 18 및 도 19에 도시된 실내기(500', 500'')는 벽의 상단 또는 천장에 설치되므로, 사용자가 디스플레이부(570, 570')를 통해 실내기(500', 500'')를 제어하기가 쉽지 않다. 따라서, 이들의 디스플레이부(570, 570')는 사용자가 리모컨 또는 사용자 단말을 통해 실내기(500', 500'')가 제어된 것을 표시하거나 현재 실내기(500', 500'')의 상태를 표시하는 용도로 사용된다. 도 22에 도시된 실내기(500'''')의 디스플레이부(570''')도 사용자가 리모컨 또는 사용자 단말을 통해 실내기(500'''')가 제어된 것을 표시하거나 현재 실내기(500'''')의 상태를 표시하는 용도로 사용된다.
한편, 도 20 내지 도 21에 도시된 디스플레이부(570'')는, 다른 디스플레이부(570, 570', 570'')와 달리 터치스크린으로 구성되어 사용자 명령을 직접 입력받을 수 있고, 입력된 명령에 따른 디스플레이 화면을 표시할 수 있다. 또한, 디스플레이부(570'')는, 다른 디스플레이부(570, 570', 570'')와 동일하게, 사용자가 리모컨 또는 사용자 단말을 통해 실내기(500''')가 제어된 것을 표시하거나 현재 실내기(500''')의 상태를 표시하는 용도로 사용될 수 있다.
상술한 바와 같이, 도 18 내지 도 22에 도시된 실내기들(500', 500'', 500''', 500'''')은 리모컨, 사용자 단말, 디스플레이부를 통해 전원, 운전모드, 기타 설정 등이 제어될 수 있다. 리모컨, 사용자 단말, 디스플레이부를 통해 입력된 제어신호는 도 17에 도시된 프로세서(5300)로 입력되고, 프로세서(5300)는 입력된 제어신호에 기초하여 구동부(5400)를 제어할 수 있다.
실내기들(500', 500'', 500''', 500'''')의 운전모드는 다양한 운전모드를 포함할 수 있다. 예를 들어, 냉방모드, 자동모드, 제습모드, 난방모드, 송풍모드, 공기청정모드, 절전모드 등을 포함할 수 있다.
도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 포함하는 공기조화기는, 운전모드로서 '슬립모드'를 더 포함할 수 있다. 슬립모드는 사용자의 수면의 질을 높일 수 있도록 실내 공간의 온도 또는/및 습도 등을 제어하는 모드이다.
도 16의 (a)의 컴퓨팅 장치(100) 또는 도 16의 (b)의 공기조화기(500)에서 생성된 상기 제1 환경 조성 정보 내지 제n환경 조성 정보, 또는 상기 제A 환경 조성 정보 내지 제H 환경 조성 정보에 기초하여, 공기조화기(500)는 수면 공간 내의 온도 또는/및 습도 등을 수면에 최적화시킬 수 있다.
예를 들어, 공기조화기(500)는 상기 제1 환경 조성 정보에 따라 사용자의 수면 전 소정시간(예: 20분 전)까지 입면을 위한 실내 온도 또는/및 실내 습도를 조절할 수 있다. 또는, 직접풍을 간접풍으로 전환할 수 있고, 혹은 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발할 수 있고, 혹은 송풍세기를 기설정된 세기 이하로 조절하거나, 도 18 내지 도 22에 도시된 디스플레이부(570, 570', 570'', 570''')의 밝기를 낮출 수 있다.
공기조화기(500)는 상기 제2 환경 조성 정보에 따라 도 18 내지 도 22에 도시된 디스플레이부(570, 570', 570'', 570''')의 밝기를 더 낮추거나, 디스플레이부(570, 570', 570'', 570''')를 오프시키거나, 기설정된 레벨 이하의 소음으로 동작하거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 실내 온도를 기설정된 범위 내에 맞추거나, 수면 공간 내의 습도를 소정 온도로 유지하거나, 간접풍을 유지할 수 있다. 공기조화기(500)는 상기 제3환경 조성 정보에 따라 기상을 위한 실내 온도 또는/및 실내 습도를 조절하거나, 기상 시점에 송풍 세기 및 소음을 낮추거나, 기상을 서서히 유도하기 위해 백색 소음을 발생하거나, 소음을 기설정된 레벨 이하로 유지시키거나, 기상 예측 시점 혹은 기상 추천 시점에 연동하여 구동할 수 있다. 공기조화기(500)는 상기 제4환경 조성 정보에 따라 실내 온도, 실내 습도, 송풍 세기, 소음 레벨 중 적어도 하나 이상을 제어할 수 있고, 사용자 데이터를 확보, 분석 및 반영할 수 있다.
예를 들어, 공기조화기(500)는 상기 제A 환경 조성 정보에 기초하여 턴온될 수 있고, 상기 제B 환경 조성 정보에 기초하여 풍량이 특정 세기 이하로 변경 설정되거나 현재 풍량이 상기 특정 세기 이하로 낮춰지거나, 직접풍이 간접풍 또는 무풍으로 전환되거나, 디스플레이부의 밝기가 소정 밝기 이하로 낮춰질 수 있다. 제C 환경 조성 정보에 기초하여 설정된 온도와 습도가 최적의 온도와 습도로 설정 변경될 수 있다. 제D 환경 조성 정보에 기초하여 설정된 습도나 온도가 높혀지거나, 직접풍 또는 간접풍을 무풍으로 전환될 수 있다. 제E 환경 조성 정보에 기초하여 침실의 온도 또는 습도를 최적화된 온도 또는 습도로 변경 설정될 수 있다. 제F 환경 조성 정보에 기초하여 설정 온도와 습도를 과거에 사용자가 입면 시에 주로 설정하였던 선호 온도 또는 습도로 변경 설정될 수 있다. 제G 환경 조성 정보에 기초하여 설정 온도 또는 습도를 사용자가 가장 선호하는 특정 온도 또는 습도로 변경 설정될 수 있다. 상기 제H 환경 조성 정보에 기초하여 설정 온도 또는 습도를 사용자가 가장 선호하는 특정 온도 또는 습도로 변경 설정될 수 있다.
도 16의 (a)의 시스템 구성의 경우, 공기조화기(500)가 슬립모드로 구동하기 위해, 공기조화기(500)는 컴퓨팅 장치(100)와 네트워크를 통해 연결되기 위한 기기 연결 과정이 수행될 수 있다.
도 16의 (b)의 시스템 구성의 경우, 공기조화기(500)가 슬립모드로 구동하기 위해, 공기조화기(500)는 사용자 단말(10)과 연동하기 위한 연결 과정을 수행할 수 있다. 여기서, 공기조화기(500)와 사용자 단말(10)은 무선으로 연결될 수 있다. 예를 들어, 공기조화기(500)와 사용자 단말(10)은 근거리 네트워크를 통해 직접 연결될 수 있다.
공기조화기의 슬립모드 구동 방법
도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 포함하는 공기조화기의 슬립모드로의 구동은, 사용자의 선택에 따라 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시키는 방법과 자동으로 슬립모드를 구동시키는 방법이 있을 수 있다.
먼저, 사용자의 선택에 따라 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시키는 방법을 도 23 내지 도 25를 참조하여 설명한다.
도 23의 (a) 및 (b)는 도 20 내지 도 21에 도시된 실내기(500'')의 디스플레이부(570'')를 통해 실내기(500'')를 슬립모드로 구동시키는 방법을 설명하기 위한 도면이다.
도 23의 (a)을 참조하면, 사용자는 디스플레이부(570'')를 직접 터치하여 운전모드(5700)에 진입하면, 디스플레이부(570'')는 슬립모드(5750)와 기타 여러 모드들을 디스플레이 할 수 있다. 이 경우, 사용자는 슬립모드(5750)를 선택함으로서 실내기(500'')를 슬립모드로 동작시킬 수 있다.
한편, 실내기(500'')와 무선으로 연결된 기기가 존재하지 않으면, 도 23의 (b)에 도시된 바와 같이, 실내기(500'')와 무선으로 연결할 기기(예, 사용자 단말)를 추가하는 화면이 디스플레이부(570'')에 표시될 수 있고, 사용자는 '연결 기기 추가' 버튼을 터치하여 자신이 원하는 기기를 연결시킬 수 있다.
도 24의 (a)는 리모컨(600)을 통해 도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시키는 방법을 설명하기 위한 도면이다.
도 24의 (a)를 참조하면, 도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 포함하는 공기조화기는, 실내기(500', 500'', 500''', 500'''')를 제어할 수 있는 리모컨(600)을 더 포함할 수 있다.
리모컨(600)은 현재 선택한 기능과 운전 상태를 표시하는 표시부(601), 전원을 켜고 끌 수 있는 전원버튼(602)을 포함한다. 리모컨(600)은 다양한 버튼을 더 포함할 수 있다. 예를 들어, 원하는 운전모드를 선택할 수 있는 운전선택버튼(603), 실내의 공기를 깨끗하고 쾌적하게 할 수 있는 공기청정버튼(604), 희망하는 온도를 조절할 수 있는 온도조절버튼(605), 상황과 공간에 맞는 바람을 선택할 수 있는 바람맞춤버튼(606), 강력한 바람을 내보내어 실내 온도를 빠르게 조절할 수 있는 파워바람버튼(607), 실내기의 운전상태 및 실내환경을 확인할 수 있는 상태확인버튼(608), 바람의 세기를 설정할 수 있는 바람세기버튼(609) 및 다양한 기능을 설정할 수 있는 설정부(610)를 포함할 수 있다.
리모컨(600)은 슬립모드를 구동시킬 수 있는 AI슬립버튼(615)을 더 포함할 수 있다. 사용자는 AI슬립버튼(615)을 눌러 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시킬 수 있다.
도 25의 (a) 및 (b)는 사용자 단말(10)을 통해 도 18 내지 도 22에 도시된 실내기(500', 500'', 500''', 500'''')를 슬립모드로 구동시키는 방법을 설명하기 위한 도면이다. 구체적으로, 도 25의 (a) 및 (b)는 사용자 단말(10)에서 실내기(500', 500'', 500''', 500'''')을 원격으로 제어하는 제1 어플리케이션의 화면을 보여준다.
도 25의 (a)를 참조하면, 사용자 단말(10)에는 실내기(500', 500'', 500''', 500'''')를 제어하기 위한 제1 어플리케이션이 설치되어 저장될 수 있다. 사용자는 사용자 단말(10)에 설치된 상기 제1 어플리케이션을 통해 실내기(500', 500'', 500''', 500'''')의 작동을 제어할 수 있다.
상기 제1 어플리케이션은 실내기(500', 500'', 500''', 500'''')의 운전모드를 제어할 수 있는 화면을 제공할 수 있고, 사용자는 원하는 운전모드(A모드, 슬립모드, B모드 등)를 사용자 단말(10)을 통해 선택할 수 있다.
도 25의 (a)에서 사용자가 슬립모드를 선택한 경우, 실내기(500', 500'', 500''', 500'''')가 슬립모드로 구동할 수 있다. 여기서, 실내기(500', 500'', 500''', 500'''')가 아직 사용자 단말(10)과 연결되지 않은 경우에는, 도 25의 (b)와 같이 실내기(500', 500'', 500''', 500'''')의 슬립모드를 구체적으로 설정 또는 제어할 수 있는 화면이 표시될 수 있다. 이를 통해, 사용자는 실내기(500', 500'', 500''', 500'''')와 연결할 사용자 단말(A기기)을 선택할 수 있고, 다른 단말을 실내기(500', 500'', 500''', 500'''')와 연결시킬 수 있다.
상술한 도 23 내지 도 25에 도시된 슬립모드의 구동 방법은, 사용자의 선택에 따라 슬립모드가 동작하도록 구성되어 있으나, 이에 한정하는 것은 아니다. 본 발명의 또 다른 실시 예에 따른 공기조화기는 사용자의 선택이 아닌 자동으로 슬립모드가 동작하도록 구성될 수도 있다. 이하 도 26을 참조하여 설명한다.
도 26은 실내기 또는 공기청정기가 자동으로 슬립모드로 구동하는 방법을 설명하기 위한 도면이다.
도 26을 참조하면, 실내기(500', 500'', 500''', 500'''')를 포함하는 공기조화기(500)는 앞서 설명한 수면 상태 정보 및/또는 수면 단계 정보에 기초하여 생성된 환경 조성 정보에 따라 별도의 사용자의 선택없이도 자동으로 슬립모드가 동작될 수 있다.
예를 들어, 도 16의 (a)의 컴퓨팅 장치(100)의 프로세서(130) 또는 도 16의 (b) 및 도 17의 (a)의 공기조화기의 프로세서(5300)가 제2수면 상태 정보를 통해 사용자가 수면에 인입하는 시점 즉, 수면 인입 시점을 파악하여 제2환경 조성 정보를 생성한 경우, 상기 실내기(500', 500'', 500''', 500'''')는, 자동으로 슬립모드가 시작되도록 구성될 수 있다.
또한, 도 16의 (a)의 컴퓨팅 장치(100)의 프로세서(130) 또는 도 16의 (b) 및 도 17의 (a)의 공기조화기의 프로세서(5300)가 기상 예측 시점을 파악하여 제3환경 조성 정보를 생성한 경우, 실내기(500', 500'', 500''', 500'''')는 기상 예측 시점에 상기 슬립모드가 자동으로 종료되도록 구성될 수 있다.
도 26에 도시된 것과 달리, 상기 슬립모드의 시점과 종점은 달라질 수 있다, 예를 들어, 상기 슬립모드의 시점은 수면 인입 시점 전의 수면 유도 시점일 수 있다.
다른 예를 들어, 도 25의 (a)에 도시된 바와 같이, 상기 슬립모드의 시점은 사용자에 의해 제1 어플리케이션의 슬립모드가 선택된 직후 혹은 슬립모드가 선택된 후 소정 시간 경과 후일 수 있다. 혹은, 도 25의 (b)에 도시된 바와 같이 소정의 기기(A기기)가 실내기(500', 500'', 500''', 500'''')와 연결된 직후 혹은 연결된 후 소정 시간 경과 후일 수 있다.
상기 슬립모드의 시점이 될 수 있는 또 다른 예들을 도 27 내지 도 28을 참조하여 설명한다.
도 27 내지 도 28은 도 26에 도시된 실내기 또는 공기청정기의 슬립모드 동작의 시점을 설명하기 위한 도면들이다.
도 27에 도시된 바와 같이, 상기 슬립모드의 시점은 사용자 단말(10)에 설치된 제2 어플리케이션을 통해 '자러 가기(15)' 버튼이 선택된 시점일 수 있다. 여기서, 상기 제2 어플리케이션은 환경 센싱 정보(예, 사용자의 숨소리)를 측정하여 자동으로 AI 기반의 수면 리포트를 출력하는 어플리케이션일 수 있다. 상기 제2 어플리케이션은 도 25의 (a) 및 (b)에 도시된 제1 어플리케이션과 연동되어 서로의 데이터를 이용할 수 있다.
또는, 도 27을 참조하면, 상기 슬립모드의 시점은 제2 어플리케이션을 통해 '자러 가기(15)' 버튼이 선택된 후 소정 시간 경과 후일 수 있다. 여기서, 상기 소정 시간은 사용자 단말(10)에 구비된 가속도계 센서에서 측정된 결과치가 일정하게 유지되는 시간일 수 있다.
다시, 도 26을 참조하면, 상기 슬림모드의 종점은 예를 들어 기상 예측 시점 이후의 기 설정된 소정 시간 경과 후가 될 수 있다.
다른 예를 들어, 도 25의 (a) 및 (b)를 참조하면, 상기 슬림모드의 종점은 사용자 단말(10)에 설치된 제1 어플리케이션과 공기조화기가 서로 연결이 끊어진 직후가 될 수 있다.
또 다른 예를 들어, 도 28을 참조하면, 상기 슬립모드의 종점은 사용자 단말(10)에 설치된 상기 제2 어플리케이션을 통해 '일어나기(17)' 버튼이 선택된 시점일 수 있다.
이외에도 상기 슬립모드의 시점과 종점은 실내기(500', 500'', 500''', 500'''')의 사용자 또는 제조자에 의해 다양하게 변경될 수 있다.
상기 슬립모드의 지속적인 동작을 위해서, 도 16의 (a)의 시스템 구성의 경우에 사용자 단말(10)은 컴퓨팅 장치(100)와 네트워크를 통해 연결되고, 컴퓨팅 장치(100)는 네트워크를 통해 공기조화기(500)와 연결되어 있는 것이 바람직하다. 한편, 도 16의 (b)의 시스템 구성의 경우에 사용자 단말(10)은 네트워크 또는 근거리 무선통신을 통해 공기조화기(500)와 연결되어 있는 것이 바람직하다.
공기청정기
공기청정기의 동작
이하에서는 본 발명에 따른 공기청정기에 대하여 상세히 설명하기로 한다. 도 16의 (c) 및 (d)는 본 발명에 따른 공기청정기의 동작을 설명하기 위한 개념도이다. 구체적으로, 도 16의 (c)는 도 1의 (a)의 환경 조성 장치(30)가 공기청정기(700)로 구현된 모식도이고, 도 16의 (d)는 공기청정기(700)가 사용자 단말(10)과 연동하여 동작하는 모식도이다.
도 16의 (c)에 도시된 바와 같이, 본 발명에 따른 공기청정기(700)는 사용자 단말(10) 및 컴퓨팅 장치(100)와 연동하여 동작할 수 있다.
컴퓨팅 장치(100)는 네트워크부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다(도 2 참조). 네트워크부(110)는 사용자 단말(10), 외부 서버(20) 및 공기청정기(700)와 데이터를 송수신한다. 네트워크부(110)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크부(110)는 컴퓨팅 장치(100)와 사용자 단말(10), 외부 서버(20) 및 공기청정기(700) 간의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(110)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(110)는 사용자 단말(10)로부터 사용자가 활동하는 공간에 관련한 환경 센싱 정보를 수신할 수 있다. 또 다른 예를 들어, 네트워크부(110)는 공기청정기(700)로 사용자가 위치한 공간의 환경을 조정하기 위한 공기질 관련 환경 조성 정보를 전송할 수 있다.
여기서 네트워크부(110), 메모리(120) 및 프로세서(130)의 동작방식, 하드웨어적 구성, 소프트웨어적 구성은 위에서 설명한 바와 동일하므로, 중복되는 설명은 생략한다.
또한, 프로세서(130)의 동작방식, 하드웨어적 구성, 소프트웨어적 구성 및 수면 분석 모델은 위에서 설명한 바와 동일하므로, 중복되는 설명은 생략하기로 한다. 프로세서(130)는 사용자의 수면 상태 정보 및 환경 센싱 정보를 획득할 수 있으며, 이는 위에서 설명한 바와 같다.
프로세서(130)는 제1 환경 조성 정보 내지 제n환경 조성 정보를 생성할 수 있다. 구체적으로, 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하는 제1 환경 조성 정보를 생성할 수 있다. 그리고, 제1 환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보를 포함할 수 있다. 이와 함께, 제1 환경 조성 정보는 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다.
또한, 프로세서(130)는 제2수면 상태 정보에 기초하여 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다.
또한, 프로세서(130)는 제3수면 상태 정보 및 제4수면 상태 정보에 기초하여 제3환경 조성 정보 및 제4환경 조성 정보를 생성할 수 있음은 앞서 설명한 내용과 같다.
도 16의 (d)에 도시된 바와 같이, 본 발명의 실시예에 따른 공기청정기(700)는 사용자 단말(10)과 연동하여 동작할 수 있으며, 본 발명의 실시예에 따른 공기청정기(700)는, 도 16의 (c)의 컴퓨팅 장치(100)의 구성과 공기청정기로써 동작하기 위한 부가구성들을 포함할 수 있다.
도 17의 (b)는 본 발명에 따른 공기청정기의 구성을 나타내는 블록도이다. 도 17의 (b)에 도시된 바와 같이, 본 발명에 따른 공기청정기(700)는 네트워크부(710), 메모리(720), 프로세서(730), 구동부(740) 및 측정부(750)를 포함할 수 있다.
도 17에 도시된 바와 같이, 공기청정기(700)는 빌딩, 아파트, 주택 내의 천장이나 외벽에 매립된 형태의 공기청정장치로 구현될 수도 있고, 실내 공간의 일측에 고정된 고정형 공기청정기로 구현될 수도 있으며, 휴대와 이동이 간편한 이동형 공기청정기로 구현될 수도 있으며, 차량에 배치된 차내 공기청정장치로 구현될 수도 있으며, 신체에 착용되어 사용자 주변의 공기질을 정화하는 웨어러블 공기청정기로 구현될 수도 있다.
도 17에 도시된 바와 같이, 공기청정기(700)는 전처리 및 헤파필터를 이용하여 분진을 제거하는 집진필터식 공기청정기, 활성탄을 이용하여 유해가스를 흡착하는 흡착필터식, 물을 이용하여 분진이나 유해가스를 제거하는 습식, 고전압을 이용하여 분진을 제거하는 전기집진식, 고전압으로 음이온을 생성하여 공기중으로 공급함으로써 분진을 제거하는 음이온식, 플라즈마로 양/음이온을 생성하여 유해가스를 제거하는 플라즈마식, TiO에 자외선 조사로 생성된 OH라디칼 및 활성산소의 산화/환원으로 악취 및 유해가스를 제거하는 UV광촉매식과 같은 다양한 방식의 공기청정기로 구현될 수 있으며, 둘 이상의 방식을 복합적으로 채용한 복합식 공기청정기일 수도 있다.
도시된 바와 같이, 공기청정기(700)의 네트워크부(710), 메모리(720), 프로세서(730)의 기능, 동작, 하드웨어적 구성, 소프트웨어적 구성에 대해서는 위에서 설명한 바와 동일하다. 프로세서(730)에 의해서 생성된 제1 내지 제n환경 조성 정보는 구동부(740)로 전달될 수 있다. 구동부(740)는 공기청정기(700)에 구비된 다양한 하드웨어적 요소를 동작시킬 수 있다.
도시된 바와 같이, 측정부(750)는 공간 내의 공기성분, 조도 및 공기청정기 부품상태 등을 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 구체적으로, 측정부는 PM1.0, PM2.5, PM10 등 보이지 않는 부유입자를 감지하는 먼지센서, 실내 유해가스나 냄새 등을 검출하는 가스센서, 실내조도를 감지하는 조도센서, 실내공기에 포함된 300여 종의 휘발성 유기화합물의 총 농도를 측정하는 TVOC 센서, 실내공기 중의 이산화탄소 농도를 측정하는 CO2센서, 라돈의 농도를 측정하는 라돈 센서, 필터부의 수명에 따른 필터차압을 측정하여 필터교체시기를 알 수 있게 하는 압력센서, 실내온도를 측정하는 온도센서 등을 포함할 수 있다.
도면에는 도시하지 않았으나, 공기청정기(700)는 토출구와 흡입구가 구비된 하우징, 필터부, 송풍팬, 살균부, 가습부, 가열부, 냉각부, 측정부 등으로 구성될 수 있다. 하우징은 공기청정기(700)의 매립형, 고정형, 이동형, 차량형, 웨어러블형 등 구현방식에 따라 다양하게 설계될 수 있다. 필터부는 집진필터식, 흡착필터식, 습식, 전기집진식, 음이온식, 플라즈마식, UV광촉매식 등의 공기청정방식에 대응하여 선택될 수 있다. 송풍팬은 전원공급부로부터 공급된 전원에 의하여 회전하는 모터에 연결될 수 있다. 살균부는 화학적, 전기적 방식을 이용하여 흡입된 공기를 살균하는 기능을 가진다. 가습부는 흡입된 공기를 가습하여 송출하는 기능을 갖고, 가열부와 냉각부는 흡입된 공기를 소정 온도로 가열하거나 냉각시키는 기능을 갖는다.
상술한 공기청정기(700)의 하드웨어적 요소는 일 실시예에 불과하며, 이 중 일부가 통합되어 하나의 구성으로 구현될 수도 있고, 일부 구성이 생략될 수 있으며, 위에서 설명되지 않은 공기청정 기능을 수행하기 위한 다양한 구성이 부가될 수 있을 것이다.
한편, 환경 센싱 정보는 사용자 단말(10)을 통해 획득될 수 있다. 환경 센싱 정보는, 사용자가 수면을 취하는 침실에서 획득되는 수면 음향 정보일 수 있다.
또한, 환경 센싱 정보는 공기청정기(700) 내에 구비된 측정부(750)로부터 획득된 수면공간내 공기질 정보일 수 있다. 사용자 단말(10) 또는 측정부(750)를 통해 획득된 환경 센싱 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위한 기반이 되는 정보일 수 있다.
구체적인 예를 들어, 사용자의 활동에 관련하여 획득되는 환경 센싱 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다 또한, 사용자의 수면 전, 수면 중 및 수면 후 주변 공기질과 관련한 정보가 획득될 수 있다.
본 발명의 일 실시 형태에 따르면, 프로세서(730)는 사용자 단말(10) 및/또는 측정부(750)를 통해 획득된 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다.
구체적으로, 프로세서(730)는 환경 센싱 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많은 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다.
반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(730)는 환경 센싱 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(730)는 식별된 특이점을 기준으로 획득되는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(730)는 시계열적으로 획득되는 환경 센싱 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.
또한, 측정부(750)를 통해 측정된 공기질은 사용자의 수면에 많은 영향을 미친다. 공기질과 수면 사이의 관계를 분석한 논문에 따르면, 수면 장애는 공기오염과 통계적으로 유의미한 연관성을 보이는 것이 확인되었다. 예를 들어, PM10에 노출된 경우 수면을 유지하는데 어려움을 겪을 수 있고, 특히, 남성이 PM1에 노출되었을 때 수면장애가 나타날 확률이 가장 높은 것을 확인할 수 있었다.
또한, 여성의 경우, PM1, PM2.5에 노출 되었을 때 수면 장애가 생길 가능성이 가장 높다는 것이 확인되었다. 또한, SO2, O3가 높을 때 천명(wheezing)과 관련된 수면 방해가 나타날 확률이 가장 높다는 것이 확인되었다. 뿐만 아니라, 임산부가 임신 31~35주 사이에 PM2.5에 노출 되면 태어난 아이가 수면 길이가 짧아질 가능성이 가장 높다는 것도 확인되었다. AHI와 공기의 질을 측정하는 수치들과의 연관성에 대해 다양한 연구가 진행되었고, 결과는 연구마다 조금씩 다르게 나오고 있지만, 공기질과 수면의 연관성이 매우 높다는 결과는 동일했다.
본 발명의 실시예에 따른 공기청정기(700)는 환경 센싱 정보에 기초하여 수면 상태 정보를 획득한 뒤 환경 조성 정보를 생성하고, 이를 이용하여 수면 단계에 적절한 동작을 수행할 수 있다.
구체적으로, 공기청정기(700)의 프로세서(730)는 사용자의 상태가 취침 전 상태인 것으로 판단된 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기청정기를 제어하기 위한 제1 환경 조성 정보를 생성할 수 있다. 제1 환경 조성 정보는 측정부(750)에서 측정된 PM농도, 유해가스농도, CO2농도, SO2농도, O3농도, 습도, 온도 등을 반영하여 생성될 수 있다.
제1 환경 조성 정보는, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하는 정보, 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기(700)를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보, 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보 등을 포함할 수 있다.
또한, 프로세서(730)는 제2 수면 상태 정보에 기초하여 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기(700)를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다.
본 발명에 따르면, 제2 환경 조성 정보는 제2 수면 상태 정보에 기초한 것으로, 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기(700)를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제어 정보일 수 있다. 사용자는 수면 직전 미세먼지, 유해가스가 제거된 수면공간 내에서 공기흐름, 백색소음 등으로 수면이 유도될 수 있고, 입면 후 최적의 온도, 습도 등이 제어된 상태에서 숙면을 취할 수 있게 된다.
실시예에 따른 공기청정기의 구성
도 29의 (a) 및 (b)는 도 16 및 도 17에 도시된 공기청정기의 일 예를 설명하기 위한 도면이다.
도 29의 (a) 및 (b)를 참조하면, 본 발명의 일 예에 따른 공기청정기(700')에는, 공기유동을 발생시키는 송풍장치(1000, 2000) 및 상기 송풍장치(1000, 2000)에서 발생된 공기유동의 토출방향을 전환시키는 유동 전환장치(3000)가 포함된다.
상기 송풍장치(1000, 2000)에는, 제1 공기유동을 발생시키는 제1 송풍장치(1000) 및 제2 공기유동을 발생시키는 제2 송풍장치(2000)가 포함된다. 이하에서, 상기 송풍장치(1000,2000)는 '공기 청정모듈'로 이름할 수도 있다.
상기 제1 송풍장치(1000)와 제2 송풍장치(2000)는 상하 방향으로 배열될 수 있다. 일례로, 상기 제2 송풍장치(2000)는 상기 제1 송풍장치(1000)의 상측에 배치될 수 있다. 이 경우, 상기 제1 공기유동은, 상기 공기청정기(700')의 하부측에 존재하는 실내공기를 흡입하는 유동을 형성하며, 상기 제2 공기유동은, 상기 공기청정기(700')의 상부측에 존재하는 실내공기를 흡입하는 유동을 형성한다.
상기 공기청정기(700')는, 외관을 형성하는 커버(1100, 2100)를 포함한다.
상기 커버(1100, 2100)는, 상기 제1 송풍장치(100)의 외관을 형성하는 제1 커버(1100)를 포함한다. 상기 제1 커버(1100)는 원통형을 가질 수 있다. 그리고, 상기 제1 커버(1100)의 상부는 하부보다 작은 직경을 가지도록 구성될 수 있다. 즉, 상기 제1 커버(1100)는 끝부분이 잘린 원뿔형 형상을 가질 수 있다.
상기 제1 커버(1100)는, 적어도 2개 이상의 파트들로 구성될 수 있다. 상기 파트들은 서로 결합되거나 분리될 수 있다. 상기 파트들 중 적어도 어느 하나의 파트가 회전하면, 상기 제1 커버(1100)는 개방되며, 상기 공기청정기(700')로부터 분리될 수 있다. 상기 파트들이 결합되는 부분에는 걸림장치가 구비될 수 있다. 상기 걸림장치에는, 걸림돌기 또는 자석부재가 포함될 수 있다. 상기 제1 커버(1100)를 개방하여, 상기 제1 송풍장치(1000)의 내부 부품을 교체 또는 수리할 수 있다.
상기 제1 커버(1100)에는, 공기가 흡입되는 제1 흡입구가 형성될 수 있다. 상기 제1 흡입구는 상기 제1 커버(1100)의 적어도 일부분이 관통되어 형성되는 관통공을 포함한다. 상기 제1 흡입구는 다수 개로 형성될 수 있다.
상기 다수의 제1 흡입구는, 상기 제1 커버(1100)를 기준으로 어느 방향에서라도 공기 흡입이 가능하도록, 상기 제1 커버(1100)의 외주면을 따라 원주 방향으로 고르게 형성될 수 있다. 즉, 상기 제1 커버(1100)의 내부중심을 지나는 상하방향의 중심선을 기준으로, 360도 방향에서 공기가 흡입될 수 있다.
이와 같이, 상기 제1 커버(1100)가 원통형으로 구성되고, 상기 제1 흡입구가 상기 제1 커버(1100)의 외주면을 따라 다수 개 형성됨으로써, 공기의 흡입량이 증가할 수 있다.
상기 제1 흡입구를 통하여 흡입되는 공기는 상기 제1 커버(1100)의 외주면으로부터 대략 반경방향으로 유동될 수 있다. 방향을 정의한다. 도 29을 기준으로, 상하 방향을 축방향이라 이름하고, 가로 방향으로 반경방향으로 정의한다. 상기 축방향은, 공기청정기(700') 내부에 배치되어 공기유동을 일으키는 팬의 중심축 방향, 즉 팬의 모터축 방향에 대응될 수 있다. 그리고, 상기 반경방향은 상기 축방향의 수직한 방향으로서 이해될 수 있다. 그리고, 원주방향이란, 상기 축방향을 중심으로 하고 상기 반경방향의 거리를 회전반경으로 하여 회전할 때 형성되는 가상의 원 방향으로서 이해된다.
상기 제1 송풍장치(1000)에는, 상기 제1 커버(1100)의 하측에 제공되며 지면에 놓여지는 베이스(1200)가 더 포함된다. 상기 베이스(1200)는, 상기 제1 커버(1100)의 하단부로부터 하방으로 이격되어 위치된다. 그리고, 상기 제1 커버(1100)와 상기 베이스(1200) 사이의 이격 공간에는, 베이스흡입구(1300)가 형성될 수 있다. 상기 베이스흡입구(1300)를 통하여 공기가 흡입될 수 있고, 흡입되는 공기는 제1 송풍장치(1000)로 유입될 수 있다.
상기 제1 송풍장치(1000)에는, 상기 제1 흡입구와 상기 베이스흡입구(1300)와 같이 복수의 흡입구를 가질 수 있다. 실내공간의 하부에 존재하는 공기는 상기 복수의 흡입부를 통하여 상기 제1 송풍장치(1000)로 용이하게 유입될 수 있다. 따라서, 공기의 흡입량이 증가될 수 있다.
상기 제1 송풍장치(1000)의 상부에는, 제1 배출구(1500)가 형성될 수 있다. 상기 제1 배출구(1500)를 통하여 배출되는 공기는 축방향 상방으로 유동될 수 있다.
상기 커버(1100, 2100)는, 상기 제2 송풍장치(2000)의 외관을 형성하는 제2 커버(2100)가 포함될 수 있다. 상기 제2 커버(2100)는 원통형일 수 있다. 그리고, 상기 제2 커버(2100)의 상부는 하부보다 작은 직경을 가지도록 구성될 수 있다. 즉, 상기 제2 커버(2100)는 끝부분이 잘린 원뿔형 형상을 가질 수 있다.
상기 제2 커버(2100)에는, 적어도 2개 이상의 파트들로 구성될 수 있다. 상기 파트들은 서로 결합되거나 분리될 수 있다. 상기 파트들 중 적어도 어느 하나의 파트가 회전하면, 상기 제2 커버(2100)는 개방되며, 상기 공기청정기(700')로부터 분리될 수 있다. 상기 파트들이 결합되는 부분에는 걸림장치가 구비될 수 있다. 상기 걸림장치에는, 걸림돌기 또는 자석부재가 포함될 수 있다. 상기 제2 커버(2100)를 개방하여, 상기 제2 송풍장치(2000)의 내부 부품을 교체 또는 수리할 수 있다.
상기 제2 커버(2100)의 하단부 직경은, 상기 제1 커버(1100)의 상단부 직경보다 작게 형성될 수 있다. 따라서, 상기 커버(1100, 2100)의 전체적인 형상 관점에서, 커버(1100, 2100)의 하부 단면적은 상부 단면적 보다 크게 형성되며, 이에 따라 상기 공기청정기(700')는 지면에 안정적으로 지지될 수 있다.
상기 제2 커버(2100)에는, 공기가 흡입되는 제2 흡입구를 형성될 수 있다. 상기 제2 흡입구는 상기 제2 커버(2100)의 적어도 일부분이 관통되어 형성되는 관통공을 포함한다. 상기 제2 흡입구는 다수 개로 형성될 수 있다.
상기 다수의 제2 흡입구는, 상기 제2 커버(2100)를 기준으로 어느 방향에서라도 공기 흡입이 가능하도록, 상기 제2 커버(2100)의 외주면을 따라, 원주 방향으로 고르게 형성된다. 즉, 상기 제2 커버(2100)의 내부중심을 지나는 상하방향의 중심선을 기준으로, 360도 방향에서 공기가 흡입될 수 있다.
이와 같이, 상기 제2 커버(2100)가 원통형으로 구성되고, 상기 제2 흡입구가 상기 제2 커버(2100)의 외주면을 따라 다수 개 형성됨으로써, 공기의 흡입량이 증가할 수 있다.
상기 제2 흡입구를 통하여 흡입되는 공기는 상기 제2 커버(2100)의 외주면으로부터 대략 반경방향으로 유동될 수 있다.
상기 공기청정기(700')는, 상기 제1 송풍장치(1000)와 상기 제2 송풍장치(2000)의 사이에 구비되는 구획장치(5000)를 포함한다. 상기 구획장치(5000)에 의하여, 상기 제2 송풍장치(2000)는 상기 제1 송풍장치(1000)의 상측으로 이격되어 위치될 수 있다.
상기 구획장치(5000)는 제1 배출구(1500)로부터 배출되는 공기를 가이드할 수 있다. 예를 들어, 상기 구획장치(5000)는 제1 배출구(1500)으로부터 상기 축방향으로 배출되는 공기를 상기 축방향과 수직한 상기 가로 방향으로 배출되도록 가이드할 수 있다.
상기 유동 전환장치(3000)는 상기 제2 송풍장치(2000)의 상측에 설치될 수 있다. 공기 유동을 기준으로, 상기 제2 송풍장치(2000)의 공기유로는, 상기 유동 전환장치(3000)의 공기유로와 연통될 수 있다. 상기 제2 송풍장치(2000)를 통과한 공기는 상기 유동 전환장치(3000)의 공기유로를 경유하며, 제2 배출구(3500)를 통하여 외부로 배출될 수 있다. 상기 제2 배출구(3500)는 상기 유동 전환장치(3000)의 상단부에 형성될 수 있다.
상기 유동 전환장치(3000)는 움직임 가능하게 구비될 수 있다. 상세히, 상기 유동 전환장치(3000)는, 도 29의 (a)에 도시되어 있는 바와 같이, 누워있는 상태(제1 위치)에 있거나, 도 29의 (b)에 도시되는 바와 같이, 경사지게 세워진 상태(제2 위치)에 있을 수 있다. 이하에서, 상기 유동 전환장치(3000)는 '서큘레이터'라고도 명명될 수 있다.
상기 유동 전환장치(3000)의 상부에는, 상기 공기청정기(700')의 운전 정보를 표시하고 상기 공기청정기(700')의 구동을 제어하는 조작부를 포함하는 디스플레이부(4000)가 배치될 수 있다. 상기 디스플레이부(4000)는 상기 유동 전환장치(3000)와 함께 움직일 수 있다.
도 30은 도 29 에 도시된 공기청정기(700')의 커버(1100, 2100)의 일부 파트를 제거한 상태를 보여주는 도면이다.
도 29 및 도 30을 참조하면, 상기 공기청정기(700')는 먼지의 농도를 감지하는 센서(2300)를 포함한다. 상기 센서(2300)는 제2 송풍장치(2000)에 배치될 수 있지만, 이에 한정하는 것은 아니며 제1 송풍장치(1000)에 배치될 수도 있다. 상기 센서(2300)는 극초미세먼지(PM1.0)를 센싱하는 센서를 포함할 수 있다.
상기 공기청정기(700')는 스마트 진단부(2400)를 포함할 수 있다. 상기 스마트 진단부(2400)는 공기청정기(700')가 오동작하거나 고장난 경우, 스마트 진단을 통해 제품 상태를 확인할 수 있다.
상기 공기청정기(700')는 인공지능센서 통신 모듈(2500)을 포함할 수 있다. 상기 인공지능센서 통신 모듈(2500)은 상기 공기청정기(700')와 통신으로 연결될 수 있는 인공지능센서(미도시)와 연동되어 오염 위치를 감지할 수 있다.
상기 공기청정기(700')는 가스 센서(2600)을 포함할 수 있다. 상기 가스 센서(2600)는 가스 또는 냄새를 감지할 수 있다.
상기 공기청정기(700')는 공기를 정화하는 필터(1700, 2700)를 포함한다. 상기 필터(1700, 2700)는 제1 송풍장치(1000)와 제2 송풍장치(2000) 각각에 배치될 수 있다.
도 30에 도시된 바와 같이, 상기 공기청정기(700')는 필터 상태 감지 센서(1900)을 포함할 수 있다. 상기 필터 상태 감지 센서(1900)는 필터(1700, 2700)의 교체 시점을 감지할 수 있다.
상기 공기청정기(700')는 내부에 배치된 팬을 살균하기 위한 UV 발광 소자(1800, 2800)를 포함할 수 있다. 제1 및 제2 송풍장치(1000, 2000) 각각은 내부에 팬을 구비할 수 있고, 상기 UV 발광 소자(1800, 2800)는 각 송풍장치(1000, 2000) 내부의 팬을 조명할 수 있는 위치에 배치될 수 있다.
도 24의 (b)는 본 발명의 일 실시예에 따른 공기청정기(700')의 디스플레이부(4000)의 일 예를 보여주는 도면이다. 도 24의 (b)를 참조하면, 디스플레이부(4000)는 다수의 조작부(4100, 4200, 4300, 4400, 4500)을 포함할 수 있다.
도 24에 도시된 바와 같이, 다수의 조작부(4100, 4200, 4300, 4400, 4500)는, 공기청정기(700')를 시작하거나 정지할 수 있는 운전/정지 버튼(4100), 운전 모드를 선택할 수 있는 운전모드 버튼(4200), 공기청정기(700')의 바람 세기를 조절할 수 있는 청정세기 버튼(4300), 부스터의 세기 및 회전 설정을 조절할 수 있는 부스터제어 버튼(4400), 공기청정기(700')의 관리 및 알림 설정 등을 할 수 있는 설정 버튼(4500)을 포함할 수 있다. 이러한 다수의 조작부(4100, 4200, 4300, 4400, 4500)는, 터치 센서 또는 기계식 버튼일 수 있다.
디스플레이부(4000)의 다수의 조작부(4100, 4200, 4300, 4400, 4500)를 통해 입력된 제어신호는 도 17의 (b)에 도시된 프로세서(730)로 입력되고, 프로세서(730)는 입력된 제어신호에 기초하여 구동부(740)를 제어할 수 있다.
도 23에 도시된 바와 같이, 운전모드(4210)는 다양한 운전모드를 포함할 수 있다. 예를 들어, 인공지능모드, 펫모드, 클린부스터모드, 듀얼청정모드, 싱글청정모드 등을 포함할 수 있다. 여기서, 인공지능모드는 공기청정기(700')와 인공지능센서의 종합청정도에 따라 운전모드와 청정세기를 자동으로 조절하는 모드이고, 상기 펫모드는 반려동물과 함께하는 사용자를 위한 전용 모드이고, 상기 클린부스터모드는 제2 송풍장치(2000)에 구비된 부스터를 이용해 정화된 공기를 먼 거리까지 빠르게 보내 실내 공기를 순환시키는 모드이고, 상기 듀얼청정모드는 제1 송풍장치(1000)와 제2 송풍장치(2000)가 동시에 작동하여 실내 공기를 빠르게 정화하는 모드이고, 상기 싱글청정모드는 제2 송풍장치(2000)로 실내 공기를 정화하는 모드일 수 있다.
본 발명의 실시 예에 따른 공기청정기(700')는 운전모드(4210)로서 슬립모드를 더 포함할 수 있다. 이는 도 23의 (c) 및 (d)를 참조하여 설명한다.
도 23의 (c) 및 (d)는 본 발명의 실시 예에 따른 공기청정기(700')의 슬립모드를 설명하기 위한 디스플레이부(4000)의 도면이다.
도 23의 (c)을 참조하면, 운전모드(4210)는 슬립모드(4250)를 포함할 수 있다. 상기 슬립모드(4250)는 사용자의 수면 상태를 감지하여 사용자의 수면 공간 내의 공기질을 자동으로 조절하는 모드이다. 슬립모드(4250)는 공기청정기(700')의 프로세서에 의해 제어될 수 있다.
도 16의 (c)의 컴퓨팅 장치(100) 또는 도 16의 (d)의 공기청정기(700')에서 생성된 상기 제1환경 조성 정보 내지 제n환경 조성 정보에 기초하여, 공기청정기(700')는 수면 공간 내의 공기질 조절을 수행할 수 있다.
예를 들어, 공기청정기(700')는 상기 제1환경 조성 정보에 따라 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거할 수 있다. 또는, 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발할 수 있고, 송풍세기를 기 설정된 세기 이하로 조절하거나, 디스플레이부(4000)의 밝기를 낮출 수 있다. 공기청정기(700')는 상기 제2 환경 조성 정보에 따라 디스플레이부(4000)를 오프시키거나, 기설정된 레벨 이하의 소음으로 동작하거나, 송풍 강도를 기 설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면 공간 내의 습도를 소정 온도로 유지할 수 있다. 공기청정기(700')는 상기 제3환경 조성 정보에 따라 기상 시점에 송풍 세기 및 소음을 낮추거나, 기상을 서서히 유도하기 위해 백색 소음을 발생하거나, 소음을 기설정된 레벨 이하로 유지시키거나, 기상 예측 시점 혹은 기상 추천 시점에 연동하여 구동할 수 있다. 공기청정기(700')는 상기 제4환경 조성 정보에 따라 송풍 세기, 소음 레벨, 알람 중 적어도 하나 이상을 제어할 수 있다.
도 16의 (c)의 시스템 구성의 경우, 공기청정기(700')가 슬립모드(4250)로 구동하기 위해, 공기청정기(700')는 컴퓨팅 장치(100)와 네트워크를 통해 연결되기 위한 기기 연결 과정이 수행될 수 있다.
도 16의 (d)의 시스템 구성의 경우, 공기청정기(700')가 슬립모드(4250)로 구동하기 위해, 공기청정기(700')는 도 23의 (d)에 도시된 바와 같이 사용자 단말(10)과 연동하기 위한 연결 과정을 수행할 수 있다. 공기청정기(700')와 사용자 단말(10)은 무선으로 연결될 수 있다. 예를 들어, 공기청정기(700')와 사용자 단말(10)은 도 16의 (d)와 같이 네트워크를 통해 직접 연결될 수 있다.
다른 실시예에 따른 공기청정기의 구성
도 31의 (a)는 도 16 및 도 17에 도시된 공기청정기의 다른 예를 설명하기 위한 도면이다.
도 31의 (a)에 도시된 공기청정기(700'')는 침실이나 서재 등의 개별 공간에서 사용될 수 있는 공기청정기일 수 있다.
공기청정기(700'')는 송풍장치(1000')와 테이블(6000)을 포함한다.
송풍장치(1000')는 도 29에 도시된 제1 송풍장치(1000)와 대응되는 구성으로서, 제1 송풍장치(1000)와 같이 내부에 공기질을 정화하기 위한 구성들이 포함된다. 따라서, 송풍장치(1000')의 상세한 설명은 도 29에 도시된 제1 송풍장치(1000)의 설명으로 대체한다.
도 31에 도시된 바와 같이, 테이블(6000)은 송풍장치(1000') 상에 배치될 수 있다.
도시된 바와 같이, 테이블(6000)은 송풍장치(1000')의 상부에 배치된 배출구(1700')로부터 배출되는 공기를 가이드하는 하면(미도시), 물품을 올려둘 수 있는 상면(6100) 및 상면(6100)의 일 부분에 배치된 무선충전부(6500)를 포함할 수 있다. 상기 테이블(6000)의 하면에는 다양한 색상의 빛을 방출할 수 있는 조명부(미도시)가 배치될 수도 있다.
공기청정기(700'')는 도 29에 도시된 공기청정기(700')와 같이, 수면 공간 내의 공기질을 자동으로 조절하는 슬립모드로 구동할 수 있다.
공기청정기(700'')의 슬립모드는, 도 16의 (c)의 컴퓨팅 장치(100) 또는 도 16의 (d)과 같이 공기청정기(700')에서 생성된 상기 제1환경 조성 정보 내지 제n 환경 조성 정보에 기초하여 수면 공간 내의 공기질 조절을 수행할 수 있다.
예를 들어, 공기청정기(700'')는 상기 제1환경 조성 정보에 따라 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거할 수 있다. 또는, 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발할 수 있고, 송풍세기를 기설정된 세기 이하로 조절하거나, 조명부(미도시)의 밝기를 낮출 수 있다. 공기청정기(700'')는 상기 제2 환경 조성 정보에 따라 조명부(미도시)를 오프시키거나, 기설정된 레벨 이하의 소음으로 동작하거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면 공간 내의 습도를 소정 온도로 유지할 수 있다.
공기청정기(700'')는 상기 제3환경 조성 정보에 따라 기상 시점에 송풍 세기 및 소음을 낮추거나, 기상을 서서히 유도하기 위해 백색 소음을 발생하거나, 소음을 기설정된 레벨 이하로 유지시키거나, 기상 예측 시점 혹은 기상 추천 시점에 연동하여 구동할 수 있다. 공기청정기(700'')는 상기 제4환경 조성 정보에 따라 송풍 세기, 소음 레벨, 알람 중 적어도 하나 이상을 제어할 수 있다.
공기청정기(700'')는 도 29에 도시된 공기청정기(700')와 달리, 디스플레이부를 구비하지 않을 수 있다.
따라서, 도 16의 (c) 및 (d)의 시스템 구성에 따라, 공기청정기(700'')가 슬립모드로 구동하기 위해, 공기청정기(700'')는 도 16의 사용자 단말(10)에 의해 원격으로 제어될 수 있다.
도 16의 사용자 단말(10)에 의해 원격으로 제어될 수 있다. 도 25를 참조하여 설명한다.
도 25의 (c)는 사용자 단말(10)에서 공기청정기(700'')을 원격으로 제어하는 제1 어플리케이션의 화면을 보여주고, 도 25의 (d)는 공기청정기(700'')의 슬립모드를 제어하는 어플리케이션의 화면을 보여준다.
도 25의 (c)를 참조하면, 사용자 단말(10)에는 공기청정기(700'')를 제어하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션을 통해 공기청정기(700'')을 제어할 수 있다.
상기 제1 어플리케이션은 공기청정기(700'')의 운전모드를 제어할 수 있는 화면을 제공할 수 있고, 사용자는 원하는 운전모드(A모드, 슬립모드, B모드 등)를 선택할 수 있다.
만약, 도 25의 (c)에서 사용자가 슬립모드를 선택한 경우, 도 25의 (d)와 같이 공기청정기(700'')의 슬립모드를 구체적으로 제어할 수 있는 화면이 표시될 수 있다. 이를 통해, 사용자는 공기청정기(700'')와 연결할 사용자 단말을 선택할 수 있고, 다른 단말을 공기청정기(700'')와 연결시킬 수 있다.
공기청정기(700'')는 도 25의 (c) 및 (d)에 도시된 바와 같이 사용자 단말(10)과 연동하기 위한 연결 과정을 수행할 수 있다. 공기청정기(700')와 사용자 단말(10)은 무선으로 연결될 수 있다. 예를 들어, 공기청정기(700')와 사용자 단말(10)은 도 16의 (d)와 같이 네트워크를 통해 연결될 수 있다.
한편, 도 25에 도시된 제1 어플리케이션을 통한 공기청정기(700'')의 제어는, 도 29에 도시된 공기청정기(700)에도 그대로 적용될 수 있다.
공기청정기의 슬립모드 구동 방법
앞서 설명한 공기청정기(700', 700'')는 사용자의 선택에 따라 슬립모드가 동작하도록 구성되어 있으나, 이에 한정하는 것은 아니다. 본 발명의 또 다른 실시 예에 따른 공기청정기는 사용자의 선택이 아닌 자동으로 슬립모드가 동작하도록 구성될 수도 있다. 도 26을 참조하여 설명한다.
도 26은 본 발명의 또 다른 실시 예에 따른 공기청정기(700''')의 동작을 설명하기 위한 도면이다.
도 26을 참조하면, 공기청정기(700''')는 수면 상태 정보 및/또는 수면 단계 정보에 기초하여 생성된 환경 조성 정보에 따라 별도의 사용자의 선택 없이도 자동으로 슬립모드가 동작될 수 있다.
예를 들어, 도 16의 (c)의 컴퓨팅 장치(100)의 프로세서(130) 또는 도 16의 (d) 및 도 17의 (b)의 공기청정기의 프로세서(730)가 제2수면 상태 정보를 통해 사용자가 수면에 인입하는 시점 즉, 수면 인입 시점을 파악하여 제2환경 조성 정보를 생성한 경우, 상기 공기청정기(700''')는, 자동으로 슬립모드가 시작되도록 구성될 수 있다.
또한, 도 16의 (c)의 컴퓨팅 장치(100)의 프로세서(130) 또는 도 16의 (d) 및 도 17의 공기청정기의 프로세서(730)가 기상 예측 시점을 파악하여 제3환경 조성 정보를 생성한 경우, 공기청정기(700''')는 기상 예측 시점에 상기 슬립모드가 자동으로 종료되도록 구성될 수 있다.
도 26에 도시된 것과 달리, 상기 슬립모드의 시점과 종점은 달라질 수 있다, 예를 들어, 상기 슬립모드의 시점은 수면 인입 시점 전의 수면 유도 시점일 수 있다.
다른 예를 들어, 도 25의 (c)에 도시된 바와 같이, 상기 슬립모드의 시점은 사용자에 의해 제1 어플리케이션의 슬립모드가 선택된 직후 혹은 슬립모드가 선택된 후 소정 시간 경과 후일 수 있다. 혹은, 도 25의 (d)에 도시된 바와 같이 소정의 기기(A기기)가 공기청정기와 연결된 직후 혹은 연결된 후 소정 시간 경과 후일 수 있다.
상기 슬립모드의 시점이 될 수 있는 또 다른 예들을 도면들을 참조하여 설명한다.
도 27 및 도 31의 (b)는 도 26에 도시된 공기청정기(700''')의 슬립모드 동작의 시점을 설명하기 위한 도면들이다.
도 31의 (b)에 도시된 바와 같이, 상기 슬립모드의 시점은 사용자 단말(10)이 무선충전부(6500) 위에 놓여져 충전을 시작한 직후 혹은 충전을 시작한 후 소정 시간 경과 후일 수 있다.
도 31의 (b)를 참조하면, 상기 슬립모드의 시점은 사용자 단말(10)이 테이블(6000)의 상면(6100)의 소정 부분 위에 놓여진 후 소정 시간 경과 후일 수 있다. 여기서, 상기 소정 시간은 사용자 단말(10)에 구비된 가속도계 센서에서 측정된 결과치가 일정하게 유지되는 시간일 수 있다.
도 27에 도시된 바와 같이, 상기 슬립모드의 시점은 사용자 단말(10)에 설치된 제2 어플리케이션을 통해 '자러 가기(15)' 버튼이 선택된 시점일 수 있다. 여기서, 상기 제2 어플리케이션은 환경 센싱 정보(예, 사용자의 숨소리)를 측정하여 자동으로 AI 기반의 수면 리포트를 출력하는 어플리케이션일 수 있다.
상기 제2 어플리케이션은 도 25의 (c) 및 (d)에 도시된 제1 어플리케이션과 연동되어 서로의 데이터를 이용할 수 있다.
또는, 도 27을 참조하면, 상기 슬립모드의 시점은 제2 어플리케이션을 통해 '자러 가기(15)' 버튼이 선택된 후 소정 시간 경과 후일 수 있다. 여기서, 상기 소정 시간은 사용자 단말(10)에 구비된 가속도계 센서에서 측정된 결과치가 일정하게 유지되는 시간일 수 있다.
다시 도 26을 참조하면, 상기 슬림모드의 종점은 예를 들어 기상 예측 시점 이후의 기 설정된 소정 시간 경과 후가 될 수 있다.
다른 예를 들어, 도 25의 (c) 및 (d)를 참조하면, 상기 슬립모드의 종점은 사용자 단말(10)에 설치된 제1 어플리케이션과 공기청정기가 서로 연결이 끊어진 직후가 될 수 있다.
또 다른 예를 들어, 도 31의 (b)를 참조하면, 상기 슬림모드의 종점은 사용자 단말(10)이 무선충전부(6500)로부터 떨어져 무선충전이 중단된 직후 또는 중단 후 소정 시간 경과 후일 수 있다. 또는, 사용자 단말(10)이 테이블(6000)로부터 떨어진 직후 또는 떨어진 후 소정 시간 경과 후일 수 있다.
또 다른 예를 들어, 도 28을 참조하면, 상기 슬립모드의 종점은 사용자 단말(10)에 설치된 상기 제2 어플리케이션을 통해 '일어나기(17)' 버튼이 선택된 시점일 수 있다.
이외에도 상기 슬립모드의 시점과 종점은 공기청정기(700''')의 사용자 또는 제조자에 의해 다양하게 변경될 수 있다.
상기 슬립모드의 지속적인 동작을 위해서, 도 16의 (c)의 시스템 구성의 경우에 사용자 단말(10)은 컴퓨팅 장치(100)와 네트워크를 통해 연결되고, 컴퓨팅 장치(100)는 네트워크를 통해 공기청정기(700''')와 연결되어 있는 것이 바람직하다. 한편, 도 16의 (d)의 시스템 구성의 경우에 사용자 단말(10)은 네트워크 또는 근거리 무선통신을 통해 공기청정기(700''')와 연결되어 있는 것이 바람직하다.
상기 공기청정기(700''')는 도 29 또는 도 31의 (a)에 도시된 공기청정기(700', 700'') 의 하드웨어적 구성을 그대로 가질 수 있다.
실시예에 따른 공기청정기 또는 공기청정팬의 취침모드와 기상모드시 동작
추가적으로, 공기의 질과 빛을 조절하는 테이블형 공기청정기 및 공기의 질과 온도를 조절하는 공기청정팬의 취침모드와 기상 모드시 동작을 설명한다.
먼저, 테이블형 공기청정기의 취침모드시 동작은 다음과 같다.
테이블형 공기청정기는 단독으로 동작할 수도 있지만, 프리미엄 공기 케어가 필요한 경우, 에어컨, 가습기 및/또는 제습기와 통합하여 패키지 형식으로 동작할 수도 있다.
취침 준비 단계에서, 테이블형 공기청정기는 사용자가 스마트폰(900)을 사용하지 않는 특정 시간대에 테이블에 올려놓을 경우 스마트폰(900)을 무선충전하고, 스마트폰(900)에 설치된 슬립관리 앱을 인식하여 사용자의 수면 측정을 개시할 수 있다.
에어컨은 사용자의 수면환경에 적합한 실내 온도를 조절하고, 가습기 및/또는 제습기는 수면환경에 적합한 실내 습도를 조절할 수 있다.
입면 단계에서, 테이블형 공기청정기는 간접등을 소등하고, 수면 단계에서, 슬립트랙 앱과 슬립관리 앱은 연동하여 사용자의 수면 상황을 실시간 측정할 수 있다.
다음으로, 테이블형 공기청정기의 기상 모드시 동작은 다음과 같다.
기상 전 단계에서, 테이블형 공기청정기는 파워 공기청정 모드로 의도적인 소음을 발생시켜 모닝 알람 기능을 수행하거나, 헬스케어 앱에 설치된 스마트 알람을 작동시키거나, 수면등이 점진적으로 밝아지도록 조명 세기를 조절할 수 있다.
기상 단계에서, 사용자의 스마트폰(900)에서 수면상태 확인이 감지되면, 수면측정을 종료하고, 기상 후 단계에서, 헬스케어 앱은 분석된 사용자의 수면 리포트를 사용자의 스마트폰(900)에 디스플레이할 수 있다.
한편, 공기청정팬의 취침모드시 동작은 다음과 같다.
공기청정팬은 테이블형 공기청정기와 마찬가지로, 단독으로 동작할 수도 있지만, 프리미엄 공기 케어가 필요한 경우, 가습기 및/또는 제습기와 통합하여 패키지 형식으로 동작할 수도 있다.
취침 준비 단계에서, 공기청정팬은 헬스케어 앱을 통하여 수동으로 작동을 개시하여, 선풍 및 온풍을 이용하여 수면에 적합한 온도를 조절하고, 가습기 및/또는 제습기는 수면환경에 적합한 실내 습도를 조절할 수 있다.
수면 단계에서, 슬립트랙 앱과 슬립관리 앱은 연동하여 사용자의 수면 상황을 실시간 측정할 수 있다.
다음으로, 공기청정팬의 기상 모드시 즉, 기상 전 단계, 기상 단계 및 기상 후 단계에서의 동작은, 테이블형 공기청정기의 기상 모드시 동작과 동일하므로, 여기에서는 설명을 생략하도록 한다.
수면단계 별 스마트 가전기기들의 구체적인 시나리오
도 41은 본 발명에 따른 수면 분석 방법을 이용하여 사용자의 수면단계 별로 시계열적으로 작동하는 스마트 가전기기들의 구체적인 시나리오 중 취침 준비 단계의 동작을 나타내는 표이다.
도 42는 상기 시나리오 중 도 41에 시계열적 후순위로 연결된, 입면 후부터 숙면 전까지 단계의 동작을 나타내는 표이다.
도 43은 상기 시나리오 중 도 42에 시계열적 후순위로 연결된, 숙면 후부터 기상감지 전까지 단계의 동작을 나타내는 표이다.
도 44는 상기 시나리오 중 도 43에 시계열적 후순위로 연결된, 기상 단계의 동작을 나타내는 표이다.
도 50 및 도 51과 도 41 내지 도 44를 참조하여 본 발명의 수면 분석 방법을 이용해 사용자의 수면 단계 별로 시계열적으로 작동하는 스마트 가전기기들의 구체적인 시나리오의 동작을 설명하면 다음과 같다. 다만, 아래 설명하는 시나리오는 본 발명에 따른 예시일 뿐, 본 발명의 범위는 이에 제한되는 것은 아니다.
먼저, 사용자가 침실에 들어오는 시각은 자정이고, 기상하는 시각은 오전 01:40 이라고 가정한다.
또한, 사용자가 침실에 들어올 때의 초기 온도는 섭씨 29도, 초기 습도는 30 %로서, 온도는 높지만 습도가 높지 않은 밤인 상태에서, 공기의 질은 '보통'인 것으로 가정한다.
도 41에서 보는 바와 같이, 사용자가 침실에 들어온 시점(00:00)에, 스마트폰(900)은 화면이 켜져 있는 상태로 디스플레이될 수 있다(이후 단계에서도 동일함).
또한, 에어컨, 공기청정팬, 테이블형 공기청정기, 스마트 조명은 턴 온되고, 가습기, 스마트 스피커(804)는 오프 상태를 유지할 수 있다.
한편, 에어컨은 동작 온도가 섭씨 24도로 세팅될 수 있다.
또한, 공기청정팬 및 테이블형 공기청정기는 자동 모드로 세팅될 수 있다.
사용자가 침대에 누우면서 스마트폰(900)을 테이블형 공기청정기의 테이블 상에 올려놓은 시점(00:10)에, 스마트폰(900)의 화면에 테이블형 공기청정기 상에 스마트폰(900)이 놓이는 영상이 디스플레이될 수 있다.
또한, 공기청정팬 및 테이블형 공기청정기는 수면 모드로 전환될 수 있다. 공기청정팬은 사용자의 최근 수면기록에 따른 최적의 공기청정 상태로 조절하도록 세팅될 수 있다.
또한, 스마트 스피커(804)는 수면 유도음을 턴 온 시킬 수 있다. 스마트 조명은 서서히 어두워지다가(dimming) 꺼지는 상태로 세팅될 수 있다.
한편, 동작 온도가 섭씨 24도로 세팅되었던 에어컨의 작동에 의해 침실의 실내온도는 초기 온도였던 섭씨 29도에서 동작 온도인 섭씨 24도를 향해 하강할 수 있다.
도 42에서 보는 바와 같이, 사용자의 입면 상태가 감지된 시점(00:20)에, 에어컨은 사용자의 최근 수면 기록에 따른 최적 온도(예: 섭씨 22도)로 다시 세팅되고, 수면 모드로 전환될 수 있다.
또한, 스마트 스피커(804)는 사용자의 입면을 더이상 유도할 필요가 없으므로, 수면 유도음을 턴 오프 시킬 수 있다.
*1119한편, 동작 온도가 최적 온도인 섭씨 22도로 다시 세팅되어 에어컨이 작동함에 따라, 침실의 실내온도는 섭씨 24도에서 최적 온도인 섭씨 22도를 향해 하강하고, 사용자의 최적 공기청정 상태로 세팅되었던 공기청정팬 및 테이블형 공기청정기의 계속된 동작에 의해 공기의 질은 '좋음' 상태로 전환될 수 있다.
만일, 시점(00:40)에, 사용자에게 수면 도중 코골이 및/또는 수면 무호흡증이 발생되었다고 가정할 경우, 가습기 내부에 장착된 음향 센서가 사용자의 숨소리 변화를 감지하고, 가습기 내 프로세서(830)가 사용자의 코를 보호하기 위해 가습기의 전원을 턴 온시킬 수 있다. 이에 따라 초기 습도였던 30 %가 50 % 로 상승할 수 있다.
한편, 스마트 스피커(804)는 사용자의 재입면을 유도하기 위하여, 수면 유도음을 턴 온 시킬 수 있다.
도 43에서 보는 바와 같이, 복수개의 스마트 가전기기(800) 각각의 내부에 장착된 음향 센서가 감지한 사용자의 숨소리를 통해, 내장된 프로세서가 사용자가 숙면 상태에 진입한 것을 판별할 수 있다. 이 경우, 각 스마트 가전기기(800)의 현재 상태를 계속 유지시킬 수 있다.
만일, 기상 예정시간(01:40)이 다가온 시점(01:20)에, 사용자의 수면 단계 중 REM 수면 단계가 감지되었다고 가정할 경우, 스마트 조명이 새벽 시뮬레이션(Dawn simulation) 동작을 턴 온 시킬 수 있다.
마지막으로, 도 44에서 보는 바와 같이, 기상 예정시간인 시점(01:40)에, 사용자의 수면 단계 중 기상 단계가 감지되었다고 가정할 경우, 에어컨은 자동 모드로 전환되면서 동작 온도가 섭씨 24도로 다시 세팅될 수 있다.
또한, 공기청정팬은 선풍 및/또는 아침의 기분좋은 바람 모드로 세팅될 수 있다. 테이블형 공기청정기는 자동 모드로 세팅될 수 있다.
또한, 스마트 스피커(804)는 사용자의 기상을 유도하기 위하여, 기상 유도음을 턴 온 시킬 수 있다. 스마트 조명은 새벽 시뮬레이션(Dawn simulation) 동작 이후에는 침실에서 켜져 있을 필요가 없으므로 꺼지는 상태로 세팅될 수 있다.
또한, 시점(02:00)에, 사용자의 기상 상태가 감지되었다고 가정할 경우, 테이블형 공기청정기 내 컬러 무드등이 초록색 등으로 턴 온 될 수 있다. 또한, 스마트 스피커(804)가 '굿모닝' 인사말 등의 음향과 함께 당일 날씨 정보를 청각적으로 사용자에게 제공할 수 있다.
웨어러블 디바이스
도 53은 본 발명에 따른 수면환경 조성 정보의 제공 방법을 구현하는 시스템의 동작을 설명하기 위한 구성도로서, 하나 이상의 스마트 가전기기(800), 수면분석(Sleep track) 앱, 스마트워치(803), 자율주행차량(801) 및 거주 공간(802)을 포함한다.
도 54에 도시된 바와 같이, 본 발명에 따른 웨어러블 디바이스, 즉 스마트워치(803)는 2단계의 수면분석을 수행한다. 구체적으로, 1차 수면분석(1st Sleep Analysis)은 웨어러블 디바이스(803)에 구비된 센서부에 의하여 획득된 사용자 생체정보에 기초하여 이루어진다. 사용자 생체정보는 HRV(Heart Rate Variability, 심박변이도) 및 Actigraphy(신체움직임 신호)일 수 있다. 다만, 이에 한정되지 않고, 1차 수면분석은 사용자의 수면상태를 파악할 수 있는 다양한 생체신호를 이용할 수 있을 것이다.
본 발명의 일 실시 형태에 따르면, 1차 수면분석에서는, 사용자가 수면에 들기 직전과 직후의 Actigraphy 정보에 기초하여 사용자의 입면 시간이나 기상 시간을 검출할 수 있다. 구체적으로, Actigraphy 정보에 기초하여, 사용자의 입면 여부를 식별할 수 있다. 예를 들어, 사용자의 움직임이 점차적으로 작아진 후 사용자의 움직임이 기설정된 임계값(예: 3회) 미만으로 소정시간 경과하면 수면이 이루어진 것으로 판단할 수 있다.
반대로, 사용자의 움직임이 지정된 임계값(예: 3회) 이상 감지되고 일정 시간 동안 점차적으로 사용자 움직임이 증가하면 수면이 종료된 것으로 판단될 수 있다. 1차 수면분석에서는 입면 시간, 기상 시간, 총 수면 시간 등을 분석하며, 수면단계와 관련한 각종 정보, 예를 들어, 힙노그램(hypnogram), 수면단계별 수면 시간), 수면주기 등에 관한 분석을 수행한다. 아래에서 더욱 상세히 설명하겠지만, 수면단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면단계의 설정은 일반적인 수면단계 분류법으로 정의될 수도 있지만, 설계자에 따라 다양한 방식으로 정의될 수 있다. 수면분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
1차 수면분석에서는, 수면단계들의 변화를 분석하고, 분석된 수면단계들의 변화를 식별할 수 있도록 힙노그램을 생성할 수 있고, 이에 의하여 사용자의 수면 주기가 식별될 수 있다.
한편, 1차 수면분석에서는 HRV와 같은 사용자 생체정보 및/또는 Actigraphy 정보에 기초하여 수면단계를 분류할 수 있다. HRV는 심장박동의 간격(RR interval)에 따라 생리적 변화가 생기는 것을 의미한다. 심박수는 동방결절의 고유의 자발성에 자율신경계가 영향을 미쳐 결정되는데 교감신경과 부교감 신경 사이의 상호작용과 관련이 있다.
이런 상호작용은 체내환경 또는 외부환경의 변화에 따라 시시각각으로 변하며 이로 인해 사용자의 심박수에 변화가 나타나게 된다. 예를 들어, 건강한 사람의 경우는 심박의 변화가 크고 복잡하게 나타나지만, 질병이나 스트레스 상태에서는 복잡도가 현저히 감소할 수 있다. 잠을 자는 동안에도 심장은 쉬지 않고 운동하고 있기 때문에 HRV를 통하여 수면 상태를 예측하고, 수면의 질을 평가할 수 있게 된다. 예컨대, 수면의 질이 저하될 경우 심장에 대한 교감신경이 활성화되고 심장에 대한 부교감신경 조절능력이 감소된다.
따라서, 수면의 질과 자율신경계 상태를 반영하는 HRV는 유기적 상관 관계를 갖게 되며, HRV를 통하여 수면의 질을 평가할 수 있게 된다. 또 다른 예로, HRV의 교감신경계/부교감신경계 활성도의 비율을 분석하면, W(wakefulness) 단계가 NREN(non REM) 2 단계, 3 단계, 4 단계에 비하여 높게 나타나고, NREM 4 단계는 REM(rapid eye movement) 단계와 NREM 1단계에 비하여 낮게 나타나는 점을 이용함으로써, 교감신경계/부교감신경계 활성도 비율을 이용하여 수면단계를 정확히 판단할 수 있다. 그밖의 다양한 방법을 이용하여 HRV에 기초한 수면분석을 수행할 수 있다.
또한, 1차 수면분석에서는 폐쇄성 수면 무호흡(Obstructive Sleep Apnea, OSA)을 선별할 수 있다. 예를 들면, 센서부를 통해 수신되는 사용자 생체정보(예: 심장박동수, 심장변이도, 산소포화도 등)에 기초하여 사용자의 수면중 호흡 여부를 식별할 수 있다. 또한, Actigraphy 정보 또는 사용자의 자세 정보에 기초하여, 폐쇄성 수면 무호흡을 단계적으로 선별할 수 있다.
2차 수면분석(2nd Sleep Analysis)에서는, 1차 수면분석 결과 및 수면음향정보에 기초하여 수면의 질, 수면단계 및 수면 무호흡 여부를 분석한다. 수면음향정보는 사용자의 수면 중 발생하는 움직임이나 호흡과 관련한 음향 정보를 의미할 수 있다.
2차 수면분석은 사용자의 수면음향정보를 전처리하고 AI알고리즘을 통하여 사용자의 수면단계를 분석하는 것으로, 구체적인 분석방법은 아래에서 더욱 상세히 설명하기로 한다.
본 발명에 따른 웨어러블 디바이스(803)는 사용자의 신체에 접촉되어 생체신호를 획득하고 이를 이용하여 1차 수면분석(접촉식 수면분석)을 수행한 뒤, 웨어러블 디바이스(803)에 내장된 마이크가 사용자의 수면음향정보를 획득하고 이를 이용하여 2차 수면분석(비접촉식 수면분석)을 수행함으로써 더욱 정밀한 수면분석을 수행할 수 있다.
도 54에 도시된 실시예와 달리, 도 55에 도시된 실시예에서는 웨어러블 디바이스(803) 및 스마트폰(900)이 연동하여 사용자의 수면분석을 수행한다. 웨어러블 디바이스(803)와 스마트폰(900)은 블루투스 등을 통해 페어링되거나, 기타 무선통신 방식으로 서로 연결될 수 있다.
도 55에 도시된 실시예에서는, 1차 수면분석(1st Sleep Analysis)이 웨어러블 디바이스(803)에서 이루어지고, 2차 수면분석(2nd Sleep Analysis)은 스마트폰(900)에서 이루어진다.
본 발명에 따르면, 웨어러블 디바이스(803)에서 이루어지는 1차 수면분석은 위에서 설명한 바와 동일하다. 1차 수면분석 결과는 웨어러블 디바이스(803)와 무선으로 연결된 스마트폰(900)으로 전달되며, 스마트폰(900)은 1차 수면분석 결과와 사용자의 수면음향정보에 기초하여 2차 수면분석을 수행한다.
이때, 사용자의 수면음향정보는 웨어러블 디바이스(803)로부터 획득되어 스마트폰(900)으로 전달될 수도 있고, 스마트폰(900)에 내장된 마이크를 통하여 자체 획득될 수도 있다.
즉, 도 55에 도시된 실시예에서는, 접촉식 수면단계 분석은 웨어러블 디바이스(803)를 통해 이루어지고, 비접촉식 수면단계 분석은 스마트폰(900)을 통해 이루어진다. 사용자는 스마트폰(900)에서 도출된 최종 수면단계 분석결과를 스마트폰(900)의 화면을 통해 확인할 수 있다.
또한, 스마트폰(900)에서 도출된 최종 수면단계 분석결과는 웨어러블 디바이스(803)로 전송되고, 사용자는 웨어러블 디바이스(803)의 화면을 통해 확인할 수 있다.
또한, 스마트폰(900)에서 도출된 최종 수면단계 분석결과는 웨어러블 디바이스(803)로 전송되고, 사용자는 웨어러블 디바이스(803)의 화면을 통해 확인할 수 있다.
한편, 웨어러블 디바이스(803)는 사용자에 착용되어 있는 것이 바람직하다. 사용자가 웨어러블 디바이스(803)를 착용하지 않은 경우에는, 적어도 위의 1차 수면분석을 위한 입력신호의 일부(예: Actigraphy 정보), 또는 2차 수면분석을 위한 입력신호(수면음향정보)를 수신하기 위하여, 웨어러블 디바이스(803)가 사용자 주변에 적절히 배치될 필요가 있다. 특히, Actigraphy 정보를 추출하기 위해서는 적어도 사용자의 움직임을 감지할 수 있는 영역(예: 베개 하부, 매트리스 상부 등) 배치되는 것이 좋다. 따라서, 웨어러블 디바이스(803)는 반드시 사용자에 착용되지 않아도, 사용자 수면 공간 내에 적절히 배치된다면 위에서 설명한 수면단계분석이 가능해진다.
일 실시예에서는, 웨어러블 디바이스(803)가 1차 수면분석을 위한 입력신호의 일부(예: Actigraphy 정보), 또는 2차 수면분석을 위한 입력신호(수면음향정보)를 수신할 수 있도록, 웨어러블 디바이스(803)가 사용자에 미착용된 경우, 사용자로 하여금 웨어러블 디바이스(803)를 사용자에 가깝게 배치할 수 있도록 소정의 신호를 송출할 수 있다. 소정의 신호는 진동, 알람, 텍스트, LED 등일 수 있다.
사용자와 웨어러블 디바이스(803) 사이의 거리는 웨어러블 디바이스(803)에 의하여 추출될 수도 있고, 스마트폰(900)에 의하여 추출될 수도 있다. 즉, 사용자의 수면 공간은 고정되어 있기 때문에, 웨어러블 디바이스(803)의 위치를 추적하여 웨어러블 디바이스(803)가 적절한 위치에 배치되어 있는지 판단할 수 있다. 혹은, 웨어러블 디바이스(803)가 침구(베개, 매트리스 등) 사이의 거리를 스스로 인식하여 웨어러블 디바이스(803)가 적절한 위치에 배치되어 있는지 판단할 수 있다. 이때에는, 침구(베개, 매트리스 등)가 거리 측정을 위한 센싱유닛을 포함할 수 있고, 센싱유닛은 웨어러블 디바이스(803)와 다양한 방법으로 연결(통신 네트워크, 광학적 연결, 전기적 연결 등)되어, 서로간의 거리를 판단할 수 있다.
수면환경 조성 정보의 제공 방법의 실시예
도 57은 본 발명의 수면환경 조성 정보의 제공 방법을 이용해 사용자의 수면단계 흐름에 따라 작동하는 하나 이상의 스마트 가전기기 중에서 많은 빈도의 동작 전환이 이루어지는 주요 스마트 가전기기 중 에어컨 및 가습기/제습기의 동작을 나타내는 표이다.
도 58은 본 발명에 따른 상기 주요 스마트 가전기기 중 스마트스피커 및 공기청정기의 동작을 나타내는 표이다.
도 59는 본 발명에 따른 상기 주요 스마트 가전기기 중 스마트 TV 및 로봇 청소기의 동작을 나타내는 표이다.
사용자의 수면 단계는 침실 입실이 감지되는 경우, 침대에 누움이 감지되는 경우, 입면이 감지되는 경우, 깊은 수면 진입이 감지되는 경우, 수면 무호흡증 발생이 감지되는 경우, 수면 중 깸이 감지되는 경우, 알람시간 즈음 REM 수면 발생이 감지되는 경우, 기상이 감지되는 경우를 포함할 수 있다.
특히, 침대에 누움이 감지되는 경우는 사용자가 침대에 눕는 단계, 입면 버튼이 푸시되는 단계 및 사용자 단말에 의해 사용자의 입면 의도가 추정되는 단계를 포함할 수 있다.
또한, 도 57 내지 도 59에서 빈 칸은 바로 전 상태에서 동작 전환이 이루어지지 않은 채로, 각각의 이벤트가 감지되는 경우마다 적절한 동작이 이루어지는 경우라고 가정한다.
또한, 하나 이상의 스마트 가전기기(800) 별로 조성하는 수면환경은 다음과 같다.
에어컨(800-2)은 온도, 소음, 진동, 습도, 가습기/제습기(800-1)는 습도, 소음, 진동, 스마트스피커는 소리, 공기청정기는 공기의 질, 소음, 스마트 TV는 사운드, 블라인드/커튼/조명은 빛, 스마트베드는 온도, 사용자의 머리 및 몸의 위치, 의류관리기는 향, 의류의 탈취, 건조 및 살균, 스마트디퓨저는 향, 로봇 청소기는 바닥 청소, 진동, 소음, 세탁기/건조기는 진동, 소음, 정수기는 맞춤형 물 출수, 그리고, 냉장고는 수면 리포트 디스플레이, 진동, 소음 등을 포함할 수 있다.
전체적으로, 본 발명의 일 실시예에 따른 수면환경 조성 정보의 제공 방법은, 하나 이상의 스마트 가전기기(800)가 마이크 모듈을 통해 사용자의 수면과 관련한 수면 음향 정보를 실시간으로 획득하는 단계(S410); 사용자 단말이 획득된 수면 음향 정보를 인가받아 스펙트로그램으로 변환 및 분석을 수행하여(S420) 수면 단계를 실시간으로 판별하는 단계(S430); 및 판별된 수면 단계별로 발생하는 이벤트에 따라, 사용자 단말이 하나 이상의 스마트 가전기기(800)의 동작을 실시간으로 제어하는 제어신호를 출력하는 단계(S440); 를 포함할 수 있다.
이때, 제어신호를 출력하는 단계는, 하나 이상의 스마트 가전기기(800)가 제어신호에 응답하여 사용자에게 최적의 수면환경을 제공하는 단계(S450); 를 포함할 수 있다.
이하 주요 스마트 가전기기 별 모든 단계와 스마트워치의 모든 상태에서. 셋팅 또는 설정되는 모든 데이터와 과거의 모든 기록 또는 데이터는, 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 과거의 수면 데이터 기반 적합하게 셋팅 또는 저장하는 방법에 의해 셋팅 또는 저장될 수 있다.
에어컨
도 56은 본 발명의 수면환경 조성 정보의 제공 방법을 이용해 사용자의 수면단계 흐름에 따라 작동하는 하나 이상의 스마트 가전기기 중에서 많은 빈도의 동작 전환이 이루어지는 일 실시예의 주요 스마트 가전기기 중 에어컨 및 가습기/제습기의 동작을 나타내는 표이다.
도 50에 도시된 바와 같이, 사용자가 침실에 입실하는 것이 감지되면, 에어컨(800-2)은 자동으로 턴 온/턴 오프, 특정 동작 모드로 전환이 가능하도록 셋팅될 수 있다.
여기에서, '특정 동작 모드'는 예를 들면, 풍량, 풍향, 설정 온도 등이 세팅되는 모드를 포함할 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
사용자가 침대에 눕는 것이 감지되면, 에어컨(800-2)은 동작 모드가 수면 모드로 전환될 수 있다.
즉, 풍량 및 디스플레이부 밝기가 수면 모드로 변경될 수 있다. 바람의 종류가 간접풍으로 전환될 수 있다.
이 경우에, 변경 또는 전환되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
사용자의 과거의 개인 수면 기록에 따라 입면시간을 단축할 수 있는 온도로 셋팅될 수 있다
이 경우에, 셋팅되는 동작의 제어방법에는 특정된 사용자의 개인별 수면 데이터 기반으로 제어하는 방법이 있다.
또한, 이 경우는 사용자가 침대에 누운 상태에서 입면 버튼을 누르면, 사용자의 입면 의도가 추정된다.
사용자의 입면이 감지되면, 에어컨(800-2)은 사용자의 수면의 질과 온도의 상관관계에 대한 과거의 매칭 데이터를 통해 수면의 질이 높아지는 최적의 온도를 셋팅할 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
사용자의 깊은 수면 진입이 감지되면, 에어컨(800-2)은 입면이 감지되었을 때 셋팅된 온도가 유지되도록 계속 동작할 수 있다. 사용자의 수면 무호흡증 또는 수면 중 깸 상태의 발생 여부를 판별할 수 있다.
이 경우에, 판별하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 무호흡증 발생이 감지되면, 에어컨(800-2)은 사용자의 목, 코, 호흡기 등을 보호하기 위한 온도로 셋팅될 수 있다.
즉, 코골이나 수면 무호흡증 발생이 감지된 경우, 입을 벌린 상태에서 자게 되는 경우가 많은데, 이때 입을 벌리면 상기도와 입 안이 건조하게 되어 세균 감영 등에 취약해지게 된다.
이러한 이유 때문에 본 발명의 에어컨(800-2)은 사용자의 상기 신체부위를 보호하기 위한 온도로 셋팅되는 것이다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 사용자가 빠르게 재입면에 진입할 수 있도록 하는 에어컨 온도가 셋팅될 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 에어컨(800-2)은 사용자의 기상을 준비하도록 할 수 있다. 아침에 쾌적한 온도로 셋팅될 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 에어컨(800-2)은 아침에 쾌적한 온도로 셋팅될 수 있다. 사용자의 기상시 상쾌한 바람을 제공할 수 있다. 기상 후 각성을 도울 수 있는 온도, 풍량으로 셋팅될 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
가습기/제습기
도 56은 본 발명의 수면환경 조성 정보의 제공 방법을 이용해 사용자의 수면단계 흐름에 따라 작동하는 하나 이상의 스마트 가전기기 중에서 많은 빈도의 동작 전환이 이루어지는 일 실시예의 주요 스마트 가전기기 중 에어컨 및 가습기/제습기의 동작을 나타내는 표이다.
침실 입실이 감지되면, 도 53에 도시된 가습기/제습기(800-1)는 자동으로 턴 온/턴 오프, 특정 동작 모드로 전환이 가능하도록 셋팅될 수 있다.
여기에서, '특정 동작 모드'는 예를 들면, 풍량, 풍향, 설정 습도 등이 세팅될 수 있는 모드를 포함할 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
침대에 누움이 감지되면, 사용자별로 개인이 가장 쾌적하게 느끼는 습도, 혹은 과거의 사용자의 개인 수면 기록에 따라 입면시간을 최소화할 수 있는 습도로 셋팅될 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
입면이 감지되면, 가습기/제습기(800-1)는 저소음 상태로 활성화된다. 침대에 누움이 감지된 상태에서 셋팅된 습도를 유지하기 위하여 턴 온/턴 오프 동작을 반복할 수 있다.
이 경우에, 셋팅된 습도를 유지하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
깊은 수면 진입이 감지되면, 가습기/제습기(800-1)는 침대에 누움이 감지되었을 때 셋팅된 최적의 습도가 유지되도록 계속 동작할 수 있다.
이 경우에, 셋팅된 습도를 유지하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 무호흡증 발생이 감지되면, 가습기/제습기(800-1)는 침실습도를 증가시켜 증상을 완화시킨다.
즉, 코골이나 수면 무호흡증 발생이 감지된 경우, 입을 벌린 상태에서 자게 되는 경우가 많은데, 이때 입을 벌리면 상기도와 입 안이 건조하게 되어 세균 감영 등에 취약해지게 된다.
이러한 이유 때문에 본 발명의 가습기/제습기(800-1)는 사용자의 상기 신체부위를 보호하기 위한 습도로 셋팅되는 것이다.
이 경우에, 습도를 증가시키는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 사용자가 빠르게재입면에 진입할 수 있도록 하는 가습기/제습기(800-1) 습도가 셋팅될 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 가습기/제습기(800-1)는 사용자의 기상을 준비하도록 할 수 있다. 아침에 상쾌하게 느낄 수 있는 습도로 셋팅될 수 있다.
이 경우에, 셋팅되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 가습기/제습기(800-1)는 자동 제어 모드가 종료되고. 자동 제어 모드 이전의 일반 모드로 회귀될 수 있다.
이 경우에, 종료 또는 회귀되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
스마트스피커
도 57은 본 발명의 일 실시예에 따른 상기 주요 스마트 가전기기 중 스마트스피커 및 공기청정기의 동작을 나타내는 표이다.
침대에 누움이 감지되면, 스마트스피커는 수면 유도음이나 입면 컨텐츠를 재생하는데, 과거의 사용자의 개인 수면 기록에 따라 사용자의 입면시간이 가장 짧았던 컨텐츠를 재생하거나, 사용자가 과거 자신의 기록을 참조하여 수면 유도음이나 입면 컨텐츠를 선택할 수 있다.
이 경우에, 재생 또는 선택하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
입면이 감지되면, 침대에 누움이 감지된 경우에 선택된 수면 유도음이나 입면 컨텐츠가 유지되도록 계속 동작할 수 있다.
이 경우에, 유지하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
깊은 수면 진입이 감지되면, 스마트스피커는 특히, 수면 유도음이나 입면 컨텐츠가 사운드일 경우, 마스킹 이펙트를 고려한 백색 잡음(white noise)과 뇌파 동조화를 위한 모노럴 비트를 고려할 수 있다.
이 경우에, 고려하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 무호흡증 발생이 감지되면, 스마트스피커는 전 단계의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 스마트스피커는 사용자를 빠르게 재입면하게 할 수 있는 입면 컨텐츠를 재생하는데, 이때는 보이스(voice)가 들어가지 않은 형태 또는 사운드 스케이프의 형태가 바람직하다.
이 경우에, 재생하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 스마트스피커는 사용자의 자연스러운 기상을 유도하기 위하여 기상 알람 사운드를 제공할 수 있다.
이 경우에, 제공하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 스마트스피커는 사용자에게 보이스를 통해 전날 밤의 수면에 대한 정보를 제공할 수 있다.
이 경우에, 제공하는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
공기청정기
도 57은 본 발명의 일 실시예에 따른 상기 주요 스마트 가전기기 중 스마트스피커 및 공기청정기의 동작을 나타내는 표이다.
공기청정기는 통상적으로 하루 24시간 중 평균 6~8 시간 작동되므로, 침실 입실이 감지되면, 사용자의 숙면을 위해 미세먼지/유해가스 제거 등의 공기의 질 개선이 사전에 설정될 수 있다.
침대에 누움이 감지되면, 공기청정기는 사용자의 수면을 돕기 위하여 LED의 조도를 하강시킨다. 구동시 발생하는 소음 및 풍량을 감소시킨다. 그리고, 수면 모드로 전환되므로, 백색 소음인 구동 소음을 적절히 활용하여 스마트스피커에서의 수면 유도음처럼 동작시키는 것도 가능하다.
이 경우에, 조도, 소음, 풍량 조절 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
입면이 감지되면, 공기청정기는 전 단계의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
깊은 수면 진입이 감지되면, 사용자는 깊은 수면에 이미 진입했기 때문에 공기청정기는 풍량을 증가시켜 쾌속 청정이 가능하게 된다.
이 경우에, 풍량 조절 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 무호흡증 발생이 감지되면, 공기청정기는 전 단계의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 사용자의 재입면을 필요로 하므로, 이 경우에 공기청정기는 침대에 누움이 감지된 경우와 마찬가지로, 사용자가 다시 잠드는 것을 돕기 위해 구동 소음을 조절할 수 있다.
이 경우에, 소음 조절 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 공기청정기는 전 단계의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
만일, 공기청정기가 테이블형 공기청정기인 경우, 기상이 감지되면 사용자의 기상시 수면의 질에 따라 무드등의 색상을 변경할 수 있다.
이 경우에, 색상 변경 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
스마트 TV
도 27 내지 도 28은 도 26에 도시된 슬립모드 동작의 시점을 설명하기 위한 도면들이다.
침대에 누움이 감지되면, 스마트 TV는 수면 전 사용자의 최근 수면의 질의 통계와 그에 기반한 당일의 목표 수면에 대해서 디스플레이하는 서비스가 가능하다.
이 경우에, 서비스 동작의 제어 방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
입면이 감지되면, 스마트 TV는 화면이 자동으로 턴 오프될 수 있다.
이 경우에, 턴 오프 동작의 제어 방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
깊은 수면 진입이 감지되는 경우와, 수면 무호흡증 발생이 감지되는 경우, 입면이 감지된 경우의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어 방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 사용자의 신속한 재입면을 필요로 하므로, 이 경우에 스마트 TV는 사용자가 빠르게 다시 잠드는 것을 돕기 위한 재입면 콘텐츠를 제공할 수 있다.
이 경우에, 콘텐츠 제공 동작의 제어 방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람 시간 즈음 REM 수면 발생이 감지되면, 스마트 TV는 사용자의 자연스러운 기상을 유도하기 위하여 기상 알람 사운드를 제공할 수 있다.
이 경우에, 사운드 제공 동작의 제어 방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 스마트 TV는 사용자의 기상 시 수면 리포트를 화면에 디스플레이할 수 있다.
이 경우에, 디스플레이 동작의 제어 방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
한편, 스마트 TV는, 프로세서 등 스마트 TV를 제어하는 수단을 포함할 수 있으며, 이를 통해 스마트 TV를 제어할 수 있다.
예컨대, 스마트 TV를 제어하는 수단은, 생성된 제어 정보에 따라 스마트 TV의 전원 켜기, 전원 끄기, 절전 모드 진입, 절전 모드 해제, 디스플레이 켜기, 디스플레이 끄기, 디스플레이 출력, 디스플레이 모드 변경, 디스플레이 블루 라이트 감소, 디스플레이 디밍, 디스플레이 롤 업, 디스플레이 롤 다운, 디스플레이 위치 변경, 조명 켜기, 조명 끄기, 조명 모드 변경, 조명 지향각 변경, 조명 위치 변경, 조명 색상 변경, 조명 색온도 변경, 조명 밝기 높임, 조명 밝기 낮춤, 조명 블루라이트 감소, 조명 디밍, 조명 점멸, 스피커 출력, 스피커 음량 높임, 스피커 음량 낮춤, 스피커 사운드 켜기, 스피커 사운드 끄기 및 스피커 사운드 모드 변경 중 어느 하나를 수행할 수 있다.
또한, 스마트 TV를 제어하는 수단은, 생성된 제어 정보에 따라 스마트 TV의 디스플레이 및 스피커 중 적어도 하나로, 입면/숙면/기상 유도 등 사용자의 수면 환경을 조성하기 위한 심상 유도 정보를 출력할 수 있다.
또한, 스마트 TV를 제어하는 수단은, 사용자의 수면 환경을 조성하기 위해, 스마트 TV의 전원, 디스플레이, 스피커, 마이크로폰 및 액추에이터 중 적어도 하나를 제어하기 위한 제어 정보를 생성할 수 있다.
또한, 스마트 TV를 제어하는 수단은, 수면 상태 정보에 기초하여 사용자의 수면 환경을 조성하기 위한 알고리즘 연산을 수행하고, 수행된 알고리즘 연산 결과에 기초하여 스마트 TV 제어 정보를 생성할 수 있다.
또한, 생성된 제어 정보는, 수면 상태 정보에 포함되는 사용자의 수면 단계가 임계 시간 이상 동안 웨이크(wake) 단계로 유지된 이후에 생성된 제어 정보일 수 있다.
또한, 생성된 제어 정보는, 수면 상태 정보를 스마트 TV의 디스플레이 및 스피커 중 적어도 하나로 출력하기 위한 제어 정보일 수 있다.
또한, 스마트 TV와 연계된 시스템의 서버(20)는 사용자의 수면 상태 정보를 추론하는 제1 서버 및 제1 서버와 다른 제2 서버를 포함하여 구성되고, 제1 서버는 사용자의 수면 상태 정보 추론 완료 이벤트(event) 정보 또는 추론된 수면 상태 정보를 제2 서버의 콜백 주소(callback URL)로 송신할 수 있다. 이 때, 제2 서버는, 추론된 수면 상태 정보를 제1 서버로부터 수신하여 스마트 TV로 송신할 수 있다.
한편, 본 발명의 일 실시예에 따른 스마트 TV는, 하우징; 플렉서블한 디스플레이로서 유기 발광 패널(OLED 패널) 등이 구비된 롤러블(rollable) 디스플레이; 하우징 밖으로 표출되는 디스플레이의 사이즈를 가변하는 적어도 하나의 액추에이터를 포함하는 구동부; 스마트 폰, 리모컨 등 원격 제어 장치로부터의 제어 신호를 수신하는 사용자 입력 인터페이스부; 및 스마트 TV의 디스플레이, 스피커 등 구성요소를 제어하는 제어부;를 포함한다.
여기에서, 제어부는, AI 수면 분석 모델을 통해 추론된 사용자의 수면 단계 정보를 포함하는 수면 상태 정보에 기초하여, 디스플레이가 적어도 하나의 액추에이터를 통해 롤링 업(rolling up) 또는 롤링 다운(rolling down)되도록 구동부를 제어하는 등 스마트 TV의 전원, 디스플레이, 스피커, 마이크로폰 및/또는 액추에이터 중 적어도 하나를 제어할 수 있다.
로봇 청소기
도 27 내지 도 28은 도 26에 도시된 슬립모드 동작의 시점을 설명하기 위한 도면들이다.
입면이 감지되면, 로봇 청소기는 사용자의 입면 여부를 확인하고 자동청소 모드로 가동된다.
이 경우에, 가동 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
깊은 수면 진입이 감지되면, 깊은 수면은 사용자를 깨울 염려가 적으므로, 로봇 청소기의 청소 영역 및 청소 시간의 자유도가 증가될 수 있다.
이 경우에, 자유도를 증가시키는 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 무호흡증 발생이 감지되는 경우, 로봇 청소기는 깊은 수면 진입이 감지된 경우의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 로봇 청소기가 청소 중이었어도, 중간에 작동을 일시 정지할 수 있다.
이 경우에, 일시 정지 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 사용자가 곧 기상할 확률이 높으므로, 로봇 청소기는 충전 거치대로 복귀할 수 있다.
이 경우에, 복귀 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 로봇 청소기는 알람시간 즈음 REM 수면 발생이 감지된 경우의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기타 스마트 가전기기
도 53을 참조하여 본 발명의 수면환경 조성 정보의 제공 방법을 이용해 시계열적으로 작동하는 하나 이상의 스마트 가전기기(800) 중 상기 기타 스마트 가전기기의 동작을 사용자의 수면 동작 전환이 이루어지는 경우 별로 설명하면 다음과 같다.
침대에 누움이 감지되면, 블라인드/커튼/조명은 침실 내의 밝기가 서서히 어두워지도록 동작 속도와 시간이 셋팅된다. 조명은 서서히 어두워지다가(dimming) 꺼지는 상태로 셋팅되는데, 과거의 사용자의 개인 수면 기록에 따라 사용자의 평균 입면시간에 따라 블라인드/커튼의 동작 시간, 조명의 유지시간 등이 셋팅될 수 있다.
이 경우에, 각각의 셋팅 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
입면이 감지되면, 세탁기 및 건조기는 사용자의 깊은 수면으로 들어가기 전에는 동작하지 않고 있다가, 사용자의 깊은 수면이 감지된 시점부터 동작을 시작할 수 있다.
이 경우에, 작동 개시 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
한편, 수면 무호흡증은 사용자가 침대에 정 자세로 누웠을 때 가장 많이 발생하므로, 사용자의 무호흡증 발생이 감지된 경우, 스마트베드 사용자의 자세(예: 머리 및 몸 위치)를 바꾸어 주기 위해 수면 무호흡증 발생이 감지된 경우에 동작할 수 있다.
이 경우에, 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 세탁기 및 건조기는 진동 및 소음을 차단하기 위해 동작을 일시 정지할 수 있다. 이때, 사용자의 수면 중일 때 이벤트는 스마트폰이 사용자의 움직임 정보 및 수면음향정보를 통해 감지될 수 있다.
이 경우에, 일시 정지 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 블라인드/커튼/조명은 새벽 시뮬레이션(Dawn simulation) 동작을 통해 사용자의 자연스러운 기상을 유도할 수 있다.
또한, 스마트 베드는 깨어날 때 즈음에 사용자가 자연스럽게 일어날 수 있도록 인클라인(incline) 작동이 된다.
이 경우에, 기상 유도 동작 및 인클라인 작동의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
또한, 세탁기는 REM 수면 발생 감지 시점에 맟추어 세탁이 종료되도록 동작하고, 아침에 바로 건조될 수 있도록 건조기가 동작할 수 있다.
이 경우에, 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 의류 관리기는 사용자의 기상후 수면의 질에 따라 다른 향을 방향시켜 주는 동작을 할 수 있다. 디스플레이부에 사용자의 수면 리포트를 제공할 수 있다. 당해 수면의 질에 따라 다른 알림의 멜로디로 설정 가능하다.
또한, 스마트 디퓨저는 사용자의 기상후 수면의 질에 따라 다른 향을 방향시켜 주는 동작을 할 수 있다.
또한, 정수기는 사용자에게 아침에 물 한잔을 공급해 주면서 보이스로 수면 리포트에 대해서 안내해 줄 수 있다. 전날밤 수면 상태에 따라 찬물, 정수, 온수를 공급해 줄 수 있다.
또한, 냉장고는 디스플레이부를 통해 수면 리포트를 제공할 수 있다. 만일, 무드업 냉장고일 경우 냉장고의 색상을 수면의 질에 따라 변경해 주는 서비스를 제공할 수 있다.
이 경우에, 방향, 물 공급, 리포트 제공, 색상 변경 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
스마트워치
도 59는 본 발명의 다른 실시예에 따라 도 53에 도시된 시스템 내 스마트워치의 동작을 설명하기 위한 순서도이다. 도 60은 본 발명의 다른 실시예에 따른 스마트워치의 동작을 나타내는 표이다.
도 59에 도시된 바와 같이, 전체적으로, 본 발명의 다른 실시예에 따른 수면환경 조성 정보의 제공 방법은, 스마트워치가 마이크 모듈을 통해 사용자의 수면과 관련한 수면 음향 정보를 실시간으로 획득하는 단계(S310); 사용자 단말이 획득된 수면 음향 정보를 인가받아 스펙트로그램으로 변환 및 분석을 수행하여(S320), 사용자의 수면 단계를 실시간으로 판별하는 단계(S330); 및 판별된 수면 단계별로 발생하는 이벤트에 따라, 사용자 단말이 스마트워치의 동작을 실시간으로 제어하는 제어신호를 출력하는 단계(S340); 를 포함할 수 있다.
이때, 제어신호를 출력하는 단계는, 스마트워치가 제어신호에 응답하여 사용자에게 최적의 수면환경을 제공하는 단계(S350); 를 포함할 수 있다.
본 발명의 일 실시예에서와 마찬가지로, 도 60에서 빈 칸은 바로 전의 경우가 감지되면 동작 전환이 이루어지지 않은 채로, 각 단계마다 적절한 동작이 이루어지는 단계라고 가정할 수 있다.
먼저, 침대에 누움이 감지되면, 스마트워치는 진동을 통해 사용자의 수면시간을 기반으로 한 입면을 위한 호흡법 가이드, 명상 가이드 등 입면을 위한 서비스를 제공할 수 있다.
이 경우에, 서비스 제공 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
입면이 감지되면, 스마트워치는 사용자가 침실에 입실하여 침대에 누웠을때, 사용자 입면 감지의 판별도(confidence)가 올라갈수록 진동의 세기를 약화시키거나, 개인별 입면시간 평균값에 맞게 진동 길이를 조정할 수 있다.
이 경우에, 진동 조절 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
깊은 수면 진입이 감지되는 경우, 입면이 감지된 경우의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 무호흡증 발생이 감지되면, 스마트워치는 수면 무호흡증이 검출되거나 발생할 것으로 예측될 때, 사용자에게 가벼운 진동을 제공하여 사용자를 각성시켜 수면 무호흡증을 차단할 수 있다.
이 경우에, 진동 제공 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
수면 중 깸이 감지되면, 스마트워치는 수면 무호흡증 발생이 감지된 경우의 동작을 유지할 수 있다.
이 경우에, 유지되는 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
알람시간 즈음 REM 수면 발생이 감지되면, 스마트워치는 진동을 통해 기상 알람을 제공하거나, 과거의 사용자의 개인 수면 기록에 따라 해당 사용자가 깨어나기 쉬운 시점에 알람을 제공할 수 있다.
이 경우에, 알람 제공 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
기상이 감지되면, 스마트워치는 사용자가 기상하자마자 화면을 통해 소정의 수면 리포트를 제공할 수 있다.
이 경우에, 수면 리포트 제공 동작의 제어방법에는 1) 의학적으로 입증된 전문가 시스템을 이용하는 방법, 2) 불특정 다수인의 통계자료를 이용하는 방법, 3) 특정된 사용자의 개인별 수면 데이터를 기반으로 제어하는 방법이 있다.
한편, 본 발명은 ①체중/혈압과 수면무호흡, 불면증, ②운동과 불면증을 수면측정기록으로 보여주며, 이는 사용자에게 자신의 건강을 개선하기 위한 행동 변화의 동기부여가 될 수 있다. 즉, 본 발명은 사용자 행동변화의 순응도를 매우 자연스럽게 향상시킬 수 있다.
예를 들어, 사용자가 과체중일 경우, 수면무호흡이 흔하게 발생하는데, 체중 감량이 수면무호흡 호전에 도움이 되므로, 본 발명은 헬스케어 앱의 식단, 운동 및 체중 트랙킹(weight tracking)과 연계될 수 있다.
즉, 수면무호흡 이력(history)은 본 발명의 실시간 수면무호흡 감지와 정확도로 행동 개입이 가능하게 된다.
또한, 수면무호흡은 고혈압의 원인이 되므로, 호흡 불안정 구간이 정기적일 경우 본 발명을 이용하여 혈압 추적 관리가 가능하게 된다.
즉, 체중 감량은 인체의 혈압을 낮추는 데 도움이 되므로, 체중 감량 성공 시, PSQI를 활용하여 객관적인 수면의 질 전후를 비교할 수 있다.
또한, 운동(취침 전 3시간 이내 제외)은 불면증 완화에 도움이 되므로, 야외 활동으로 자연광을 마주하는 시간이 길어지고 사용자의 기분(mood)이 향상될 수 있다.
또한, 헬스케어 앱으로부터 다양한 운동 프로그램을 추천받는 것이 가능하게 된다.
아울러, 본 발명은 ①스트레스 수치와 수면, ②생리전 증후군과 불면의 상관관계를 유저에게 보여줄 수 있고, 이는 사용자가 자신의 건강상태를 재인식하게 만들 수 있다.
즉, 스트레스 수치와 수면의 질 간의 상관관계를 표기함으로써 흥미적 요소를 추가하고, 사용자의 스트레스 수치 및 우울증 정도에 따라, 헬스케어 앱에서 제공하는 정신의학 관련 설문지 작성이 가능하게 된다.
또한, 생리전 증후군의 증상 중 하나로 불면증을 호소하는 경우, 생리 주기 트래킹 기능 내 캘린더에 수면 데이터의 비교가 가능토록 수면 효율을 병기하여 사용자의 생리 현상과 관련된 건강상태를 점검받게 할 수 있다.
한편, 수면단계 분석에 있어서 중요한 것 중 하나는 사용자가 수면 중 깨는 상황이 생기는지, 진정한 기상이 이루어졌는지를 판단하는 것이다. 즉, 깨는 단계인 WAKE 단계를 제대로 분석할 수 있어야 하는데, 수면음향신호(sound)는 진정한 WAKE 단계에 있는지를 검출해내는 데 매우 유용한 요인이 될 수 있다.
종래 수면다원분석에서의 뇌파 측정의 경우, 사용자가 깬 상태에서 변화된 뇌파를 확인하는 것에 불과했다면, 본 발명의 수면단계 분석에 이용하는 수면음향신호는 사용자가 깨기 전(WAKE 단계에 도달하기 전)부터 전조 신호(사운드 패턴, 움직임 패턴 등)를 나타내고, 이를 통해 WAKE 단계를 예측 및 검출할 수 있다.
다수의 데이터를 통해 학습된 AI 수면단계 분석모델에 의하면, 특히 수면음향신호(sound)에 기초한 WAKE 단계의 판단이 더욱 정밀해지게 된다. 또한, 사용자가 잠에서 깨어나는 경우는 신체 바이오리듬에 따르는 경우도 있지만, 외부 인자(주변 소음, 잡음 등)에 영향을 받는 경우도 있다.
본 발명은 사용자의 수면 환경, 즉, 주변 공간에서 루틴하게 발생하는 노이즈, 비정상적 혹은 간헐적으로 발생하는 노이즈 등 다양한 주변 잡음까지 학습하여 AI 수면단계 분석모델이 구축되기 때문에, WAKE 단계를 더욱 명확하고 신뢰성 있게 예측하고, 검출해 낼 수 있게 된다.
전체적인 구성
도 61a는 본 발명에 따른 수면에 관한 용품 추천시스템의 개념도를 도시한다. 도 61b는 본 발명에 따른 수면에 관한 용품 검증시스템의 개념도를 도시한다. 도 61c는 본 발명의 또 다른 실시예에 따른 수면에 관한 용품 추천/검증시스템의 개념도를 도시한다.
도 61a는 본 발명의 일 실시예와 관련된 수면 상태 정보에 기초하여 수면에 관한 용품을 추천하는, 수면에 관한 용품 추천장치(40)의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다. 본 발명의 실시예들에 따른 시스템은 수면에 관한 용품 추천장치(40), 사용자 단말(10) 및 네트워크를 포함할 수 있다.
한편, 도 61b는 본 발명의 또 다른 실시예와 관련된 수면에 관한 용품 검증 장치(50)의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다. 본 발명의 실시예들에 따른 시스템은 수면에 관한 용품 검증 장치(50), 사용자 단말(10) 및 네트워크를 포함할 수 있다.
한편, 도 61c는, 본 발명의 또 다른 실시예에 따라, 수면에 관한 용품의 추천 및/또는 수면에 관한 용품의 검증이 사용자 단말(10)에서 구현되는 경우의 시스템을 나타낸 개념도를 도시한다. 도 61c에 도시된 바와 같이, 별도의 추천장치(40) 및/또는 별도의 검증 장치(50)가 없이, 사용자 단말(10)에서 수면에 관한 용품의 추천 및 검증이 이루어질 수도 있다.
또한, 도 61d는 본 발명의 또 다른 실시예와 관련된 다양한 전자 장치들의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 61d에 도시된 전자 장치들은, 본 발명의 실시예에 따른 다양한 장치들이 수행하는 동작들 중 적어도 하나 이상을 수행할 수 있다.
예를 들어, 본 발명의 실시예들에 따른 다양한 전자 장치들이 수행하는 동작들은 환경 센싱 정보를 획득하는 동작, 수면 분석에 대한 학습을 수행하는 동작, 수면 분석에 대한 추론을 수행하는 동작, 수면 상태 정보를 획득하는 동작을 포함할 수 있다.
또는, 예컨대, 사용자의 수면과 관련한 정보를 제공받거나, 환경 센싱 정보를 송신 또는 수신하거나, 환경 센싱 정보를 판별하거나, 환경 센싱 정보로부터 음향 정보를 추출하거나, 데이터를 처리 또는 가공하거나, 서비스를 처리하거나, 서비스를 제공하거나, 환경 센싱 정보 또는 사용자의 수면과 관련한 정보에 기초하여 학습 데이터 세트를 구축하거나, 획득한 데이터 또는 신경망의 입력이 되는 복수의 데이터를 저장하거나, 다양한 정보들을 송신 또는 수신하거나, 네트워크를 통해 본 발명의 실시예들에 따른 시스템을 위한 데이터를 상호 송수신하는 동작 등을 포함할 수도 있다.
도 62은 본 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다.
도 62에 도시된 바와 같이, 사용자의 수면 영상과 수면음향이 실시간으로 획득되며, 획득된 수면 음향 정보는 스펙트로그램으로 즉각 변환된다. 이때, 수면 음향 정보의 전처리과정이 이루어질 수 있다. 스펙트로그램은 수면 분석 모델에 입력되어 즉각적으로 수면단계가 분석될 수 있다.
또한, 본 발명의 일 실시예에 따른 피처 분류 모델에 CNN 또는 트랜스포머(Transformer) 기반의 딥러닝 모델을 채용하는 경우의 동작은 다음과 같이 수행될 수도 있다.
본 발명의 일 실시예에 따라 시계열 정보가 포함되어 있는 스펙트로그램이 CNN 기반의 딥러닝 모델의 입력으로 하여, 차원이 낮아진 벡터를 출력할 수 있다. 이렇게 차원이 낮아진 벡터를 Transformer 기반의 딥러닝 모델의 입력으로 하여, 시계열 정보가 함축된 벡터가 출력될 수 있다.
본 발명의 실시예에 따라 Transformer 기반의 딥러닝 모델의 출력 벡터에 대하여 평균 풀링(Average pooling) 기법이 적용될 수 있도록 1D CNN(1D Convolutional Neural Network)에 입력하여, 시계열 정보에 대한 평균화 작업을 통해, 시계열 정보가 함축된 N차원의 벡터로 변환하는 과정을 수행할 수도 있다. 이 경우 시계열 정보가 함축된 N차원의 벡터는 입력 데이터와의 해상도 차이가 있을 뿐, 여전히 시계열 정보를 포함하고 있는 데이터에 해당한다.
본 발명의 실시예에 따라 출력된 시계열 정보가 함축된 N차원의 벡터들의 조합에 대한 멀티 에폭 분류를 수행하여, 여러 수면단계들에 대한 예측을 수행할 수 있다. 이 경우 Transformer 기반의 딥러닝 모델들의 출력 벡터들을 복수 개의 FC(Fully Connected layer)의 입력으로 하여 연속적인 수면 상태 정보의 예측을 수행할 수도 있다.
또한, 본 발명의 일 실시예에 따른 피처 분류 모델에 ViT 또는 Mobile ViT 기반의 딥러닝 모델을 채용하는 경우 동작은 다음과 같이 수행될 수 있다.
본 발명의 일 실시예에 따라 시계열 정보가 포함되어 있는 스펙트로그램이 Mobile ViT기반의 딥러닝 모델의 입력으로 하여, 차원이 낮아진 벡터를 출력할 수 있다.
또한, 본 발명의 실시예에 따라 Mobile ViT기반의 딥러닝 모델의 출력으로 각각의 스펙트로그램에서 피처를 추출할 수 있다.
본 발명의 실시예에 따라서 차원이 낮아진 벡터를 중간층(Intermediate Layer)의 입력으로 하여, 시계열 정보가 함축된 벡터가 출력될 수 있다. Intermediate Layer 모델에서는 벡터의 정보를 함축하는 선형화 단계(Lnearization), 평균과 분산을 입력하기 위한 레이어 정규화(Layer Normalization)단계 또는 일부 노드를 비활성화하는 드롭아웃(dropout)단계 중 적어도 하나 이상의 단계가 포함될 수 있다.
본 발명의 실시예에 따라서 차원이 낮아진 벡터를 Intermediate Layer의 입력으로 하여 시계열 정보가 함축된 벡터를 출력하는 과정을 수행함으로써, 과적합(overfitting)을 방지할 수 있다.
본 발명의 실시예에 따라서 Intermediate Layer의 출력 벡터를 ViT기반의 딥러닝 모델의 입력으로 하여 수면 상태 정보를 출력할 수 있다. 이 경우 시계열 정보가 포함되어 있는 주파수 도메인상의 정보, 스펙트로그램, 또는 멜 스펙트로그램에 대응하는 수면 상태 정보를 출력할 수 있다.
또한, 본 발명의 일 실시예에 따라서 시계열 정보가 포함되어 있는 주파수 도메인상의 정보, 스펙트로그램, 또는 멜 스펙트로그램의 일련의 구성에 대응하는 수면 상태 정보를 출력할 수 있다.
한편, 본 발명의 실시예에 따른 피처 추출 모델 또는 피처 분류 모델에는 상기 언급된 AI 모델 외에도 다양한 딥러닝 모델이 채용되어 학습 또는 추론을 수행할 수도 있으며, 전술한 딥러닝 모델의 종류와 관련한 구체적 기재는 단순한 예시일 뿐, 본 발명은 이에 제한되는 것은 아니다.
본 발명에 따른 수면 분석 방법의 성능
도 62은 본 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다. 도 63은 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 63에 도시된 바와 같이, 본 발명에 따라 획득된 수면 분석 결과는 수면다원검사와 매우 일치할 뿐만 아니라, 오히려 수면단계(Wake, Light, Deep, REM)와 관련한 더욱 정밀하고도 유의미한 정보를 포함한다.
도 62의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 수면 음향 정보를 입력받아 수면단계를 예측할 때, 30초 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어디에 속하는지에 대한 확률을 나타낸다. 여기서 4개의 클래스는 각각 깨어 있는 상태, 가볍게 잠이 든 상태, 깊게 잠이 든 상태, REM 수면 상태를 의미한다.
도 64는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.
도 64의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 수면 음향 정보를 입력받아서 수면 질환을 예측할 때, 30초 단위로 2개의 질환(수면 무호흡증, 호흡저하) 중 어디에 속하는지에 대한 확률을 나타낸다. 본 발명에 따른 수면 분석을 이용하면, 도 64에 도시된 바와 같이, 본 발명에 따라 획득된 수면 상태 정보는 수면다원검사와 매우 일치할 뿐만 아니라, 무호흡증과 호흡저하와 관련한 더욱 정밀한 분석 정보를 포함한다.
본 발명은 사용자의 수면 분석을 실시간으로 분석하면서 수면장애(수면무호흡, 수면과호흡, 수면저호흡)가 발생한 지점을 파악할 수 있다. 수면장애가 발생한 순간 사용자에게 자극(촉각적, 자극 청각적 자극, 후각적 자극 등)을 제공하면, 수면장애가 일시적으로 완화될 수 있다. 즉, 본 발명은 수면장애와 관련한 정확한 이벤트탐지를 바탕으로 사용자의 수면장애를 중단시키고, 수면장애의 빈도를 감소시킬 수 있다.
수면에 관한 용품
본 발명의 실시예들에 따른 수면에 관한 용품은, 요커버, 패드, 매트리스, 요가 매트리스, 라텍스 매트리스, 매트리스 쿨러, 매트리스 커버, 침대 스커트, 홑이불, 차렵이불, 누비이불, 담요, 전기 담요, 웨이트 담요, 이불커버, 베개, 메모리 폼 베개, 스마트 베개, 진동 베개, 바디 필로우, 베개커버, 잠옷, 속옷, 허리벨트, 레깅스, 수면로브, 수면양말, 수면모자, 안대, 귀마개, 방음 이어플러그, 이어폰, 슬리퍼, 침실용 장식품, 침대 트레이, 침대 프레임, 침대 캐노피, 침대 헤드보드, 침대 밑 수납함, 음압 침실 시스템, 스트레스 볼, 장난감, 인형, 텐트, 아기 텐트, 여행용 수면 키트, 커튼, 스마트 블라인드, 침대 옆 테이블, 스낵 패드, 수면용 렌즈, 액세서리, 코털 제거 스트립 등의 용품을 포함할 수 있다.
또한, 본 발명의 실시예들에 따른 수면에 관한 용품은, 아로마, 디퓨저, 테라피 디퓨저, 수면 스프레이, 건조한 입을 위한 스프레이, 베개 스프레이, 베개 미스트, 에어 스프레이, 에센셜 오일, 양초, 향수, 화장품, 욕실용품(세정용품), 세탁용품, 섬유유연제, 섬유유연제 시트, 로션, 스킨, 수면팩, 마스크팩 등에 관한 용품을 포함할 수 있다.
또한, 본 발명의 실시예들에 따른 수면에 관한 용품은, 영양제, 일반적인 식품, 건강기능식품, 특수영양식품, 특수의료용도식품, 의약품, 수면보조제, 식품 첨가물, 음료, 차(tea), 디카페인 음료, 슬리피 타임 티, 등 사용자가 섭취할 수 있는 것을 포함할 수 있다.
또한, 본 발명의 실시예들에 따른 수면에 관한 용품은, 식기류, 인테리어 건축자재, 욕조, 건축부재, 차음패널, 전자기기, 온도조절장치, 알람시계, 음이온 발생기, 가습기, 제습기, 공기청정기, 공기조화기, 운동기구, 요가볼, 낮잠용 의자, 가전제품, 모바일 기기, 웨어러블 디바이스, 조명장치, 음향장치, 음악 CD, 음악 플레이어, 침대 옆 전자장치를 제어하는 스마트 플러그, 백색소음용 장치, 애완동물용 용품, 빔 프로젝터, 천장 별 프로젝터, 양압기, 수면 장애 치료기기, 야간 약물 디스펜서, 등을 포함할 수 있다.
또한, 본 발명의 실시예들에 따른 수면에 관한 용품은, 수면 트래커 등, 수면을 측정하기 위한 애플리케이션을 포함할 수도 있다. 또는, 수면 상담용 애플리케이션 또는 수면 상담 서비스, 수면 장애를 완화하기 위한 정보를 제공하는 물품, 아이의 수면을 보조해주는 물품 등을 포함할 수도 있다.
또한, 본 발명의 실시예들에 따른 수면에 관한 용품은, 텍스트 정보, 음향 정보, 시각적 정보 중 적어도 하나 이상을 포함하는 심상 유도 정보, 또는 심상 유도 정보를 제공하기 위한 장치/애플리케이션을 포함할 수 있다.
수면에 관한 용품 검증 장치 및 방법
도 65(b)는 본 발명에 따른 수면에 관한 용품 검증방법을 나타내는 흐름도이다.
본 발명에 따른 수면에 관한 용품 검증방법에 따르면, 검증 대상인 수면에 관한 용품이 수면의 질에 미치는 영향을 검증할 수 있다. 즉, 검증 대상인 수면에 관한 용품을 사용하고 입면한 사용자의 수면정보를 분석하여, 사용자의 입면 지연시간(sleep latency)이 감소되었는지, 수면질환이 개선되었는지, 안정적이고 깊은 수면을 취했는지를 객관적으로 확인하고 분석할 수 있게 된다. 여기서, 본 발명의 실시예들에 따른 다양한 수면에 관한 용품을 사용하는 경우, 입면 전에 해당 용품을 사용하는 것뿐만 아니라, 용품의 종류에 따라 수면 중, 기상 시점, 또는 기상 이후에도 사용하는 것을 상정할 수 있다.
본 발명에 따른 수면에 관한 용품 검증방법은, 도 65(b)에 도시된 바와 같이, 소정의 수면에 관한 용품을 사용한 사용자의 수면 정보를 습득하는 단계(S710), 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계(S720), 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나에 기초하여 소정의 수면에 관한 용품에 대한 검증 지표를 생성하는 단계(S730), 및 상기 검증 지표에 기초하여 소정의 수면에 관한 용품이 수면에 미치는 영향을 검증하는 단계(S740)를 포함한다.
여기서, 사용자의 수면 정보를 습득하는 단계(S710)에서 하나 이상의 센서 장치로부터 사용자의 수면 정보가 습득될 수 있다.
또한, 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계(S720)는, 수면 정보를 입력으로 학습된 추론모델을 생성하는 단계, 및 상기 사용자의 수면 정보를 상기 추론모델에 입력하여 상기 수면 상태 정보를 결과값으로 추출하는 단계를 포함할 수 있다.
먼저, 사용자는 수면에 들기 전 소정의 수면에 관한 용품을 사용한다. 소정의 수면에 관한 용품은 수면에 대한 영향을 검증하는 대상이 된다. 본 발명의 일 실시예에 따르면, 수면에 관한 용품을 검증하기 위한 지표를 생성하기 위해서, 사용자에게 수면에 관한 용품을 임의로 추천 또는 제안함으로써, 해당 수면에 관한 용품을 사용하도록 할 수 있다. 사용자는 추천 또는 제안받은 수면에 관한 용품을 사용하게 되고, 그에 따라 검증 지표를 생성할 수도 있다.
사용자단말로부터 수면에 관한 용품을 사용하는 사용자와 관련된 수면 정보 또는 환경 센싱 정보를 수신한다. 수면 정보 또는 환경 센싱 정보에 대해서는 위에서 상세히 설명한 바와 같다.
이후, 환경 센싱 정보에 기초하여 사용자의 수면 상태 정보 및 수면 단계 정보가 획득된다. 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함하며, 사용자가 수면 전이라는 제1수면 상태 정보, 사용자가 수면 중이라는 제2수면 상태 정보 및 사용자가 수면 후라는 제3수면 상태 정보 중 적어도 하나를 포함할 수 있다. 이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득되며, 환경 센싱 정보는 사용자단말에 의하여 비접촉 방식으로 획득된다. 수면 단계 정보 역시 환경 센싱 정보에 기초하여 추출될 수 있고, 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있지만, 이에 한정되지 않는다. 수면 단계 분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
이후, 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 이용하여 상기 소정의 수면에 관한 용품에 대한 검증 지표를 생성할 수 있다. 본 발명의 실시예들에 따른 소정의 수면에 관한 용품에 대한 검증 지표는 룩업테이블일 수도 있고, 수면에 대한 분석을 수치적으로 기록한 스코어일 수도 있다.
도 71a는 수면에 관한 용품에 대한 검증 지표가 스코어로 표시되는 경우를 설명하기 위한 표이다. 도 71b 및 도 71c는 본 발명의 일 실시예에 따라 수면에 관한 용품에 대한 검증 지표가 사용자의 수면에 관한 수치적인 평가로 표시되는 경우를 설명하기 위한 예시도이다.
본 발명의 실시예들에 따르면 검증 지표가 스코어인 경우에는 도 71a에 도시된 표와 같이 표시될 수도 있고, 도 71b 및 도 71c에 도시된 바와 같이, 수치적인 수면 평가를 포함하는 그래픽 사용자 인터페이스를 통해 제공될 수 있으나, 도 71a 내지 도 71c에 도시된 구체적인 수치, 표의 형태, 또는 그래픽 사용자 인터페이스 화면의 표시방식은 본 발명을 설명하기 위한 단순한 예시일 뿐, 본 발명은 이에 한정되는 것은 아니다.
또는, 도 73에 도시된 표와 같이 룩업테이블로 수면에 관한 용품의 검증 지표를 생성할 수 있고, 여기에 Excellent는 5점, Good에는 4점… 등의 가중치 또는 스코어를 부여함으로써 이러한 룩업테이블을 기초로 하여 수치적인 지표를 산출할 수도 있다. 상술한 점수에 대한 구체적인 수치는 단순한 예시일 뿐, 이에 한정되지는 않는다.
이하 본 발명의 실시예에 따른 검증 지표가 수면에 대한 분석을 수치적으로 기록한 스코어인 경우를 자세히 설명한다.
본 발명의 일 실시예에 따르면, 소정의 수면에 관한 용품을 사용한 사용자의 입면 지연 시간, 입면 시점, 기상 시점, 사용자의 총 수면 시간, 및 사용자의 수면 단계 별 수면 시간 중 적어도 하나 이상에 기초하여 검증 지표의 일종인 수면 스코어를 산출할 수 있다. 사용자의 총 수면시간은 취침 시각과 기상 시각의 시간의 차이의 절대값일 수 있다. 사용자의 수면 단계 별 수면시간은 측정된 사용자의 수면단계(예컨대, 깸, 깊은잠, 얕은잠, 렘수면 등)의 비율 또는 시간으로 나타날 수 있다.
본 발명의 일 실시예에 따르면, 수면 스코어는 100점을 최고점으로 하는 수면의 종합 점수로서 수면에 대한 수치적인 평가일 수 있다. 수면 스코어는 기 설정된 수면 스코어 산정 공식에 의해 계산될 수 있다.
예컨대, 수면 단계(예컨대, 렘수면, 깊은잠, 얕은잠, 깸 등)마다 대응되는 점수를 부여하고, 기 설정된 수면 스코어 산정 공식에 대입하여 최종 점수를 얻을 수 있고, 최종 점수를 득점 가능한 최고점수로 나누어 100을 곱한 값이 수면 종합 점수가 될 수 있다. 수면 스코어를 점수로서 평가를 제공함으로써, 수면에 대하여 직관적인 평가를 제공할 수 있다.
본 발명에 따라 수면에 관한 용품을 사용한 사용자의 수면 스코어가 높은 경우에, 수면에 관한 해당 용품이 사용자의 수면 경험에 좋은 영향을 주었다고 해석될 수 있다. 반면에 수면 스코어가 낮은 경우에는, 사용자의 수면 경험에 좋은 영향을 주지 못했다고 해석될 수도 있다.
한편, 본 발명의 일 실시예에 따라, 사용자의 주관적인 판단 지표에 기초하여 수면에 관한 용품의 검증 지표를 생성하는 방법이 제공될 수 있다. 또는, 본 발명의 일 실시예에 따르면, 사용자의 주관적인 판단 지표 및, 상술한 수치적인 지표에 기초하여 수면에 관한 용품의 검증 지표를 생성할 수도 있다.
본 발명의 일 실시예에 따라 사용자의 주관적인 판단 지표에 기초하여 수면에 관한 용품의 검증 지표를 생성하는 방법은, 사용자의 주관적인 판단 지표에 대한 문자열 값 또는 수치 값을 입력받는 경우, 그를 기초로 검증 지표를 생성하는 방법을 포함할 수도 있다. 예컨대, excellent라는 문자열 값을 입력받는 경우에, 해당 수면에 관한 용품에 대하여 긍정적인 검증 지표를 생성할 수 있다. 한편, 상술한 문자열 값에 대한 구체적인 기재는 단순히 예시일 뿐, 이에 한정되는 것은 아니다.
또한, 본 발명의 일 실시예에 따라 사용자의 주관적 판단을 입력받는 경우에는 위와 같이 문자열 값 또는 수치 값을 입력받는 것 외에도, 다양한 입력작용으로 입력받을 수 있다.
도 74는 본 발명의 일 실시예에 따라 주관적인 판단 지표를 산출하기 위하여 사용자의 입력작용을 받기 위한 그래픽 사용자 인터페이스를 나타낸 도면이다.
예컨대, 도 74에 도시된 바와 같이, 사용자가 디스플레이상에 표시된 주관 지표의 입력화면을 스와이프하는 방식으로 주관적 판단을 입력할 수 있다. 도 74에 도시된 바와 같이 입력화면에 슬라이더를 포함하는 그래픽 사용자 인터페이스가 표시되면, 사용자가 슬라이더의 바를 좌우로 움직임으로써 해당 수면에 관한 용품을 사용하고 경험하였던 주관적 판단을 입력할 수도 있다. 한편, 상하로 움직일 수 있는 슬라이더 바를 포함하는 그래픽 사용자 인터페이스가 제공될 수 있으며, 슬라이더의 형태는 도 74에 도시된 형태로 제한되지는 않는다. 사용자의 입력작용은 그 외에 다양한 예시들이 존재할 수 있다.
한편, 본 발명에 따른 수면에 관한 용품 검증방법은 동일한 검증대상 수면에 관한 용품에 대하여 복수의 사용자에 의하여 사용될 수도 있다. 이 경우, 복수의 사용자로부터 수신된 환경 센싱 정보에 기초하여 각 사용자의 수면 상태 정보 및 수면 단계 정보가 도출된 뒤, 도 72에 도시된 표와 같이 복수 사용자에 대한 검증 지표가 생성될 수 있다.
다수의 사용자에 의하여 확인된 [표 7]의 검증 지표에 기초하여, 검증대상 수면에 관한 용품은 입면지연시간을 감소시키는 데 효과가 있음을 확인할 수 있고, 따라서, 입면 지연 시간이 상대적으로 큰 사용자에 대한 추천 수면에 관한 용품으로 선택되어 사용자에 추천될 수 있다.
상술한 과정을 통하여, 다수 수면에 관한 용품에 대한 다수 사용자의 수면평가 통계를 획득할 수 있고, 도 73에 도시된 표와 같은 룩업테이블을 획득할 수 있으며, 이는 아래에서 설명할 수면에 관한 용품 추천방법에서 추천되는 수면에 관한 용품 룩업테이블을 생성하는 데 이용될 수 있다.
이때, 수면에 관한 용품은 종류에 따른 구분일 수도 있고, 여성형/남성형 등 사용대상에 따른 구분일 수도 있으며, 라벤더향, 로즈메리향 등의 향기에 따른 구분일 수도 있다. 물론, 또 다른 실시예에서는 위와 상이한 방식으로 수면에 관한 용품 타입이 설정될 수도 있다.
수면에 관한 용품 추천 장치 및 방법
도 65a는 본 발명에 따른 수면에 관한 용품 추천방법을 나타내는 흐름도이다.
본 발명에 따른 수면에 관한 용품 추천방법은, 도 65a에 도시된 바와 같이, 사용자의 수면 정보를 습득하는 단계(S610), 사용자의 수면 정보에 기초하여 사용자의 수면 지표를 산출하는 단계(S620), 사용자의 수면 지표에 기초하여 수면에 관한 용품 추천 정보를 생성하는 단계(S630), 및 수면에 관한 용품 추천 정보를 제공하는 단계(S640)를 포함한다.
여기서, 사용자의 수면 정보를 습득하는 단계(S610)에서 하나 이상의 센서 장치로부터 사용자의 수면 정보가 습득될 수 있다.
사용자의 수면 지표를 산출하는 단계는, 위에서 상세히 설명한 수면 상태 정보 및 수면 단계 정보에 기초하여 이루어질 수 있다.
다시, 간략히 언급하면, 수면 상태 정보는 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함하며, 사용자가 수면 전이라는 제1수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3수면 상태 정보 중 적어도 하나를 포함할 수 있다.
이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득되며, 환경 센싱 정보는 사용자단말에 의하여 비접촉 방식으로 획득된다. 수면 단계 정보 역시 환경 센싱 정보에 기초하여 추출될 수 있고, 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있지만, 이에 한정되지 않는다. 수면 단계 분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
본 발명의 실시예들에 따르면, 사용자의 수면 상태 정보에 기초하여 산출된 수면 지표와, 앞서 설명한 수면에 관한 용품의 검증 지표를 비교하여, 수면에 관한 용품에 대한 추천이 이루어질 수 있다. 이 경우, 수면에 관한 다양한 용품들의 검증 지표를 바탕으로, 해당 검증 지표들을 상호 비교하여, 사용자의 수면 지표에 적합하다고 판단되는 검증 지표를 갖는 수면에 관한 용품의 추천이 이루어질 수 있다.
도 68 내지 도69는 수면 지표에 대응하여 추천되는 수면에 관한 용품 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
한편, 수면에 관한 용품 정보를 생성하는 단계는, 수면 지표에 대응하는 수면에 관한 용품 정보가 기록된 룩업테이블에 기초하여, 추천되는 수면에 관한 용품 정보를 생성할 수 있다. 룩업테이블은 도 17 내지 도 19에 도시된 표와 같이 구성될 수 있으나, 이는 어디까지나 실시예에 불과하고, 다양한 방식의 룩업테이블로 구성될 수도 있다.
이때, 수면에 관한 용품 추천방법은 수면에 관한 용품 추천모델을 생성하고, 이에 기초하여 수면에 관한 용품 정보를 생성할 수 있다. 이때, 수면에 관한 용품 추천모델은 위에서 설명한 학습방법에 의해서 생성될 수 있으며, 학습모델의 입력층에 입력되는 수면 지표는 수면 상태 정보 및 수면 단계 정보에 기초하여 획득되는 정보일 수 있다. 구체적으로, 입력되는 수면 지표는 제1내지 제n 수면 상태 정보, NREM(non-REM) 수면, REM(Rapid eye movement), Light, Deep의 2단계 혹은 N1 내지 N4의 4단계)의 수면 단계 정보일 수 있다. 또한, 입력되는 수면 지표는 수면 상태 정보와 수면 단계 정보로부터 추출될 수 있는 입면 지연 시간, 평균 수면 시간, REM 수면 주기, NREM 수면 패턴, 코골이 유무, 수면 질환 유무 등일 수 있다.
본 발명의 일 실시 형태에 따르면, 입면 지연 시간은 사용자의 수면 의도 시점과 실제 입면한 시간에 기초하여 추출될 수 있고, 평균 수면 시간은 사용자의 입면 시점과 기상 시점에 기초하여 추출될 수 있으며, REM 수면 주기 및 비율은 수면 단계 정보에 기초하여 추출될 수 있고, NREM 수면 패턴은 LIGHT/DEEP 슬립의 패턴, 주기, 시간에 기초하거나, N1 내지 N4 슬립의 패턴, 주기, 시간에 기초하여 추출될 수 있을 것이다.
예컨대, 사용자의 수면 상태 정보에 기초하여 렘 수면 비율이 상대적으로 낮다는 수면 지표가 산출되는 경우, 수면에 관한 용품들 중 렘 수면의 비율을 높여주는 데 도움이 된다고 판단된 검증 지표를 갖는 용품을 해당 사용자에게 추천하는 방법이 이루어질 수 있다.
또는, 사용자의 수면 상태 정보에 기초하여 입면 지연 시간이 상대적으로 길다는 수면 지표가 산출되는 경우, 수면에 관한 용품들 중 입면 지연 시간을 단축시키는 데 도움이 된다고 판단된 검증 지표를 갖는 용품을 해당 사용자에게 추천하는 방법이 이루어질 수도 있다. 상술한 수면 지표에 대한 서술은 본 발명의 이해를 돕기 위한 예시일 뿐, 본 발명은 이에 한정되는 것은 아니며, 다양한 경우를 상정할 수 있다.
도 70a는 수면에 관한 용품이 조성물인 경우에 조성 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
본 발명의 실시예들에 따라, 추천되는 수면에 관한 용품이 디퓨저, 양초, 향수, 화장품, 욕실용품(세정용품), 세탁용품, 섬유유연제, 섬유유연제 시트, 로션, 스킨, 수면팩, 마스크팩 등 향기 또는 미용에 관한 조성물이거나, 또는 영양제, 일반적인 식품, 건강기능식품, 특수영양식품, 특수의료용도식품, 의약품, 식품 첨가물, 등 사용자가 섭취할 수 있는 조성물인 경우에는, 도 70a의 표로 도시된 바와 같이, 수면에 관한 용품의 조성(조성물1 내지 6) 중에서 하나의 조성물을 선택한 것으로 제조될 수 있다. 다만, 도 70a의 조성 및 조성물은 어디까지나 실시예일뿐, 다양한 조성 및 조성물이 이용될 수 있다.
도 70b은 수면에 관한 용품이 섬유 성분으로 이루어지는 경우에 섬유 성분 정보가 기록된 룩업테이블을 설명하기 위한 표이다.
본 발명의 실시예들에 따라, 추천되는 수면에 관한 용품이 요커버, 패드, 매트리스, 매트리스 커버, 홑이불, 차렵이불, 누비이불, 이불커버, 베개, 베개커버, 잠옷, 수면양말, 수면모자, 안대 등의 용품인 경우에는, 도 21의 표로 도시된 바와 같이, 수면에 관한 용품의 섬유 성분(제품 1 내지 6) 중에서 하나의 제품을 선택한 것으로 제조될 수 있다. 다만, 도 21의 섬유 성분 및 제품은 어디까지나 실시예일뿐, 다양한 섬유 성분 및 제품이 이용될 수 있다.
한편, 본 발명의 실시예들에 따르면, 수면에 관한 용품이 요커버, 패드, 매트리스, 매트리스 커버, 홑이불, 차렵이불, 누비이불, 이불커버, 베개, 베개커버, 잠옷, 수면양말, 수면모자, 안대 등의 용품인 경우에 해당 용품의 섬유 성분은 종자섬유(면, 케이폭 코이어 등), 인피섬유(린넨, 모시, 라미, 삼베, 헴프, 황마, 케냐프 등), 엽맥섬유(사이잘마, 마닐라마 등), 동물성 섬유(실크 등의 견섬유, 양모, 캐시미어, 앙고라, 모헤어, 알파카 등 모섬유), 광물성 섬유 등 천연섬유를 포함할 수도 있다.
또한, 본 발명의 실시예들에 따르면, 수면에 관한 용품의 섬유 성분은 합성섬유(나일론, 폴리에스터, 아크릴, 모다크릴, 폴리우레탄, 비닐론, 폴리올레핀, 비닐리덴, 폴리염화비닐, 아라미드, 폴리벤지이미다졸, 폴리벤조옥사졸, 폴리카보네이트, 폴리이미드 등), 재생섬유(레이온, 재생 단백질 섬유), 반합성섬유(아세테이트, 트리아세테이트 등)중 적어도 하나 이상을 포함할 수도 있다.
추천되는 수면에 관한 용품 정보를 디스플레이하는 단계는 사용자 단말(10)에서 이루어지거나, 수면에 관한 용품 추천장치에 구비된 표시수단에서 이루어질 수 있다. 구체적으로, 본 발명에 따른 수면에 관한 용품 추천방법이 모두 사용자단말에서 이루어지는 경우 수면에 관한 용품 추천정보의 생성과 추천정보의 표시가 사용자단말에서 수행될 수 있다. 또한, 다른 실시예에서는, 수면에 관한 용품 추천방법 중 추천정보의 생성은 수면에 관한 용품 추천장치(별도의 장치, 서버, 클라우드)에서 이루어지고, 사용자단말을 통해서 추천정보가 표시되는 것으로 구현될 수도 있다.
특히, 추천되는 수면에 관한 용품은 앞서 상세하게 서술한 수면에 관한 용품 검증장치 및 방법에 의하여 검증 지표가 생성된 수면에 관한 용품일 수 있다. 즉, 수면에 관한 용품 추천을 위한 상기의 룩업테이블은 수면에 관한 용품 검증장치 및 방법에 의하여 도출된 수면에 관한 용품별 검증 지표에 기초하여 생성될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 수면에 관한 용품에 대한 추천을 하는 방법에 있어서, 사용자의 입력작용 등에 따른 추천 방법이 제공될 수 있다. 여기서 사용자의 입력작용은 스와이프를 통해 수면에 관한 용품을 체크하는 방식, 사용자가 선호하는 키워드를 입력하는 방식, 또는 사용자가 선호하는 키워드를 선택하는 방식을 포함할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 사용자가 수면에 관한 용품을 추천하는 장치 등, 전자 장치의 디스플레이에 표시된 다양한 용품들을 스와이프 하는 과정에서 사용자가 좋은 기억을 가지고 있는 용품에 대하여 체크하는 방식을 포함할 수도 있다.
또는, 수면에 관한 용품을 스와이프하는 과정에서, 사용자가 해당 용품에 대한 컨텐츠에 체류하는 시간이 상대적으로 길다면, 해당 용품을 사용자가 선호하는 것으로 인식할 수 있다.
본 발명의 일 실시예에 따르면, 수면에 관한 용품을 추천하는 장치 등의 전자장치가 “사용하기에 편했던 용품을 입력하시오” 또는, “선호하는 용품에 대한 키워드를 입력하시오”라는 질문을 하는 경우, 사용자가 입력하는 텍스트 정보 또는 키워드 정보에 기초하여 수면에 관한 용품을 추천하는 방법이 제공될 수도 있다.
한편, 본 발명의 일 실시예에 따르면, 수면에 관한 용품을 추천하는 장치 등, 전자 장치가 사용자에게 “당신이 흥미로워하는 키워드를 선택하시오”라는 질문을 하는 경우, 사용자가 선택하는 텍스트 정보 또는 키워드 정보에 기초하여 수면에 관한 용품을 추천하는 방법이 제공될 수도 있다.
한편, 본 발명의 실시예들에 따르면, 기존에 존재하였던 통계자료에 근거하여, 상대적으로 선호도가 높은 수면에 관한 용품을 추천하는 방법이 제공될 수 있다. 또한, 이 경우 상대적으로 선호도가 높으면서도, 해당 용품의 검증 지표가 사용자의 수면 지표에 적절하다고 판단되는 용품을 추천하는 방법이 제공될 수 있다.
또는, 본 발명의 실시예들에 따르면, 본 발명에 따른 수면에 관한 용품 검증 방법 및/또는 추천 방법을 통해서 수요자층 별 속성에 따른 통계가 생성되고, 그에 비추어 수면에 관한 용품을 추천하는 방법이 제공될 수도 있다. 여기서 수요자층 별 속성이란, 성별, 연령대, 직업군, 사는 지역, 인종, 반려동물의 유무 등 다양한 속성 또는 환경적/비환경적 요소를 포함할 수 있다.
예를 들어, 본 발명에 따라 20대 남성의 수요자층에 수면에 관한 용품을 추천하는 결과, 소정의 용품의 선호도가 높았다거나, 수면의 질을 향상시키는 경우가 높았다는 등의 사정이 존재한다면, 20대 남성의 수요자층에는 해당 용품을 우선적으로 추천하는 방법이 제공될 수도 있다. 상술한 연령 및 성별은 본 발명을 이해하기 위한 예시일 뿐, 본 발명은 이에 제한되는 것은 아니며, 수요자층 별 속성은 다양한 속성 또는 환경적/비환경적 요소를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따르면 사용자의 수면 상태 정보에 기초하여 산출된 수면 지표와, 앞서 설명한 수면에 관한 용품의 검증 지표를 비교하는 한편, 사용자가 선호하는 용품에 관련한 주관적인 지표를 더 고려할 수 있다. 이 경우, 수면 지표와 검증 지표간의 비교에 대한 가중치와, 주관적인 지표에 대한 가중치를 0부터 1까지의 비율로서 적절하게 분배함으로써 수면에 관한 용품의 추천이 이루어질 수 있다.
예를 들어, 수면 지표와 검증 지표간의 비교에 대한 가중치가 1이고, 주관적인 지표에 대한 가중치가 0인 경우, 수면 지표와 검증 지표의 비교만으로 수면에 관한 용품에 대한 추천이 이루어질 수 있다. 반면, 수면 지표와 검증 지표간의 비교에 대한 가중치가 0.5이고, 주관적인 지표에 대한 가중치가 0.5인 경우, 수면 지표와 검증 지표간의 비교 및 주관적인 지표를 모두 고려하여 수면에 관한 용품에 대한 추천이 이루어질 수 있다. 또한, 수면 지표와 검증 지표간의 비교에 대한 가중치가 0이고, 주관적인 지표에 대한 가중치가 1인 경우에는 주관적인 지표만으로 수면에 관한 용품에 대한 추천이 이루어질 수 있다. 상술한 가중치에 대한 구체적인 수치는 단순한 예시일 뿐, 본 발명은 이에 제한되지는 않는다.
상술한 수면에 관한 용품 추천방법과 수면에 관한 용품 검증방법을 조합하면 아래의 단계로 정리될 수 있을 것이다.
(제1단계) 사용자가 수면에 관한 용품을 사용한다
(제2단계) 사용자의 수면 지표를 측정한다.
(제3단계) 사용된 수면에 관한 용품에 대한 수면 지표를 기록 및 수집한다.
(제4단계) 사용된 수면에 관한 용품이 사용자의 수면에 미치는 평가를 산출한다.
(제5단계) 다수의 수면에 관한 용품에 대한 다수 사용자의 수면평가 통계를 획득한다.
(제6단계) 사용자별 수면 지표 및 수면에 관한 용품의 검증 지표에 기초하여, 수면에 관한 용품을 추천한다.
한편, 위 단계들로 정리한 내용은 본 발명의 일 실시예일 뿐, 이에 한정되는 것은 아니며, 앞서 서술한 본 발명의 상세한 설명에 비추어 통상의 기술자가 쉽게 생각해낼 수 있는 한, 하나 이상의 단계를 추가하거나, 변경, 또는 삭제할 수도 있다. 예컨대, 수면에 관한 용품을 추천하는 단계에서, 사용자의 입력작용을 고려하여 수면에 관한 용품을 추천하는 방법이 제공될 수도 있고, 또는, 다수의 수면에 관한 용품에 대한 다수 사용자의 수면평가 통계가 아니라, 수면에 관한 용품을 사용한 개인의 수면 지표만을 고려하여 수면에 관한 용품을 추천하는 방법이 제공될 수도 있다.
즉, 본 발명에 의하면, 사용자단말로부터 추출된 환경 센싱 정보에 기초하여 추출된 수면 상태 정보 및 수면 단계 정보를 수면에 관한 용품 검증에 이용하기 때문에, 수면에 대한 영향과 관련한 수면에 관한 용품 검증의 객관성과 신뢰성을 담보할 수 있게 된다. 또한, 객관성과 신뢰성을 갖는 검증 지표에 기초하여, 수면에 관한 용품을 추천함으로써 사용자의 수면을 유도하고, 수면질환을 방지하는 동시에 수면의 질을 향상시킬 수 있게 된다.
화장품 추천장치 내용
도 13은 본 발명의 일 실시예와 관련된 자동 수면 측정 모드를 통해 수면 상태 정보를 획득하는 과정을 예시적으로 나타낸 순서도이다. 도 13에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
일 실시예에 따르면, 제1센서부를 통해 일 공간내에서 사용자의 움직임이 발생하는 것을 감지할 수 있다(S110). 제1 센서부는 PIR센서 및 초음파 센서 중 적어도 하나를 포함하여 구비될 수 있다. PIR 센서는 사용자의 신체에서 방출되는 적외선의 변화량을 감지하여 감지 범위 안에서 사용자의 움직임을 감지할 수 있다. 예컨대, PIR 센서는 사용자의 신체에 방출되는 8㎛~14㎛ 의 적외선을 식별하여 침실 내에서의 사용자의 움직임을 감지할 수 있다. 초음파 센서는 음파를 발생시키고, 특정 객체에 반사되어 돌아오는 신호를 감지하여 객체의 움직임을 감지할 수 있다. 예를 들어, 초음파 센서는 침실 공간내에 음파를 발생시키고, 사용자가 침실 내부로 들어옴에 따라 사용자의 신체에 반사되는 음파를 통해 침실 내부에 사용자의 움직임이 발생한 것을 감지할 수 있다.
일 실시예에 따르면, 제2 센서부를 통해 사용자가 기 설정된 영역에 위치한 것을 식별할 수 있다(S120). 제2 센서부는 송신된 무선 신호를 수신하고, 수신한 무선 신호에 기초하여 기 설정된 영역에 사용자가 위치하였는지 여부를 감지할 수 있다. 실시예에서, 기 설정된 영역은, 일 공간 내에 위치한 영역 중 사용자가 수면을 취하기 위해 눕는 영역에 관련한 것으로, 예컨대, 침대가 구비된 영역을 의미할 수 있다. 구체적인 예를 들어, 본 발명에서 일 공간은, 침실 내부 공간을 의미할 수 있으며, 기 설정된 영역은 침대가 위치한 공간을 의미할 수 있다.
실시예에서, 제2 센서부는 기 설정된 영역을 기준으로 송신 모듈과 서로 대향하는 위치에 구비되는 것을 특징으로 할 수 있다. 예를 들어, 송신 모듈 및 제2센서부는 사용자가 수면을 취하는 침대를 중심으로 양측면 각각에 구비될 수 있다. 이 경우, 본 발명의 화장품 추천장치/화장품 검증장치는 송신 모듈 및 수신 모듈을 통해 송신 및 수신되는 wifi 기반 OFDM 신호에 기반하여 사용자가 기 설정된 영역에 위치하였는지 관한 정보 및 사용자의 움직임이나 또는 호흡에 관한 정보인 객체 상태 정보를 획득할 수 있다.
일 실시예에 따르면, 일 공간에 관련한 음향 정보를 수집할 수 있다(S130). 즉, 제1센서부를 통해 일 공간에서 사용자의 움직임이 발생함을 감지하고, 그리고 제2센서부를 통해 기 설정된 영역에 사용자가 움직임을 식별한 경우에 자동으로 일 공간에 관련한 음향 정보를 수집하도록 할 수 있다.
일 실시예에 따르면, 수집된 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다(S140). 음향 정보로부터 식별된 특이점을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 특이점이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점이 식별되는 경우, 해당 특이점 이후 사용자가 수면 중이라고 판단할 수 있다. 또한, 특이점이 식별된 이후, 기 설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.
즉, 음향 정보에서 특이점이 식별되는지 여부 및 특이점이 식별된 이후, 기 설정된 패턴이 지속적으로 감지되는지 여부에 기초하여 사용자가 수면 전인지, 중인지, 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있다.
또한, 실시예에서, 수면 음향 정보에 기초하여 스펙트로그램을 획득할 수 있다. 이 경우, 스펙트로그램으로의 변환은 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 분석하도록 하기 위함일 수 있다. 또한, 피처 추출 모델 및 피처 분류 모델을 포함하여 구성되는 수면 분석 모델을 활용하여 획득한 스펙트로그램에 기초한 수면 단계 정보를 생성할 수 있다. 이 경우, 수면 분석 모델은 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 하여 수면 단계 예측을 수행할 수 있으므로, 보다 정확도 있는 수면 단계 정보를 출력할 수 있다.
화장품 추천장치 및 방법
도 75는 본 발명의 일 실시예에 따른 화장품 추천 방법을 설명하기 위한 블록도이다.
본 발명에 따른 화장품 추천방법에 따르면, 추천되는 화장품을 수면 전에 사용할 경우, 심신이 안정되고, 입면 지연시간(sleep latency)을 감소시키고, 수면효율(sleep efficiency)을 향상시킬 수 있으며, 이는 수면의 질 향상으로 이어진다.
본 발명에 따른 화장품 추천방법은, 도 75에 도시된 바와 같이, 사용자의 수면 지표를 산출하는 단계(S611), 산출된 수면지표에 대응하는 화장품 정보를 생성하는 단계(S621), 및 상기 생성된 화장품 정보를 디스플레이하는 단계(S631)를 포함한다.
사용자의 수면 지표를 산출하는 단계는, 위에서 상세히 설명한 수면 상태 정보 및 수면 단계 정보에 기초하여 이루어질 수 있다.
다시, 간략히 언급하면, 수면 상태 정보는 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함하며, 사용자가 수면 전이라는 제1 수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다.
이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득되며, 환경 센싱 정보는 사용자단말에 의하여 비접촉 방식으로 획득된다. 수면 단계 정보 역시 환경 센싱 정보에 기초하여 추출될 수 있고, 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있지만, 이에 한정되지 않는다. 수면 단계 분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
한편, 화장품 정보를 생성하는 단계는, 수면지표에 대응하는 화장품 정보가 기록된 룩업테이블에 기초하여, 추천 화장품 정보를 생성할 수 있다. 룩업테이블은 아래의 [표 1] 내지 [표 3]과 같이 구성될 수 있으나, 이는 어디까지나 일 실시예에 불과하고, 다양한 방식의 룩업테이블로 구성될 수 있다.
| 입면지연시간 | 수면질환 유무 | 추천 화장품 |
| 0분~10분 | 유 | 타입A-1 |
| 무 | 타입A-2 | |
| 11분~30분 | 유 | 타입B-1 |
| 무 | 타입B-2 | |
| 31분~1시간 | 유 | 타입C-1 |
| 무 | 타입C-2 | |
| … | … | … |
| 입면지연시간 | 평균수면시간 | 추천 화장품 |
| 0분~10분 | 7시간 이하 | 타입D-1 |
| 7시간 이상 | 타입D-2 | |
| 11분~30분 | 7시간 이하 | 타입E-1 |
| 7시간 이상 | 타입E-2 | |
| 31분~1시간 | 7시간 이하 | 타입F-1 |
| 7시간 이상 | 타입F-2 | |
| … | … | … |
| REM 수면 비율 | 추천 화장품 |
| 10% | 타입G-1 |
| 15% | 타입G-2 |
| 20% | 타입G-3 |
| … | … |
이때, 화장품 추천방법은 화장품 추천모델을 생성하고, 이에 기초하여 화장품 정보를 생성할 수 있다. 이때, 화장품 추천모델은 위에서 설명한 학습방법에 의해서 생성될 수 있으며, 학습모델의 입력층에 입력되는 지표는 수면 상태 정보 및 수면 단계 정보에 기초하여 획득되는 정보일 수 있다. 구체적으로, 입력지표는 제1내지 제n 수면 상태 정보, NREM(non-REM) 수면, REM(Rapid eye movement), Light, Deep의 2단계 혹은 N1 내지 N4의 4단계)의 수면 단계 정보일 수 있다. 또한, 입력지표는 수면 상태 정보와 수면 단계 정보로부터 추출될 수 있는 입면지연시간, 평균 수면 시간, REM 수면 주기, NREM 수면 패턴 등일 수 있다. 입면지연시간은 사용자의 수면 의도 시점과 실제 입면한 시간에 기초하여 추출될 수 있고, 평균 수면 시간은 사용자의 입면 시간과 기상 시간에 기초하여 추출될 수 있으며, REM 수면 주기 및 비율은 수면 단계 정보에 기초하여 추출될 수 있고, NREM 수면 패턴은 LIGHT/DEEP 슬립의 패턴, 주기, 시간에 기초하거나, N1 내지 N4 슬립의 패턴, 주기, 시간에 기초하여 추출될 수 있을 것이다.
여기서, 추천 화장품은 아래의 [표 4]와 같은 화장품 조성(조성물1 내지 6) 중에서 하나의 조성물을 선택하여 통상적인 에멀젼 제조방법인 유화법(emulsification)으로 혼합함으로써 제조할 수 있다. 다만, 아래의 조성물은 어디까지나 하나의 실시예일뿐, 다양한 조성물이 이용될 수 있다. 아울러, 화장품은 로션, 스킨, 수면팩, 마스크팩 등 모든 종류의 화장품이 그 대상이 될 수 있을 것이다.
| 성분 (단위: 중량%) |
조성물1 | 조성물2 | 조성물3 | 조성물4 | 조성물5 | 조성물6 |
| 정제수 | to 100 | to 100 | to 100 | to 100 | to 100 | to 100 |
| 사이클로펜타실록산 | 6.30 | 6.30 | 6.30 | 6.30 | 6.30 | 6.30 |
| 부틸렌글라이콜 | 6.00 | 6.00 | 6.00 | 6.00 | 6.00 | 6.00 |
| 글리세린 | 2.10 | 2.10 | 2.10 | 2.10 | 2.10 | 2.10 |
| 트레할로스 | 2.00 | 2.00 | 2.00 | 2.00 | 2.00 | 2.00 |
| 디메치콘/비닐디메치콘크로스폴리머 | 0.10 | 0.10 | 0.10 | 0.10 | 0.10 | 0.10 |
| 디메치콘올 | 0.20 | 0.20 | 0.20 | 0.20 | 0.20 | 0.20 |
| 디소듐이디티에이 | 0.02 | 0.02 | 0.02 | 0.02 | 0.02 | 0.02 |
| 암모늄아크릴로일디메칠타우레이트/브이피코폴리머 | 0.50 | 0.50 | 0.50 | 0.50 | 0.50 | 0.50 |
| 카보머 | 0.20 | 0.20 | 0.20 | 0.20 | 0.20 | 0.20 |
| 트로메타민 | 0.40 | 0.40 | 0.40 | 0.40 | 0.40 | 0.40 |
| 폴리소르베이트20 | 0.60 | 0.60 | 0.60 | 0.60 | 0.60 | 0.60 |
| 천연유자오일 | 0.50 | 1.00 | 1.50 | 0.50 | - | - |
| 베헤닐 알코올 | 0.50 | 1.00 | 1.50 | - | - | - |
| 호호바 에스터 | 0.50 | 1.50 | 1.50 | - | - | - |
| 하이드로제네이티드C6-14폴리올레핀 | 2.50 | 5.00 | 7.50 | - | - | - |
| 라벤더오일 | - | - | - | - | - | 0.50 |
추천되는 화장품 정보를 디스플레이하는 단계는 사용자단말에서 이루어지거나, 화장품 추천장치에 구비된 표시수단에서 이루어질 수 있다. 구체적으로, 본 발명에 따른 화장품 추천방법이 모두 사용자단말에서 이루어지는 경우 화장품 추천정보의 생성과 추천정보의 표시가 사용자단말에서 수행될 수 있다. 또한, 다른 실시예에서는, 화장품 추천방법 중 추천정보의 생성은 화장품 추천장치(별도의 장치, 서버, 클라우드)에서 이루어지고, 사용자단말을 통해서 추천정보가 표시되는 것으로 구현될 수도 있다.
특히, 추천 화장품은 아래의 화장품 검증장치 및 방법에 의하여 검증지표가 생성된 화장품일 수 있다. 즉, 화장품 추천을 위한 상기의 룩업테이블은 화장품 검증장치 및 방법에 의하여 도출된 화장품별 검증지표에 기초하여 생성될 수 있다.
화장품 검증장치 및 방법
도 76은 본 발명의 일 실시예에 따른 화장품 검증 방법을 설명하기 위한 블록도이다.
본 발명에 따른 화장품 검증방법에 따르면, 검증 대상인 화장품이 수면의 질에 미치는 영향을 검증할 수 있다. 즉, 검증 대상인 화장품을 수면전에 바르고 입면한 사용자의 수면정보를 분석하여, 사용자의 입면 지연시간(sleep latency)이 감소되었는지, 수면질환이 개선되었는지, 안정적이고 깊은 수면을 취했는지를 객관적으로 확인하고 분석할 수 있게 된다.
본 발명에 따른 화장품 검증방법은, 도 76에 도시된 바와 같이, 소정의 화장품을 사용한 사용자의 사용자단말로부터 환경센싱정보를 수신하는 단계(S711), 상기 환경 센싱 정보에 기초하여 상기 사용자의 수면상태정보 및 수면단계정보 중 적어도 하나를 획득하는 단계(S721), 상기 수면상태정보 및 수면단계정보 중 적어도 하나를 이용하여 상기 소정의 화장품에 대한 검증지표를 생성하는 단계(S731), 및 상기 검증지표에 기초하여 상기 소정의 화장품의 수면에 질에 대한 효과를 검증하는 단계(S741)를 포함한다.
이때, 상기 수면상태정보 및 수면단계정보 중 적어도 하나를 획득하는 단계(S721)는, 환경센싱정보를 입력으로 학습된 추론모델을 생성하는 단계, 및 상기 사용자단말로부터 수신된 상기 환경센싱정보를 상기 추론모델에 입력하여 상기 수면상태정보를 결과값으로 추출하는 단계를 포함할 수 있다.
먼저, 사용자는 수면에 들기 전 소정의 화장품을 사용한다. 소정의 화장품은 수면에 대한 영향을 검증하는 대상이 된다. 이후, 사용자의 사용자단말로부터 환경센싱정보를 수신한다. 환경센싱정보에 대해서는 위에서 상세히 설명한 바와 같다.
이후, 환경센싱정보에 기초하여 사용자의 수면상태정보 및 수면단계정보가 획득된다. 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함하며, 사용자가 수면 전이라는 제1수면 상태 정보, 사용자가 수면 중이라는 제2 수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다. 이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득되며, 환경 센싱 정보는 사용자단말에 의하여 비접촉 방식으로 획득된다.
수면 단계 정보 역시 환경 센싱 정보에 기초하여 추출될 수 있고, 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있지만, 이에 한정되지 않는다. 수면 단계 분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다.
이후, 수면상태정보 및 수면단계정보 중 적어도 하나를 이용하여 상기 소정의 화장품에 대한 검증지표를 생성하며, 검증지표는 아래 [표 5]와 같이 스코어로 표시될 수 있으나, 이에 한정되지 않는다.
| 입면지연시간 | 수면무호흡 횟수 | 코골이 시간 | REM수면 비율 | |
| 검증대상 화장품 | -10분 | -5회 | -20분 | 평균+5% |
한편, 본 발명에 따른 화장품 검증방법은 동일한 검증대상 화장품에 대하여 복수의 사용자에 의하여 사용되고, 복수의 사용자로부터 수신된 환경센싱정보에 기초하여 각 사용자의 수면상태정보 및 수면단계정보가 도출된 뒤, 아래 [표 6]과 같이 복수 사용자에 대한 검증지표가 생성될 수 있다.
| 입면지연시간 | 수면무호흡 횟수 | 코골이 시간 | REM수면 비율 | |
| 사용자1 | -10분 | +2회 | -40분 | 평균-4% |
| 사용자2 | -8분 | -7회 | -1시간 | 평균+10% |
| 사용자3 | -5분 | N/A | N/A | 평균-11% |
| 사용자4 | -9분 | N/A | N/A | 평균+8% |
| … | … | … | … | … |
다수의 사용자에 의하여 확인된 [표 6]의 검증지표에 기초하여, 검증대상 화장품은 입면지연시간을 늦추는 데 효과가 있음을 확인할 수 있고, 따라서, 입면지연시간이 상대적으로 큰 사용자에 대한 추천 화장품으로 선택되어 사용자에 추천될 수 있다.
상술한 과정을 통하여, 다수 화장품에 대한 다수 사용자의 수면평가 통계를 획득할 수 있고, 아래의 [표 7]과 같은 룩업테이블을 획득할 수 있으며, 이는 위에서 설명한 화장품 추천방법에 있어서의 추천화장품 룩업테이블을 생성하는 데 이용될 수 있다.
| 화장품 타입 | 입면지연시간 감축 | 수면무호흡 개선 | 코골이 개선 | 수면안정성 향상 |
| 타입A-1 | Excellent | Good | Good | Excellent |
| 타입A-2 | Good | Excellent | Excellent | Good |
| 타입A-3 | Good | Good | Good | Good |
| … | … | … | … | … |
| 타입B-1 | Good | - | - | Good |
| 타입B-2 | - | Excellent | Excellent | - |
| … | … | … | … | … |
이때, 화장품 타입은 로션, 마스크팩 등의 종류에 따른 구분일 수도 있고, 여성형/남성형 등 사용대상에 따른 구분일 수도 있으며, 라벤더향, 로즈메리향 등의 향기에 따른 구분일 수도 있으며, 에멀션, 스킨 등 제형에 따른 구분일 수도 있다. 물론, 다른 실시예에서는 위와 상이한 방식으로 화장품 타입이 설정될 수도 있다.상술한 화장품 추천방법과 화장품 검증방법을 조합하면 아래의 단계로 정리될 수 있을 것이다.
(제1단계) 사용자가 수면 전에 화장품을 사용한다
(제2단계) 사용자의 수면지표를 측정한다.
(제3단계) 사용된 화장품에 대한 수면지표를 기록 및 수집한다.
(제4단계) 사용된 화장품이 사용자의 수면에 미치는 평가를 산출한다.
(제5단계) 다수의 화장품에 대한 다수 사용자의 수면평가 통계를 획득한다.
(제6단계) 사용자별 수면지표에 의한 최적의 화장품을 추천한다.
즉, 본 발명에 의하면, 사용자단말로부터 추출된 환경센싱정보에 기초하여 추출된 수면상태정보 및 수면단계정보를 화장품 검증에 이용하기 때문에, 수면에 대한 영향과 관련한 화장품 검증의 객관성과 신뢰성을 담보할 수 있게 된다. 또한, 객관성과 신뢰성을 갖는 검증지표에 기초하여, 화장품을 추천함으로써 사용자의 수면을 유도하고, 수면질환을 방지하는 동시에 수면의 질을 향상시킬 수 있게 된다.
온수매트
도 77은 수면 환경을 조성하기 위한 온수 매트의 시스템을 나타낸 개념도이다. 도 77에 따른 시스템은 컴퓨팅 장치(100), 사용자 단말(10), 서버(20), 온수 매트(30-1) 및 네트워크를 포함할 수 있다. 한편, 도 78은 수면 환경을 조성하기 위한 온수 매트(30-1)의 또 다른 실시예의 시스템을 나타낸 개념도이다. 도 78에 따른 시스템은 사용자 단말(10), 서버(20), 온수 매트(30-1) 및 네트워크를 포함할 수 있다. 즉, 컴퓨팅 장치(100)의 역할을 온수 매트(30-1)가 직접 수행하는 것을 포함한다.
도 77에 도시된 바와 같이, 본 발명은 컴퓨팅 장치(100), 사용자 단말(10), 서버(20) 및 온수 매트(30-1)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.
본 발명의 일 실시예에 따르면, 사용자 단말(10)은 컴퓨팅 장치(100)와의 정보 교환을 통해 사용자의 수면과 관련한 정보를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 예컨대, 사용자 단말(10)은 자신의 수면 습관에 관련한 정보들을 통해 건강을 증진시키고자 하는 사용자와 관련한 단말일 수 있다.
사용자는 사용자 단말(10)을 통해 자신의 수면에 관련한 모니터링 정보를 획득할 수 있다. 수면에 관련한 모니터링 정보는 예컨대, 사용자가 잠에 든 시점, 잠을 잔 시간, 잠에서 깨어난 시점 등에 관련한 수면 상태 정보 또는, 수면 동안 수면 단계의 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 단계 정보는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 렘 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 단계 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
온수 매트와 스마트폰 연동
도 79는 수면 환경을 조성하기 위한 온수 매트에 따른 AI 기반의 비접촉식 수면 분석 시스템의 구성요소들 간의 동작을 설명하기 위한 구성도이다. 도 79에서 보는 바와 같이, 온수 매트(30-1) 및 스마트폰(900)이 연동하여 사용자의 수면 분석을 수행한다. 온수 매트(30-1)와 스마트폰(900)은 블루투스 등을 통해 페어링되거나, 기타 무선통신 방식으로 서로 연결될 수 있다.
스마트폰(900)은 온수 매트(30-1)로부터 획득되는 사용자의 수면 음향 정보에 기초하여 수면 분석을 수행할 수 있다. 이때, 사용자의 수면 음향 정보는 온수 매트(30-1)로부터 획득되어 스마트폰(900)으로 전달될 수도 있지만, 스마트폰(900)에 내장된 마이크를 통하여 자체 획득될 수도 있다.
즉, 도 79에 도시된 실시예에서, 수면단계 분석은 온수 매트(30-1) 및 스마트폰(900)을 통해 비접촉식 수면단계 분석이 이루어진다. 사용자는 스마트폰(900)에서 도출된 수면단계 분석결과를 스마트폰(900)의 화면을 통해 확인할 수 있다.
본 발명에 따르면, 음향은 방사적인 방향으로 전달되기 때문에, 수면 음향 정보를 이용하는 경우에는 사용자의 위치, 사용자와 온수 매트(30-1)와의 거리나 각도와 무관하게 정보를 수집 및 분석할 수 있는 장점이 있다.
일 실시예에서는, 온수 매트(30-1)가 수면 분석을 위한 입력신호(수면 음향 정보)를 수신할 수 있도록, 온수 매트(30-1)가 사용자에 접촉되지 않은 경우, 사용자로 하여금 온수 매트(30-1)를 사용자에 가깝게 배치할 수 있도록 소정의 신호를 송출할 수 있다. 소정의 신호는 진동, 알람, LED 등일 수 있다.
또한, 온수 매트(30-1)는 다양한 음향정보를 측정하기 위하여, 음향센서를 내부에 포함할 수 있다. 온수 매트(30-1)는 음향정보를 이용하여, 1차 수면 분석을 수행할 수 있다. 온수 매트(30-1)는 스마트폰(900)과 페어링되어, 온수 매트(30-1)가 측정한 정보, 또는 온수 매트(30-1)가 분석된 1차 수면 분석 결과를 스마트폰(900)으로 전달할 수 있다. 이때, 온수 매트(30-1)는 통신 모듈을 포함할 수 있다.
한편, 온수 매트(30-1)는 온도를 조절하기 위한 각종 모듈(온도조절 모듈, 적외선 조사모듈, 쿨링모듈)을 포함할 수 있고, 최종 수면단계 분석 결과에 기초하여 온도가 조절될 수 있다. 이는 사용자의 수면의 질을 향상시킨다. 구체적으로, 온수 매트(30-1)의 온도 조절 실시예에 대해서는 후술한다.
한편, 온수 매트(30-1)는 수면장애 완화 및 개선을 위하여, 진동 모듈 또는 알람 모듈을 포함할 수 있다. 즉, 수면무호흡, 코골이, 수면 과호흡, REM 수면 등이 감지되면, 온수 매트(30-1)의 진동 모듈 또는 알람 모듈을 활성화시켜, 사용자에게 촉각적 혹은 청각적 자극을 전달할 수 있다.
온수 매트의 온도 조절 실시예
도 79는 수면 환경을 조성하기 위한 온수 매트에 따른 AI 기반의 비접촉식 수면 분석 시스템의 구성요소들 간의 동작을 설명하기 위한 구성도이다.
도 79에서 보는 바와 같이, 온수 매트(30-1) 및 스마트폰(900)이 연동하여 사용자의 수면 분석을 수행한다. 온수 매트(30-1)와 스마트폰(900)은 블루투스 등을 통해 페어링되거나, 기타 무선통신 방식으로 서로 연결될 수 있다.
본 발명의 일실시예에 따르면, 상술한 바와 같이, 온수 매트(30-1) 또는 스마트폰(900)은 사용자의 수면 단계를 실시간으로 파악할 수 있다. 이하, 사용자의 서캐디언 리듬(circadian rhythm)과 관련하여 온수 매트의 온도 조절 실시예를 서술한다.
본 발명에 따르면, 사용자의 서캐디언 리듬(circadian rhythm)은 사용자의 24시간 낮과 밤의 변화에 맞추어 모든 생물체의 내부에서 주기적으로 일어나는 생리학적 화학적 행동상의 흐름을 의미할 수 있다. 구체적으로, 사용자의 서캐디언 리듬은 사용자의 심부 체온의 온도가 저녁 시간 대에 가장 높고, 새벽에 수면에서 깨어나기 직전에 가장 낮는 24시간의 주기를 의미할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 서캐디언 리듬에 따라, 사용자의 심부 체온의 온도가 빠르게 하락하게 되는 때에 수면이 시작될 수 있다. 따라서, 온수 매트(30-1) 및 스마트폰(900)이 연동하여 사용자의 수면 분석을 수행할 때, 사용자의 입면 동안 사용자의 수면을 실시간으로 감지하여, 사용자의 입면의 시점에 맞추어 온수 매트(30-1)의 온도를 하강시킬 수 있다.
구체적으로, 본 발명의 일실시예에 따르면, 온수 매트(30-1) 및 스마트폰(900)이 연동하여 사용자의 수면 분석을 수행할 때, 사용자가 깨어 있는 상태에 해당하는 WAKE 상태가 나타나는 동안 온수 매트(30-1)의 온도를 빠르게 하락시키고 완만하게 온도를 상승시켜줄 수 있다.
본 발명의 또 다른 일실시예에 의하면, 사용자의 수면이 감지되거나 가볍게 잠이 든 상태 즉, Deep 단계에 해당하는 경우, 입면 동안 하강시킨 온도의 하강을 멈춰줄 수 있다.
구체적으로, 본 발명의 일실시예에 따르면, 사용자의 서캐디언 리듬(circadian rhythm)은 사용자의 심부 체온이 NREM일 때 떨어지고, REM 수면 단계일 때는 완만하게 올라가는 것을 의미할 수 있다. 이를 통해, 온수 매트(30-1) 또는 스마트폰(900)은 실시간으로 수면을 감지하여 NREM 수면이 감지되면 온수 매트(30-1)의 온도를 낮춰주고, REM 수면인 경우, 온도를 완만하게 높여줄 수 있다.
죽, 온수 매트(30-1)의 온도 조절 실시예는 사용자의 서캐디언 리듬(circadian rhythm)에 따라 심부 체온과 온수 매트(30-1)의 온도 차이가 크지 않도록 유도될 수 있으나, 사용자의 심부 체온이 떨어지는 NREM일 때는 온수 매트(30-1)의 온도를 높여주어, 사용자의 신체가 일정한 온도를 유지할 수 있게 유도할 수 있으므로, 실시예는 이에 한정되지 않는다.
취침 전 상태에 기초한 제1 환경 조성 정보 및 온수 매트의 동작
본 발명의 일 실시예에 따르면, 프로세서(130)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2 수면 상태 정보가 획득되는 시점)까지 온수 매트(30-1)의 온도를 낮추는 제1 환경 조성 정보를 생성할 수 있으며, 해당 제1 환경 조성 정보를 온수 매트(30-1)로 전송할 것을 결정할 수 있다.
제2 수면 상태에 기초한 제2 환경 조성 정보 및 온수 매트의 동작
본 발명의 일 실시예에 따르면, 프로세서(130)는 제2 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성할 수 있다. 구체적으로, 사용자의 수면이 감지되거나 가볍게 잠이 든 상태 즉, Deep 단계에 해당하는 경우, 입면 동안 하강시킨 온도의 하강을 멈춰줄 수 있다.
본 발명에 따르면, 상술한 바와 같이, 수면 분석에서는 입면 시간, 기상 시간, 총 수면 시간 등의 다양한 정보를 분석하며, 일 실시예에 따르면, 프로세서(130)는 수면 단계 정보를 추출할 수 있다. 수면 단계 정보는 사용자의 환경 센싱 정보에 기초하여 추출될 수 있다. 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다.
구체적으로, 본 발명의 일실시예에 따르면, 사용자의 서캐디언 리듬(circadian rhythm)은 사용자의 심부 체온이 NREM일 때 떨어지고, REM 수면 단계일 때는 완만하게 올라가는 것을 의미할 수 있다. 이를 통해, 온수 매트(30-1) 또는 스마트폰(900)은 실시간으로 수면을 감지하여 NREM 수면이 감지되면 온수 매트(30-1)의 온도를 낮춰주고, REM 수면인 경우, 온도를 완만하게 높여줄 수 있다.
죽, 온수 매트(30-1)의 온도 조절 실시예는 사용자의 서캐디언 리듬(circadian rhythm)에 따라 심부 체온과 온수 매트(30-1)의 온도 차이가 크지 않도록 유도될 수 있으나, 사용자의 심부 체온이 떨어지는 NREM일 때는 온수 매트(30-1)의 온도를 높여주어, 사용자의 신체가 일정한 온도를 유지할 수 있게 유도할 수 있으므로, 실시예는 이에 한정되지 않는다.
학습과 추론이 서버에서 이루어지는 경우의 온수 매트
도 80은 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론이 서버에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
도 80에 도시된 바와 같이, 온수 매트(30-1)는 센싱부(12a), 송신부(12b), 수신부(12c), 제어부(12d) 및 열 조절 수단(12e)를 포함할 수 있다.
구체적으로, 센싱부(12a)는 사용자의 음향 정보를 획득하고, 사용자의 음향 정보는 수면 음향 정보일 수 있으며, 송신부(12b)는 상기 획득한 사용자의 음향 정보를 서버(20)로 송신할 수 있다. 더욱 더 구체적으로, 송신부(12b)는 사용자의 음향 정보를 서버(20)로 송신할 수 있으나, 사용자의 음향 정보가 전처리된 사용자의 수면 음향 정보를 서버(20)로 송신할 수도 있다.
본 발명에 따르면, 서버(20)가 상기 송신된 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성할 수 있다. 이에 따라, 온수 매트(30-1)의 수신부(12c)는 서버(20)로부터 생성된 수면 상태 정보를 수신받을 수 있고, 제어부(12d)는 수신받은 수면 상태 정보를 기초로 하여, 열 조절 정보를 생성할 수 있다. 이에 따라, 열 조절 수단(12e)은 제어부(12d)가 생성한 열 조절 정보에 따라 열을 조절할 수 있다.
본 발명의 일 실시 예에 따르면, 수신부(12c)가 서버(20)로부터 사용자가 입면 전이라는 수면 상태 정보를 수신받을 수 있으며, 이 경우, 제어부(12d)는 사용자 설정 온도에 기초하여 온도 조절 정보를 생성할 수 있다. 구체적인 예를 들어, 사용자가 설정한 사용자 설정 온도가 25도인 경우, 사용자가 잠들기 전까지 온수 매트(30-1)의 온도를 25도로 조절할 수 있다.
본 발명에 따르면, 입면 잠복기(sleep latency)는 사용자가 완전히 깨어있는 상태에서 서서히 수면으로 유도되어 NREM 수면 단계 중 가장 가벼운 단계로 전환하는 데 걸리는 시간을 의미할 수 있다.
본 발명의 일 실시 형태에 따르면, 사용자가 입면 잠복기(sleep latency) 중인 경우, 사용자 설정 온도를 기준으로 서서히 온도를 낮출 수 있다. 또한, 사용자 설정 온도를 기준으로 서서히 온도를 높일 수도 있다. 구체적인 예를 들어, 바람직하게는, 제어부(12d)는 사용자 설정 온도가 25도인 경우, 입면 잠복기 중에 25도를 기준으로 서서히 온도를 낮추는 온도 조절 정보를 생성할 수 있다.
본 발명의 또다른 일 실시 형태에 따르면, 수신부(12c)가 사용자가 입면하기 원하는 사용자 설정 입면 잠복기를 수신받은 경우, 제어부(12d)는 사용자 설정 입면 잠복기를 기준으로 하여, 온도를 서서히 낮추거나, 서서히 높일 수 있다. 예를 들어, 사용자 설정 입면 잠복기가 10분이며, 사용자 설정 온도가 25도인 경우, 제어부(12d)는 수면 측정 개시 시점으로부터, 이후 10분까지 서서히 온도를 낮출 수 있다. 또한, 서서히 온도를 높일 수 있다.
본 발명에 따르면, 사용자 체온 측정부(미도시)를 더 포함할 수 있다. 수신부(12c)가 사용자 입면 잠복기 중에, 사용자 체온 측정부(미도시)로부터 사용자 체온 하락 정보를 수신받은 경우, 제어부(12d)는 소정의 온도 이상으로 온도 조절 정보를 생성할 수 있다.
구체적인 예를 들어, 사용자 설정 온도가 25도인 경우, 사용자가 입면 잠복기 중에, 체온 하락이 감지된 경우라면, 설정 온도를 26도로 상승시키는 온도 조절 정보를 생성할 수 있다.
본 발명에 따르면, 서버(20)가 특정 사용자의 수면 상태 정보를 여러번 생성하면, 특정 사용자의 생체 리듬 정보를 생성할 수 있다. 이 경우, 사용자가 수면 잠복기 중이라면, 생성된 생체 리듬 정보를 기초로 제어부(12d)가 온도 조절 정보를 생성할 수 있다.
구체적인 예를 들어, 사용자의 생체 리듬 정보에 의하면, 사용자가 수면 잠복기 중에 주로 체온이 상승하는 경우, 제어부(12d)가 사용자 설정 온도보다 온도를 하강시키는 온도 조절 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 따르면, 사용자의 첫 번째 깊은(deep) 수면이 감지되면, 그때까지는 제어부(12d)가 입면 잠복기 시에 생성한 온도 조절 정보를 유지할 수 있다. 또는, 첫 번째 깊은 수면이 감지된 이후, 소정의 시간까지 유지할 수도 있다.
구체적인 예를 들어, 제어부(12d)가 사용자 입면 잠복기에 24도를 유지하는 온도 조절 정보를 생성한 경우, 첫 번째 깊은 수면이 감지된 시점이 입면 후 30분이 지난 시점이라면, 입면 후 30분의 시점까지 24도를 유지할 수 있다. 또는 첫 번째 깊은 수면이 끝나는 시점이 입면 후 50분의 시점이라면, 입면 후 50분의 시점까지 24도를 유지할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 형태에 따르면, 사용자의 첫 번째 렘 수면이 감지되면, 그때까지는 제어부(12d)가 입면 잠복기 시에 생성한 온도 조절 정보를 유지할 수 있다. 또는, 첫 번째 깊은 렘 수면이 감지된 이후, 소정의 시간까지 유지할 수도 있다.
구체적인 예를 들어, 제어부(12d)가 사용자 입면 잠복기에 24도를 유지하는 온도 조절 정보를 생성한 경우, 첫 번째 깊은 렘 수면이 감지된 시점이 입면 후 30분이 지난 시점이라면, 입면 후 30분의 시점까지 24도를 유지할 수 있다. 또는 첫 번째 렘 수면이 끝나는 시점이 입면 후 50분의 시점이라면, 입면 후 50분의 시점까지 24도를 유지할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 형태에 따르면, 렘 수면 중에는 자율신경 작용의 변화가 나타나고, 이는 사용자의 온도 조절 변화로 나타날 수 있다. 즉, 교감 신경이 활성화되는 경우와 부교감 신경이 활성화되는 경우가 모두 있으므로, 렘 수면 때의 온도 조절이 중요할 수 있다. 즉, 사용자가 렘 수면인 경우, 코어 온도와의 간격을 유지하기 위해서, 혹은 낮아진 체온을 보상하기 위해서 온도를 높이는 경우가 가능하며, 또한 렘 수면 때 코어 온도와의 간격을 유지하기 위해서, 혹은 높아진 체온을 보상하기 위해서 온도를 낮추는 것도 가능하다.
즉, 제어부(12d)는 사용자의 수면 상태 정보의 변화에 기초하여, 렘 수면 동안 온도 변화를 주는 온도 조절 정보를 생성할 수 있다. 또한, 사용자가 만약, 깸 상태가 발생한 경우, 설정 온도가 너무 높거나, 낮은지 학습하여 다른 온도를 자동으로 추천할 수 있도록, 온도 조절 정보를 새로 생성하는 것도 가능하다.
본 발명의 일 실시 형태에 따르면, 사용자가 깸 상태 또는 렘 상태 또는 얕은 잠 상태인 시점부터 사용자 희망 깸 시점 사이에는 온도를 높여줄 수 있다. 구체적인 예를 들어, 사용자 희망 깸 시점이 오전 7시 이고, 오전 6시 40분에 사용자의 렘 상태가 감지된 경우, 오전 6시 40분부터 오전 7시까지 온수 매트(30-1)의 설정 온도를 서서히 증가시킬 수 있다.
본 발명의 또다른 일 실시 형태에 따르면, 사용자의 렘 상태 감지 시점과 얕은 잠 상태 감지 시점 사이의 시간으로부터 사용자 희망 깸 시점 사이에 온도를 서서히 높여줄 수 있다. 구체적인 예를 들어, 사용자의 렘 상태 감지 시점이 오전 6시 40분이고, 얕은 잠 상태 감지 시점이 오전 6시 50분인 경우, 그 사이의 오전 6시 45분 지점으로부터 사용자 희망 깸 시점인 오전 7시까지 온수 매트(30-1)의 설정 온도를 서서히 증가시킬 수 있다.
본 발명에 따르면, 사용자 희망 깸 시점에 사용자가 얕은 잠 상태인 경우, 제어부(12d)가 제1 온도 조절 정보를 생성할 수 있고, 사용자 희망 깸 시점에 사용자가 깊은 잠 상태인 경우, 제어부(12d)가 제2 온도 조절 정보를 생성할 수 있다. 구체적으로, 제1 온도 조절 정보보다 제2 온도 조절 정보의 온도가 더 높은 온도일 수 있다.
본 발명의 또 다른 일 실시 형태에 따르면, 사용자 체온 측정부(미도시)로부터 사용자의 체온이 소정의 온도보다 높다고 감지된 경우, 제어부(12d)가 사용자 희망 깸 시점에 온수 매트(30-1)의 설정 온도보다 온도를 낮춰주는 열 조절 정보를 생성할 수도 있다.
학습과 추론과 열 조절 정보의 생성이 서버에서 이루어지는 경우
도 81은 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론과 온도 조절이 서버에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
본 발명에 따르면, 도시된 바와 같이, 온수 매트(30-1)는 센싱부(13a), 송신부(13b), 수신부(13c) 및 열 조절 수단(13d)을 포함할 수 있다. 이에 따라, 송신부(13b)는 센싱부(13a)에서 획득된 사용자의 음향 정보를 서버(20)로 송신할 수 있으며, 서버(20)에서 수신받은 사용자의 음향 정보를 기초로, 수면 상태 정보를 생성하면, 생성된 수면 상태 정보를 기초로 하여 온도 조절 정보를 서버(20)에서 생성할 수 있다.
구체적으로, 서버(20)에서 온도 조절 정보를 생성하는 경우에, 사용자가 입면 전이라는 수면 상태 정보를 생성한 경우라면, 사용자 설정 온도에 기초하여 온도 조절 정보를 생성할 수 있다. 이에 따라, 수신부(13c)는 상기 생성된 온도 조절정보를 수신할 수 있다.
본 발명의 일 실시 형태에 따르면, 서버(20)가 사용자가 입면 잠복기 중이라는 수면 상태 정보를 생성하면, 사용자 설정 온도로부터 소정의 온도 이하로 설정된 온도 조절 정보를 생성할 수 있다. 뿐만 아니라, 사용자가 원하는 사용자 설정 입면 잠복기를 수신받은 경우라면, 이를 기초로 하여 온도 조절 정보를 생성하는 것도 가능하다. 이 경우, 사용자 설정 온도로부터 소정의 온도 이하 또는 소정의 온도 이상으로 온도를 조절하는 온도 조절 정보를 생성할 수 있다.
구체적으로, 서버(20)가 사용자가 입면 잠복기 중이라는 수면 상태 정보를 생성했는데, 사용자 체온 측정부(미도시)로부터 사용자 체온 하락 정보를 수신받는 경우에는, 사용자 설정 온도로부터 소정의 온도 이상으로 설정된 온도 조절 정보를 생성하는 것도 가능하다. 이 경우, 수신부(13c)는 상기 생성된 온도 조절 정보를 수신받아, 열 조절 수단(13d)은 이에 따른 온도를 제공할 수 있다.
학습과 추론과 열 조절 정보의 생성이 온수 매트에서 이루어지는 경우
도 82는 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론과 온도 조절이 온수 매트에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
본 발명에 따르면, 도시된 바와 같이, 온수 매트(30-1)는 센싱부(14a), 제어부(14b) 및 열 조절 수단(14c)을 포함할 수 있다. 센싱부(14a)가 사용자의 음향 정보를 획득하면, 제어부(14b)가 획득된 음향 정보를 기초로 하여, 수면 상태 정보를 생성하고, 이를 기초로 하여, 열 조절 정보를 생성할 수 있다.
이 경우, 제어부(14b)가 생성한 열 조절 정보에 기초하여 열 조절 수단(14c)이 이에 따른 온도의 열을 제공할 수 있다.
학습과 추론은 제1 서버에서, 열 조절 정보는 제2 서버에서 이루어지는 경우
도 83은 수면 환경을 조성하기 위한 온수 매트에 따른 학습과 추론은 제1 서버에서 이루어지고, 온도 조절은 제2 서버에서 이루어지는 온수 매트를 설명하기 위한 도면이다.
본 발명에 따르면, 도시된 바와 같이, 온수 매트(30-1)는 센싱부(15a), 송신부(15b), 수신부(15c), 및 열 조절 수단(15d)을 포함할 수 있다. 송신부(15b)가 센싱부(15a)에서 획득된 음향 정보를 제1 서버(20a)로 송신하면, 제1 서버(20a)는 제2 서버(20b)로 수면 음향 정보를 송신하고, 제2 서버(20ㅠ)는 열 조절 정보를 생성할 수 있다.
이에 따라, 수신부(15c)는 제2 서버(20b)에서 생성된 열 조절 정보를 수신받아, 열 조절 수단(15d)이 이에 따른 열을 제공할 수 있다.
열 조절 수단을 갖는 온수 매트의 열 조절 수단을 조절하는 장치의 경우
도 84는 애플리케이션이 실행될 수 있는 프로세서부를 포함하는 온수 매트의 열 조절 수단을 조절하는 장치를 설명하기 위한 도면이다.
도시된 바와 같이, 온수 매트의 열 조절 수단을 조절하는 장치(30-2)는 센싱부(16a), 메모리부(16b) 및 프로세서부(16c)를 포함할 수 있다. 메모리부(16b)에는 애플리케이션이 기록될 수 있으며, 상기 애플리케이션이 프로세서부(16c)에서 실행될 수 있다. 이 경우, 프로세서부(16c)가 애플리케이션을 통해 센싱부(16a)에서 획득된 음향 정보에 기초하여 수면 상태 정보를 생성하면, 생성된 수면 상태 정보에 따라 열 조절 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 따르면, 메모리부(16b)에 제1 애플리케이션 및 제2 애플리케이션이 기록될 수도 있다. 이 경우, 프로세서부(16c)가 제1 애플리케이션을 통해 센싱부(16a)에서 획득된 음향 정보에 기초하여, 수면 상태 정보를 생성하고, 제2 애플리케이션을 통해 제1 애플리케이션에서 생성된 수면 상태 정보에 기초하여 온도 조절 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 따르면, 프로세서부(16c)가 애플리케이션을 통해 센싱부(16a)에서 획득된 음향 정보를 제1 서버(20a)로 송신할 수 있다. 이 경우, 제1 서버(20a)로부터 센싱부(16a)에서 획득된 음향 정보를 기초로 획득한 수면 상태 정보를 프로세서부(16c)가 수신받고, 이를 다시 제2 서버(20b)로 송신하면, 제2 서버(20b)로부터 제2 서버(20b)가 수신받은 수면 상태 정보를 기초로 획득한 온도 조절 정보룰 프로세서부(16c)가 수신받아, 온도 조절 정보를 온수 매트(30-1)로 송신할 수 있다.
빛 조절 장치
도 85는 본 발명의 일 실시예에 따른 서버로부터 수면 상태 정보를 수신받는 빛 조절 장치를 설명하기 위한 블록도이다.
도 85는 본 발명의 일 실시예에 관한 것으로, 빛 조절 장치(30-2)는 사용자의 음향 정보를 획득하는 센싱부(30-2), 획득한 사용자의 음향 정보를 서버로 송신하는 송신부(30-2b), 서버(20)가 송신된 사용자의 음향 정보에 기초하여, 수면 상태 정보를 생성하면, 서버(20)로부터 생성된 수면 상태 정보를 수신받는 수신부(30-2c), 수신된 수면 상태 정보에 기초하여 빛 조절 정보를 생성하는 제어부(30-2d) 및 생성된 빛 조절 정보에 기초하여 조절된 빛을 방출하는 제어부(30-2e)를 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 서버(20)는 사용자의 음향 정보를 센싱부(30-2)로부터 수신받을 수 있다.
이 때, 음향 정보는 환경 센싱 정보일 수 있고, 서버(20)는 환경 센싱 정보를 수신받을 수 있으나, 전처리된 수면 음향 정보를 수신받을 수도 있다.
서버(20)가 전처리된 수면 음향 정보를 수신받는 경우, 수면 상태 정보를 전술한 방법에 의하여 생성할 수 있다.
또한, 서버(20)가 환경 센싱 정보를 수신받는 경우, 서버(20)에서 전처리를 거친 후에, 수면 음향 정보를 획득하여 수면 상태 정보를 생성할 수 있다.
자기 전 dimming
본 발명의 일 실시 형태에 의하면, 서버(20)가 사용자의 수면 상태 정보를 생성하는 경우, 사용자의 수면 상태 정보에 근거하여, 사용자의 평균 입면 지연 시간 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 의하면, 서버(20)가 사용자의 평균 입면 지연 시간 정보를 생성하기 전에는, 제어부(30-2d)는 설정 시간 정보를 기초로 빛 조절 정보를 생성할 수 있다.
구체적으로, 설정 시간 정보는 의학적 권고 입면 지연 시간을 포함할 수 있다.
구체적인 예를 들어, 의학적 권고 입면 지연 시간이 10분인 경우, 제어부(30-2d)는 10분을 기준으로 하여, 빛 조절 정보를 생성할 수 있다.
또 다른 실시예에 의하면, 설정 시간 정보는 사용자로부터 입력받는 사용자가 입면하기를 원하는 시간을 포함할 수 있다.
구체적인 예를 들어, 사용자가 빛 조절 장치(30-2)의 수신부(30-2c)에 입면하기를 원하는 시간을 10분인 것으로 입력하는 경우, 제어부(30-2d)는 10분을 기준으로 하여, 빛 조절 정보를 생성할 수 있다.
또 다른 실시예에 의하면, 설정 시간 정보는 통계학적으로 알려져있는 평균 입면 지연 시간을 포함할 수 있다.
구체적인 예를 들어, 통계학적으로 알려져 있는 평균 입면 지연 시간은 사용자의 성별에 따른 평균 입면 지연 시간 또는 사용자의 나이대에 따른 평균 입면 지연 시간 또는 사용자의 직업군에 따른 평균 입면 지연 시간 또는 본 발명을 이용하는 모든 사용자의 평균 입면 지연 시간을 포함할 수 있다.
또 다른 예를 들어, 사용자의 성별이 20대 남성인 경우, 20대 남성의 평균 입면 지연 시간이 10분인 경우, 제어부(30-2d)는 10분을 기준으로 하여, 빛 조절 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 따르면, 서버(20)가 사용자가 입면한 것으로 판단한 경우, 제어부(30-2d)는 이에 기초한 빛 조절 정보를 생성할 수 있다.
구체적인 예를 들어, 서버(20)가 사용자가 입면한 것으로 판단한 경우, 제어부(30-2d)는 제어부(30-2e)의 빛의 방출량을 설정된 소정의 밝기로 제어하도록 빛 조절 정보를 생성할 수 있다.
상기 설정된 소정의 밝기는 0 LUX를 의미할 수 있으나, 이에 한정되는 것은 아니다.
또 다른 예를 들어, 서버(20)가 사용자가 입면한 이후 소정 시간이 지난 것으로 판단한 경우 즉, 사용자가 수면 안정기에 들어간 것으로 판단한 경우, 제어부(30-2d)는 이에 기초하여, 제어부(30-2e)의 빛의 방출량을 설정된 소정의 밝기로 제어하도록 빛 조절 정보를 생성할 수 있다.
상기 설정된 소정의 밝기는 0 LUX를 의미할 수 있으나, 이에 한정되는 것은 아니다.
또 다른 예를 들어, 서버(20)가 사용자가 입면한 이후, 사용자가 현재 깊은(deep) 수면 상태인 것으로 감지한 경우, 제어부(30-2d)는 이에 기초하여, 제어부(30-2e)의 빛의 방출량을 0lux로 제어하도록 빛 조절 정보를 생성할 수 있다.
또한, 사용자가 입면 이후에 빛의 방출량을 0 lux가 아닌, 임계값 이하의 빛으로 제어하기를 원하는 경우, 사용자 설정 값으로 빛의 방출량을 조절하도록 빛 조절 정보를 생성할 수 있으며, 이에 한정되지 않는다.
본 발명의 일 실시 형태에 의하면, 서버(20)가 사용자의 평균 입면 지연 시간을 생성한 경우, 평균 입면 지연 시간에 도달하면, 제어부(30-2d)가 제어부(30-2e)의 빛의 양을 감소하도록 제어하거나 또는 설정된 소정의 밝기로 제어하는 빛 조절 정보를 생성할 수 있다.
상기 설정된 소정의 밝기는 0 LUX를 의미할 수 있으나, 이에 한정되는 것은 아니다.
또한, 상술한 듯, 사용자 설정 값으로 빛의 방출량을 조절하도록 빛 조절 정보를 생성하는 것도 가능하다.
본 발명의 일 실시 형태에 의하면, 서버(20)가 사용자의 평균 입면 지연 시간을 생성한 경우, 평균 입면 지연 시간에 도달하기 전에 사용자의 입면이 감지된 경우, 제어부(30-2d)가 그 즉시 제어부(30-2e)의 빛의 양을 임계값 이하로 제어하는 빛 조절 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 의하면, 서버(20)가 사용자의 평균 입면 지연 시간을 생성한 경우, 평균 입면 지연 시간에 도달한 이후에 사용자의 입면이 감지된 경우, 제어부(30-2d)가 사용자의 평균 입면 지연 시간에 도달하면, 일단 제어부(30-2e)의 빛의 양을 제1 임계값 이하를 유지하다가, 사용자 입면 시, 제2 임계값 이하로 제어하는 빛 조절 정보를 생성할 수 있다.
구체적으로, 제2 임계값은 제1 임계값보다 낮은 값이며, 제2 임계값은 설정된 소정의 밝기를 포함할 수 있다.
상기 설정된 소정의 밝기는 0 LUX를 의미할 수 있으나, 이에 한정되는 것은 아니다.
서캐디언 리듬
본 발명의 일 실시 형태에 따르면, 서버(20)는 수면 상태 정보에 따라서, 사용자의 생체 리듬 정보(circadian rhythm)를 생성할 수 있다.
서버(20)는 수면 상태 정보뿐 아니라, 사용자의 아침형 또는 저녁형 인간 설문조사 등을 이용하여 생성할 수도 있다.
생체 리듬 정보(circadian rhythm)는 24시간 낮과 밤의 변화에 맞추어 모든 생물체의 내부에서 주기적으로 일어나는 생리ㆍ화학ㆍ행동상의 흐름을 의미한다.
제어부(30-2d)는 서버(20)에서 생성된 사용자의 생체 리듬 정보가 소정의 생체 시간 정보에 부합되도록 빛 조절 정보를 생성할 수 있다.
구체적인 예를 들어, 소정의 생체 시간 정보는 위도, 경도 또는 날짜를 바탕으로 일출과 일몰 시간에 기반하여 통상적으로 인정되는 절대적 생체 시간 정보일 수 있다.
더욱 더 구체적으로 서버(20)가 오전 6시를 일출 시간으로 인식하고, 오후 6시를 일몰 시간으로 인식하도록 생체 시간 정보를 설정하는 것을 포함할 수 있다.
다만, 일몰 시간과 일출 시간을 기반으로 생체 시간 정보를 설정하는 것은 서버(20)뿐만 아니라, 수신부(30-2c)에서도 설정 가능하며, 위도 또는 경도 등을 바탕으로 기반하는 것이므로 센싱부(30-2)에서도 가능하며, 이에 한정되지 않는다.
즉, 서버(20)에서 생성된 사용자의 생체 리듬 정보에 따르면 해당 사용자의 기상 시간이 오전 6시이고, 입면 시간이 오후 10시인 경우에, 절대적 생체 시간 정보에 부합되도록 빛 조절 정보를 생성하는 경우라면, 제어부(30-2d)는 오전 6시가 일출 시간이고 오후 6시가 일몰 시간인 경우에 있어서 최적인 기상 시간과 입면 시간으로 사용자를 유도하는 빛 조절 정보를 생성할 수 있다.
본 발명의 또 다른 일 실시 형태에 따르면, 제어부(30-2d)는 서버(20)에서 생성된 사용자의 생체 리듬 정보가 소정의 생체 시간 정보에 부합되도록 빛 조절 정보를 생성할 수 있다.
구체적인 예를 들어, 소정의 생체 시간 정보는 사용자가 원하는 기상 시간과 입면 시간을 포함할 수 있다.
즉, 사용자가 원하는 기상 시간이 오전 7시이고, 사용자가 원하는 입면 시간이 오후 11시인 경우인데, 서버(20)에서 생성된 사용자의 생체 리듬 정보에 따르면 해당 사용자의 기상 시간이 오전 6시이고, 입면 시간이 오후 10시인 경우, 사용자가 원하는 소정의 생체 시간 정보에 부합되도록 한 시간 더 자고 일어날 수 있도록, 또는 한 시간 더 늦게 잠들 수 있도록 제어부(30-2d)가 빛 조절 정보를 생성할 수 있다.
본 발명의 또 다른 일 실시 형태에 의하면, 소정의 생체 시간 정보는 사용자가 수험생인 경우, 수능 시험에 맞는 패턴의 생체 시간 정보일 수 있다.
또한, 소정의 생체 시간 정보는 사용자가 8시 출근하는 직장인인 경우, 8시에 출근하는 직장인에 맞는 생체 시간 정보일 수 있다.
또한, 사용자가 새벽에 근무하는 직업군인 경우, 그에 맞는 생체 시간 정보일 수 있으며, 상기와 같은 생체 시간 정보는 예시에 불과할 뿐 이에 한정되는 것은 아니다.
즉, 본 발명은 사용자의 생체 리듬 정보가 상기와 같은 생체 시간 정보에 부합하도록 유도할 수 있으며, 이를 위하여 제어부(30-2d)는 빛 조절 정보를 생성하여, 광원부를 통해 사용자의 생체 리듬을 사용자가 목표하는 생체 리듬으로 변화시킬 수 있다.
본 발명의 또 다른 일 실시 형태에 의하면, 소정의 생체 시간 정보는 사용자가 거주하는 환경에 맞는 최적의 생체 시간 정보를 추천하는 방식일 수 있다.
구체적인 예를 들어, 소정의 생체 시간 정보는 사용자가 거주하는 환경의 일출, 일몰, 온도, 또는 날씨에 의한 채광량 등에 최적화된 생체 시간 정보일 수 있다.
본 발명의 일 실시 형태에 의하면, 빛 조절 장치(30-2)의 디스플레이부(미도시)가 사용자에게 소정의 생체 시간 정보 중 사용자에게 최적화된 생체 시간 정보를 추천하여, 사용자가 추천된 생체 시간 정보들 중에서 선택할 수 있도록 제공될 수 있으나, 소정의 생체 시간 정보를 입력받거나 수신받는 수단은 이에 한정되는 것은 아니다.
고도화된 빛 알람 로직
본 발명의 일 실시 형태에 의하면, 수신부(30-2c)가 사용자로부터 소정의 알람 시간 정보를 수신받을 수 있다.
구체적으로, 소정의 알람 시간 정보는 사용자가 기상하기를 희망하는 시간일 수 있다.
사용자가 빛 조절 장치(30-2)의 디스플레이부(미도시)에 기상하기를 희망하는 시간을 입력하거나, 추천된 시간들 중 선택할 수 있으며, 이에 한정되는 것은 아니다.
본 발명의 일 실시 형태에 의하면, 제어부(30-2d)는 소정의 알람 시간의 임계 시간 전부터 설정된 소정의 밝기에서부터 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성할 수 있다.
예를 들어, 소정의 알람 시간이 오전 7시인 경우, 오전 7시로부터 30분 전인 오전 6시30분에 제어부(30-2d)는 설정된 소정의 밝기에서부터 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성할 수 있다.
소정의 기울기는 일차함수 꼴의 일정한 기울기를 가질 수 있으나, 곡선의 기울기를 가질 수도 있으며 이에 한정되는 것은 아니다.
본 발명의 일 실시 형태에 의하면, 수신부(30-2c)가 사용자로부터 소정의 알람 시간 정보를 수신받는 경우에, 소정의 알람 시간과 임계 시간 사이에 서버(20)가 렘(REM) 수면을 감지하면, 제어부(30-2d)는 렘(REM) 수면 감지 시점 이후로, 소정의 시간 경과 후에 설정된 소정의 밝기에서부터 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성할 수 있다.
구체적으로, 렘(REM) 수면 감지 시점 이후로, 소정의 시간 경과 후는 REM 수면이 끝나고, NI 수면이 시작하는 단계 사이의 시점일 수 있다.
또한, 렘(REM) 수면이 끝나고, NI 수면이 시작하는 시점일 수 있으며, 깊은(DEEP) 수면 단계가 아닌 모든 단계를 포함할 수 있다. 또한, 렘(REM) 수면이 감지된 그 즉시를 포함할 수 있으며, 렘(REM) 수면이 끝난 시점을 포함할 수 있고 이에 한정되지 않는다.
또 다른 일 실시 형태에 의하면, 수신부(30-2c)가 사용자로부터 소정의 알람 시간 정보를 수신받는 경우에, 소정의 알람 시간과 임계 시간 사이에 서버(20)가 렘(REM) 수면을 감지하지 못하는 경우, 소정의 알람 시간에 맞추어 설정된 소정의 밝기에서부터 사용자 설정 밝기까지 소정의 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성할 수 있다.
본 발명의 일 실시 형태에 의하면, 사용자 설정 밝기까지 빛의 양을 증가시킨 후에 서버(20)에서 사용자의 깸(WAKE) 상태 단계가 소정의 시간 이상 감지되지 않는 경우, 제어부(30-2d)는 임계값 이상으로 빛의 양을 증가시키는 빛 조절 정보를 생성할 수 있다.
예를 들어, 소정의 알람 시간과 임계 시간 사이에 서버(20)가 렘(REM) 수면을 감지하지 못하는 경우, 소정의 알람 시간에 맞추어 설정된 소정의 밝기에서부터 사용자 설정 밝기인 150 lux까지 일정 기울기로 빛의 양이 증가하도록 빛 조절 정보를 생성한 후, 10분이 지나도록 깸(WAKE) 상태 단계가 감지되지 않으면, 제어부(30-2d)는 제어부(30-2e)가 250 lux 이상의 빛을 방출하도록 빛 조절 정보를 생성할 수 있다.
또한, 0분이 지나도록 WAKE 단계가 감지되지 않으면, 제어부(30-2d)는 제어부(30-2e)가 250 lux 이상의 빛을 방출하도록 빛 조절 정보를 생성하는 것뿐 아니라, 빛의 변화를 시도하거나, 빛이 깜빡거리게 하는 등 빛의 양을 이용하여 사용자에게 자극을 줄 수도 있다.
본 발명의 일 실시 형태에 의하면, 서버(20)에서 생성된 사용자의 생체 리듬 정보를 기초로 제어부(30-2d)는 빛 조절 정보를 위한 소정의 기울기를 결정할 수 있다.
예를 들어, 빛에 민감하여 임계값 이하의 빛의 양에서도 깸(wake) 상태가 발생하는 사용자의 경우, 제어부(30-2d)는 빛 조절 정보를 위한 소정의 기울기를 낮은 임계값 이하의 기울기로 시작하여, 목표하는 깸(wake) 상태 시점에 도달하는 경우, 높은 임계값 이상의 기울기로 조절하여 빛 조절 정보를 생성할 수 있다.
도 86은 본 발명의 일 실시예인 사용자의 수면 환경을 조성하는 빛 조절 방법을 나타낸 개념도이다.
본 발명의 일 실시예는 음향 정보 획득 단계(S30-2a), 음향 정보 송신 단계(S30-2b), 수면 상태 정보 수신 단계(S30-2c), 빛 조절 정보 제어 단계(S30-2d), 또는 광원부를 통한 빛 방출 단계(S30-2e)를 포함할 수 있다.
수면 정보들을 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법
멀티모달로 한 수면 상태 정보 분석 방법의 일 실시예 (CONCEPT-A)
도 87은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보를 멀티모달 데이터로 결합하는 과정을 포함하는 한 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.
본 발명의 목적을 달성하기 위하여 일 실시예에 따르면, 수면 음향 정보와 수면 환경 정보를 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법은 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득하는 제1 정보 획득 단계(S100-M), 제1 정보의 전처리를 수행하는 단계(S102-M), 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S110-M), 제2 정보의 전처리를 수행하는 단계(S112-M), 멀티모달로 데이터를 결합하는 결합단계(S120-M), 멀티모달 데이터를 딥러닝 모델의 입력하는 단계(S130-M), 딥러닝 모델의 출력으로 수면 상태 정보를 획득하는 단계(S140-M)를 포함할 수 있다.
본 발명의 실시예에 따라서, 제1 정보 획득 단계(S100-M)은 사용자 단말(10)에서 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득할 수 있다. 사용자의 수면과 관련한 시간 도메인 상의 음향 정보는 사용자 단말(10)의 음원 탐지부에서 얻어지는 음원 정보를 포함할 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S102-M)에서는 시간 도메인 상의 수면 음향 정보를, 주파수 성분의 시간 축에 따른 변화를 포함하는 정보 또는, 주파수 도메인 상의 정보로 변환할 수 있다. 또한, 주파수 도메인 상의 정보는 스펙트로그램으로 표현될 수 있으며, 멜 스케일이 적용된 멜 스펙트로그램일 수 있다. 스펙트로그램으로 변환함으로써, 사용자의 프라이버시 보호 및 데이터 가공량을 줄일 수 있다. 또한, 시간 도메인 상의 수면 음향 정보를 변환한 정보는 시각화한 것으로서, 이러한 경우 이미지 처리 기반의 인공지능 모델의 입력으로 함으로써 이미지 분석을 통해 수면 상태 정보를 획득할 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S102-M)에서는 음향 정보에 기초하여 특징을 추출하는 단계를 더 포함할 수 있다. 예를 들어, 획득된 시간 도메인 상의 음향 정보에 기초하여 사용자의 수면 호흡 패턴을 추출할 수 있다. 예를 들어, 획득된 시간 도메인 상의 음향 정보를, 주파수 성분의 시간 축에 따른 변화를 포함하는 정보로 변환하고, 변환된 정보에 기초하여 사용자의 호흡 패턴을 추출할 수 있다. 또는, 시간 도메인상의 음향 정보를 주파수 도메인 상의 정보로 변환하고, 주파수 도메인 상의 음향 정보에 기초하여 사용자의 수면 호흡 패턴을 추출할 수 있다.
이 경우 변환된 정보들은 시각화된 것으로서, 이미지 처리 기반의 인공지능 모델의 입력으로 하여 사용자의 호흡 패턴 등의 정보를 출력하도록 할 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S102-M)에서는 수면 음향 정보를 딥러닝 모델에 입력 시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다. 데이터 어그멘테이션 기법에는 피치 시프팅(Pitch Shifting) 어그멘테이션, TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.
본 발명의 실시예에 따라 멜 스케일에서 부가하는 방법에 의하면 하드웨어가 데이터를 처리하는 데에 소요되는 시간이 단축될 수 있다.
한편, 전술한 노이즈의 종류에 관한 구체적인 기재는 본 발명의 노이즈 부가 어그멘테이션을 설명하기 위한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.
본 발명의 실시예에 따라서, 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S110-M)는 사용자 단말(10), 외부서버 또는 네트워크를 통해서 사용자 수면 환경 정보를 획득할 수 있다. 사용자의 수면 환경 정보는 사용자가 위치한 공간에서 획득되는 수면과 관련한 정보를 의미할 수 있다. 수면 환경 정보는, 비접촉식 방법으로 사용자가 위치한 공간에서 획득되는 센싱 정보일 수 있다. 수면 환경 정보는, 레이더를 통해 측정되는 호흡 운동 및 신체 움직임 정보일 수 있다. 수면 환경 정보는, 스마트 워치, 스마트 가전 등에서 획득되는 사용자의 수면에 관련한 정보일 수 있다. 수면 환경 정보는, 광혈류 측정 신호(PhotoPlethysmoGraphy)일 수 있다. 수면 환경 정보는 광혈류 측정 신호(PhotoPlethysmoGraphy, PPG)를 통해 얻어지는 심박 변이도(Heart Rate Variability, HRV), 심박수(Heart Rate)일 수 있으며, 광혈류 측정 신호는 스마트 워치 및 스마트 링에 의해서 측정될 수 있다. 수면 환경 정보는, 뇌파 신호(Electro Encephalo Graphy, EEG)일 수 있다. 수면 환경 정보는 수면 중 측정되는 Actigraphy 신호 일 수 있다.
본 발명의 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S112-M)는 사용자의 수면 환경 정보의 데이터를 딥러닝 모델에 입력시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다.
본 발명의 일 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S112-M)는 사용자의 수면 환경 정보의 데이터를 가공하여 특징을 추출하는 단계를 포함할 수 있다. 예를 들어, 제2 정보가 광혈류 측정 신호(PPG)인 경우, 광혈류 측정 신호에서 심박변이도(HRV)와 심박수(Heart Rate)를 추출할 수 있다.
본 발명의 일 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S112-M)는 사용자의 수면 환경 정보의 데이터가 이미지 정보로 얻어지는 경우, 이미지 정보를 TUT(Tile UnTile) 어그멘테이션및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 이미지 정보의 어그멘테이션 기법에 관한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다. 사용자의 수면 환경 정보는 다양한 저장 형태의 방식의 정보일 수 있다. 사용자의 수면 환경 정보의 어그멘테이션 방법은 다양한 방식이 채용될 수 있다.
본 발명의 실시예에 따라서, 데이터 전처리 과정을 거친 제1 정보와 제2 정보를 멀티모달 데이터로 결합하는 단계(S120-M)은 딥 러닝 모델에 멀티모달 데이터를 입력하기 위하여 데이터를 결합한다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보와 전처리된 제2 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다. 구체적으로, 제1 정보는 주파수 도메인 상에서의 음향 이미지 정보이고, 제2 정보는 스마트 워치에서 얻어지는 시간 도메인 상에서의 심박 이미지 정보일 수 있다. 이 때, 제1 정보와 제2 정보는 도메인이 동일하지 않기 때문에, 동일한 도메인으로 변환하여 결합할 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보와 전처리된 제2 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다. 구체적으로, 제1 정보는 주파수 도메인 상에서의 음향 이미지 정보이고, 제2 정보는 스마트 워치에서 얻어지는 시간 도메인 상에서의 심박 이미지 정보일 수 있다. 이 때, 딥러닝 모델의 입력으로 사용하기 위해 제1 정보와 제2 정보는 도메인이 동일하지 않기 때문에, 각각의 데이터를 제1 정보와 제2 정보에 관한 것이라고 라벨링 할 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S120-M)는 제1 정보 어그멘테이션을 진행하고, 제2 정보 어그멘테이션을 진행한 후 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 시간 도메인 상의 음향 정보일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 시간 도메인 상의 음향 정보 또는 시간 도메인 상의 음향 정보를 주파수 도메인 상의 음향 정보로 변환한 스펙트로그램일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S120-M)는 제1 정보 어그멘테이션을 진행하고, 제2 정보 어그멘테이션 및 특징을 추출을 진행하여 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 시간 도메인 상의 음향 정보 또는 시간 도메인 상의 음향 정보를 주파수 도메인 상의 음향 정보로 변환한 스펙트로그램일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)에서 얻어지는 심박변이도(HRV) 또는 심박수(Heart Rate)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다. 본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S120-M)는 제1 정보 어그멘테이션 및 특징 추출을 진행하고, 제2 정보 어그멘테이션을 진행하여 결합할 수 있다. 예를 들어, 예를 들어, 제1 정보는 사용자의 음향 정보에 기초하여 추출된 사용자 호흡 패턴 일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)에서 얻어지는 심박변이도(HRV) 또는 심박수(Heart Rate)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S120)은 제1 정보 어그멘테이션 및 특징 추출을 진행하고, 제2 정보 어그멘테이션 및 특징을 추출을 진행하여 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 음향 정보에 기초하여 추출된 사용자 호흡 패턴 일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)에서 얻어지는 심박변이도(HRV) 또는 심박수(Heart Rate)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다.
본 발명의 실시예에 따라서, 딥러닝 모델에 멀티모달 결합 데이터를 입력하는 단계(S130-M)는 멀티모달 결합 데이터를 입력하기 위해 딥러닝 모델의 입력하기 위해 요구되는 정합하는 형태로 데이터를 가공할 수 있다.
본 발명의 실시예에 따라서, 딥러닝 모델의 출력으로 수면 상태 정보를 획득하는 단계(S140-M)는 멀티모달 결합 데이터를 수면 상태 정보를 추론하기 위한 딥러닝 모델의 입력으로 하여, 수면 상태 정보를 추론할 수 있다. 수면 상태 정보는 사용자의 수면의 상태에 관한 정보일 수 있다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표현하는 수면 단계 정보를 포함할 수 있다. 수면의 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면에서 발생하는 수면과 관련한 질환이나 수면 중 행동을 표현하는 수면 이벤트 정보를 포함할 수 있다. 구체적으로, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 수면 질환에 의한 수면 무호흡증 및 저호흡증 정보를 포함할 수 있다. 또한, 구체적으로는, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 코골이 여부, 코골이 지속 시간, 잠꼬대 여부, 잠꼬대 지속 시간, 뒤척임 여부 및 뒤척임 지속 시간을 포함할 수 있다. 서술된 사용자의 수면 이벤트 정보는 사용자의 수면 중에 발생하는 사건을 표현하기 위한 예시에 불과하며, 이에 한정되지 않는다.
멀티모달로 한 수면 상태 정보 분석 방법의 일 실시예 (CONCEPT-B)
도 88은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보 각각을 추론 한 것을 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.
본 발명의 목적을 달성하기 위하여 일 실시예에 따르면, 수면 음향 정보와 수면 환경 정보를 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법은 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득하는 제1 정보 획득 단계(S200-M), 제1 정보의 전처리를 수행하는 단계(S202-M), 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S204-M), 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S210-M), 제2 정보의 전처리를 수행하는 단계(S212-M), 제2 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S214-M), 멀티모달로 데이터를 결합하는 결합단계(S220-M) 및 멀티모달 데이터의 결합으로 수면 상태 정보를 획득하는 단계(S230-M)을 포함할 수 있다.
본 발명의 실시예에 따라서, 제1 정보 획득 단계(S200-M)는 사용자 단말(10)에서 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득할 수 있다. 사용자의 수면과 관련한 시간 도메인 상의 음향 정보는 사용자 단말(10)의 음원 탐지부에서 얻어지는 음원 정보를 포함할 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S202-M)에서는 시간 도메인 상의 시간 음향 정보를, 주파수 성분의 시간 축에 따른 변화를 포함하는 정보 또는, 주파수 도메인 상의 정보로 변환할 수 있다. 또한, 주파수 도메인 상의 정보는 스펙트로그램으로 표현될 수 있으며, 멜 스케일이 적용된 멜 스펙트로그램일 수 있다. 스펙트로그램으로 변환함으로써, 사용자의 프라이버시 보호 및 데이터 가공량을 줄일 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S202)에서는 수면 음향 정보를 딥러닝 모델에 입력시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다. 데이터 어그멘테이션 기법에는 피치 시프팅(Pitch Shifting) 어그멘테이션, TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.
본 발명의 실시예에 따라 멜 스케일에서 부가하는 방법에 의하면 하드웨어가 데이터를 처리하는 데에 소요되는 시간이 단축될 수 있다.
한편, 전술한 노이즈의 종류에 관한 구체적인 기재는 본 발명의 노이즈 부가 어그멘테이션을 설명하기 위한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.
본 발명의 실시예에 따라서, 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S210-M)는 사용자 단말(10), 외부서버(20) 또는 네트워크를 통해서 사용자 수면 환경 정보를 획득할 수 있다. 사용자의 수면 환경 정보는 사용자가 위치한 공간에서 획득되는 수면과 관련한 정보를 의미할 수 있다. 수면 환경 정보는, 비접촉식 방법으로 사용자가 위치한 공간에서 획득되는 센싱 정보일 수 있다. 수면 환경 정보는, 레이더를 통해 측정되는 호흡 운동 및 신체 움직임 정보일 수 있다. 수면 환경 정보는, 스마트 워치, 스마트 가전 등에서 획득되는 사용자의 수면에 관련한 정보일 수 있다. 수면 환경 정보는, 광혈류 측정 신호(PhotoPlethysmoGraphy, PPG)를 통해 얻어지는 심박 변이도(Heart Rate Variability, HRV), 심박수(Heart Rate)일 수 있으며, 광혈류 측정 신호는 스마트 워치 및 스마트 링에 의해서 측정될 수 있다. 수면 환경 정보는, 뇌파 신호(Electro Encephalo Graphy, EEG)일 수 있다. 수면 환경 정보는 수면 중 측정되는 Actigraphy 신호 일 수 있다.
본 발명의 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S212-M)는 사용자의 수면 환경 정보의 데이터를 딥러닝 모델에 입력 시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다.
본 발명의 일 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S212-M)는 사용자의 수면 환경 정보의 데이터가 이미지 정보로 얻어지는 경우, 이미지 정보를 TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 이미지 정보의 어그멘테이션 기법에 관한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다. 사용자의 수면 환경 정보는 다양한 저장 형태의 방식의 정보일 수 있다. 사용자의 수면 환경 정보의 어그멘테이션 방법은 다양한 방식이 채용될 수 있다.
본 발명의 실시예에 따라서, 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S204-M)는 기 학습된 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론할 수 있다.
본 발명의 실시예에 따라서, 기 학습된 딥러닝 모델은 추론되는 데이터를 통한 자가 학습을 위하여 추론되는 데이터를 입력으로 사용할 수 있다.
본 발명의 실시예에 따라서, 수면 음향에 관한 제1정보를 입력으로 하여 수면에 관한 정보를 추론하는 딥러닝 수면 분석 모델은 피처 추출 모델과 피처 분류 모델을 포함할 수 있다.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 추출 모델은, 하나의 스펙트로그램이 입력되어, 하나의 스펙트로그램에 해당하는 수면 상태 정보를 예측하도록 학습되는 One-to-one 프록시 태스크(Proxy task)에 의해서 사전 학습(Pre training)될 수 있다. 본 발명의 실시예에 따른 피처 추출 모델에 CNN 딥러닝 모델을 채용하는 경우에, FC(Fully Connected Layer) 또는 FCN(Fully Connected Neural Network)의 구조를 채택하여 학습을 수행할 수도 있다. 본 발명의 실시예에 따른 피처 추출 모델에 MobileViTV2 딥러닝 모델을 채용하는 경우에는, 중간층(Intermediate Layer)의 구조를 채택하여 학습을 수행할 수도 있다.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 분류 모델은, 복수의 연속된 스펙트로그램이 입력되어, 각각의 스펙트로그램의 수면 상태 정보를 예측하고, 복수의 연속된 스펙트로그램의 시퀀스를 분석하여 전체적인 수면 상태 정보를 예측 또는 분류하도록 학습될 수 있다.
본 발명의 실시예에 따라서, 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S214-M)는 기 학습된 추론 모델의 입력으로 하여, 수면에 관한 정보를 추론할 수 있다. 기 학습된 추론 모델은, 상술한 수면 딥러닝 수면 분석 모델일 수 있으나 이에 한정되지 아니하고, 기 학습된 추론 모델은 목적을 달성하기 위한 다양한 형태의 방식의 추론 모델 일 수 있다. 기 학습된 추론 모델은 다양한 방식이 채용될 수 있다.
본 발명의 실시예에 따라서, 데이터 전처리 과정을 거친 제1 정보와 제2 정보를 멀티모달 데이터로 결합하는 단계(S220-M)는 정보를 결합하여 수면 상태 정보를 결정하기 위하여 데이터를 결합한다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보를 통해 추론된 수면 정보와 전처리된 제2 정보를 통해 추론된 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다.
본 발명의 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S230-M)는 멀티모달로 얻은 데이터를 결합하여 이를 통해서 사용자의 수면 상태 정보를 결정할 수 있다. 수면 상태 정보는 사용자의 수면의 상태에 관한 정보일 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S230-M)는 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S204-M)에서 추론된 사용자의 수면에 관한 힙노그램(hypnogram)과 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S214-M)에서 추론된 사용자의 수면에 관한 힙노그램(hypnogram)를 결합할 수 있다. 예를 들어, 각 힙노그램(hypnogram)을 중첩시켜 일치하는 부분에 대한 수면단계에 대한 정보를 채용하고, 일치하지 않는 부분에 대한 수면단계에 대한 정보는 가중치를 부여하여 채용여부를 결정함으로써 수면 상태 정보를 획득할 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S230-M)는 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S204-M)에서 추론된 사용자의 수면에 관한 힙노덴시티 그래프(hypnodensity graph)와 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S214-M)에서 추론된 사용자의 수면에 관한 힙노덴시티 그래프(hypnodensity graph) 를 결합할 수 있다. 예를 들어, 각 힙노덴시티 그래프(hypnodensity graph)의 확률을 수식에 대입하여, 각 시각마다 가장 높은 신뢰도를 가지는 수면 단계를 사용자의 수면 단계 정보로 얻을 수 있다. 예를 들어, 각 힙노덴시티 그래프(hypnodensity graph)에서 시간에 따른 신뢰도가 기 설정된 신뢰도 임계치를 넘는 경우는 사용자의 수면 단계 정보로 채용하고, 시간에 따른 신뢰도가 기 설정된 신뢰도 임계치를 넘는 수면 단계 정보가 없는 경우 가중치를 통해 수면 단계 정보로 채용함으로써, 수면 상태 정보를 획득할 수 있다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S230-M)는 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S204-M)에서 추론된 사용자의 수면에 관한 힙노그램(hypnogram)과 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S214-M)에서 추론된 사용자의 수면에 관한 힙노덴시티 그래프(hypnodensity graph)를 결합할 수 있다. 예를 들어, 힙노그램에 표시되는 수면 단계와 힙노덴시티 그래프의 신뢰도가 기 설정된 임계치를 넘는 경우에는, 사용자의 수면 단계로 채용함으로써, 사용자의 수면 상태 정보를 획득할 수 있다. 예를 들어, 힙노그램에 표시되는 수면 단계와 힙노덴시티 그래프의 신뢰도가 기 설정된 임계치를 넘지 않는 경우 가중치를 부과하여 계산하여 사용자의 수면 단계로 채용함으로써, 신뢰도 높은 사용자의 수면 상태 정보를 획득할 수 있다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표현하는 수면 단계 정보를 포함할 수 있다. 수면의 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표시하는 수면 단계 정보를 포함할 수 있다. 수면의 단계를 표시하는 방법은 수면 단계를 그래프에 표시하는 힙노그램(Hypnogram) 및 각 수면 단계의 확률을 그래프에 표시하는 힙노덴시티 그래프(Hypnodensity graph)를 포함할 수 있으나, 표시하는 방법은 이에 한정되지 않는다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면에서 발생하는 수면과 관련한 질환이나 수면 중 행동을 표현하는 수면 이벤트 정보를 포함할 수 있다. 구체적으로, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 수면 질환에 의한 수면 무호흡증 및 저호흡증 정보를 포함할 수 있다. 또한, 구체적으로는, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 코골이 여부, 코골이 지속 시간, 잠꼬대 여부, 잠꼬대 지속 시간, 뒤척임 여부 및 뒤척임 지속 시간을 포함할 수 있다. 서술된 사용자의 수면 이벤트 정보는 사용자의 수면 중에 발생하는 사건을 표현하기 위한 예시에 불과하며, 이에 한정되지 않는다.
멀티모달로 한 수면 상태 정보 분석 방법의 일 실시예 (CONCEPT-C)
도 89는 본 발명의 일실시예에 따른 수면 음향 정보를 추론한 것을 수면 환경 정보와 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.
본 발명의 목적을 달성하기 위하여 일 실시예에 따르면, 수면 음향 정보와 수면 환경 정보를 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법은 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득하는 제1 정보 획득 단계(S300-M), 제1 정보의 전처리를 수행하는 단계(S302-M), 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S304-M), 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S310-M), 멀티모달로 데이터를 결합하는 결합단계(S320-M) 및 멀티모달 데이터의 결합으로 수면 상태 정보를 획득하는 단계(S330-M)을 포함할 수 있다.
본 발명의 실시예에 따라서, 제1 정보 획득 단계(S300-M)은 사용자 단말(10)에서 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득할 수 있다. 사용자의 수면과 관련한 시간 도메인 상의 음향 정보는 사용자 단말(10)의 음원 탐지부에서 얻어지는 음원 정보를 포함할 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S302-M)에서는 시간 도메인 상의 시간 음향 정보를 주파수 도메인 상의 정보로 변환할 수 있다. 또한, 주파수 도메인 상의 정보는 스펙트로그램으로 표현될 수 있으며, 멜 스케일이 적용된 멜 스펙트로그램일 수 있다. 스펙트로그램으로 변환함으로써, 사용자의 프라이버시 보호 및 데이터 가공량을 줄일 수 있다.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S302-M)에서는 수면 음향 정보를 딥러닝 모델에 입력시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다. 데이터 어그멘테이션 기법에는 피치 시프팅(Pitch Shifting) 어그멘테이션, TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.
본 발명의 실시예에 따라 멜 스케일에서 부가하는 방법에 의하면 하드웨어가 데이터를 처리하는 데에 소요되는 시간이 단축될 수 있다.
한편, 전술한 노이즈의 종류에 관한 구체적인 기재는 본 발명의 노이즈 부가 어그멘테이션을 설명하기 위한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.
본 발명의 실시예에 따라서, 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S310)는 사용자 단말(10), 외부서버 또는 네트워크를 통해서 사용자 수면 환경 정보를 획득할 수 있다. 사용자의 수면 환경 정보는 사용자가 위치한 공간에서 획득되는 수면과 관련한 정보를 의미할 수 있다. 수면 환경 정보는, 비접촉식 방법으로 사용자가 위치한 공간에서 획득되는 센싱 정보일 수 있다. 수면 환경 정보는, 레이더를 통해 측정되는 호흡 운동 및 신체 움직임 정보일 수 있다. 수면 환경 정보는, 스마트 워치, 스마트 가전 등에서 획득되는 사용자의 수면에 관련한 정보일 수 있다. 수면 환경 정보는, 광혈류 측정 신호(PhotoPlethysmoGraphy, PPG)를 통해 얻어지는 심박 변이도(Heart Rate Variability, HRV), 심박수(Heart Rate)일 수 있으며, 광혈류 측정 신호는 스마트 워치 및 스마트링에 의해서 측정될 수 있다. 수면 환경 정보는, 뇌파 신호(Electro Encephalo Graphy, EEG)일 수 있다. 수면 환경 정보는 수면 중 측정되는 Actigraphy 신호 일 수 있다. 수면 환경 정보는, 사용자의 정보를 표상하는 라벨링 데이터일 수 있다. 구체적으로, 라벨링 데이터는 사용자의 나이, 질병여부, 신체조건, 인종, 키, 몸무게 및 체질량 지수를 포함할 수 있고, 이는 사용자의 정보를 표상하는 라벨링 데이터의 예시일 뿐 이에 한정되지 않는다. 상술한 수면 환경 정보는 사용자의 수면에 영향을 미칠 수 있는 정보의 예시에 불과하며 이에 한정되지 않는다.
본 발명의 실시예에 따라서, 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S304-M)는 기 학습된 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론할 수 있다.
본 발명의 실시예에 따라서, 수면 음향에 관한 제1정보를 입력으로 하여 수면에 관한 정보를 추론하는 딥러닝 수면 분석 모델은 피처 추출 모델과 피처 분류 모델을 포함할 수 있다.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 추출 모델은, 하나의 스펙트로그램이 입력되어, 하나의 스펙트로그램에 해당하는 수면 상태 정보를 예측하도록 학습되는 One-to-one 프록시 태스크(Proxy task)에 의해서 사전 학습(Pre training)될 수 있다. 본 발명의 실시예에 따른 피처 추출 모델에 CNN 딥러닝 모델을 채용하는 경우에, FC(Fully Connected Layer) 또는 FCN(Fully Connected Neural Network)의 구조를 채택하여 학습을 수행할 수도 있다. 본 발명의 실시예에 따른 피처 추출 모델에 MobileViTV2 딥러닝 모델을 채용하는 경우에는, 중간층(Intermediate Layer)의 구조를 채택하여 학습을 수행할 수도 있다.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 분류 모델은, 복수의 연속된 스펙트로그램이 입력되어, 각각의 스펙트로그램의 수면 상태 정보를 예측하고, 복수의 연속된 스펙트로그램의 시퀀스를 분석하여 시계열적인 수면 상태 정보를 예측 또는 분류하도록 학습될 수 있다.
본 발명의 실시예에 따라서, 데이터 전처리 과정을 거친 제1 정보와 제2 정보를 멀티모달 데이터로 결합하는 단계(S320-M)는 딥 러닝 모델에 멀티모달 데이터를 입력하기 위하여 데이터를 결합한다.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보를 통해 추론된 수면 정보와 전처리된 제2 정보를 통해 추론된 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다.
본 발명의 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S330-M)은 멀티모달로 얻은 데이터를 결합하여 이를 통해서 사용자의 수면 상태 정보를 결정할 수 있다. 수면 상태 정보는 사용자의 수면의 상태에 관한 정보일 수 있다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표현하는 수면 단계 정보를 포함할 수 있다. 수면의 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면에서 발생하는 수면과 관련한 질환이나 수면 중 행동을 표현하는 수면 이벤트 정보를 포함할 수 있다. 구체적으로, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 수면 질환에 의한 수면 무호흡증 및 저호흡증 정보를 포함할 수 있다. 또한, 구체적으로는, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 코골이 여부, 코골이 지속 시간, 잠꼬대 여부, 잠꼬대 지속 시간, 뒤척임 여부 및 뒤척임 지속 시간을 포함할 수 있다. 서술된 사용자의 수면 이벤트 정보는 사용자의 수면 중에 발생하는 사건을 표현하기 위한 예시에 불과하며, 이에 한정되지 않는다.
본 발명의 실시예에 따른 실시간 수면 분석
본 발명의 실시예에 따른, 음향 정보를 기반으로 한 수면 상태 정보의 분석으로는 수면 이벤트(예컨대, 무호흡, 저호흡, 코골이, 잠꼬대 등)에 대한 탐지 단계가 포함될 수 있다. 그러나, 수면 음향 패턴의 특성은 시간의 흐름에 걸쳐 반영되는 것이기 때문에, 특정 시점의 짧은 음향 데이터만으로는 파악하기 어려울 수 있다. 따라서, 음향 정보를 모델링 하기 위해서는 음향 정보의 시계열 특성에 기초하여 분석이 수행되어야 한다.
또한, 수면 중 발생하는 수면 이벤트(예컨대, 무호흡, 저호흡, 코골이, 잠꼬대 등)은 수면 이벤트와 관련된 다양한 특징들을 가지고 있다. 예를 들어, 무호흡 이벤트 동안에는 소리가 없지만, 무호흡 이벤트가 끝나면 공기가 다시 통과하면서 큰 소리가 발생할 수 있고, 무호흡 이벤트의 특징을 시계열적으로 학습하여 수면 이벤트를 탐지할 수 있다.
실시간 수면 이벤트 탐지를 위한 딥 뉴럴 네트워크의 차이점
본 발명의 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하기 위해서, 상술한 수면 단계를 분석하기 위한 딥 뉴럴 네트워크 구조를 변경하여 사용할 수 있다. 구체적으로, 수면 단계 분석은 수면 음향에 대한 시계열적인 학습이 필요하지만, 수면 이벤트 탐지는 평균적으로 10초에서 60초사이에 발생하므로, 30초를 단위로 하는 1 에폭(epoch) 또는 2 에폭(epoch)을 정확하게 탐지하는 것으로 충분하다. 따라서, 본 발명의 일 실시예에 따른 수면 단계를 분석하기 위한 딥 뉴럴 네트워크 구조는 수면 단계 분석을 위한 딥 뉴럴 네트워크 구조의 입력량과 출력량을 감소시킬 수 있다. 예를 들어, 수면 단계를 분석하기 위한 딥 뉴럴 네트워크 구조는 40개의 멜 스펙트로그램을 처리하여 20 에폭의 수면 단계를 출력한다면, 수면 이벤트를 탐지하기 위한 딥 뉴럴 네트워크 구조는 14개의 멜 스펙트로그램을 처리하여 10 에폭의 수면 이벤트 레이블을 출력할 수 있다. 여기에서, 수면 이벤트 레이블은 이벤트 없음, 무호흡, 저호흡, 코골이 있음, 뒤척임 등을 포함할 수 있으나, 여기에 한정되지 않는다.
또한, 본 발명의 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하기 위한 딥 뉴럴 네트워크 구조는 피처 추출 모델과 피처 분류 모델을 포함할 수 있다. 구체적으로, 피처 추출 모델은 각 멜 스펙트로그램에서 발견되는 수면 이벤트의 특징을 추출하고, 피처 분류 모델은 복수의 에폭을 감지하여 수면 이벤트를 포함하는 에폭을 찾아 이웃하는 특징을 분석하여 시계열적으로 수면 이벤트의 유형을 예측하고 분류할 수 있다.
실시간 수면 이벤트 탐지를 위한 클래스 가중치(Class Weights)
본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하기 위한 방법은 각 수면 이벤트의 클래스 불균형 문제를 해결하기 위해서 클래스 가중치(Class weights)를 부여할 수 있다. 구체적으로, 수면 중 발생하는 수면 이벤트 중 “이벤트 없음”은 전체 수면 길이에 있어서 지배적인 영향을 미칠 수 있어서, 수면 이벤트 학습 효율 저하를 발생시킬 수 있다. 따라서, “이벤트 없음” 보다 높은 가중치를 다른 수면 이벤트에 부여하여, 학습 효율 및 정확성을 향상시킬 수 있다. 예를 들어, 수면 이벤트 클래스가 “이벤트 없음”, “무호흡”, “저호흡” 3가지로 분류되는 경우, “이벤트 없음”이 학습에 미치는 영향을 감소시키기 위해서, “이벤트 없음”에는 1.0, “무호흡”에는 1.3, “저호흡”에는 2.1의 가중치를 부여할 수 있다.
실시간 수면 이벤트 탐지를 위한 컨시스턴시 트레이닝
도 90은 본 발명의 일 실시예에 따른 컨시스턴시 트레이닝(Consistency training)을 설명하기 위한 도면이다.
본 발명의 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하는 단계는 가정 환경 및 소음 환경에서의 수면 중 발생하는 수면 이벤트를 탐지하기 위해서, 상술한 바와 같이 도 90에 도시된 바와 같이, 컨시스턴시 트레이닝(Consistency Training)을 활용할 수 있다. 컨시스턴시 트레이닝(Consistency Training)은 반지도학습(Semi-Supervised learning)모델의 하나의 종류로서, 본 발명의 실시예에 따른 Consistency Training은 하나의 데이터에 대하여 노이즈를 의도적으로 부가한 것과, 노이즈를 의도적으로 부가하지 않은 데이터를 가지고 학습을 수행하는 방법일 수 있다.
또한, 본 발명의 실시예에 따른 Consistency Training은 타겟 환경의 노이즈를 이용하여 가상의 수면 환경의 데이터를 생성하여 학습을 수행하는 방법일 수 있다.
본 발명의 실시예에 따라 의도적으로 부가되는 노이즈는 타겟 환경의 노이즈일 수 있는데, 여기서 타겟 환경의 노이즈는 예컨대 수면다원검사 이외의 환경에서 획득된 노이즈일 수 있다. 구체적으로, 수면 이벤트를 탐지하는 데 있어서, 실제 사용자의 환경과 유사하게 하기 위해서 SNR과 소음의 종류를 조절함을 통해서, 다양한 노이즈를 부가할 수 있다. 이를 통해서 다양한 실험실에서 얻어지는 노이즈의 종류와 실제 가정환경에서 발생하는 노이즈에 대해서 수집하고, 학습할 수 있다.
본 발명의 실시예들에 따르면, 편의상, 노이즈를 의도적으로 부가한 데이터를 Corrupted data로 지칭한다. Corrupted data는 바람직하게는 의도적으로 타겟 환경의 노이즈를 부가한 데이터를 의미할 수 있다.
또한, 편의상, 노이즈를 의도적으로 부가하지 않은 데이터를 Clean data로 지칭하기로 한다. 여기서 Clean data에는 의도적으로 노이즈를 부가하지 않았을 뿐, 실질적으로 노이즈가 포함될 수도 있다.
본 발명의 일실시예에 따른 Consistency Training에 이용되는 Clean data는, 특정 환경(바람직하게는, 수면다원검사 환경)에서 획득한 데이터일 수 있고, Corrupted data는 다른 환경 또는 타겟 환경(바람직하게는, 수면다원검사 이외의 환경)에서 획득한 데이터일 수 있다.
본 발명의 일실시예에 따른 Corrupted data는 다른 환경 또는 타겟 환경(바람직하게는, 수면다원검사 이외의 환경)에서 획득한 노이즈를 Clean data에 의도적으로 부가한 데이터일 수 있다.
Consistency Training에서, 동일한 딥러닝 모델에 Clean data와 Corrupted data를 각각 입력한 경우에 각각의 출력이 서로 같아지도록 손실 함수 또는 일관성 손실(consistency loss)을 정의하여, 일관된 예측(consistent prediction)을 도모하도록 학습이 수행될 수 있다.
홈 노이즈 컨시스턴시 트레이닝
본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트(예컨대, 무호흡, 저호흡, 코골기, 잠꼬대 등) 탐지는 가정환경에서의 일관성 학습(Home Noise Consistency Training)을 포함할 수 있다. 가정환경에서의 일관성 학습은 모델이 집에서의 소음에도 강건하게 동작하도록 만둘 수 있다. 가정환경에서의 일관성 학습은 모델이 소음이 있든 없든 비슷한 예측을 출력하도록 일관성 학습을 진행하여 소음에 강건해질 수 있다.
본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트 탐지는 가정환경에서의 일관성 학습을 진행할 수 있다. 가정환경에서의 일관성 학습은 일관성 손실함수를 포함할 수 있다. 예를 들어, 일관성 손실(Consistency loss)은 깨끗한 수면 호흡 소리의 예측과 그 소리의 손상된 버전의 예측 사이의 평균 제곱 오차(MSE)로 정의될 수 있다.
본 발명의 일 실시예에 따른, 가정환경에서의 일관성 학습은 손상된 소리를 생성하기 위해, 훈련 소음에서 무작위로 데이터를 샘플링하고, -20에서 5 사이의 무작위 SNR로 깨끗한 수면 호흡 소리에 노이즈를 부가할 수 있다.
본 발명의 일 실시예에 따른, 가정환경에서의 일관성 학습은 입력 시퀀스의 길이가 14 epochs, 총 샘플링된 소음의 길이가 7분 이상이 되도록 학습될 수 있다. 이를 통해, 본 발명에 따른 수면 이벤트를 탐지는 본 발명에 따른 수면 단계 분석에 비해 짧은 시간 내의 정보를 탐지하는 것으로, 수면 이벤트 탐지의 정확도가 상승될 수 있다.
이벤트 탐지로부터 AHI 값 추정을 위한 회귀분석
도 34는 본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트를 통해 수면 무호흡증 발생 지수인 AHI 분석하기 위해 활용하는 선형회귀분석 함수를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른, 단위시간(예컨대, 1시간)당 발생하는 호흡 사건의 횟수를 의미하는 AHI 지수는 수면 단계 분석과는 별도로 하나의 수면 단계 분석을 위한 에폭(epoch)의 길이와 독립적으로 분석을 할 수 있다. 구체적으로, 하나의 에폭(epoch)동안 2개 또는 3개의 짧은 수면 이벤트가 포함될 수 있고, 복수의 에폭(epoch)동안 1개의 긴 수면 이벤트가 포함될 수 있다.본 발명의 일실시예에 따른, 수면 중 발생하는 수면 이벤트가 발생한 에폭(epoch)의 개수로부터 실제 이벤트가 발생한 횟수를 추정하기 위하여 회귀분석 함수를 사용할 수 있다. 예컨대, RANSAC(Random Sample Consensus) 회귀 분석 모델을 사용할 수 있다. RANSAC 회귀 분석 모델은 근사 모델(Fitting Model)의 파라미터를 추정하는 방법 중 하나이며, 무작위로 샘플 데이터를 뽑은 다음 최대로 일치하는 모델을 선택하는 방법이다.
멀티 헤드를 통한 멀티 태스크 분석
본 발명의 일 실시예에 따른, 수면 상태를 분석하기 위한 방법은 딥 러닝 모델을 통한 분석을 포함할 수 있다. 본 발명의 일 실시예에 따른 딥 러닝 모델은 멀티 태스크 학습 및/또는 멀티 태스크 분석을 할 수 있다. 구체적으로, 멀티 태스크 학습 및 멀티 태스크 분석은 상술한 본 발명에 따른 실시예들(예컨대, 멀티모달 학습, 실시간 수면 이벤트 분석, 수면 단계 분석 등)에 따른 태스크를 동시에 학습할 수 있다.
본 발명의 일 실시예에 따른, 수면 상태를 분석하기 위한 딥 러닝 모델은 멀티 태스크 학습 및 멀티 태스크 분석을 할 수 있다. 구체적으로, 멀티 태스크 학습 및 분석을 위해서, 딥 러닝 모델은 복수의 헤드를 갖는 구조를 채택할 수 있다. 복수의 헤드 각각은 특정 작업 또는 태스크(예컨대, 멀티모달 학습, 실시간 수면 이벤트 분석, 수면 단계 분석 등)를 각각 담당할 수 있다. 예를 들어, 딥 러닝 모델은 제1 헤드, 제2 헤드 및 제3 헤드로 총 3개의 헤드를 갖는 구조를 가질 수 있고, 제1 헤드는 수면 단계 정보에 대한 추론 및/또는 분류를 수행하고, 제2 헤드는 수면 이벤트 중 수면 무호흡과 저호흡에 대한 탐지 및/또는 분류를 수행하고, 제3 헤드는 수면 이벤트 중 코골이에 대한 탐지 및 분류를 수행할 수 있다. 상술한 헤드의 특정 작업 또는 태스크에 대한 구체적인 기재는 본 발명을 설명하기 위한 예시에 불과할 뿐, 이에 한정되지 않는다. 본 발명에 따른 딥 러닝 모델은 복수의 헤드를 갖는 구조를 통해서 멀티 태스크 학습 및 분석을 진행할 수 있고, 데이터 효율성을 높임으로써 복수의 태스크 또는 특정 작업을 최적화할 수 있다.
본 발명에 따른 수면 분석 방법의 효과
수면다원검사(polysomnography, PSG) 결과와 비교하면, 수면 음향 정보를 입력으로 하는 수면 분석 모델 결과값이 매우 정확하다는 것을 확인할 수 있었다.
기존 수면 분석 모델은 ECG(Electrocardiogram)이나, HRV(Heart Rate Variability)를 입력으로 하여 수면단계를 예측하였으나, 본 발명은 수면 음향 정보를 주파수 도메인으로 변환한 정보, 스펙트로그램, 또는 멜 스펙트로그램으로 변환하여 입력으로 하여 수면단계 분석 및 추론을 진행할 수 있다. 따라서, 수면 음향 정보를 주파수 도메인으로 변환한 정보, 스펙트로그램, 또는 멜 스펙트로그램으로 변환하여 입력으로 하기 때문에 기존 수면 분석 모델과 달리 수면 패턴의 특이성 분석을 통해서 실시간으로 수면 단계를 센싱(sensing) 또는 획득할 수 있다.
본 발명은 사용자의 수면 분석을 실시간으로 분석하면서 수면장애(수면무호흡, 수면과호흡, 수면저호흡)가 발생한 지점을 파악할 수 있다. 수면장애가 발생한 순간 사용자에게 자극(촉각적, 자극 청각적 자극, 후각적 자극 등)을 제공하면, 수면장애가 일시적으로 완화될 수 있다. 즉, 본 발명은 수면장애와 관련한 정확한 이벤트탐지를 바탕으로 사용자의 수면장애를 중단시키고, 수면장애의 빈도를 감소시킬 수 있다. 또한, 본 발명에 따르면 수면 분석을 멀티모달로 수행함으로써 매우 정확한 수면 분석이 가능하다는 효과도 있다.
향을 제공하는 방법
본 발명의 일 실시 형태에 따르면, 상기에 언급한 제공할 수 있는 향의 종류들 중 랜덤하게 제공한 후, 사용자 피드백을 받아 제공한 향에 대하여 사용자 모델링이 이루어질 수 있다. 구체적인 예를 들어, 잠에 들거나 들 예정인 사용자(100f)에게 랜덤하게 선택된 "아로마 향"을 제공한 경우, 기상 후 사용자의 피드백이 긍정적인 경우에 사용자 단말기(200f), 또는 서버(20)는 사용자가 "아로마 향"을 선호하는 것으로 인식할 수 있다.
본 발명의 또 다른 일 실시 형태에 따르면, 이하에서 서술하는 정서적 모델링의 방법에 의하여, 사용자 단말기(200f), 또는 서버(20)가 사용자가 특정 향을 선호하는 것으로 인식하는 경우, 상기 정서적 모델링의 방법에 의하여 제공한 항에 대하여 또 다시 사용자 모델링이 이루어질 수 있다. 구체적인 예를 들어, 잠에 들거나 들 예정인 사용자(100)가 선호하는 것으로 인식된 "아로마 향"을 제공한 경우, 기상 후 사용자의 피드백이 부정적인 경우에 사용자 단말기(200f), 또는 서버(20)는 사용자가 "아로마 향"을 선호하지 않는 것으로 다시 인식할 수 있다.
본 발명의 또 다른 일 실시 형태에 따르면, 상기에 언급한 제공할 수 있는 향의 종류들 중 랜덤하게 제공한 후, 랜덤하게 제공된 향에 의하여 이하에서 서술할 환경 센싱 정보에 의한 수량적인 모델링이 이루어질 수도 있다. 구체적인 예를 들어, 잠에 들거나 들 예정인 사용자(100)에게 랜덤하게 선택된 "아로마 향"을 제공한 경우, 사용자의 입면 후 수면 중 깨어날 때까지 걸린 시간(WASO)이 상대적으로 짧거나, 또는 사용자가 수면 중 깨어난 횟수가 상대적으로 많거나 또는 사용자의 깊은 수면이 최초로 나타나는데 까지 걸리는 시간이 상대적으로 긴 경우 사용자 단말기(200f), 또는 서버(20)는 사용자가 "아로마 향"을 선호하지 않는 것으로 인식할 수 있다.
본 발명의 또 다른 일 실시 형태에 따르면, 이하에서 서술하는 정서적 모델링의 방법에 의하여, 사용자 단말기(200f), 또는 서버(20)가 사용자가 특정 향을 선호하는 것으로 인식하는 경우, 상기 정서적 모델링의 방법에 의하여 제공한 항에 대하여 이하에서 서술할 환경 센싱 정보에 의한 수량적인 모델링이 이루어질 수도 있다. 구체적인 예를 들어, 잠에 들거나 들 예정인 사용자(100)가 선호하는 것으로 인식하여 제공된 "아로마 향"을 제공한 경우, 사용자의 입면 후 수면 중 깨어날 때까지 걸린 시간(WASO)이 상대적으로 짧거나, 또는 사용자가 수면 중 깨어난 횟수가 상대적으로 많거나 또는 사용자의 깊은 수면이 최초로 나타나는데 까지 걸리는 시간이 상대적으로 긴 경우 사용자 단말기(200f), 또는 서버(20)는 사용자가 "아로마 향"을 선호하지 않는 것으로 인식할 수 있다.
사용자 모델링
정서적 모델링
도 91은 본 발명에 따른 정서적 모델링의 방법 중 사용자가 스와이프를 하며 선호하는 향을 체크하는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 92는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 향과 관련한 텍스트를 입력받는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 93은 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 향에 대한 키워드를 선택하는 사용자 모델링 방법을 설명하기 위한 도면이다.
사용자 모델링은 향을 제공하는 방법에 있어서, 정서적 모델링과 환경 센싱 정보에 의한 수량적인 모델링을 포함할 수 있다. 정서적 모델링은 사용자가 좋은 기억을 가지고 있는 향 혹은 사용자가 편안함을 느끼는 향에 대한 모델링을 포함할 수 있다.
구체적으로, 도 91에 도시된 바와 같이, 사용자 모델링 중 정서적 모델링은 사용자가 향의 종류를 스와이프 하는 과정에서 사용자가 좋은 기억을 가지고 있는 향 혹은 사용자가 편안하게 느끼는 향을 체크하는 방식을 포함할 수 있다. 예를 들어, 사용자 단말(10) 또는 서버(20)는 사용자가 해당 향의 종류에 체류하는 시간이 상대적으로 긴 향의 종류가 존재하는 경우, 해당 향의 종류를 사용자가 선호하는 것으로 인식할 수 있다. 구체적인 예를 들어, 도 1에 도시된 바와 같이, 정서적 모델링을 위한 사용자 인터페이스는 상단에 "내가 선호하는 향은?"과 같은 문구를 제공하는 형태일 수 있고, 사용자는 정서적 모델링을 위한 사용자 인터페이스를 스와이프 하면서, "로즈마리, 라벤다 등의 허브 향"에 체류하는 시간이 상대적으로 길 수 있고, 또는 "로즈마리, 라벤다 등의 허브 향"을 탭핑하여 선택할 수도 있다. 이 경우, 사용자 단말(10) 또는 서버(20)는 사용자가 "로즈마리, 라벤다 등의 허브 향"을 선호하는 것으로 인식할 수 있다. 이에 따라, 사용자의 입면 단계, 렘 수면 단계, 기상 단계에서 감귤, "로즈마리, 라벤다 등의 허브 향을 가진 아로마틱 향"을 제공할 수 있다.
도 92에 도시된 바와 같이, 사용자 모델링 중 정서적 모델링은 사용자에게 텍스트를 통해 사용자가 선호하는 향에 대한 컨텐츠를 입력하는 방식을 포함할 수 있다. 예를 들어, 사용자 단말(10)이 사용자에게 도 92에 도시된 것과 같이,"편안함을 느끼는 향에 대해서 입력하세요" 라고 질문하는 경우, 사용자 단말(10) 또는 서버(20)는 사용자가 입력하는 텍스트가 사용자가 좋은 기억을 가지고 있는 향 혹은 편안하게 느끼는 향이라고 인식할 수 있다. 구체적인 예를 들어, 사용자가 "제주도 여행을 갔을 때, 감귤 농장의 감귤 냄새가 좋았었다."라고 입력하는 경우, 사용자 단말(10) 또는 서버(20)는 사용자의 정서적 모델링을 "감귤, 오렌지 등 감귤류의 상쾌한 향을 선호"하는 것으로 인식할 수 있으며, 이에 따라 환경 조성 장치(30)는 사용자의 입면 단계, 렘 수면 단계, 기상 단계에서 감귤, "오렌지 등 감귤류의 상쾌한 향을 가진 시트러스 향"을 제공할 수 있다.
도 93에 도시된 바와 같이, 사용자 모델링 중 정서적 모델링은 사용자가 선호하는 향에 대한 키워트를 선택하는 방식을 포함할 수 있다. 예를 들어, 사용자 단말(10)이 사용자에게 "당신이 선호하는 향을 선택하시오" 라고 질문하는 경우, 사용자가 "clean cotton"이라는 향을 선택한 경우, 사용자 단말(10) 또는 서버(20)는 사용자가 선택한 "clean cotton"이 사용자가 좋은 기억을 가지고 있는 향 혹은 편안하게 느끼는 향이라고 인식할 수 있으며, 이에 따라 사용자의 입면 단계, 렘 수면 단계, 기상 단계에서 "clean cotton" 향을 제공할 수 있다.
기상 후 피드백
도 94는 본 발명에 따른 정서적 모델링의 방법 중 사용자에게 제공된 향에 대하여 기상 후 피드백을 받는 사용자 모델링 방법을 설명하기 위한 도면이다.
도 94에 도시된 바와 같이, 정서적 모델링의 방법 중 사용자가 스와이프를 하며 선호하는 향을 체크하는 사용자 모델링 방법에 의해 제공된 향, 사용자가 선호하는 향과 관련한 텍스트를 입력받는 사용자 모델링 방법에 의해 제공된 향, 사용자가 선호하는 향에 대한 키워드를 선택하는 사용자 모델링 방법에 의해 제공된 향, 또는 랜덤하게 제공된 향에 대하여, 기상 후 피드백을 받을 수 있다.
구체적으로, 정서적 모델링의 방법 중 사용자가 스와이프를 하며 선호하는 향을 체크하는 사용자 모델링 방법에 의해 제공된 향, 사용자가 선호하는 향과 관련한 텍스트를 입력받는 사용자 모델링 방법에 의해 제공된 향, 사용자가 선호하는 향에 대한 키워드를 선택하는 사용자 모델링 방법에 의해 제공된 향, 또는 랜덤하게 제공된 향이 도 94에 도시된 "아로마틱 향"인 경우, "오늘 아로마틱 향 어땠나요?"와 같은 문장 형태의 사용자 인터페이스가 제공될 수 있고, 향에 대한 정보를 제공하지 않고, "자는 동안 향기가 마음에 들었나요?"와 같은 문장 형태의 사용자 인터페이스가 제공될 수도 있다. 이에 따라, 사용자가 "좋았어요"와 "별로에요"와 같은 양립 불가능한 문장 중 하나를 선택할 수 있도록 사용자 인터페이스가 제공될 수 있으며, "좋아요"와 "싫어요"와 같은 양립 불가능한 문장 중 하나를 선택할 수 있도록 사용자 인터페이스가 제공될 수도 있다. 또한, 문장이 아닌 웃는 이모티콘과 웃지 않는 이모티콘 중 하나를 고를 수 있도록 사용자 인터페이스가 제공될 수 있으며, 도 94에 도시된 바와 같이, 문장과 이모티콘이 함께 제공되는 사용자 인터페이스가 제공될 수도 있다.
구체적인 예를 들어, 본 발명의 일 실시 형태에 따르면, "오늘 아로마틱 향 어땠나요?"와 같은 문장 형태의 사용자 인터페이스가 제공된 경우, 사용자가 "좋아요"와 같은 문장의 사용자 인터페이스를 선택한 경우, 사용자 단말(10) 또는 서버(20)는 사용자가 "아로마틱 향"을 선호하는 것으로 인식할 수 있고, 이에 따라 사용자의 입면 단계, 렘 수면 단계, 기상 단계에서 감귤, "아로마틱 향"을 제공할 수 있다.
반면, 오늘 아로마틱 향 어땠나요?"와 같은 문장 형태의 사용자 인터페이스가 제공된 경우, 사용자가 "싫어요"와 같은 문장의 사용자 인터페이스를 선택한 경우, 사용자 단말(10) 또는 서버(20)는 사용자가 "아로마틱 향"을 선호하지 않는 것으로 인식할 수 있고, 이에 따라 사용자의 입면 단계, 렘 수면 단계, 기상 단계에서"아로마틱 향"이 아닌 다른 향을 제공할 수 있다.
도 95는 본 발명에 따른 향 제공 장치가 수면 중인 사용자에게 향을 제공하는 것을 설명하기 위한 도면이다.
도시된 바와 같이, 사용자 단말기(200f), 향 제공 장치(110f)는 잠에 들거나 들 예정인 사용자(100f)의 환경의 환경 센싱 정보를 센싱하여 잠에 들거나 들 예정인 사용자(100f)의 수면 상태 정보를 분석할 수 있고, 잠에 들거나 들 예정인 사용자(100f)의 수면 상태 정보가 WAKE 상태, Light 상태, Rem 상태 등인 때에, 향 제공 장치(110f)는 향 제공 장치 토출구(111f)에서 향을 분사할 수 있다.
구체적인 예를 들어, 잠에 들거나 들 예정인 사용자(100f)가 이하에서 설명할 정서적 모델링에 따라, 아로마 향을 선호하는 것으로 사용자 단말기(200f) 또는 서버(20)가 인식하는 경우, 향 제공 장치(110f)는 향 제공 장치 토출구(111f)에서, 잠에 들거나 들 예정인 사용자(100f)의 수면 상태 정보가 WAKE 상태, Light 상태, Rem 상태 등인 때에 아로마 향을 분사할 수 있다.
환경 센싱 정보에 의한 수량적 모델링
사용자 모델링은 향을 제공하는 방법에 있어서, 정서적 모델링과 환경 센싱 정보에 의한 수량적인 모델링을 포함할 수 있다. 환경 센싱 정보에 의한 수량적인 모델링은 사용자의 수면 결과에 기반한 모델링 방식일 수 있다. 구체적으로, 사용자 단말(10) 또는 서버(20)는 특정 향을 제공하였을 때의 수면의 질을 평가하여, 사용자에게 제공된 특정 향에 대해 평가할 수 있다.
본 발명의 일실시예에 따르면, 사용자 단말(10) 또는 서버(20)는 특정 향을 제공하였을 때의 수면의 질을 평가하여, 사용자의 수면의 질이 좋지 못한 경우, 특정 향에 패널티를 부여할 수 있다. 예를 들어, 특정 향을 제공한 경우, 사용자의 입면 후 수면 중 깨어날 때까지 걸린 시간(WASO)이 상대적으로 짧거나, 또는 사용자가 수면 중 깨어난 횟수가 상대적으로 많거나 또는 사용자의 깊은 수면이 최초로 나타나는데 까지 걸리는 시간이 상대적으로 긴 경우, 사용자 단말(10) 또는 서버(20)는 해당 향에 패널티를 부여할 수 있다.
이하 본 발명의 실시예에 따른 수면의 질 평가 지표가, 수면에 대한 분석을 수치적으로 기록한 스코어인 경우를 자세히 설명한다.
본 발명의 일 실시예에 따르면, 소정의 향을 제공받은 사용자의 입면 지연 시간, 입면 시점, 기상 시점, 사용자의 총 수면 시간, 및 사용자의 수면 단계 별 수면 시간 중 적어도 하나 이상에 기초하여 수면의 질 평가 지표의 일종인 수면 스코어를 산출할 수 있다. 사용자의 총 수면시간은 취침 시각과 기상 시각의 시간의 차이의 절대값일 수 있다. 사용자의 수면 단계 별 수면시간은 측정된 사용자의 수면단계(예컨대, 깸, 깊은잠, 얕은잠, 렘수면 등)의 비율 또는 시간으로 나타날 수 있다.
본 발명의 일 실시예에 따르면, 수면 스코어는 100점을 최고점으로 하는 수면의 종합 점수로서 수면에 대한 수치적인 평가일 수 있다. 수면 스코어는 기 설정된 수면 스코어 산정 공식에 의해 계산될 수 있다.
예컨대, 수면 단계(예컨대, 렘수면, 깊은잠, 얕은잠, 깸 등)마다 대응되는 점수를 부여하고, 기 설정된 수면 스코어 산정 공식에 대입하여 최종 점수를 얻을 수 있고, 최종 점수를 득점 가능한 최고점수로 나누어 100을 곱한 값이 수면 종합 점수가 될 수 있다. 수면 스코어를 점수로서 평가를 제공함으로써, 수면에 대하여 직관적인 평가를 제공할 수 있다.
본 발명에 따라 소정의 향을 제공받은 사용자의 수면 스코어가 높은 경우에, 해당 향이 사용자의 수면 경험에 좋은 영향을 주었다고 해석될 수 있다. 반면에 수면 스코어가 낮은 경우에는, 사용자의 수면 경험에 좋은 영향을 주지 못했다고 해석될 수도 있다.
향 제공 장치
클로즈드 루프 컨트롤
본 발명에 따르면, 강화학습이란, 특정 환경에서 소정의 동작을 수행한 뒤, 보상 함수를 통해 해당 동작을 평가하여 업데이트(또는 수정)하는 과정을 반복하는 Closed-loop 구조로 이루어지는 학습 방법이다. 이하, 본 발명의 일 실시예에 따른 향 제공 장치의 클로즈드 루프 컨트롤(Closed-loop Control) 또는 강화학습 방법에 대하여 설명한다.
본 발명에 따르면, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 있어서, 하나 이상의 에폭에 상응하는 시간 동안 생성된 수면 상태 정보에 기초하여 제 1 향 제공 정보를 생성하는 단계를 포함할 수 있으며, 제 1 향을 제공하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 수면 상태 정보에 기초하여 제 2 향 제공 정보를 생성하는 단계를 포함할 수 있다.
구체적으로, 하나 이상의 에폭은 30초 단위에 상응하는 데이터로 설정될 수 있으며, 하나 이상의 에폭에 따른 주기 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률(즉, 수면 단계 확률 정보)을 나타낼 수 있다.
본 발명의 일 실시예에 따른 힙노덴시티 그래프를 통해, 수면 단계 정보를 예측할 때 하나 이상의 에폭에 따른 주기 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률(즉, 수면 단계 확률 정보)을 나타낼 수 있으며, 뿐만 아니라, 5개의 클래스(Wake, N1, N2, N3, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률을 나타낼 수 있으며, 3개의 클래스(Wake, Non-REM, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률을 나타낼 수 있고, 2개의 클래스(Wake, Sleep) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률을 나타낼 수 있다. 여기서, 수면 단계 확률 정보는 수면 단계를 분류하였을 때, 소정의 수면 단계가 소정의 에폭에서 차지하는 정도의 비중을 수치로 나타낸 것을 의미할 수도 있다.
본 발명의 일 실시예에 따르면, 에폭의 주기(예컨대, 30초) 단위로 획득한 수면 단계 정보 또는 수면 단계 확률 정보에 기초하여 클로즈드 루프 컨트롤 또는 강화학습이 가능하다. 예를 들면, 하나 이상의 에폭에 상응하는 시간 동안 사용자의 수면 상태 정보(예컨대, 수면 단계 정보)를 생성할 수 있다.
또는, 본 발명의 일 실시예에 따르면, 하나 이상의 에폭에 상응하는 시간 동안의 사용자의 수면이 어느 수면 단계에 속하는지에 대한 확률을 나타내는 수면 단계 확률 정보를 계산할 수 있다.
우선, 제 1 향을 제공받은 사용자로부터, 하나 이상의 에폭에 상응하는 시간 동안의 수면 상태 정보(예컨대, 수면 단계 정보 또는 수면 단계 확률 정보 등)를 획득하고, 그 다음 에폭에 상응하는 시간 동안의 특정 시점에 해당 사용자에게 제 2 향을 제공한 이후, 제 2 향을 제공받은 사용자의 수면 상태 정보를 하나 이상의 에폭에 상응하는 시간 동안 생성할 수 있다. 이와 같은 방법을 통해, 특정 수면 단계에 대한 수면 단계 확률 정보를 높이거나, 줄이는 방향으로 향이 제공되게끔 학습을 수행할 수 있다.
예를 들면, 제1 시점에서 제 1 향을 제공받은 사용자의 수면 단계가 깊은(Deep) 수면 단계에 해당한다는 확률을 나타내는 수면 단계 확률 정보가 x이었고(여기서, x는 0≤x≤1 범위 내의 값이다), 제1 시점이 끝난 후 제2 시점에 사용자에게 제 2 향을 제공하면서 수면 상태 정보를 생성하였을 때, 깊은(Deep) 수면 단계에 해당한다는 확률을 나타내는 수면 단계 확률 정보가 x 이상인 경우, 제 2 향이 해당 사용자의 깊은(Deep) 수면을 유도할 수 있는 향이라는 학습이 가능하다.
만약, 제 2 향을 제공받은 직후에 즉각적으로 해당 수면 단계 정보 또는 수면 단계 확률 정보의 변화가 발생하지 않았더라도, 제 2 향을 제공받은 뒤 해당 수면 단계 정보 또는 수면 단계 확률 정보가 변화되는 시간에 기초하여 향 제공 정보의 강화학습을 수행할 수도 있을 것이다.
한편, 여기서 제 1 향과 제 2 향은 서로 다른 향일 수도 있으나, 서로 같은 향(또는, 서로 같은 계열의 향)일 수도 있다. 또 다른 실시예에 의하면, 제 1 향은 "무향"일 수 있고, 제 2 향은 "무향이 아닌 향"을 제공하여, 제 2 향을 제공하면서 수면 상태 정보를 생성하였을 때, 깊은(Deep) 수면 단계에 해당한다고 판단될 확률을 나타내는 수면 단계 확률 정보가 x 이상인 경우, 제 2 향이 해당 사용자의 깊은(Deep) 수면을 유도할 수 있는 향이라는 학습이 가능하다. 또는, 제 1 향 및 제 2 향 모두 "무향"일 수도 있고, 제 1 향이 "무향이 아닌 향"이고 제 2 향이 "무향"일 수도 있다. 제 1 향 또는 제 2 향 중 적어도 하나가 "무향"인 경우에는, 제 1 향 제공 정보 또는 제 2 향 제공 정보 중 적어도 하나는 "향을 제공하지 않는다는 정보"일 수 있다.
또는, 다른 예를 들면, 제3 시점에서 제3 향을 제공받은 사용자의 수면 단계가 깸(Wake) 수면 단계에 해당한다는 확률을 나타내는 수면 단계 확률 정보가 y이었고(여기서, y는 0≤y≤1 범위 내의 값이다), 제3 시점이 끝난 후 제4 시점에 사용자에게 제4 향을 제공하면서 수면 상태 정보를 생성하였을 때, 깸(Wake) 수면 단계에 해당한다는 확률을 나타내는 수면 단계 확률 정보가 y 이하인 경우, 제4 향이 해당 사용자의 깸(Wake) 수면을 억제할 수 있는 향이라는 학습이 가능하다.
만약, 제 4 향을 제공받은 직후에 즉각적으로 해당 수면 단계 정보 또는 수면 단계 확률 정보의 변화가 발생하지 않았더라도, 제 4 향을 제공받은 뒤 해당 수면 단계 정보 또는 수면 단계 확률 정보가 변화되는 시간에 기초하여 향 제공 정보의 강화학습을 수행할 수도 있을 것이다.
한편, 여기서 제3 향과 제4 향은 서로 다른 향일 수도 있으나, 서로 같은 향(또는, 서로 같은 계열의 향)일 수도 있다. 또 다른 실시예에 의하면, 제3 향은 "무향"일 수 있고, 제4 향은 "무향이 아닌 향"을 제공하여, 제4 향을 제공하면서 수면 상태 정보를 생성하였을 때, 깸(Wake) 수면 단계에 해당한다는 확률을 나타내는 수면 단계 확률 정보가 y 이하인 경우, 제4 향이 해당 사용자의 깸(Wake) 수면을 억제할 수 있는 향이라는 학습이 가능하다. 이와 같은 방법으로 Deep 수면 단계를 유도하거나, 수면 중간의 Wake 단계를 억제하거나, 전체적인 수면 기간 동안의 REM 수면의 비율이 적절한 범위 내로 형성되는 방향으로 강화학습을 수행할 수 있다.
또한, 앞서 살펴본 바와 같이 본 발명의 일 실시예에 따르면, 에폭의 주기(예컨대, 30초) 단위로 클로즈드 루프 컨트롤 또는 강화학습이 가능하므로, 상대적으로 짧은 시간 단위마다(또는 실시간으로) 향 제공 장치(110f)의 수면 단계에 대한 클로즈드 루프 컨트롤 또는 강화학습을 수행할 수 있다는 효과가 있다. 즉, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 있어서, 생성된 수면 상태 정보에 기초하여 상기 전자 장치를 실시간으로 제어할 수 있다.
또는, 본 발명의 일 실시예에 따르면, 알람을 설정한 시점이 다가올 때에는 Wake를 높이는 방향으로 강화학습을 수행함으로써 향 제공 장치(110f)가 효율적인 기상에 도움을 주도록 학습할 수 있다.
한편, 여기서, 앞서 살펴본 바와 같이 제 3 향 또는 제 4 향 중 적어도 하나 가 "무향" 일 수도 있고, 이렇게 제 3 향 또는 제 4 향 중 적어도 하나가 "무향"인 경우에는, 제 3 향 제공 정보 또는 제 4 향 제공 정보 중 적어도 하나는 "향을 제공하지 않는다는 정보"일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 수면 단계뿐만 아니라, 수면 이벤트(예컨대, 코골이, 수면무호흡증, 이갈이 등)를 조절하는 방향으로도 강화학습을 수행할 수 있다. 다시 말해, 소정의 수면 이벤트가 발생했다는 수면 이벤트 정보 또는, 소정의 수면 이벤트가 발생했다고 판단될 확률을 나타내는 수면 이벤트 확률 정보에 기초해서 향을 제공하는 정보를 생성할 수도 있다.
즉, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 있어서, 수면 상태 정보는, 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 형태에 따르면, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 있어서, 제 1 향 제공 정보 및 제 2 향 제공 정보는 향의 속성 정보 또는 향의 제공 조절 정보일 수 있다. 구체적인 예를 들어, 향의 속성 정보는 향의 습도, 토출구(111f)에서 향을 분사시킬 때 나오는 바람의 세기, 향의 종류 등을 포함할 수 있으며, 향의 제공 조절 정보는 향을 제 1 시점에서는 상대적으로 긴 시간 분사, 제 2 시점에서는 상대적으로 짧은 시간 분사 등과 같이, 시간에 따른 제공 정보를 포함할 수 있다.
또 다른 예를 들어, 향의 제공 조절 정보는 사용자에게 제 1 시점에는 상대적으로 긴 시간 동안 아로마 향을 분사한 뒤, 제 2 시점에는 상대적으로 짧은 시간 동안 시트러스 향을 분사시키는 정보 등을 포함할 수 있다.
본 발명의 일 실시예에 따라 수면 이벤트 확률 정보를 기초로 향 제공 정보를 생성하는 것에 대한 구체적인 예를 들어, 제 1 향을 제공받은 사용자에게 소정의 수면 이벤트가 발생했다고 판단될 확률을 나타내는 수면 이벤트 확률 정보가 a이었고(여기서, a는 0≤a≤1 범위 내의 값이다), 제 1 향을 제공받은 이후 사용자에게 제 2 향을 제공하면서 수면 상태 정보를 생성하였을 때, 해당 수면 이벤트에 해당한다고 판단될 확률을 나타내는 수면 이벤트 확률 정보가 a 이하인 경우, 제 2 향이 해당 사용자의 해당 수면 이벤트를 조절(완화 또는 억제하는 방향으로 조절하는 것을 포함한다)할 수 있는 향이라는 학습이 가능하다.
만약, 제 2 향을 제공받은 직후에 즉각적으로 해당 수면 이벤트 확률 정보가 조절되지 않았더라도, 제 2 향을 제공받은 뒤 해당 수면 이벤트 확률 정보가 조절되는 시간에 기초하여 향 제공 정보의 강화학습을 수행할 수도 있을 것이다.
또는, 본 발명의 일 실시예에 따라 수면 이벤트 정보를 기초로 향 제공 정보를 생성하는 것에 대한 구체적인 예를 들면, 제 1 향을 제공받은 사용자에게 소정의 수면 이벤트가 발생했다는 정보를 획득한 경우, 제 1 향을 제공받은 이후 사용자에게 제 2 향을 제공하면서 수면 상태 정보를 생성하였을 때, 해당 수면 이벤트에 해당하지 않는다는 정보가 획득되었다면, 제 2 향이 해당 사용자의 해당 수면 이벤트를 조절(완화 또는 억제하는 방향으로 조절하는 것을 포함한다)할 수 있는 향이라는 학습이 가능하다.
만약, 제 2 향을 제공받은 직후에 즉각적으로 해당 수면 이벤트가 조절되지 않았더라도, 제 2 향을 제공받은 뒤 해당 수면 이벤트가 조절되는 시간에 기초하여 향 제공 정보의 강화학습을 수행할 수도 있을 것이다.
한편, 위에서는 소정의 수면 이벤트를 완화 또는 억제하는 방향으로 조절하는 방법을 설명하였으나, 이와는 반대로 소정의 수면 이벤트를 유도하는 방향으로 조절되게끔 향을 제공하는 정보를 생성하기 위한 학습이 수행될 수도 있다.
한편, 여기서 제 1 향과 제 2 향은 서로 다른 향일 수도 있으나, 서로 같은 향(또는, 서로 같은 계열의 향)일 수도 있다. 한편, 본 발명은 상술한 구체적인 수면 이벤트의 예시에 한정되는 것은 아니다. 구체적인 예를 들어, 사용자의 수면 중 코골이 이벤트가 발생하는 경우, 상기 제공하는 제 2 향은 사용자의 막힌 코 또는 기도 등을 뚫어주는 박하 계열의 향일 수 있으나, 이에 제한되는 것은 아니다. 또한, 제 1 향 또는 제 2 향 중 적어도 하나가"무향"일 수도 있고, 제 1 향 또는 제 2 향 중 적어도 하나가 "무향"인 경우에는, 제 1 향 제공 정보 또는 제 2 향 제공 정보 중 적어도 하나는 "향을 제공하지 않는다는 정보"일 수 있다.
이와 같은 방법으로 수면 이벤트를 조절하는 방향으로 강화학습을 수행할 수 있다. 또한, 앞서 살펴본 바와 같이 본 발명의 일 실시예에 따르면, 에폭의 주기(예컨대, 30초) 단위로 클로즈드 루프 컨트롤 또는 강화학습이 가능하므로, 상대적으로 짧은 시간 단위마다(또는 실시간으로) 향 제공 장치(110f)의 수면 이벤트에 대한 클로즈드 루프 컨트롤 또는 강화학습을 수행할 수 있다는 효과가 있다.
본 발명의 또 다른 일 실시 형태에 의하면, 소정의 향 제공 정보에 응답하여 소정의 향을 제공하는 전자 장치를 제어하기 위한 방법에 있어서, 소정의 향을 제공하는 전자 장치가 제 1 시간 동안 제 1 향을 제공하도록 한 후, 전자 장치가 제 1 향을 제공하기 시작한 이후 생성된 사용자의 수면 상태 정보에 기초하여 제 2 향 제공 정보를 생성하면, 전자 장치가 제 2 시간 동안 상기 제 2 향을 제공하도록 할 수 있다. 구체적으로, 제 2 향 제공 정보를 생성하는 단계는, 소정의 향을 제공하는 전자 장치가 상기 제 1 향을 제공하기 시작한 이후, 생성되는 사용자의 수면 단계 정보, 수면 단계 확률 정보, 수면 이벤트 정보 및 수면 이벤트 확률 정보 중 적어도 하나에 기초하여 제 2 향 제공 정보를 생성하는 단계를 더 포함할 수 있다.
구체적으로, 제 1 시간 및 제 2 시간은 소정의 최소 시간 단위의 배수일 수 있다. 구체적인 예를 들어, 최소 시간 단위는 1초, 0.1초 0.01초일 수 있으나, 이에 한정되는 것은 아니며, 전자 장치가 제 1 시간동안 제 1 향을 제공하도록 하는 최소 시간 단위는 토출구(111f)에서 향을 한 회 분사시킬 때의 분사 시간일 수 있다.
이상에서 설명한 구체적인 수치와, 스마트 가전기기들의 동작은 본 발명의 내용의 이해를 돕기 위한 예시일 뿐, 본 발명은 이에 제한되는 것은 아니다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
[부호의 설명]
1a : 전자 장치
1b : 전자 장치
1c : 전자 장치
1d : 전자 장치
2a : 전자 장치
2b : 전자 장치
10 : 사용자 단말
40 : 수면에 관한 용품 추천장치
50 : 수면에 관한 용품 검증 장치
11a : 기 설정된 영역
12a : 센싱부
12b : 송신부
12c : 수신부
12d : 제어부
12e : 열 조절 수단
13a: 센싱부
13b : 송신부
13c : 수신부
13d : 열 조절 수단
14a : 센싱부
14b : 제어부
14c : 열 조절 수단
15a : 센싱부
15b : 송신부
15c : 수신부
15d : 열 조절 수단
16a : 센싱부
16b : 메모리부
16c : 프로세서부
17 : 일어나기
20 : 외부 서버
20a : 제1 서버
20b : 제2 서버
30 : 환경 조성 장치
30-1 : 온수 매트
30-2 : 빛 조절 장치
30-2a : 센싱부
30-2b : 송신부
30-2c : 수신부
30-2d : 제어부
30-2e : 광원부
40 : 환경 센싱 정보 획득 센서
41 : 제어부
41-1 : 전처리 수행 수단
41-2 : 수면 상태 정보 생성 수단
41-3 : 환경 조성부 제어 수단
42 : 환경 조성부
46 : 통신부
50 : 가전 기기 제어 장치
51 : 환경 조성 정보 획득 센서
52 : 제어부
52-1 : 전처리 수행 수단
52-2 : 수면 상태 정보 생성 수단
52-3 : 가전 기기 제어 수단
56 : 통신부
60 : 다른 전자 장치
61 : 가전 기기 제어 장치
61-1 : 수면 상태 정보 수신 수단
61-2 : 가전 기기 제어 장치
70 : 가전 기기 제어 장치
71 : 환경 조성 정보 획득 센서
72 : 제어부
72-1 : 전처리 수행 수단
72-2 : 가전기기 제어 수단
76 : 통신부
79 : 통신부
80 : 가전 기기 제어 장치
81 : 환경 센싱 정보 획득 센서
82 : 제어부
82-1 : 전처리 수행 수단
82-2 : 가전기기 제어 수단
86 : 통신부
100 : 컴퓨팅 장치
100f : 잠에 들거나 잠에 들 예정인 사용자
110 : 네트워크부
110f : 향 제공 장치
111f : 토출구
120 : 메모리
130: 프로세서
200 : 환경 센싱 정보
200f : 사용자 단말기
201 : 특이점
210 : 수면 음향 정보
300 : 스펙트로그램
310 : AI 서버
400 : 수면 환경 조절 장치
410 : 수신 모듈
411 : 네트워크부
412 : 메모리
413 : 센서부
414 : 음향 수집부
415 : 환경조성부
416 : 수신제어부
420 : 송신모듈
500 : 공기조화기
500': 실내기
500": 실내기
500''': 실내기
500'''': 실내기
502 : 서큘레이터 모듈
503 : 서큘레이터 도어
505 : 청소모듈
506 : 자동 문 열림 센서
507 : 마이크 및/또는 스피커
508 : 인체감지 센서
509 : 내부패널
511 : 전면부
511': 전면부
511": 전면부
511''': 전면부
516 : 베이스
517 : 캐비닛
513 : 측면부
520 : 필터어셈블리
521 : 필터부재
523 : 필터흡입구
523': 흡입구
530 : 토출구
530': 토출구
531 : 토출패널
540 : 풍향 조절기
545 : 좌우 풍향조절기
550 : 센서장치
551 : 가습용 물통
552 : 무빙 필터
553 : 실내온도 센서
554 : 먼지통
555 : 음성 인식 센서
556 : 배관 홀
557 : 드레인 홀
558 : PM1.0 센서
559 : 습도 센서
560 : 강제 운전 버튼
570 : 디스플레이부
571 : 근접센서
570': 디스플레이부
570": 디스플레이부
580 : 이온발생장치
590 : 공기청정 표시등
700 : 공기청정기
700': 공기청정기
700": 공기청정기
700''': 공기청정기
710 : 네트워크부
720 : 메모리
730 : 프로세서
740 : 구동부
750 : 측정부
800 : 스마트 가전기기
800-1 : 가습기/제습기
800-2 : 에어컨
801 : 자율주행차량
802 : 거주 공간
803 : 스마트 워치
804 : 스마트 스피커
810 : 통신부
820 : 센서부
830 : 프로세서
840 : 메모리
850 : 알람부
900 : 스마트폰
1000 : 제1 송풍장치
1000': 송풍장치
1100 : 제1 커버
1500 : 제1 배출구
1700 : 필터
1700': 배출구
1800 : UV 발광 소자
1900 : 필터 상태 감지 센서
2000 : 제2 송풍장치
2100 : 제2 커버
2300 : 센서
2400 : 스마트 진단부
2500 : 인공지능센서 통신 모듈
2600 : 가스 센서
2700 : 필터
2800 : UV 발광 소자
3000 : 유동 전환장치
4000 : 디스플레이부
4100 : 운전/정지 버튼
4200 : 운전모드 버튼
4210 : 운전모드
4250 : 슬립모드
4300 : 청정세기 버튼
4400 : 부스터제어 버튼
4500 : 설정 버튼
5000 : 구획장치
5100 : 네트워크부
5200 : 메모리
5300 : 프로세서
5400 : 구동부
5500 : 측정부
6000 : 테이블
6100 : 상면
6500 : 무선충전부
S100-M : 제1 정보 획득
S102-M : 데이터 전처리
S110-M : 제2 정보 획득
S112-M : 데이터 전처리
S120-M : 멀티모달 데이터 결합
S130-M : 딥러닝 모델
S140-M : 수면 상태 정보 획득
S200-M : 제1 정보 획득
S202-M : 데이터 전처리
S204-M : 딥러닝 모델
S210-M : 제2 정보 획득
S212-M : 데이터 전처리
S214-M : 추론 모델
S220-M : 멀티모달 데이터 결합
S230-M : 수면 상태 정보 획득
S300-M : 제1 정보 획득
S302-M : 데이터 전처리
S304-M : 딥러닝 모델
S310-M : 제2 정보 획득
S320-M : 멀티모달 데이터 결합
S330-M : 수면 상태 정보 획득
S110 : 제1 센서부를 통해 일 공간 내에서 사용자의 움직임이 발생하는 것을 감지
S120 : 제2 센서부를 통해 사용자가 기 설정된 영역에 위치한 것을 식별
S130 : 음향수집부를 구동하여 일 공간에 관련한 음향 정보를 수집
S140 : 수집된 음향 정보에 기초하여 수면 상태 정보를 산출
S210: 사용자의 수면 상태가 수면 전인 경우, 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별
S220 : 제2 센서부를 통해 수면 유도 시점에 사용자가 기 설정된 영역에 위치하였는지 여부를 감지
S230 : 사용자 단말에 알림 전송
S240 : 수면 유도 시점으로부터 수면 시점까지 기 설정된 백색광을 공급하도록 하는 제1 환경 조성 정보를 생성
S310 : 스마트워치가 마이크 모듈을 통해 사용자의 수면과 관련한 수면 음향 정보를 실시간으로 획득
S320 : 사용자 단말이 획득된 수면 음향 정보를 인가받아 스펙트로그램으로 변환 및 분석을 수행
S330 : 사용자의 수면 단계를 실시간으로 판별
S340 : 사용자 단말이 스마트워치의 동작을 실시간으로 제어하는 제어신호를 출력
S410 : 스마트워치가 마이크 모듈을 통해 사용자의 수면과 관련한 수면 음향 정보를 실시간으로 획득
S420 : 사용자 단말이 획득된 수면 음향 정보를 인가받아 스펙트로그램으로 변환 및 분석을 수행
S430 : 사용자의 수면 단계를 실시간으로 판별
S440 : 사용자 단말이 스마트워치의 동작을 실시간으로 제어하는 제어신호를 출력
S450 : 제어신호에 응답하여 사용자에게 최적의 수면환경을 제공
S610 : 사용자의 수면 정보를 습득하는 단계
S611 : 사용자의 수면 지표를 산출하는 단계
S620 : 사용자의 수면 정보에 기초하여 사용자의 수면 지표를 산출하는 단계
S621 : 산출된 수면지표에 대응하는 화장품 정보를 생성하는 단계
S630 : 사용자의 수면 지표에 기초하여 수면에 관한 용품 추천 정보를 생성하는 단계
S631 : 생성된 화장품 정보를 디스플레이하는 단계
S640 : 수면에 관한 용품 추천 정보를 제공하는 단계
S710 : 소정의 수면에 관한 용품을 사용한 사용자의 수면 정보를 습득하는 단계
S711 : 소정의 화장품을 사용한 사용자의 사용자단말로부터 환경센싱정보를 수신하는 단계
S720 : 사용자의 수면 정보에 기초하여 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나를 획득하는 단계
S721 : 환경 센싱 정보에 기초하여 상기 사용자의 수면상태정보 및 수면단계정보 중 적어도 하나를 획득하는 단계
S730 : 사용자의 수면 의도 정보, 수면 상태 정보 및 수면 단계 정보 중 적어도 하나에 기초하여 소정의 수면에 관한 용품에 대한 검증 지표를 생성하는 단계
S731 : 수면상태정보 및 수면단계정보 중 적어도 하나를 이용하여 소정의 화장품에 대한 검증지표를 생성하는 단계
S740 : 검증 지표에 기초하여 소정의 수면에 관한 용품이 수면에 미치는 영향을 검증하는 단계
S741 : 검증지표에 기초하여 상기 소정의 화장품의 수면에 질에 대한 효과를 검증하는 단계
Claims (21)
- 환경 조성 장치를 제어하기 위한 방법에 있어서,환경 센싱 정보를 획득하는 획득 단계;상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 전처리 단계;상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 생성 단계; 및상기 생성된 수면 상태 정보에 기초하여 환경 조성 장치를 제어하는 제어 단계;를 포함하는,환경 조성 장치를 제어하기 위한 방법.
- 제 1 항에 있어서,상기 제어 단계에서,상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는,환경 조성 장치를 제어하기 위한 방법.
- 제 1 항에 있어서,상기 생성 단계는,상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 단계를 더 포함하는,환경 조성 장치를 제어하기 위한 방법.
- 제 2 항에 있어서,상기 제어 단계는,상기 생성된 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성하는 단계;상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하도록 하는 단계;상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 상기 생성된 사용자의 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하는 단계; 및상기 환경 조성 장치가 상기 생성된 제2 환경 조성 정보에 기초하여 환경을 조성하도록 하는 단계;를 더 포함하는,환경 조성 장치를 제어하기 위한 방법.
- 제 4 항에 있어서,상기 제1 환경 조성 정보를 생성하는 단계는,하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제 1 환경 조성 정보를 생성하는 단계를 더 포함하고,상기 제2 환경 조성 정보를 생성하는 단계는,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 상기 제2 환경 조성 정보를 생성하는,환경 조성 장치를 제어하기 위한 방법.
- 환경 조성 장치를 제어하는 전자 장치에 있어서,환경 센싱 정보를 획득하는 센서;상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 동작; 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작; 및 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작;을 수행하는 제어부;를 포함하는,환경 조성 장치를 제어하는 전자 장치.
- 제 6 항에 있어서,상기 제어부는,상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는,환경 조성 장치를 제어하는 전자 장치.
- 제 6 항에 있어서,상기 제어부는,상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 동작을 수행하는,환경 조성 장치를 제어하는 전자 장치.
- 제 7 항에 있어서,상기 제어부는 상기 생성된 수면 상태 정보에 기초하여 제1 환경 조성 정보를 생성하면,상기 생성된 제1 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하고,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후, 상기 생성된 사용자의 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하면,상기 생성된 제2 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는,환경 조성 장치를 제어하는 전자 장치.
- 제 9 항에 있어서,상기 생성된 제1 환경 조성 정보는,하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것이고,상기 생성된 제2 환경 조성 정보는,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것인,환경 조성 장치를 제어하는 전자 장치.
- 환경 조성 시스템에 있어서,환경 센싱 정보를 획득하는 센서, 제어부, 및 네트워크를 통해 정보를 송수신하기 위한 통신부를 포함하는 전자 장치;환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하는 서버; 및환경 조성 장치;를 포함하고,상기 제어부는 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 동작, 및 상기 통신부를 통해 상기 서버에 상기 전처리된 환경 센싱 정보를 송신하는 동작을 수행하고,상기 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하고,상기 제어부는 상기 통신부를 통해 상기 서버로부터 상기 생성된 수면 상태 정보를 수신하는 동작, 및 상기 수신된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는,환경 조성 시스템.
- 제 11 항에 있어서,상기 제어부는,상기 수신된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는,환경 조성 시스템.
- 제 11 항에 있어서,상기 제어부는,상기 통신부를 통해 상기 서버로부터 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 정보를 수신하는 동작을 수행하는,환경 조성 시스템.
- 제 12 항에 있어서,상기 제어부는 상기 통신부를 통해 상기 수신된 수면 상태 정보에 기초하여 생성된 제1 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하고,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후,상기 통신부를 통해 상기 수신된 사용자의 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하고,상기 생성된 제2 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는,환경 조성 시스템.
- 제 14 항에 있어서,상기 생성된 제1 환경 조성 정보는,하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것이고,상기 생성된 제2 환경 조성 정보는,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것인,환경 조성 시스템.
- 환경 조성 시스템에 있어서,환경 센싱 정보를 획득하는 센서, 제어부, 및 네트워크를 통해 정보를 송수신하기 위한 통신부를 포함하는 전자 장치;환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작, 및 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 동작을 수행하는 서버; 및환경 조성 정보에 기초하여 제어되는 환경 조성 장치;를 포함하고,상기 제어부는 상기 획득된 환경 센싱 정보에 대한 전처리를 수행하는 동작, 및 상기 통신부를 통해 상기 서버에 상기 전처리된 환경 센싱 정보를 송신하는 동작을 수행하고,상기 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작, 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하기 위한 환경 조성 정보를 생성하는 동작, 및 상기 생성된 환경 조성 정보를 상기 환경 조성 장치로 송신하는 동작을 수행하는,환경 조성 시스템.
- 제 16 항에 있어서,상기 서버는,제1 서버 및 제2 서버를 포함하고,상기 제1 서버는 상기 전자 장치로부터 수신된 상기 전처리된 환경 센싱 정보에 기초하여 수면 상태 정보를 생성하는 동작을 수행하고,상기 제2 서버는 상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 제어하기 위한 환경 조성 정보를 생성하는 동작을 수행하는,환경 조성 시스템.
- 제 16 항에 있어서,상기 서버는,상기 생성된 수면 상태 정보에 기초하여 상기 환경 조성 장치를 실시간으로 제어하는 동작을 수행하는,환경 조성 시스템.
- 제 16 항에 있어서,상기 서버는,상기 전자 장치로부터 수신된 상기 환경 센싱 정보를 상기 환경 센싱 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하는 동작을 수행하는,환경 조성 시스템.
- 제 17 항에 있어서,상기 서버는,상기 생성된 수면 상태 정보에 기초하여 생성된 제1 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하고,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후,상기 생성된 수면 상태 정보에 기초하여 제2 환경 조성 정보를 생성하고,상기 생성된 제2 환경 조성 정보에 기초하여 상기 환경 조성 장치를 제어하는 동작을 수행하는,환경 조성 시스템.
- 제 19 항에 있어서,상기 생성된 제1 환경 조성 정보는,하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것이고,상기 생성된 제2 환경 조성 정보는,상기 환경 조성 장치가 상기 제1 환경 조성 정보에 기초하여 환경을 조성하기 시작한 이후 하나 이상의 에폭에 상응하는 시간 동안 생성된 상기 수면 상태 정보에 기초하여 생성된 것인,환경 조성 시스템.
Applications Claiming Priority (34)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220131829 | 2022-10-13 | ||
| KR10-2022-0131829 | 2022-10-13 | ||
| KR20220132127 | 2022-10-14 | ||
| KR10-2022-0132127 | 2022-10-14 | ||
| KR10-2022-0136013 | 2022-10-20 | ||
| KR20220136013 | 2022-10-20 | ||
| KR20220143037 | 2022-10-31 | ||
| KR10-2022-0143037 | 2022-10-31 | ||
| KR20220143598 | 2022-11-01 | ||
| KR10-2022-0143598 | 2022-11-01 | ||
| KR20220156817 | 2022-11-21 | ||
| KR10-2022-0156817 | 2022-11-21 | ||
| KR20220164613 | 2022-11-30 | ||
| KR10-2022-0164613 | 2022-11-30 | ||
| KR20220168612 | 2022-12-06 | ||
| KR10-2022-0168612 | 2022-12-06 | ||
| KR10-2022-0186414 | 2022-12-27 | ||
| KR20220186414 | 2022-12-27 | ||
| KR20230025312 | 2023-02-24 | ||
| KR10-2023-0025312 | 2023-02-24 | ||
| KR10-2023-0028993 | 2023-03-06 | ||
| KR20230028993 | 2023-03-06 | ||
| KR20230067208 | 2023-05-24 | ||
| KR10-2023-0067208 | 2023-05-24 | ||
| KR10-2023-0068718 | 2023-05-26 | ||
| KR20230068718 | 2023-05-26 | ||
| KR10-2023-0073394 | 2023-06-08 | ||
| KR20230073394 | 2023-06-08 | ||
| KR10-2023-0090412 | 2023-07-12 | ||
| KR20230090412 | 2023-07-12 | ||
| KR10-2023-0124703 | 2023-09-19 | ||
| KR20230124703 | 2023-09-19 | ||
| KR20230129880 | 2023-09-26 | ||
| KR10-2023-0129880 | 2023-09-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024080646A1 true WO2024080646A1 (ko) | 2024-04-18 |
Family
ID=90669842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2023/014987 WO2024080646A1 (ko) | 2022-10-13 | 2023-09-27 | Ai 기반의 비접촉식 수면 분석을 통한 환경 조성 방법, 장치 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2024080646A1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170007964A (ko) * | 2015-07-13 | 2017-01-23 | 삼성전자주식회사 | 수면 환경 관리를 위한 제어 방법 및 장치 |
| KR20180111098A (ko) * | 2017-03-31 | 2018-10-11 | 코웨이 주식회사 | 생체 신호를 수집하여 수면상태를 판별하고 수면 인자를 도출하는 방법 및 이를 이용한 서버 |
| JP2019063200A (ja) * | 2017-09-29 | 2019-04-25 | 特定非営利活動法人睡眠健康研究所 | 呼吸評価システム、解析システム、及びプログラム |
| KR20190105918A (ko) * | 2018-03-07 | 2019-09-18 | 이정우 | 강화학습을 이용한 수면 환경 조절 장치 |
-
2023
- 2023-09-27 WO PCT/KR2023/014987 patent/WO2024080646A1/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170007964A (ko) * | 2015-07-13 | 2017-01-23 | 삼성전자주식회사 | 수면 환경 관리를 위한 제어 방법 및 장치 |
| KR20180111098A (ko) * | 2017-03-31 | 2018-10-11 | 코웨이 주식회사 | 생체 신호를 수집하여 수면상태를 판별하고 수면 인자를 도출하는 방법 및 이를 이용한 서버 |
| JP2019063200A (ja) * | 2017-09-29 | 2019-04-25 | 特定非営利活動法人睡眠健康研究所 | 呼吸評価システム、解析システム、及びプログラム |
| KR20190105918A (ko) * | 2018-03-07 | 2019-09-18 | 이정우 | 강화학습을 이용한 수면 환경 조절 장치 |
Non-Patent Citations (4)
| Title |
|---|
| HAI HONG TRAN: "Prediction of Sleep Stages Via Deep Learning Using Smartphone Audio Recordings in Home Environments: Model Development and Validation", JOURNAL OF MEDICAL INTERNET RESEARCH, JMIR PUBLICATIONS, CA, vol. 25, 1 June 2023 (2023-06-01), CA , pages e46216, XP093159265, ISSN: 1438-8871, DOI: 10.2196/46216 * |
| HONG JUNG KYUNG, LEE TAEYOUNG, DELOS REYES ROBEN DEOCAMPO, HONG JOONKI, TRAN HAI HONG, LEE DONGHEON, JUNG JINHWAN, YOON IN-YOUNG: "Confidence-Based Framework Using Deep Learning for Automated Sleep Stage Scoring", NATURE AND SCIENCE OF SLEEP, DOVE MEDICAL PRESS, vol. 13, 1 January 2021 (2021-01-01), pages 2239 - 2250, XP093131678, ISSN: 1179-1608, DOI: 10.2147/NSS.S333566 * |
| JONGMOK KIM: "SOUND-BASED SLEEP STAGING BY EXPLOITING REAL-WORLD UNLABELED DATA", ICLR 2023, 1 January 2023 (2023-01-01), pages 1 - 7, XP093159781 * |
| LE VU LINH, KIM DAEWOO, CHO EUNSUNG, JANG HYERYUNG, REYES ROBEN DELOS, KIM HYUNGGUG, LEE DONGHEON, YOON IN-YOUNG, HONG JOONKI, KIM: "Real-Time Detection of Sleep Apnea Based on Breathing Sounds and Prediction Reinforcement Using Home Noises: Algorithm Development and Validation", JOURNAL OF MEDICAL INTERNET RESEARCH, JMIR PUBLICATIONS, CA, vol. 25, 22 February 2023 (2023-02-22), CA , pages e44818, XP093131684, ISSN: 1438-8871, DOI: 10.2196/44818 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763401B2 (en) | Systems, methods and articles for enhancing wellness associated with habitable environments | |
| US20190099009A1 (en) | Wearable Technology for Sleep Environment Modification | |
| CN204909915U (zh) | 一种智能空调按摩床垫 | |
| US10179064B2 (en) | WhipFlash [TM]: wearable environmental control system for predicting and cooling hot flashes | |
| US10610153B2 (en) | System and method to monitor and assist individual's sleep | |
| US7224282B2 (en) | Control apparatus and method for controlling an environment based on bio-information and environment information | |
| CN108769224A (zh) | 伺寝机器人物联网系统 | |
| US11904103B2 (en) | Sleep pod | |
| WO2019046580A1 (en) | SYSTEMS, METHODS AND ARTICLES FOR EVALUATING AND / OR IMPROVING HEALTH AND WELL-BEING | |
| JP2018194292A (ja) | 環境制御システム | |
| US20230173221A1 (en) | Systems and methods for promoting a sleep stage of a user | |
| JP2006246437A (ja) | ホーム制御システム及びその方法 | |
| US20200100682A1 (en) | System and Method for Determining a Sleep Onset, Sleep Arousal, and Sleep Awakening | |
| CN110456846A (zh) | 一种基于人工智能的自适应多感官睡眠辅助系统 | |
| WO2023146271A1 (ko) | Ai 기반의 비접촉식 수면분석 방법 및 실시간 수면환경 조성 방법 | |
| US20220338642A1 (en) | Device for creation of plurality of adjustable acoustic and/or thermal zones in a bed | |
| WO2017193318A1 (zh) | 一种助眠系统 | |
| CN111344033A (zh) | 压力减小和睡眠促进系统 | |
| Sun et al. | Investigation of the relationships among temperature, illuminance and sound level, typical physiological parameters and human perceptions | |
| WO2024080646A1 (ko) | Ai 기반의 비접촉식 수면 분석을 통한 환경 조성 방법, 장치 및 시스템 | |
| JP2024505098A (ja) | 主観的快適度レベルを推定するためのシステムおよび方法 | |
| CN116711022A (zh) | 用于监测个体的舒适度的系统和方法 | |
| WO2024080647A1 (ko) | 사용자 수면 정보 기반의 수면 콘텐츠 생성 및 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록매체 | |
| WO2024096419A1 (ko) | 사용자의 수면에 관한 정보 또는 평가를 나타내는 그래픽 사용자 인터페이스 제공 방법 | |
| WO2024058488A1 (ko) | Ai 기반 뇌파동조 및 자율신경계조절을 이용한 실시간 수면 건강 관리 서비스 제공 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23877574 Country of ref document: EP Kind code of ref document: A1 |