WO2015126095A1 - 전자 장치 - Google Patents
전자 장치 Download PDFInfo
- Publication number
- WO2015126095A1 WO2015126095A1 PCT/KR2015/001391 KR2015001391W WO2015126095A1 WO 2015126095 A1 WO2015126095 A1 WO 2015126095A1 KR 2015001391 W KR2015001391 W KR 2015001391W WO 2015126095 A1 WO2015126095 A1 WO 2015126095A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- electronic device
- user
- information
- biometric information
- various embodiments
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 555
- 230000006870 function Effects 0.000 claims description 596
- 238000004891 communication Methods 0.000 claims description 531
- 230000033001 locomotion Effects 0.000 claims description 387
- 230000008859 change Effects 0.000 claims description 274
- 230000004044 response Effects 0.000 claims description 191
- 230000007958 sleep Effects 0.000 claims description 131
- 230000000694 effects Effects 0.000 claims description 93
- 230000036541 health Effects 0.000 claims description 93
- 230000008451 emotion Effects 0.000 claims description 69
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 32
- 201000010099 disease Diseases 0.000 claims description 29
- 230000001965 increasing effect Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000007704 transition Effects 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 530
- 230000035882 stress Effects 0.000 description 219
- 239000004283 Sodium sorbate Substances 0.000 description 196
- 210000000707 wrist Anatomy 0.000 description 140
- 238000010586 diagram Methods 0.000 description 135
- 238000004458 analytical method Methods 0.000 description 125
- 210000003811 finger Anatomy 0.000 description 117
- 230000008569 process Effects 0.000 description 112
- 230000001133 acceleration Effects 0.000 description 110
- 238000012545 processing Methods 0.000 description 109
- 230000001276 controlling effect Effects 0.000 description 66
- 239000002151 riboflavin Substances 0.000 description 64
- 238000001514 detection method Methods 0.000 description 62
- 230000036772 blood pressure Effects 0.000 description 47
- 238000003860 storage Methods 0.000 description 47
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 45
- 230000002996 emotional effect Effects 0.000 description 45
- 239000001301 oxygen Substances 0.000 description 45
- 229910052760 oxygen Inorganic materials 0.000 description 45
- 230000005540 biological transmission Effects 0.000 description 44
- 230000004913 activation Effects 0.000 description 41
- 239000000758 substrate Substances 0.000 description 39
- 210000004369 blood Anatomy 0.000 description 38
- 239000008280 blood Substances 0.000 description 38
- 239000004172 quinoline yellow Substances 0.000 description 36
- 238000007726 management method Methods 0.000 description 30
- 239000000463 material Substances 0.000 description 30
- 238000005259 measurement Methods 0.000 description 30
- 210000001508 eye Anatomy 0.000 description 26
- 230000004622 sleep time Effects 0.000 description 26
- 230000002792 vascular Effects 0.000 description 25
- 230000017531 blood circulation Effects 0.000 description 24
- 230000009194 climbing Effects 0.000 description 24
- 238000009826 distribution Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 24
- 230000002093 peripheral effect Effects 0.000 description 23
- 210000003462 vein Anatomy 0.000 description 22
- 238000012546 transfer Methods 0.000 description 21
- 230000032683 aging Effects 0.000 description 20
- 210000004204 blood vessel Anatomy 0.000 description 20
- 238000012790 confirmation Methods 0.000 description 20
- 239000000284 extract Substances 0.000 description 20
- 238000012549 training Methods 0.000 description 20
- 239000004164 Wax ester Substances 0.000 description 19
- 238000011017 operating method Methods 0.000 description 19
- 239000004305 biphenyl Substances 0.000 description 18
- 230000001413 cellular effect Effects 0.000 description 18
- 230000008093 supporting effect Effects 0.000 description 18
- 206010020772 Hypertension Diseases 0.000 description 17
- 235000019577 caloric intake Nutrition 0.000 description 17
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 16
- 239000004338 Dichlorodifluoromethane Substances 0.000 description 15
- 230000007423 decrease Effects 0.000 description 15
- 239000000203 mixture Substances 0.000 description 15
- 230000036760 body temperature Effects 0.000 description 14
- 238000005265 energy consumption Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 239000004984 smart glass Substances 0.000 description 13
- 230000001360 synchronised effect Effects 0.000 description 13
- 239000005711 Benzoic acid Substances 0.000 description 12
- 239000004201 L-cysteine Substances 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 12
- 239000003814 drug Substances 0.000 description 12
- 238000002567 electromyography Methods 0.000 description 12
- 230000036387 respiratory rate Effects 0.000 description 12
- 239000004343 Calcium peroxide Substances 0.000 description 11
- 230000037007 arousal Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000009849 deactivation Effects 0.000 description 11
- 206010012601 diabetes mellitus Diseases 0.000 description 11
- 235000013305 food Nutrition 0.000 description 11
- 230000036284 oxygen consumption Effects 0.000 description 11
- 238000010079 rubber tapping Methods 0.000 description 11
- 230000002612 cardiopulmonary effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 230000006378 damage Effects 0.000 description 10
- 206010016256 fatigue Diseases 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 230000003213 activating effect Effects 0.000 description 9
- 210000003423 ankle Anatomy 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 239000007789 gas Substances 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 230000035939 shock Effects 0.000 description 9
- 208000001953 Hypotension Diseases 0.000 description 8
- 210000000577 adipose tissue Anatomy 0.000 description 8
- 230000006399 behavior Effects 0.000 description 8
- 238000005452 bending Methods 0.000 description 8
- 235000012000 cholesterol Nutrition 0.000 description 8
- 239000013013 elastic material Substances 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 8
- 230000036543 hypotension Effects 0.000 description 8
- 230000003340 mental effect Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 7
- 208000027418 Wounds and injury Diseases 0.000 description 7
- 229940079593 drug Drugs 0.000 description 7
- 239000008103 glucose Substances 0.000 description 7
- 208000019622 heart disease Diseases 0.000 description 7
- 208000014674 injury Diseases 0.000 description 7
- 230000002265 prevention Effects 0.000 description 7
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 7
- 238000007789 sealing Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 239000004188 Virginiamycin Substances 0.000 description 6
- 230000000747 cardiac effect Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 239000000696 magnetic material Substances 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000006996 mental state Effects 0.000 description 6
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 230000008452 non REM sleep Effects 0.000 description 6
- 230000037081 physical activity Effects 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 239000004291 sulphur dioxide Substances 0.000 description 6
- 208000019901 Anxiety disease Diseases 0.000 description 5
- 239000004181 Flavomycin Substances 0.000 description 5
- 239000004183 Monensin A Substances 0.000 description 5
- 208000001871 Tachycardia Diseases 0.000 description 5
- 230000036506 anxiety Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 229920001971 elastomer Polymers 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 210000001145 finger joint Anatomy 0.000 description 5
- 210000004905 finger nail Anatomy 0.000 description 5
- 239000003205 fragrance Substances 0.000 description 5
- 230000005021 gait Effects 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 238000002347 injection Methods 0.000 description 5
- 239000007924 injection Substances 0.000 description 5
- 208000010125 myocardial infarction Diseases 0.000 description 5
- 210000000282 nail Anatomy 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000003252 repetitive effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000000241 respiratory effect Effects 0.000 description 5
- 230000000284 resting effect Effects 0.000 description 5
- 239000005060 rubber Substances 0.000 description 5
- 229920002379 silicone rubber Polymers 0.000 description 5
- 230000037067 skin hydration Effects 0.000 description 5
- 230000006794 tachycardia Effects 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 4
- 239000004182 Tylosin Substances 0.000 description 4
- 206010003119 arrhythmia Diseases 0.000 description 4
- 230000006793 arrhythmia Effects 0.000 description 4
- 230000002567 autonomic effect Effects 0.000 description 4
- 230000036471 bradycardia Effects 0.000 description 4
- 208000006218 bradycardia Diseases 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000005057 finger movement Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000001631 hypertensive effect Effects 0.000 description 4
- 239000001095 magnesium carbonate Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 210000005037 parasympathetic nerve Anatomy 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 239000004417 polycarbonate Substances 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 235000019615 sensations Nutrition 0.000 description 4
- 230000009182 swimming Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000003442 weekly effect Effects 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000037237 body shape Effects 0.000 description 3
- 230000037396 body weight Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 239000000648 calcium alginate Substances 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000037326 chronic stress Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 235000005911 diet Nutrition 0.000 description 3
- 230000037213 diet Effects 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000002565 electrocardiography Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000005281 excited state Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000037323 metabolic rate Effects 0.000 description 3
- 238000013186 photoplethysmography Methods 0.000 description 3
- 210000002321 radial artery Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000002889 sympathetic effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 2
- 206010016322 Feeling abnormal Diseases 0.000 description 2
- 102000015779 HDL Lipoproteins Human genes 0.000 description 2
- 108010010234 HDL Lipoproteins Proteins 0.000 description 2
- 208000031226 Hyperlipidaemia Diseases 0.000 description 2
- 102000007330 LDL Lipoproteins Human genes 0.000 description 2
- 108010007622 LDL Lipoproteins Proteins 0.000 description 2
- 206010024264 Lethargy Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 208000023178 Musculoskeletal disease Diseases 0.000 description 2
- 208000007684 Occupational Stress Diseases 0.000 description 2
- 208000001132 Osteoporosis Diseases 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 239000004098 Tetracycline Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000037328 acute stress Effects 0.000 description 2
- 239000008272 agar Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 238000011871 bio-impedance analysis Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 210000001715 carotid artery Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- DDRJAANPRJIHGJ-UHFFFAOYSA-N creatinine Chemical compound CN1CC(=O)NC1=N DDRJAANPRJIHGJ-UHFFFAOYSA-N 0.000 description 2
- 230000003205 diastolic effect Effects 0.000 description 2
- 210000002249 digestive system Anatomy 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 239000000542 fatty acid esters of ascorbic acid Substances 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000302 ischemic effect Effects 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 230000001766 physiological effect Effects 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 229920003002 synthetic resin Polymers 0.000 description 2
- 239000000057 synthetic resin Substances 0.000 description 2
- 230000035488 systolic blood pressure Effects 0.000 description 2
- 230000003867 tiredness Effects 0.000 description 2
- 208000016255 tiredness Diseases 0.000 description 2
- 239000000541 tocopherol-rich extract Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000002559 ulnar artery Anatomy 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 206010001052 Acute respiratory distress syndrome Diseases 0.000 description 1
- 108010082126 Alanine transaminase Proteins 0.000 description 1
- 241001076976 Aroma aroma Species 0.000 description 1
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 108010003415 Aspartate Aminotransferases Proteins 0.000 description 1
- 102000004625 Aspartate Aminotransferases Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 239000001878 Bakers yeast glycan Substances 0.000 description 1
- 102000004506 Blood Proteins Human genes 0.000 description 1
- 108010017384 Blood Proteins Proteins 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 206010008479 Chest Pain Diseases 0.000 description 1
- 208000022540 Consciousness disease Diseases 0.000 description 1
- 206010012438 Dermatitis atopic Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 206010017740 Gas poisoning Diseases 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241001364929 Havel River virus Species 0.000 description 1
- 206010020850 Hyperthyroidism Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010061598 Immunodeficiency Diseases 0.000 description 1
- 208000029462 Immunodeficiency disease Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 208000018982 Leg injury Diseases 0.000 description 1
- 206010061225 Limb injury Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 241000219745 Lupinus Species 0.000 description 1
- 208000001145 Metabolic Syndrome Diseases 0.000 description 1
- 206010027951 Mood swings Diseases 0.000 description 1
- 208000001089 Multiple system atrophy Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 206010031127 Orthostatic hypotension Diseases 0.000 description 1
- 206010033307 Overweight Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 241000607142 Salmonella Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 241000677635 Tuxedo Species 0.000 description 1
- 206010047281 Ventricular arrhythmia Diseases 0.000 description 1
- 201000000690 abdominal obesity-metabolic syndrome Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000002180 anti-stress Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- HPYIIXJJVYSMCV-MGDXKYBTSA-N astressin Chemical compound C([C@@H](C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@H](C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCCC)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]1C(N[C@@H](C)C(=O)N[C@@H](CC=2N=CNC=2)C(=O)N[C@@H](CCCCNC(=O)CC1)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCC)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H]([C@@H](C)CC)C(N)=O)=O)C(C)C)NC(=O)[C@H](N)CC=1C=CC=CC=1)C1=CNC=N1 HPYIIXJJVYSMCV-MGDXKYBTSA-N 0.000 description 1
- 201000008937 atopic dermatitis Diseases 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 238000010364 biochemical engineering Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004159 blood analysis Methods 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 210000000476 body water Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000011692 calcium ascorbate Substances 0.000 description 1
- 230000011128 cardiac conduction Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 229940109239 creatinine Drugs 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000008242 dietary patterns Nutrition 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000010291 electrical method Methods 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 230000035874 hyperreactivity Effects 0.000 description 1
- 208000003532 hypothyroidism Diseases 0.000 description 1
- 230000002989 hypothyroidism Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000007813 immunodeficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000001646 magnetic resonance method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000412 mechanoreceptor Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 210000003607 pacinian corpuscle Anatomy 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 239000000737 potassium alginate Substances 0.000 description 1
- 239000001103 potassium chloride Substances 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000036391 respiratory frequency Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000000276 sedentary effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000004334 sorbic acid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 150000003626 triacylglycerols Chemical class 0.000 description 1
- 238000005353 urine analysis Methods 0.000 description 1
- 230000024883 vasodilation Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000004078 waterproofing Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
- 239000002478 γ-tocopherol Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1632—External expansion units, e.g. docking stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2153—Using hardware token as a secondary aspect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/30—Security of mobile devices; Security of mobile applications
- H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
Abstract
다양한 실시예에 따른 전자 장치의 서비스 제공 방법은, 사용자의 생체 정보를 획득하는 동작; 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보와 연관된 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
Description
다양한 실시예들은 전자 장치에 관한 것이다.
전자 장치는 다양한 기능을 복합적으로 수행할 수 있으며, 예를 들어 스마트폰과 같은 휴대용 단말기들은 진보된 성능을 구현하면서 사용자에게 더욱 많은 편리함을 제공할 수 있도록 발전하고 있다.
전자 장치에서 제공하는 여러 가지 기능들 중에는 센서를 이용하는 기능들이 있다. 이러한 센서들은 전자 장치, 전자 장치의 외부, 또는 사용자와 관련된 정보들을 수집할 수 있다.
전자 장치는 하나 이상의 센서가 포함될 수 있으며, 다양한 센서들을 통하여 수집된 정보들을 이용하여 여러 가지 서비스를 제공할 수 있다.
다양한 실시예들은, 다양한 센서들을 통하여 수집된 생체 정보들을 이용하여 여러 가지 서비스를 제공할 수 있다.
다양한 실시예들은, 편안한 인체 착용성과, 원활한 기능 구현을 위한 외관을 가진 전자 장치를 제공할 수 있다.
다양한 실시예들은, 편안한 인체 착용성을 제공하면서, 내부 공간에서 전자 부품들을 효율적으로 배치할 수 있는 전자 장치를 제공할 수 있다.
다양한 실시예들은, 사용자의 취향에 따라 또는 신체 특성(예: 손목 곡률)에 따라 착용부의 교체가 용이한 전자 장치를 제공할 수 있다.
다양한 실시예들은, 사용자의 신체 특성에 부합하여 편안한 착용감을 제공하고, 본체부에 실장된 생체신호 감지 센서를 사용자의 신체에 밀착시킬 수 있는 전자 장치를 제공할 수 있다.
다양한 실시예에 따른 전자 장치는, 일 방향으로 연장되고, 개구부(opening portion)를 구비하는 착용부; 및 상기 개구부에 착탈 가능하게 제공된 본체부를 포함할 수 있으며, 상기 착용부가 사용자의 신체에 결속되어 상기 본체부를 사용자 신체에 착용시킬 수 있다.
다양한 실시예에 따른 전자 장치의 서비스 제공 방법은, 사용자의 생체 정보를 획득하는 동작; 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보와 연관된 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 적어도 하나의 센서; 및 상기 적어도 하나의 센서 또는 상기 전자 장치의 통신 모듈을 이용하여 사용자의 생체 정보를 획득하고, 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보와 연관된 적어도 하나의 서비스를 결정하고, 상기 결정된 적어도 하나의 서비스를 제공하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 서비스 제공 방법은, 이벤트를 검출하는 동작; 상기 이벤트에 대응하는 생체 정보를 결정하는 동작; 상기 전자 장치가 지원하는 상기 이벤트와 연관된 복수의 서비스들 중에서 상기 결정된 생체 정보에 대응하는 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 메모리; 및 이벤트를 검출하고, 상기 이벤트에 대응하는 생체 정보를 결정하고, 상기 전자 장치가 지원하는 상기 이벤트와 연관된 복수의 서비스들 중에서 상기 결정된 생체 정보에 대응하는 적어도 하나의 서비스를 결정하고, 상기 결정된 적어도 하나의 서비스를 제공하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치에서 경로 안내를 제공하는 방법은, 복수의 지점에 대한 정보를 획득하는 동작; 적어도 상기 획득된 정보에 기반하여, 적어도 하나의 참조 지점(reference point)을 결정하는 동작; 및 상기 참조 지점에 대한 정보를 포함한 경로 안내를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따른 경로 안내를 제공하는 전자 장치는, 적어도 하나의 목적지 정보를 획득하기 위한 입출력 인터페이스; 복수의 참조 지점들에 대한 정보를 저장하기 위한 메모리; 및 적어도 상기 목적지 정보에 기반하여, 상기 복수의 참조 지점들 중 일부를 경로 안내에 제공할 참조 지점으로 결정하는 제어 모듈을 포함하고, 상기 제어 모듈은 상기 결정된 참조 지점에 대한 정보를 포함한 경로 안내를 제공하도록 설정될 수 있다.
다양한 실시예에 따른 제1 전자 장치의 통신 연결 방법은, 제1 생체 정보를 획득하는 동작; 상기 제1 생체 정보에 근거하여 제2 전자 장치와의 통신 연결을 위한 페어링 정보를 획득하는 동작; 및 상기 페어링 정보를 이용하여 상기 제2 전자 장치와의 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따른 제1 전자 장치는, 적어도 하나의 센서와; 통신 모듈과; 상기 적어도 하나의 센서 또는 상기 전자 장치의 통신 모듈을 이용하여 제1 생체 정보를 획득하고, 상기 제1 생체 정보에 근거하여 상기 통신 모듈을 통해 제2 전자 장치와의 통신 연결을 위한 페어링 정보를 획득하는 동작; 및 상기 페어링 정보를 이용하여 상기 통신 모듈을 통해 상기 제2 전자 장치와의 통신 연결을 수립하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 서버 장치의 통신 연결 방법은, 제1 전자 장치로부터 제1 생체 정보를 수신하는 동작; 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치와 통신 연결될 제2 전자 장치를 결정하는 동작; 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 위한 페어링 정보를 상기 제1 전자 장치 및 상기 제2 전자 장치 중 적어도 하나로 전송하는 동작을 포함할 수 있다.
다양한 실시예에 따른 서버 장치는, 통신 모듈과; 상기 통신 모듈을 통해 제1 전자 장치로부터 제1 생체 정보를 수신하고, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치와 통신 연결될 제2 전자 장치를 결정하고, 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 위한 페어링 정보를 상기 통신 모듈을 통해 상기 제1 전자 장치 및 상기 제2 전자 장치 중 적어도 하나로 전송하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 생체 정보 동기화 방법은, 사용자에 대한 복수의 생체 정보들을 획득하는 동작; 상기 획득된 복수의 생체 정보들의 각각에 대한 업데이트 주기들 또는 대상들을 결정하는 동작; 및 상기 결정된 업데이트 주기들 또는 대상들에 따라서, 상기 획득된 복수의 생체 정보들을 서로 다른 시점들에 적어도 하나의 외부 장치에게 각각 전송하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 메모리; 및 사용자에 대한 복수의 생체 정보들을 획득하고, 상기 획득된 복수의 생체 정보들을 상기 메모리에 저장하고, 상기 저장된 복수의 생체 정보들의 각각에 대한 업데이트 주기들 또는 대상들을 결정하고, 상기 결정된 업데이트 주기들 또는 대상들에 따라서, 상기 전자 장치의 통신 모듈을 통해 상기 획득된 복수의 생체 정보들을 서로 다른 시점들에 적어도 하나의 외부 장치에게 각각 전송하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 아이템 표시 방법은, 상기 전자 장치의 디스플레이의 적어도 일부 영역에 아이템을 표시하는 동작; 상기 전자 장치의 움직임을 검출하는 동작; 및 상기 전자 장치의 움직임의 크기 또는 방향에 근거하여 상기 아이템을 이동 또는 변형하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 디스플레이; 및 상기 디스플레이의 적어도 일부 영역에 아이템을 표시하고, 상기 전자 장치의 센서를 통해 움직임을 검출하고, 상기 전자 장치의 움직임의 크기 또는 방향에 근거하여 상기 디스플레이 상에 상기 아이템을 이동 또는 변형하여 표시하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 알람 방법은, 알람 조건을 수신하는 동작; 상기 알람 조건에 대응하는 예비적인 조건을 결정하는 동작; 상기 예비적인 조건의 충족 여부를 결정하는 동작; 및 상기 예비적인 조건의 충족 여부에 따라, 상기 알람 조건이 충족되기 이전에, 제1 알람 신호를 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 메모리; 및 알람 조건을 수신하고, 상기 수신된 알람 조건을 상기 메모리에 저장하고, 상기 알람 조건에 대응하는 예비적인 조건을 결정하고, 상기 결정된 예비적인 조건을 상기 메모리에 저장하고, 상기 예비적인 조건의 충족 여부를 결정하고, 상기 예비적인 조건의 충족 여부에 따라, 상기 알람 조건이 충족되기 이전에, 제1 알람 신호를 출력하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 촬영 방법은, 이미지를 표시하는 동작; 촬영과 연관된 정보를 외부 장치로 전송하는 동작; 상기 외부 장치로부터 촬영과 연관된 제어 정보를 수신하는 동작; 및 상기 제어 정보를 처리하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 통신 모듈; 이미지를 표시하는 디스플레이; 및 상기 통신 모듈을 통해 상기 촬영과 연관된 정보를 외부 장치로 전송하고, 상기 통신 모듈을 통해 상기 외부 장치로부터 촬영과 연관된 제어 정보를 수신하고, 상기 제어 정보를 처리하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 햅틱 정보 운용 방법은, 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석 동작; 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 동작; 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석하고, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 햅틱 지원 모듈; 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 햅틱 모듈을 포함할 수 있다.
다양한 실시예에 따른 웨어러블 전자 장치는, 메인 전자 장치의 환경 설정값을 변경하는 사용자 조작을 입력받는 입력 모듈; 및 상기 메인 전자 장치로 환경 설정값을 변경하는 제어 신호를 전송하는 통신 모듈을 포함할 수 있다.
다양한 실시예에 따른 웨어러블 전자 장치의 제어 방법은, 메인 전자 장치의 환경 설정값을 변경하는 사용자 조작을 입력받는 과정; 및 상기 메인 전자 장치로 환경 설정값을 변경하는 제어 신호를 전송하는 과정을 포함할 수 있다.
다양한 실시예에 따른 시스템은, 메인 전자 장치의 환경 설정값을 변경하는 사용자 조작이 입력되면 상기 전자 장치로 변경된 환경 설정값을 전송하는 웨어러블 전자 장치; 및 상기 웨어러블 전자 장치로부터 수신되는 환경 설정값에 따라 환경 설정값을 변경하는 메인 전자 장치를 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 전자 장치에서 사용자의 생체 신호를 수신하기 위한 수신 모듈; 적어도 상기 생체 신호에 기반하여, 상기 사용자에 대한 상기 전자 장치의 탈부착 상태를 확인하기 위한 확인 모듈; 및 적어도 상기 탈부착 상태에 기반하여, 상기 전자 장치와 기능적으로 연결된 복수의 입출력 장치들의 각각을 독립적으로 제어하기 위한 입출력 제어 모듈을 포함할 수 있다.
다양한 실시예에 따른 방법은, 전자 장치에서 사용자의 생체 신호를 수신하는 동작; 적어도 상기 생체 신호에 기반하여, 상기 사용자에 대한 상기 전자 장치의 탈부착 상태를 확인하는 동작; 및 적어도 상기 탈부착 상태에 기반하여, 상기 전자 장치와 기능적으로 연결된 복수의 입출력 장치들의 각각을 독립적으로 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자장치는, 신호를 수집하는 센서 모듈; 적어도 상기 수집된 신호의 일부를 기반하여 생체 정보를 생성하는 모듈; 적어도 상기 수집된 신호의 일부를 기반하여 근접도 정보를 생성하는 모듈; 적어도 상기 수집된 신호의 일부를 기반하여 조도 정보를 생성하는 모듈; 적어도 상기 생체 정보, 상기 근접도 정보, 또는 상기 조도 정보를 기반하여 전자장치의 상태를 판단하는 모듈을 포함할 수 있다.
다양한 실시예에 따른 전자 장치 운용 방법은, 센서 모듈 기반의 신호를 수집하는 과정; 적어도 상기 수집된 신호의 일부를 기반으로 하는 생체 정보, 적어도 상기 수집된 신호의 일부를 기반으로 하는 근접도 정보, 적어도 상기 수집된 신호의 일부를 기반으로 하는 조도 정보 중 적어도 하나를 이용하여 전자장치의 상태를 판단하는 과정을 포함할 수 있다.
다양한 실시예에 따른 전자 장치는, 외부 장치와 통신 채널을 형성하는 통신 인터페이스; 상기 외부 장치의 기능 실행과 관련하여 센서 활성화를 요청하는 요청 정보를 수신하면, 상기 요청 정보에 대응하여 센서를 활성화하도록 제어하는 제어 모듈을 포함할 수 있다.
다양한 실시예에 따른 전자 장치 운용 방법은, 외부 장치와 통신 채널을 형성하는 과정; 상기 외부 장치의 기능 실행과 관련하여 센서 활성화를 요청하는 요청 정보를 수신하는 과정; 상기 요청 정보에 대응하여 센서를 활성화하도록 제어하는 과정을 포함할 수 있다.
다양한 실시예에 따른 전자장치의 제어 방법은, 통신 연결이 되어 있는 외부장치로부터 활성화할 요청정보를 수신하고, 수신된 요청정보를 기반으로 센서를 활성화 하는 동작과; 상기 활성화된 센서를 기반으로 생성한 데이터를 상기 외부장치로 전송하는 동작과; 상기 외부장치와 통신 연결이 해제되거나, 배터리가 부족한 경우 상기 활성화된 센서를 비활성화 하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법은, 센서 모듈을 통해 측정된 센싱 데이터를 기초로 전자 장치의 움직임 정보를 판단하는 동작과, 하나 이상의 생체 신호를 분석하여 사용자에 대한 생체 정보를 판단하는 동작과, 상기 움직임 정보 및 생체 정보에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법은, 외부 장치와 통신하는 통신 모듈이 상기 외부 장치와 연결되었는지 여부를 판단하는 동작과, 상기 외부 장치와의 연결 상태에 따라 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법은, 하나 이상의 외부 장치들과 페어링하는 동작과, 모션 센서를 이용하여 전자 장치의 움직임 정보를 판단하는 동작과, 하나 이상의 생체 신호를 분석하여 사용자에 대한 생체 정보를 판단하는 동작과, 상기 움직임 정보 또는 상기 생체 정보를 근거로 하여 상기 전자 장치로부터 상기 사용자에게 제공될 수 있는 서비스를 결정하는 동작과, 상기 외부 장치들을 이용하여 상기 서비스를 상기 사용자에게 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법은, 센싱 데이터를 획득하는 동작과, 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정하는 동작과, 상기 현재 상태를 기초로 디스플레이에 표시할 콘텐츠를 결정하는 동작과, 상기 디스플레이에 상기 콘텐츠를 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법은, 스크린의 방향을 결정하기 위한 센싱 데이터를 획득하는 동작과, 상기 센싱 데이터를 기초로 상기 스크린의 방향을 결정하는 동작과, 상기 스크린의 방향에 따른 콘텐츠의 표시 방향을 결정하는 동작과, 상기 표시 방향에 따라 상기 스크린에 상기 콘텐츠를 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따른 콘텐츠를 표시하는 전자 장치는, 콘텐츠를 표시하는 스크린을 포함하는 디스플레이와, 센싱 데이터를 획득하고, 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정하고, 상기 현재 상태를 기초로 상기 스크린에 표시할 콘텐츠를 결정하고, 상기 스크린에 상기 콘텐츠를 표시하도록 상기 디스플레이를 제어하는 제어 모듈을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는 사용자의 취향에 따라, 또는 손목 곡률 등의 신체 특성에 따라 착용부의 교체가 용이하여, 사용자의 개성을 추구하면서 편안한 착용감을 제공할 수 있다. 또한, 본체부에 생체신호 감지 센서가 배치된 경우, 생체신호 감지 센서와 사용자의 신체를 밀착시켜 보조 의료 기기로 활용하는 것이 가능하다. 또한, 본체부와 착용부의 결합은 견고하게 하면서도 착용부의 교체를 용이하게 하고, 착용한 상태에서도 본체부가 착용부로부터 이탈하는 것을 방지함으로써 안정적인 착용 상태를 유지할 수 있다.
다양한 실시예들은, 다양한 센서들을 통하여 수집된 생체 정보들을 이용하여 다양한 서비스를 제공할 수 있다.
도 1은 다양한 실시예들 중 하나에 따른 전자 장치를 나타내는 사시도이다.
도 2는 다양한 실시예들 중 하나에 따른 전자 장치의 본체부가 착용부로부터 분리된 모습을 나타내는 사시도이다.
도 3은 다양한 실시예들 중 하나에 따른 전자 장치의 착용 상태를 설명하기 위한 사시도이다.
도 4는 다양한 실시예들 중 하나에 따른 전자 장치를 나타내는 측면도이다.
도 5는 다양한 실시예들 중 하나에 따른 전자 장치의 일부분을 확대하여 나타내는 측면도이다.
도 6은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부를 나타내는 사시도이다.
도 7은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부를 다른 방향에서 바라본 모습을 나타내는 사시도이다.
도 8은 다양한 실시예들 중 하나에 따른 전자 장치의 하우징을 나타내는 평면도이다.
도 9는 다양한 실시예들 중 하나에 따른 전자 장치의 내부 구성을 설명하기 위한 측면도이다.
도 10은 다양한 실시예들 중 하나에 따른 전자 장치의 내부 구성을 설명하기 위한 측단면도이다.
도 11은 다양한 실시예들 중 하나에 따른 전자 장치의 디스플레이 장치를 설명하기 위한 분리 사시도이다.
도 12는 다양한 실시예들 중 하나에 따른 전자 장치의 배터리 팩을 나타내는 사시도이다.
도 13은 다양한 실시예들 중 하나에 따른 전자 장치의 회로 기판 구조를 설명하기 위한 측면도이다.
도 14는 다양한 실시예들 중 하나에 따른 전자 장치의 방수 구조를 설명하기 위한 도면이다.
도 15는 다양한 실시예들 중 하나에 따른 전자 장치의 측면 키를 일부 절개하여 나타내는 사시도이다.
도 16은 다양한 실시예들 중 하나에 따른 전자 장치의 측면 키를 설명하기 위한 분리 사시도이다.
도 17은 다양한 실시예들 중 하나에 따른 전자 장치의 충전 단자부를 일부 절개하여 나타내는 사시도이다.
도 18은 다양한 실시예들 중 하나에 따른 전자 장치의 충전 단자부의 변형 예를 설명하기 위한 도면이다.
도 19는 다양한 실시예들 중 하나에 따른 전자 장치의 본체부를 조립하는 과정을 나타내는 도면이다.
도 20은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부를 나타내는 평면도이다.
도 21은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부를 나타내는 측면도이다.
도 22는 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 구조를 설명하기 위한 도면이다.
도 23은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 구조의 변형예를 설명하기 위한 도면이다.
도 24는 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조를 설명하기 위한 측면도이다.
도 25는 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조를 설명하기 위한 사시도이다.
도 26은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조의 변형예를 설명하기 위한 사시도이다.
도 27은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조의 변형예를 설명하기 위한 측면도이다.
도 28은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부와 착용부가 결속되는 구조를 설명하기 위한 도면이다.
도 29는 다양한 실시예들 중 하나에 따른 전자 장치의 본체부와 착용부가 결속된 제1 상태를 설명하기 위한 도면이다.
도 30은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부와 착용부가 결속된 제2 상태를 설명하기 위한 도면이다.
도 31은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부가 거치대에 장착된 모습을 나타내는 사시도이다.
도 32는 다양한 실시예들 중 하나에 따른 전자 장치의 거치대의 일부분을 나타내는 사시도이다.
도 33은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부의 일부분을 나타내는 사시도이다.
도 34는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 본체부가 착용부로부터 분리된 모습을 나타내는 사시도이다.
도 35는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용 상태를 설명하기 위한 사시도이다.
도 36은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부의 변형예를 나타내는 사시도이다.
도 37은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 변형예를 나타내는 사시도이다.
도 38은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부의 다른 변형예를 나타내는 사시도이다.
도 39는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부에 제공되는 체결 부재의 한 예를 나타내는 사시도이다.
도 40은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부에 제공되는 체결 부재의 다른 예를 나타내는 사시도이다.
도 41은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 본체부의 다른 예를 나타내는 사시도이다.
도 42는 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 본체부가 착용부로부터 분리된 모습을 나타내는 사시도이다.
도 43은 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 착용부를 나타내는 사시도이다.
도 44는 다양한 실시예들 중 또 다른 하나에 따른 전자 장치를 나타내는 사시도이다.
도 45는 다양한 실시예들 중 또 다른 하나에 따른 전자 장치를 나타내는 사시도이다.
도 46은 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 커버부를 나타내는 사시도이다.
도 47은 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 변형예를 나타내는 사시도이다.
도 48은 다양한 실시예들에 따른 전자 장치의 거치대의 변형예를 나타내는 사시도이다.
도 49는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 거치대의 사용예를 나타내는 도면이다.
도 50은 다양한 실시예들에 따른 전자 장치의 거치대의 다른 변형예를 나타내는 사시도이다.
도 51은 다양한 실시예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 52는 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
도 53은 다양한 실시예들에 따른 센서 장치가 포함된 전자 장치를 도시한다.
도 54는 심전도 파형의 예를 도시한다.
도 55a 및 도 55b는 심전도 파형과 심박 파형의 비교를 한 일 예를 도시한다.
도 56a 및 도 56b는 맥파를 이용하여 가속도 맥파를 계산하는 일 예를 도시한다.
도 57은 다양한 실시예에 따른 전자 장치의 서비스 제공 모듈(701)(예: 추가 기능 모듈의 블록도를 도시한다.
도 58은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 59는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 60은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 61은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 62는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 63은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 64는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 65는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 66은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 67은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 68은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 69는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 70은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 도면이다.
도 71은 다양한 실시예에 따른 전자 장치의 네비게이션 모듈의 블록도를 도시한다.
도 72는 경로 안내의 예시를 나타낸다.
도 73은 다양한 실시예에 따른 경로 안내 제공 프로세스를 나타낸다.
도 74는 다양한 실시예에 따른 참조 지점을 이용한 예시적인 경로 안내 화면을 나타낸다.
도 75는 다양한 실시예에 따른 참조 지점에 대한 안내와 턴 바이 턴 안내를 결합한 예시적인 경로 안내 화면을 나타낸다.
도 76은 다양한 실시예에 따른 참조 지점을 이용하여 경로를 설계하는 프로세스를 나타낸다.
도 77은 다양한 실시예에 따른 사용자 등록에 의한 참조 지점을 생성하는 예시를 나타낸다.
도 78은 다양한 실시예에 따른 참조 지점을 필터링하는 프로세스를 나타낸다.
도 79는 다양한 실시예에 따른 통신 제어 시스템을 설명하기 위한 도면이다.
도 80은 다양한 실시예에 따른 제1 전자 장치의 통신 연결 모듈의 블록도를 도시한다.
도 81은 다양한 실시예에 따른 제3 전자 장치의 통신 연결 모듈의 블록도를 도시한다.
도 82는 다양한 실시예에 따른 제1 전자 장치의 통신 연결 방법을 설명하기 위한 흐름도이다.
도 83은 다양한 실시예에 따른 제3 전자 장치의 통신 연결 방법을 설명하기 위한 흐름도이다.
도 84는 다양한 실시예에 따른 전자 장치들간의 네트워크 환경을 도시한다.
도 85는 다양한 실시에에 따른 전자 장치들 간의 네트워크 환경을 도시한다.
도 86은 다양한 실시예에 따른 전자 장치의 동작 방법을 보여주는 순서도이다.
도 87 내지 도 89는 다양한 실시예에 따른 전자 장치들 간의 네트워크 환경을 도시한다.
도 90은 다양한 실시예에 따른 전자 장치들 간의 네트워크 환경을 도시한다.
도 91은 다양한 실시예에 따른 전자 장치의 동작을 보여주는 순서도이다.
도 92 및 도 93은 다양한 실시예에 따른 전자 장치 간의 네트워크 환경을 도시한다.
도 94는 한 실시예에 따른 전자 모듈 외관을 도시한다.
도 95는 한 실시예에 따른 모드 운용 모듈과 저장 모듈의 구성을 도시한다.
도 96은 한 실시예에 따른 착용 상태별 전자 장치의 UI 운용 방법을 도시한다.
도 97은 한 실시예에 따른 착용 상태별 전자 장치 운용 방법을 도시한다.
도 98은 한 실시예에 따른 분실 방지 관련 전자 장치 운용 방법을 도시한다.
도 99는 한 실시예에 따른 훈련 모드 관련 전자 장치 운용 방법을 도시한다.
도 100은 한 실시예에 따른 전자 장치의 착용 상태에 따른 모드 제어를 도시한다.
도 101은 한 실시예에 따른 전자 장치의 착용 상태에 따른 UI 제어를 도시한다.
도 102는 한 실시예에 따른 전자 장치의 착용 상태에 따른 모드 제어를 도시한다.
도 103은 한 실시예에 따른 전자 장치의 기능 실행 제어와 관련한 그래프를 도시한다.
도 104는 다양한 실시예에 따른 네트워크 환경을 설명하기 위한 도면이다.
도 105는 다양한 실시예에 따른 제1 전자 장치의 동기화 방법을 설명하기 위한 흐름도이다.
도 106은 다양한 실시예에 따른 전자 장치의 어플리케이션 화면을 도시한다.
도 107은 본 발명의 다양한 실시예에 따른 전자 장치의 어플리케이션의 제어 환경을 도시한다.
도 108은 본 발명의 다양한 실시예에 따른 어플리케이션 화면의 일 예를 도시한다.
도 109는 본 발명의 다양한 실시예에 따른 전자 장치들 간의 동기화를 위한 네트워크 환경을 도시한다.
도 110은 본 발명의 다양한 실시예에 따른 전자 장치들 간의 정보 제공을 위한 네트워크 환경을 도시한다.
도 111은 다양한 실시예에 따른 전자 장치의 어플리케이션 화면의 일 예를 도시한다.
도 112는 다양한 실시예에 따른 전자 장치의 유저 인터페이스를 도시한다.
도 113은 다양한 실시예에 따른 전자 장치의 동기화 방법을 설명하기 위한 흐름도이다.
도 114는 다양한 실시예에 따른 전자 장치의 유저 인터페이스를 도시한다.
도 115a 및 도 115b는 다양한 실시예에 따른 웨어러블 전자 장치의 일 예를 도시한다.
도 116은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다.
도 117은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다.
도 118은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다.
도 119는 다양한 실시예에 따른 전자 장치의 유저 인터페이스를 도시한다.
도 120은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다.
도 121은 다양한 실시예에 따른 제1 전자 장치의 동작에 대한 순서도를 도시한다.
도 122는 다양한 실시예에 따른 전자 장치들의 블록도를 도시한다.
도 123은 다양한 실시예에 따른 제1 전자 장치의 동작의 순서도를 도시한다.
도 124는 본 발명의 다양한 실시예에 따른 복수의 전자 장치들 간에 대한 연동 환경을 도시한다.
도 125는 다양한 실시예에 따른 웨어러블 전자 장치의 제어 방법을 보여주는 환경을 도시한다.
도 126은 다양한 실시예에 따른 전자 장치의 햅틱 지원 모듈 모듈의 블록도를 도시한다.
도 127은 다양한 실시예에 따른 햅틱 정보 운용 방법을 도시한다.
도 128은 다양한 실시예에 따른 화면 정보 중 오브젝트 기반 햅틱 정보 운용 방법을 도시한다.
도 129는 다양한 실시예에 따른 입력 물체 종류를 기반으로 하는 햅틱 정보 운용 방법을 도시한다.
도 130은 다양한 실시예에 따른 실행 정보 조건 기반 햅틱 정보 운용 방법을 도시한다.
도 131은 다양한 실시예에 따른 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다.
도 132는 다양한 실시예에 따른 복합 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다.
도 133은 다양한 실시예에 따른 한 손 입력 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 134는 다양한 실시예에 따른 방향 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 135는 다양한 실시예에 따른 원격 제어 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 136은 다양한 실시예에 따른 가상 키 버튼 관련 햅틱 정보 운용과 관련한 도면이다.
도 137은 다양한 실시예에 따른 페이지 전환 관련 햅틱 정보 운용을 설명하는 도면이다.
도 138은 다양한 실시예에 따른 페이지 모서리 접힘 관련 햅틱 정보 운용을 설명하는 도면이다.
도 139는 다양한 실시예에 따른 페이지 넘김 관련 햅틱 정보 운용을 설명하는 도면이다.
도 140은 다양한 실시예에 따른 입력 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 141은 다양한 실시예에 따른 시계 기능 실행 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 142는 다양한 실시예에 따른 외부 환경 및 헬스 케어 기능 관련 실행 정보별 햅틱 정보 운용과 관련한 도면이다.
도 143은 다양한 실시예에 따른 헬스 코칭 기능 중 운동 속도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 144는 다양한 실시예에 따른 스트레스 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 145는 다양한 실시예에 따른 숙면도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 146은 다양한 실시예에 따른 입력 물체별 햅틱 정보 운용과 관련한 도면이다.
도 147은 다양한 실시예에 따른 터치 영역별 햅틱 정보 운용과 관련한 도면이다.
도 148은 다양한 실시예에 따른 터치 영역 검출 및 그에 따른 햅틱 정보 운용과 관련한 도면이다.
도 149는 다양한 실시예에 따른 가상 현실에서의 햅틱 정보 운용과 관련한 도면이다.
도 150은 다양한 실시예에 따른 입력 에러 정정과 관련한 햅틱 정보 운용 방법을 도시한다.
도 151은 다양한 실시예에 따른 화면 정보 관련 햅틱 정보 운용을 도시한다.
도 152는 본 발명의 일 실시예에 따른 시스템의 구성을 나타내는 도면이다.
도 153은 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 154는 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 155는 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 156은 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 157은 본 발명의 일 실시예에 따른 웨어러블 전자 장치의 구성을 나타내는 블럭도이다.
도 158은 터치 입력을 수신하는 예를 설명하기 위한 도면이다.
도 159는 본 발명의 다양한 실시예에 따른 웨어러블 전자 장치에 표시되는 UI를 나타내는 도면이다.
도 160은 본 발명의 일 실시예에 따른 메인 전자 장치의 구성을 나타내는 블럭도이다.
도 161은 본 발명의 다양한 실시예에 따른 메인 전자 장치에 표시되는 UI를 나타내는 도면이다.
도 162는 본 발명의 다양한 실시예에 따른 웨어러블 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 163은 본 발명의 다양한 실시예에 따른 메인 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 164는 본 발명의 다양한 실시예에 따른 메인 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 165는 본 발명의 다양한 실시예에 따른 메인 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 166은 다양한 실시예들에 따른, 전자 장치의 장치 관리 모듈의 블록도를 도시한다.
도 167은 다양한 실시예에 따른, 전자 장치가 복수의 입출력 장치를 제어하는 방법을 보여주는 흐름도를 도시한다.
도 168은 다양한 실시예에 따른, 전자 장치가 복수의 입출력 장치를 제어하는 방법을 보여주는 흐름도를 도시한다.
도 169는 다양한 실시예에 따른, 전자 장치가 복수의 입출력 장치를 제어하는 방법을 보여주는 흐름도을 도시한다.
도 170은 다양한 실시예들에 따른 복수의 전자 장치들 사이의 통신 프로토콜을 도시한다.
도 171은 다양한 실시예들에 따른, 전자 장치의 장치 제어 모듈의 블록도를 도시한다.
도 172는 한 실시예에 따른 장치 상태 테이블을 도시한다.
도 173은 한 실시예에 따른 외부 장치를 도시한다.
도 174는 한 실시예에 따른 전자 장치 운용 방법을 도시한다.
도 175는 한 실시예에 따른 외부 장치 운용 방법을 도시한다.
도 176은 한 실시예에 따른 요청 정보 운용 시스템의 신호 흐름도이다.
도 177은 한 실시예에 따른 기능 모드 관련 제어를 도시한다.
도 178은 한 실시예에 따른 전자 장치 주변 환경에 따른 운용을 도시한다.
도 179는 한 실시예에 따른 스케줄 관련 운용을 도시한다.
도 180은 한 실시예에 따른 통신 채널 형성과 관련한 상태 제어 테이블 운용을 도시한다.
도 181은 한 실시예에 따른 연결 해제와 관련한 상태 제어 테이블 운용을 도시한다.
도 182는 한 실시예에 따른 전자 장치의 로우 배터리 상태와 관련한 상태 제어 테이블 운용을 도시한다.
도 183은 한 실시예에 따른 외부 장치의 로우 배터리 상태와 관련한 상태 제어 테이블 운용을 도시한다.
도 184는 다양한 실시예에 따른 장치 운용 방법을 도시한다.
도 185는 본 발명의 다양한 실시예들에 따른, 전자 장치(예를 들어, 전자 장치)의 제어 모듈의 블록도)를 나타낸 도면이다.
도 186은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 일 예를 나타낸 순서도이다.
도 187은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 다른 예를 나타낸 순서도이다.
도 188은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 또 다른 예를 나타낸 순서도이다.
도 189는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 또 다른 예를 나타낸 순서도이다.
도 190은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다.
도 191은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 다른 예를 나타낸 도면이다.
도 192는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 193은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 194는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 195a 및 도 195b는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 196은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 197은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 198은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 199는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 200은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 201은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 202는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 203a 내지 도 203d는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 204a 및 도 204b는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 205는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 206은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 207은 본 발명의 다양한 실시예들에 따른 복수의 전자 장치들이 콘텐츠를 표시하는 일 예를 나타낸 도면이다.
이하, 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
다양한 실시예에서 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다양한 실시예에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
다양한 실시예에서 사용된 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
다양한 실시예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다.예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 비디오 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM, 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
다양한 실시예들에 따른 전자 장치는, 일 방향으로 연장되고, 개구부(opening portion)를 구비하는 착용부; 및 상기 개구부에 착탈 가능하게 제공된 본체부를 포함할 수 있으며, 상기 착용부가 사용자의 신체에 결속되어 상기 본체부를 사용자 신체에 착용시킬 수 있다.
상기 개구부는 네 내측벽이 각각 직사각형 한 변의 적어도 일부분을 이루게 배치되면서, 인접하는 두 내측벽은 곡면으로 연결될 수 있다.
한 실시예에서, 상기 착용부는, 상기 개구부의 둘레 일부에서 일측으로 연장되는 제1 착용 부재; 및 상기 개구부 둘레의 다른 일부에서 타측으로 연장되는 제2 착용 부재를 포함할 수 있고, 상기 제1, 제2 착용 부재가 서로 결합하여 상기 착용부가 폐곡선을 형성함으로써 사용자 신체에 결속될 수 있다.
다른 실시예에서, 상기 착용부는 상기 개구부의 내측벽에 제공되는 적어도 하나의 체결 부재를 더 포함할 수 있으며, 상기 체결 부재가 상기 본체부의 둘레에 결속될 수 있다.
상기와 같은 체결 부재는 상기 본체부의 둘레와 대면하는 폐곡선 형상이거나, 적어도 한 쌍의 상기 체결 부재들이 상기 개구부의 내측벽을 따라 연속적으로 배열될 수 있다.
다른 실시예에서, 상기와 같은 체결 부재는 상기 본체부에 전기적으로 접속될 수 있다.
또 다른 실시예에서, 상기와 같은 전자 장치는, 상기 체결 부재에 제공된 자성체; 및 상기 본체부에 제공되어 상기 자성체를 인지하는 홀 센서(Hall sensor)를 더 포함할 수 있으며, 상기 착용부에 상기 본체부가 장착된 상태에서, 상기 홀 센서가 상기 자성체를 인지함에 따라, 상기 본체부는 상기 착용부에 대한 장착 방향을 검출할 수 있다.
상기와 같은 전자 장치는, 상기 제1 착용 부재에 제공된 결속 부재; 및 상기 제2 착용 부재에 형성되며, 상기 제2 착용 부재가 연장된 방향을 따라 배열된 결속 홀들을 더 포함할 수 있으며, 상기 결속 부재가 상기 결속 홀들 중 적어도 하나에 맞물려 상기 착용부를 폐곡선 형상으로 유지할 수 있다.
어떤 실시예에서, 상기 전자 장치는 상기 제2 착용 부재에 제공되는 제2 결속 부재를 더 포함할 수 있으며, 상기 제2 결속 부재는 상기 제1 착용 부재의 둘레의 적어도 일부와 대면하도록 제공될 수 있다.
상기와 같은 결속 부재는 내측면에 형성된 적어도 하나의 결속 돌기를 포함하고, 상기 결속 돌기가 상기 결속 홀들 중 하나에 맞물릴 수 있다.
한 실시예에서, 상기와 같은 결속 부재는 상기 제1 착용 부재의 외측면에 고정되는 고정부를 더 포함할 수 있으며, 상기 결속 돌기는 상기 고정부로부터 상기 제1 착용 부재를 관통하게 연장될 수 있다.
상기와 같은 전자 장치는, 상기 착용부에 형성된 제2 개구부; 및 상기 제2 개구부에 착탈 가능하게 제공되는 제2 본체부를 더 포함할 수 있다.
다른 실시예에서, 상기 본체부는 전면에 장착되는 곡면 디스플레이 장치 또는 플렉서블 디스플레이 장치를 포함할 수 있다.
상기와 같은 전자 장치에 있어서, 상기 본체부는 측면의 둘레에 형성된 결속 홈을 포함할 수 있으며, 상기 착용부의 일부분이 상기 결속 홈에 맞물릴 수 있다.
어떤 실시예에서, 상기 결속 홈은 상기 본체부의 측면을 따라 폐곡선 형상으로 형성될 수 있다.
상기와 같은 전자 장치에 있어서, 상기 결속 홈은 상기 본체부의 전면에 인접하는 제1 내측벽과, 상기 본체부의 후면에 인접하는 제2 내측벽과, 상기 제1, 제2 내측벽을 연결하는 바닥을 포함할 수 있으며, 상기 제1 내측벽은 상기 바닥에서 멀어질수록 상기 본체부의 후면에서 멀어지게 형성될 수 있다.
한 실시예에서, 상기 결속 홈과 상기 본체부의 전면 사이에서 상기 본체부의 폭은, 상기 결속 홈과 상기 본체부의 후면 사이에서 상기 본체부의 폭보다 더 작게 설정될 수 있다.
다른 실시예에서, 상기 본체부는 전면과, 착용 상태에서 사용자의 신체에 접촉하는 후면을 포함할 수 있으며, 상기 전면에서 상기 본체부의 폭은 상기 후면에서 상기 본체부의 폭보다 더 작게 형성될 수 있다.
또 다른 실시예에서, 상기 본체부는 전면과, 착용 상태에서 사용자의 신체에 접촉하는 후면을 포함할 수 있으며, 상기 전면과 후면은 각각 서로 다른 곡률 반경을 가진 곡면으로 이루어질 수 있다.
상기와 같은 전자 장치에 있어서, 상기 본체부는 후면에 설치된 센서부를 포함할 수 있으며, 신체에 착용한 상태에서 상기 본체부의 후면이 사용자의 신체에 접촉할 수 있다.
한 실시예에 따르면, 상기 본체부는 상기 후면으로 형성된 관통홀을 더 포함할 수 있으며, 상기 센서부는 상기 관통홀 상에 배치되는 생체신호 감지 센서를 포함할 수 있다.
다른 실시예에서, 상기 본체부는 상기 관통홀의 둘레에서 상기 후면에 단차지게 형성된 홈부(recessed portion)을 더 포함할 수 있으며, 상기 생체신호 감지 센서의 인터페이스 윈도우 가장자리가 상기 홈부에 수용될 수 있다.
또 다른 실시예에서, 상기 본체부는 상기 관통홀의 둘레에서 상기 홈부와 상기 인터페이스 윈도우 사이에 개재되는 밀봉 부재(sealing member)를 더 포함할 수 있다.
상기와 같은 전자 장치에 있어서, 상기 센서부는 사용자의 광용적맥파(Photo Plethysmo Graph: PPG), 수면구간, 피부 온도, 심박 중 적어도 하나를 검출하는 생체신호 감지 센서를 포함할 수 있다.
다양한 실시예들 중 어느 하나에 따르면, 상기 전자 장치는, 상기 본체부에 내장되는 배터리 팩; 및 상기 배터리 팩의 적어도 일부와 대면하도록 제공된 브라켓을 더 포함할 수 있다.
한 실시예에서, 상기 전자 장치는 상기 본체부에 내장되는 제2 브라켓을 더 포함할 수 있으며, 상기 배터리 팩은 상기 브라켓과 제2 브라켓 사이에 개재될 수 있다.
상기와 같은 전자 장치는 상기 브라켓과 적어도 일부가 대면하도록 배치된 제1 회로 기판을 더 포함할 수 있으며, 상기 제1 회로 기판이 상기 배터리 팩과 마주보게 배치될 수 있다.
다른 실시예에서, 상기 전자 장치는 상기 배터리 팩과 제1 회로 기판 사이에 개재되는 제2 브라켓을 더 포함할 수 있다.
또 다른 실시예에서, 상기 전자 장치는 상기 제1 회로 기판의 일측에서 상기 제1 회로 기판에 대하여 경사지게 배치된 제2 회로 기판을 더 포함할 수 있다.
또 다른 실시예에 따르면, 상기 전자 장치는 상기 제1 회로 기판의 타측에 배치되는 진동 모듈을 더 포함할 수 있으며, 상기 진동 모듈이 상기 본체부의 내부에서 상기 배터리 팩과 적어도 부분적으로 나란하게 배치될 수 있다.
다양한 실시예들에 따르면, 상기 전자 장치는 상기 브라켓의 일면에 지지되는 디스플레이 장치를 더 포함할 수 있으며, 상기 디스플레이 장치는 상기 본체부의 전면에 설치될 수 있다.
다양한 실시예들에 따른 전자 장치는 거치대를 더 포함할 수 있으며, 상기 착용부로부터 분리된 상기 본체부가 상기 거치대에 착탈될 수 있다.
한 실시예에서, 상기 본체부는 그 일면(예: 후면)에 배치된 접속 부재를 포함할 수 있으며, 상기 접속 부재를 통해 상기 본체부가 상기 거치대에 전기적으로 접속할 수 있다.
다른 실시예에서, 상기 거치대는, 상기 본체부의 일면(예: 후면)의 적어도 일부와 대면하는 안착면; 및 상기 안착면으로부터 서로 마주보게 각각 연장된 고정면들을 포함할 수 있으며, 상기 고정면들이 각각 상기 본체부의 다른 일면(예: 측면)의 적어도 일부와 대면하도록 제공될 수 있다.
또 다른 실시예에서, 상기 본체부는 일면(예: 측면)에 형성된 고정 홈을, 상기 거치대는 상기 고정면에 형성된 고정 돌기를 각각 포함할 수 있으며, 상기 고정 돌기가 상기 고정 홈에 맞물려 상기 본체부를 상기 거치대에 고정할 수 있다.
또 다른 실시예에서, 상기 거치대는 인터페이스 커넥터를 포함할 수 있다.
상기와 같은 전자 장치는 상기 거치대에 연결된 고정 장치를 더 포함할 수 있으며, 상기 고정 장치는, 집게, 스냅 버튼, 자성체, 벨크로 등으로 구현될 수 있다.
또 다른 실시예에서, 상기 전자 장치는 상기 거치대를 상기 고정 장치에 연결하는 연성 재질의 연결부를 더 포함할 수 있다.
도 1은 다양한 실시예들 중 하나에 따른 전자 장치를 나타내는 사시도이다. 도 2는 다양한 실시예들 중 하나에 따른 전자 장치의 본체부가 착용부로부터 분리된 모습을 나타내는 사시도이다. 도 3은 다양한 실시예들 중 하나에 따른 전자 장치의 착용 상태를 설명하기 위한 사시도이다. 도 4는 다양한 실시예들 중 하나에 따른 전자 장치를 나타내는 측면도이다. 도 5는 다양한 실시예들 중 하나에 따른 전자 장치의 일부분을 확대하여 나타내는 측면도이다.
도 1 내지 도 5를 참조하면, 3차원 X/Y/Z 직교 좌표계가 도시되었는데, 'Z축'은 상기 전자 장치(1) 본체부(10)의 상하 방향(두께 방향)을, 'X축'은 상기 본체부(10)의 가로 방향을, 'Y축'은 상기 본체부(10)의 세로 방향을 각각 의미한다.
본 실시예는, 상기 전자 장치(1)로서 신체 착용형 전자 장치, 예컨대, 시계나 팔찌처럼 손목에 착용할 수 있는 전자 장치를 예시하고 있다. 하지만 다양한 실시예들은 이에 한정되지 않으며, 다양한 실시예들에 따른 전자 장치는 각종 통신 장치나 보조 의료 기기로 구현될 수 있다. 또한, 다양한 실시예들에 따른 전자 장치는 사용자의 신체에서 곡률이 존재하는 부위에 다양하게 적용가능하다. 사용자의 신체에서 곡률이 존재하는 신체 부위의 일 예로, 손목, 팔목, 또는 발목 등이 있다. 또한, 다양한 실시예들에 따른 전자 장치는 착용부의 구성에 따라, 사용자 신체의 다양한 부위에 편리하게 착용가능하다.
다양한 실시예들 중 하나에 따른 전자 장치(1)는 상기 본체부(10)(기능 장치부)와, 착용 부재(밴드 또는 스트랩 포함)들을 구비하는 착용부(50)를 포함할 수 있다. 상기 본체부(10)는 상기 착용부(50)에서 결합하거나 분리가능하게 구성될 수 있다. 상기 본체부(10)에는 각종 정보를 표시하기 위한 디스플레이 장치(13)와, 각종 정보를 입력하기 위한 누름 키(예: 사이드 키(K))나, 센서부(예: 생체신호 감지 센서)(S)나, 터치 입력부 등이 배치될 수 있다. 상기 본체부(10)는 전면(F)과, 착용 상태에서 사용자의 신체에 접촉하는 후면(R)을 포함할 수 있으며, 상기 디스플레이 장치(13)는 상기 본체부(10)의 전면(F)에, 상기 센서부(S)는 상기 본체부(10)의 후면(R)에 각각 배치될 수 있다.
상기 본체부(10)는 바타입 형상이면서 적어도 부분적으로 사용자 신체에 대응하는 곡률을 가질 수 있다. 예를 들어, 상기 본체부(10)는 대체로 세로 방향(Y축 방향)으로 연장된 직사각형 형상이면서 곡률을 가질 수 있다. 상기 본체부(10)의 측면에는 상기 착용부(50)와 맞물리는 결속 홈(11a)이 형성될 수 있다. 상기 결속 홈(11a)은 상기 본체부(10)의 측면에 복수로 형성되거나, 상기 본체부(10)의 둘레를 따라 연장된 폐곡선 형상일 수 있다.
상기 착용부(50)는 탄성 재질로 구성되어, 상기 본체부(10)를 사용자의 신체에 안정적으로 착용 가능하게 하며, 필요에 따라 상기 본체부(10)를 사용자의 신체 피부에 밀착시킬 수 있다. 또한, 상기 본체부(10)는 상기 착용부(50)에 착탈 가능하게 구성되어, 사용자의 개성이나 취향에 따라 상기 착용부(50)를 교체하여 사용할 수 있다. 다른 실시예에서, 상기 착용부(50)에서 상기 본체부(10)와 결합되는 부분(예: 안착부(51))은 탄성 변형이 가능하게 구성하고, 사용자의 신체와 밀착하는 착용면 부분(예: 제1, 제2 착용 부재(53, 55)의 내측면) 등은 탄성 재질로 구성되지 않을 수도 있다. 상기 착용부(50)는 일 방향으로 연장되면서 상기 본체부(10)가 착탈되는 개구부(51a)를 포함할 수 있다. 상기 안착부(51)는 상기 개구부(51a)의 둘레를 감싸게 형성되며, 상기 착용부(50) 중 적어도 상기 안착부(51)가 탄성 재질로 구성될 수 있다. 상기 본체부(10)가 상기 착용부(50)에 결합할 때, 상기 안착부(51)의 적어도 일부가 상기 본체부(10)의 측면을 따라 연장된 결속 홈(11a) 내에 끼워질 수 있다.
상기 개구부(51a)는 상기 본체부(10)가 끼워지는 개방 공간으로서, 상기 안착부(51)에 의해 둘러싸인 형상이다. 본 실시예에 따른 개구부(51a)는 대략적으로 두께를 가지는 직사각형으로 구성될 수 있다. 상기 개구부(51a)는 상부에서 볼 때, 가로 방향(X)보다 세로 방향(Y)의 길이가 더 긴 직사각형 모양을 가질 수 있다. 아울러, 상기 착용부(50)는 상기 개구부(51a)를 감싸는 선형부(linear portion), 예컨대, 상기 안착부(51)를 포함할 수 있다. 상기 제1, 제2 착용 부재(53, 55)는 각각 상기 개구부(51a)의 둘레, 예컨대, 상기 안착부(51)의 적어도 일부분에서 상기 본체부(10)의 세로 방향(Y)을 따라 서로 멀어지게 각각 연장될 수 있다. 다만, 상기 전자 장치(1)가 사용자의 신체에 착용되는 것을 고려할 때, 상기 제1, 제2 착용 부재(53, 55)는 상기 안착부(51)에 대하여 상기 본체부(10)의 두께 방향(Z)으로 굴곡진 형태를 가질 수 있다.
또한, 상기 착용부(50)는 상기 제1, 제2 착용 부재(53, 55)를 서로 엮어 체결하는 수단을 포함할 수 있다. 예컨대, 상기 제1 착용 부재(53)에는 제1 결속 부재(53c)가 제공되고, 상기 제2 착용 부재(55)에는 다수의 결속 홀(55a)들이 형성될 수 있다. 상기 결속 홀(55a)들은 상기 제2 착용 부재(55)가 연장된 방향을 따라 배열되며, 상기 제1 결속 부재(53c)와 맞물릴 수 있다. 상기 제1 결속 부재(53c)가 상기 결속 홀(55a)들 중 하나에 맞물려 상기 제1, 제2 착용 부재(53, 55)를 서로 결속시킴으로써, 상기 착용부(50)는 폐곡선 형태를 유지할 수 있다.
상기 제1 결속 부재(53c)는 상기 제1 착용 부재(53)의 내측면으로 돌출된 결속 돌기(53a)를 포함할 수 있다. 상기 결속 돌기(53a)는 상기 제1 착용 부재(53)와 일체형으로 성형되거나, 별도의 부속품으로 제작되어 상기 제1 착용 부재(53)에 조립될 수 있다. 예컨대, 상기 제1 결속 부재(53c)는 상기 제1 착용 부재(53)의 외측면에 고정되는 고정부(53b)를 포함할 수 있다. 상기 결속 돌기(53a)는 상기 고정부(53b)로부터 상기 제1 착용 부재(53)를 관통하게 연장될 수 있다. 상기 전자 장치(1)를 착용함에 있어, 사용자는 착용하고자 하는 부위의 크기와 곡률 등을 고려하여 상기 제1 결속 부재(53c), 예를 들면, 상기 결속 돌기(53a)와 맞물리는 결속 홀(55a)의 위치를 선택할 수 있다.
상기와 같은 결속 구조는 본 발명의 실시예들 중 하나에 불과한 것으로서, 상기 제1, 제2 착용 부재(53, 55)의 재질과 구조에 따라 또 다른 다양한 구조(예: 버클, 후크 방식의 결속 구조)로 대체될 수 있다.
상기 전자 장치(1)는 상기 본체부(10)를 이루는 본체 하우징(11)의 표면들 중, 측면 둘레를 따라서 형성된 결속 홈(11a)과, 상기 착용부(50)의 개구부(51a) 둘레에 형성되어 상기 결속 홈(11a)에 끼워지는 안착부(51)를 구비할 수 있다. 상기 전자 장치(1)는 상기 본체부(10)가 착용부(50)에 끼워진 이후, 상기 본체부(10)를 상기 착용부(50)에 더 견고하게 고정할 수 있는 체결 부재를 더 포함할 수 있다. 이러한 체결 부재에 관해서는 하기에서 더 상세하게 살펴보게 될 것이다.
상기 본체부(10), 예컨대, 상기 본체 하우징(11)은 곡률을 가진 형상을 가질 수 있다. 상기 안착부(51)는 탄성을 가진 재질로 구성되어 탄성 변형을 하기 때문에, 상기 본체부(10)의 형상, 예컨대, 상기 결속 홈(11a)의 형상에 부합하게 변형되면서 결합할 수 있다. 상기 착용부(50)는 교환가능한(changeable) 구조이기 때문에, 다양한 디자인이나 색상으로 구현하여 사용자의 취향에 따라 교환하여 사용할 수 있다. 즉, 상기 착용부(50)는 자신만의 개성을 나타내는 악세사리로 활용될 수 있다. 또한, 상기 본체부(10)가 상기 안착부(51)(또는 상기 개구부(51a))에 상응하는 형상(예: 실질적인 직사각형)으로서, 상기 본체부(10)를 상기 착용부(50)에 결합하는 방향에 따라 상기 전자 장치(1)는 서로 다른 다양한 기능을 활성화할 수 있다. 상기 본체부(10)의 결합 방향에 따른 서로 다른 기능의 활성화에 관해서는 하기에서 더 상세하게 살펴보게 될 것이다.
일반적으로, 사용자들 각각의 손목의 크기, 예컨대, 곡률은 상이하다. 개개인의 사용자의 손목 곡률은 다르기 때문에 동일한 형상의 전자 장치를 착용했을 때 개개인이 느끼는 착용감도 상이하다. 예를 들어, 남성보다 여성의 손목이 얇기 때문에, 동일한 신체 착용형 전자 장치를 착용했을 때 모든 사용자에게 편안한 착용감을 제공하기 어려울 수 있다. 하지만, 다양한 실시예들에 따른 전자 장치(1)는 본체부(10)와 착용부(50)가 착탈되는 구조로서, 사용자가 자신의 신체 특성에 맞는 적절한 착용부(50)를 선택하여 편안한 착용감을 얻을 수 있다.
도 4를 참조하면, 상기 안착부(51)와 제1 또는 제2 착용 부재(53, 55)가 연결되는 경계 영역(A)에서 상기 착용부(50)는 상이한 곡률을 제공함으로써, 다양한 사용자의 신체 형상에 따라 편안한 착용감을 제공할 수 있다. 예컨대, 상기 본체부(10)가 결합했을 때, 상기 안착부(51)는 상기 본체부(10)의 제1 곡률(예: 전면(F)의 곡률)과 동일한 곡률을 유지하는 반면에, 상기 경계 영역(A)에서 상기 제1 곡률과 다른 곡률을 가질 수 있다. 또한, 상기 본체부(10) 측면에 있는 결속 홈(11a)이 구비한 곡률도 상기 경계 영역(A)에서는 상기 제1 곡률과 상이하게 구성될 수 있다. 상기 경계 영역(A)에서 상기 결속 홈(11a)과 안착부(51)가 제공하는 곡률이 상기 본체부(10)의 제1 곡률보다 작게 구성될 경우, 상기 전자 장치(1)는 손목 곡률이 작은 사용자에게 좋은 착용감을 제공할 수 있다. 상기 경계 영역(A)에서 상기 결속 홈(11a)과 안착부(51)가 제공하는 곡률이 상기 제1 곡률보다 크게 구성될 경우, 상기 전자 장치(1)는 손목 곡률이 큰 사용자에게 좋은 착용감을 제공할 수 있다.
또한, 상기 안착부(51)는 상면 곡률과 하면 곡률을 구비하는데, 상기 경계 영역(A)에서 하면 곡률과 상면 곡률을 서로 다르게 한다면, 사용자는 자신의 신체에 적합한 착용부에 상기 본체부(10)를 결합하여 착용할 수 있다. 이와 같이, 상기 결속 홈(11a)과 안착부(51)에 구비된 곡률 값이 일정할 필요는 없으며, 부분적으로 상기 경계 영역(A)에 있는 결속 홈(11a)의 곡률값이나, 상기 안착부(51)의 형상(예: 곡률)을 변경시킴으로서, 사용자들의 서로 다른 신체 특성에 대응할 수 있다.
한 실시예에서, 상기 본체부(10)의 측면에는 고정 홈(11b)이 형성될 수 있다. 상기 고정 홈(11b)은 상기 본체부(10)를 다른 장치(예: 거치대)에 장착, 고정하기 위한 것으로서, 이는 하기에서 도 31 내지 도 33 등을 참조하여 더 상세하게 살펴보게 될 것이다.
도 6은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부를 나타내는 사시도이다. 도 7은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부를 다른 방향에서 바라본 모습을 나타내는 사시도이다.
다양한 실시예들에 따른 전자 장치의 본체부(10)는 곡률(curvature)을 구비하면서, 세로 방향(Y)으로 긴 직사각형의 바-타입 형상으로서, 본체 하우징(11)과, 상기 본체 하우징(11)에 장착된 디스플레이 장치(13)를 포함할 수 있다. 상기 본체 하우징(11)은 전면(front surface)(F)과, 후면(rear surface)(R)과, 상기 전면(F)/후면(R)을 연결하는 측면(side surface)을 구비하며, 상기 전면(F) 및 후면(R)은 각각 곡률을 가지게 구성될 수 있다. 상기 전면(F)은 디스플레이 장치(13)가 장착되는 면이고, 상기 후면(R)은 사용자의 신체와 접촉하는 착용면이다. 상기 전면(F)은 제1 곡률을 가지고, 상기 후면(R)은 제2 곡률을 구비하는데, 상기 제1, 제2 곡률은, 제품 디자인 및 다양한 사용자의 손목 둘레와 그에 따른 착용감을 고려하여 결정될 수 있다. 본 실시예에서는 상기 제1 곡률이 상기 제2 곡률보다 작은 구성이 예시되고 있다.
상기 본체 하우징(11)의 전면(F)은 디스플레이 장치(13)가 배치되어 디스플레이된 화면 보기가 편해야 하고, 후면(R)은 손목 착용감이 좋아야 하고, 센서부(S)(예: 생체신호 감지 센서)가 배치되기 때문에 사용자의 신체 손목에 밀착되는 형상을 제공할 수 있다.
상기 본체부(10)는 중간보다 세로 방향(Y)에서 양단에 근접할수록 점차적으로 얇아지게 구성될 수 있다. 대략적으로 상기 본체 하우징(11)은 중앙에서 두껍고, 세로 방향(Y)을 따라 중앙에서 멀어질수록 점차적으로 얇아진다. 아울러, 상기 후면(R)은 제2 곡률을 구비하는 것을 실시예로 설명하였지만, 거의 평탄한 면으로 구성가능하며, 부분적으로 곡률이 구비되지 않는 평탄면을 포함할 수 있다.
상기 본체 하우징(11)은 사용자의 신체 형상, 예컨대, 손목의 굵기와 곡률 등을 고려하여 적절한 곡률(예: 제2 곡률)을 가짐으로써, 사용자 착용감을 향상시키고, 다양한 소비자 손목 둘레에 대한 호환성을 향상시킬 수 있다. 상기 본체 하우징(11)의 전면에 곡면 형상의 디스플레이 장치(13)가 구비되고, 후면(R)에 센서부(S), 예컨대, 생체신호 감지 센서가 구비되며, 후면(R)이 사용자의 신체(예: 손목)에 접촉할 수 있다. 앞서 언급한 바와 같이, 상기 본체 하우징(11)은 사용자의 신체 형상 등을 고려한 곡률을 가진 형상으로서, 사용자의 신체에 센서부(S)를 밀착시킬 수 있다. 상기 본체부(10)에 구비되는 센서부(S)는 사용자의 광용적맥파(Photo Plethysmo Graph: PPG), 수면구간, 피부 온도, 심박 중 적어도 하나를 검출하는 생체신호 감지 센서로 이루어질 수 있다. 상기 디스플레이 장치(13)는 사용자의 신체 곡면을 반영한 형태를 예시하고 있으나, 평면(LCD, OLED) 디스플레이, 곡면 디스플레이 또는 플렉서블 디스플레이로 구성될 수 있다. 예컨대, 본 발명의 구체적인 실시예들은 상기 본체부(10)가 곡면 디스플레이를 구비하는 것으로 예시되지만, 평면 디스플레이 또는 플렉서블 디스플레이로 구성될 수 있다.
상기 센서부(S)는 상기 본체부(11)의 후면(R)에 배치되는 센서 인터페이스부(21a), 예를 들면, 인터페이스 윈도우를 포함할 수 있다. 상기 센서 인터페이스부(21a)를 배치하기 위해, 상기 후면(R)에는 돌출부(21)가 형성될 수 있다. 상기 돌출부(21)에 상기 센서 인터페이스부(21a)가 배치됨에 따라, 생체신호를 감지함에서 있어, 상기 센서부(S)는 사용자의 신체에 더 밀착할 수 있다. 상기 본체부(11)의 후면(R)에는 접속 부재(23)들, 예컨대, 충전 단자들이 배열될 수 있다. 상기 접속 부재(23)들의 배열은 상기 센서부(S)에 인접하게 위치할 수 있다. 상기 전자 장치(1)를 사용자가 착용한 상태에서, 상기 접속 부재(23)들은 상기 본체부(10) 또는 사용자의 신체에 의해 은폐될 수 있다.
상기 본체 하우징(11)의 측면에는 결속 홈(11a)이 구성된다. 상기 결속 홈(11a)은 상기 본체 하우징(11) 측면을 따라 연장되어 폐곡선 형태를 가질 수 있으며, 상기 본체 하우징(11)의 측면들 중, 가로 방향(X)을 바라보게 위치한 측면은 곡률을 가질 수 있다. 상기 결속 홈(11a)은 상기 본체 하우징(11)의 전면의 제1 곡률과 동일한 곡률로 구성될 수 있다. 하지만 상기 결속 홈(11a)의 곡률은, 사용자의 신체 손목 곡률이 각 사용자마다 다르기 때문에, 상기 제1 곡률보다 크거나 작게 구성될 수 있다. 상기 결속 홈(11a)은 일부 구간에서 상면 곡률과 하면 곡률을 포함하는데, 상기 하면 곡률을 달리하여, 각 사용자의 서로 다른 손목 곡률에 대응할 수 있다. 상기 결속 홈(11a)의 상면 곡률과 하면 곡률은 착용한 사용자의 손목 곡률에 따라서 상기 경계 영역(A)에서 상이하게 구성할 수 있다. 이와 같이, 상기 결속 홈(11a)의 곡률은 상기 제1 곡률, 예컨대, 상기 본체 하우징(11)의 전면이 가진 곡률과 동일하거나 다르게 설정될 수 있다. 이는 실제 제품의 크기와 각 사용자들의 착용감을 고려하여 적절하게 선택될 수 있다.
도 8은 다양한 실시예들 중 하나에 따른 전자 장치의 하우징을 나타내는 평면도이다.
본 실시예에서는 스크류 보스를 배제하는 본체 하우징이 개시된다. 전자 부품을 모듈화한 브라켓(예: 내부 브라켓 또는 배터리 브라켓)이 후크나 돌기 등의 구조물에 의해 상기 본체 하우징(11)에 고정되고, 디스플레이 장치(13)의 윈도우가 방수 테이프에 의해 상기 본체 하우징(11)에 부착될 수 있다. 이로써, 상기 본체 하우징(11)의 내부에서는 스크류 보스 등이 삭제되어 내부 실장 공간을 효율적으로 활용할 수 있으며, 방수 성능을 향상시킬 수 있다. 도 8에서, 참조부호 '11c'는 밀봉 부재(sealing member), 예컨대, 방수 테이프가 부착되는 부착면을, 참조부호 '11d'는 상술한 센서부(S)나 접속 부재(23) 등을 배치하기 위한 개구들을 나타낸다.
도 9는 다양한 실시예들 중 하나에 따른 전자 장치의 내부 구성을 설명하기 위한 측면도이다. 도 10은 다양한 실시예들 중 하나에 따른 전자 장치의 내부 구성을 설명하기 위한 측단면도이다.
도 9와 도 10을 참조하면, 상기 본체 하우징(11)에 실장되는 전자 부품들은 브라켓(19)(예: 내부 브라켓 또는 배터리 브라켓)에 의해 모듈화될 수 있다. 본 실시예에서는 디스플레이 장치(13)의 하측에 적층 구조로 곡형의 배터리 팩(17)을 포함하는 각종 전자 부품들을 실장하되, 상기 본체 하우징(11)의 중앙에서 측 방향(예: 세로 방향(Y))으로 갈수록 점차적으로 상하 두께를 얇아지게 하는 배치를 구현할 수 있다. 예를 들어, 상기 본체 하우징(11)은 곡면 형태의 디스플레이 장치(13)와, 곡형의 배터리 팩(17)과, 기판 조립체(15)를 상하 적층 구조로 모듈화한 전자 부품들을 수용할 수 있다.
본 실시예에 따른 전자 장치(1)의 본체부(10)는 사용자의 눈에 쉽게 보이는 외관면(예컨대, 디스플레이 화면)과, 사용자의 신체에 착용하여서 피부와 밀착되는 접촉면(본체 하우징 후면)의 곡률을 달리 설계하면서, 상기 본체 하우징(11)의 내부 공간을 효율적으로 활용할 수 있다. 본 실시예에 따른 본체부(10)는 작은 곡률을 가지는 외관면(예: 전면(F))에 곡면 제작 자유도가 높은 디스플레이 장치(13)를 배치하고, 상기 디스플레이 장치(13)의 내측에 배터리 팩(17)을 설치할 수 있다. 이때, 상기 배터리 팩(17)은 곡형으로, 상기 제1 곡률과 동일한 곡률을 가질 수 있다. 상기 배터리 팩(17)은 곡면 형상의 상기 디스플레이 장치(13) 중앙을 기준으로 실장하되, 상기 배터리 팩(17)의 양단에서 상기 본체 하우징(11)의 내부에 실장 공간을 확보할 수 있다. 상기한 실장 구조는 상기 본체 하우징(11)의 중앙에 비해, 양 단부에서의 두께 감소 효과를 가져와, 미려한 디자인 구현하면서, 상기 본체 하우징(11)의 후면(R)이 사용자의 신체에 충분히 밀착하는 형상을 구현할 수 있게 한다.
상기 본체부(10)에는 상기 디스플레이 장치(13)와, 곡형의 상기 배터리 팩(17)과, 복수의 각종 전자 부품들이 장착된 적어도 하나의 기판들(15a, 15b, 15c)이 상하 적층 구조로 배치된다. 본 실시예에 따르면, 상기 배터리 팩(17)은 상기 디스플레이 장치(13)와 기판들(15a, 15b, 15c) 사이의 중간 층에 배치될 수 있다. 이는 배터리 팩(17)의 손상, 발열에 의한 저온 화상 방지 등 사용자 피해를 억제할 수 있는 안전 장치의 의미를 가질 수 있다.
상기 본체부(10)는 상기 본체 하우징(11)과, 브라켓(19)을 포함할 수 있다. 상기 본체 하우징(10)에 상기 브라켓(11)이 결합, 고정되어 일몸체를 구성할 수 있다. 상기 본체 하우징(11)과 브라켓(19)은 독립적으로 제작되어 결합되는 구조로 예시하였으나, 상기 브라켓(19)은 본체 하우징(11)에 포함되는 구성으로 이해될 수 있다. 상기 본체 하우징(11) 전면(F)에는 접착 테이프(양면 방수 테이프)에 의해 상기 디스플레이 장치(13)가 부착, 고정되며, 상기 본체 하우징(11)의 내부로 상기 브라켓(19)이 수용되어 고정될 수 있다. 상기 디스플레이 장치(13)는 상기 본체 하우징(11)의 내부에서 상기 브라켓(19)의 지지를 받을 수 있다. 상기 브라켓(19)은 상기 디스플레이 장치(13)의 하측에 적층되는 배터리 팩(17)과, 상기 본체 하우징(11) 전면(F)과 후면(R) 사이에 배치되는 하나 또는 복수의 기판들(15a, 15b, 15c)을 내부에 수용할 수 있다. 복수의 상기 기판들(15a, 15b, 15c)은 분절 구조의 기판 조립체(15)로 이루어질 수 있다.
이하에서는 도 11 내지 도 13을 더 참조하여, 상기 본체부 내에 실장되는 각종 전자 부품들과 그 배치에 대해서 더 상세하게 살펴보기로 한다.
도 11은 다양한 실시예들 중 하나에 따른 전자 장치의 디스플레이 장치를 설명하기 위한 분리 사시도이다.
도 11을 참조하면, 상기 디스플레이 장치(13)는 곡률을 가지는 곡면 디자인 구현을 위해서 곡률을 구비한 곡면 디스플레이(13a)로 구현되며, 상기 곡면 디스플레이(13a)의 곡률과 동일한 곡률을 가진 곡면 윈도우(13b)를 더 포함할 수 있다. 상기 곡면 윈도우(13b)는 경질(rigid) 또는 연질(flexible)의 레이어(layer)를 포함한다. 다른 실시예에서, 상기 곡면 디스플레이(13a)는 플렉서블 디스플레이로 구현될 수 있으며, 또한, 상기 전자 장치의 외관에 따라 평면 디스플레이로 대체될 수 있다. 상기 디스플레이 장치(13)의 형상에 따라 상기 곡면 윈도우(13b)는 그에 적합한 형상의 윈도우로 대체될 수 있다. 상기 곡면 윈도우(13b)의 곡률은 상기 곡면 디스플레이(13a)의 곡률과 반드시 동일할 필요는 없다. 다른 실시예에서, 상기 곡면 디스플레이(13a)가 평면 디스플레이로 대체되더라도, 상기 곡면 윈도우(13b)는 일정 곡률, 예컨대 상기 제1 곡률과 동일한 곡률을 가질 수 있다.
상기 디스플레이 장치(13)는 사용자의 신체 곡면을 고려한 형상으로, 예컨대, 곡면 디스플레이로 구현될 수 있으며, 상기 디스플레이 장치(13)의 상면에 배치된 곡면 윈도우(13b)로, 상기 본체부(10)의 전면(F) 디자인을 구현할 수도 있다. 상기 디스플레이 장치(13)는 사용자의 터치에 따른 정전용량 또는 압력, 온도 등을 감지하는 감지부, 예를 들면, 터치 패널을 더 구비할 수 있다. 터치 패널은 상기 곡면 디스플레이(13a)에 통합될 수 있다. 상기 디스플레이 장치(13)에 감지부가 탑재됨으로써 다양한 UI 활용에 최적화 된 PUI(physical user interface)를 제공할 수 있다. 도 11에서, 참조부호 '13a'는 터치 패널이 통합된 곡면 디스플레이를, '13d'는 터치 패널로 연결된 가요성 인쇄회로 기판을, '13c'는 곡면 디스플레이로 연결된 가요성 인쇄회로 기판을 나타낼 수 있다. 또 다른 실시예에서, 터치 패널은 상기 곡면 윈도우(13b)에 통합될 수 있다. 상기 곡면 윈도우(13b)는 글래스, 세라믹 재질로 제작될 수 있으며, PET, PC 등의 시트 재질로 표면을 보호하는 레이어 층을 구비할 수 있다.
도 12는 다양한 실시예들 중 하나에 따른 전자 장치의 배터리 팩을 나타내는 사시도이다.
도 12를 참조하면, 본 발명의 실시예들 중 하나에 따른 전자 장치(1)의 배터리 팩(17)은 곡형으로 구현되어 상기 본체부(10)에 실장되는 전자 부품의 실장 효율화를 도모한다. 상기 배터리 팩(17)은 휘어 있는 형태로 실장되며, 이는 상기 본체부(10)의 외관 디자인 구현 및 사용자의 신체에 착용되는 신체 착용형 전자 장치의 하드웨어 부품 실장을 최적화할 수 있다. 상기 배터리 팩(17)은 가요성 인쇄회로 기판(17a)을 구비함으로써, 상기 기판(15a, 15b, 15c)들 중 하나에 접속하여 전원을 제공할 수 있다. 상기 배터리 팩(17)은 휘어진 형상으로 제작되어, 소정 곡률을 가질 수 있다. 상기 배터리 팩(17)은, 상기 디스플레이 장치(13)와 동일한 곡률을 가질 수 있으며, 상기 디스플레이 장치(13)의 후면과 대면한 상태로 배치될 수 있다. 상기 배터리 팩(17)은 후면 중앙에 실장 공간(오목한 형상 부분)을 형성하여 하드웨어 전자 부품을 수용함으로써, 실장 효율을 향상시킬 수 있다. 다른 실시예에서 상기 배터리 팩(17)은 상기 디스플레이 장치(13)의 곡률과 다른 곡률을 가지게 구성되거나, 평판형으로 구성될 수도 있다. 평판형으로 구성된 경우, 상기 배터리 팩(17)은 상기 기판들(15a, 15b, 15c)의 저면에 배치될 수 있다.
다시 도 10을 참조하면, 상기 배터리 팩(17)과 제1 회로 기판(15a) 사이에는 별도의 레이어 부품, 예컨대, 제2 브라켓(19a)을 추가하여, 상기 전자 장치(1)가 작동하는 중에 상기 배터리 팩(17)이 팽창하더라도 제1 회로 기판(15a)의 부품 및 배터리 팩(17)의 손상을 방지할 수 있다. 예컨대 상기 제2 브라켓(19a)은 상기 배터리 팩(17)의 팽창을 억제할 수 있다. 상기 제2 브라켓(19a)은 상기 배터리 팩(17)과 제1 회로 기판(15a)의 물리적인 지지 구조, 완충 구간으로 작용할 수 있으며, 배터리 액 누액 시 하부의 전자 부품들이 오염되는 것을 방지하는 격막으로도 작용할 수 있다. 상기 제2 브라켓(19a)은 금속편 또는 사출편으로 구비될 수 있다.
도 13은 다양한 실시예들 중 하나에 따른 전자 장치의 회로 기판 구조를 설명하기 위한 측면도이다.
도 10과 도 13을 참조하면, 상기 본체 하우징(11)의 내부 공간, 예컨대, 상기 브라켓(19)에 복수의 기판들(15a, 15b, 15c)이 분절(관절) 구조로 배열되어 전자 부품의 실장 효율화를 도모할 수 있다. 분절 구조로 배열된 기판 조립체(15)는 필요 구간에서 경질 기판들(예: 상기 기판들(15a, 15b, 15c))과 연질 기판들(15e) 구간을 적절히 제공하여, 곡면 디자인에 부합하게 배열 또는 배치될 수 있으며, 각 분절 구간에 전자 부품의 작동 환경 등을 고려하여 배치함으로서, 전자 장치 성능을 최적화할 수 있다.
예를 들어, 노이즈에 취약한 부품과 노이즈 발생 부품을 각각 서로 다른 기판에 분리 배치하고, 충격에 약한 부품과 충격 유발 부품 등을 각각 구분하여 서로 다른 기판에 분리, 배치할 수 있다. 상기와 같은 전자 부품의 내부 배치는 노이즈 발생 구간과 노이즈 민감 구간을 자연스럽게 이격할 수 있고, 경질 기판을 통해 전달되는 진동 충격을 연질 기판 구간에서 차단하여, 전자 장치의 전기적 성능 및 내구성을 최적화하는 설계를 실시할 수 있다. 향후 기술 발전에 따라, 경질 기판 대신에 곡형 경질 기판 또는 연질 기판의 적용이 가능하다. 상기 분절 구조의 기판 조립체(15)에는 기본적인 통신, 입출력 관련 부품 외에 자이로, 가속도, 기타 광센서 등 비접촉식 센서 등이 더 장착될 수 있다.
이와 같이 분절 구조의 기판 조립체(15)는 복수의 경질 기판(rigid PCB)(15a, 15b, 15c)들과, 복수의 연질 기판(flexible PCB)들(15e)로 구성될 수 있으며. 경질 기판(15a, 15b, 15c)들은 각종 전자 부품이 장착되는 기판으로서, 상면과 하면 모두에 각각 전자 부품들이 실장될 수 있다. 본 실시예에 따른 기판 조립체(15)는 3개의 경질 기판이 장착되며, 각각 제1 회로 기판(15a), 제2 회로 기판(15b) 및 제3 회로 기판(15c)이라 지칭하기로 한다. 상기 제1 회로 기판(15a)은 중앙에 배치된 기판을 지칭하고, 상기 제1 회로 기판(15a) 우측에 있는 기판을 제2 회로 기판(15b)이라 지칭하며, 상기 제1 회로 기판(15a) 좌측에 있는 기판을 제3 회로 기판(15c)이라 지칭한다. 또한, 상기 제1 회로 기판(15a)과 제2 회로 기판(15b)을, 아울러, 상기 제1 회로 기판(15a)과 제3 회로 기판(15c)을 각각 연결하는 기판을 연질 기판(15e)이라 지칭하기로 한다. 상기 제2, 3 회로 기판(15b, 15c)은 상기 연질 기판(15e)들을 통해 상기 제1 회로 기판(15a)에 각각 연결되어, 상기 기판 조립체(15)를 분절 구조로 형성할 수 있다. 또한, 상기 제1, 2, 3 회로 기판(15a, 15b, 15c) 상에 각종 전자 부품을 배치하는 구성에서, 상기 제1, 2, 3 회로 기판들(15a, 15b, 15c) 중, 노이즈에 취약한 부품들과 노이즈 발생 부품들은 서로 다른 기판에 각각 배치되고, 충격에 약한 부품과 충격을 유발하는 부품들 또한, 서로 다른 기판에 각각 배치될 수 있다.
예를 들어, 상기 제1, 2, 3 회로 기판들(15a, 15b, 15c)에 실장되는 전자 부품들 중, 노이즈에 취약한 부품(예: PAM)과, 노이즈 발생 부품(예: AP, CP)를 각각 제1, 2 회로 기판(15a, 15b)에 분리 배치하고, 충격에 약한 부품(예: AP, CP 등의 BGA 부품)과, 충격 유발 부품(예: 진동 모듈을 포함하는 진동자) 등을 각각 제2, 3 회로 기판(15b, 15c) 구간에 분리 배치할 수 있다. 이러한 전자 부품의 내부 배치는 노이즈 발생 구간과 노이즈 민감 구간을 자연스럽게 이격할 수 있고, 경질 기판을 통해 전달되는 진동 충격을 연질 기판 구간에서 차단함으로서, 전자 장치의 전기적 성능 및 내구성을 최적화하는 설계를 실시할 수 있다.
또한, 상기 본체 하우징(11) 후면(R) 상에 위치하는 상기 제1, 2, 3 회로 기판(15a, 15b, 15c)들 중, 적어도 하나는 수평하게 배치되거나, 경사지게 배치될 수 있다. 상기 제1 회로 기판(15a)은 중앙에 배치된 기판으로서, 센서부(S), 예를 들어, 생체신호 감지 센서가 장착되기 때문에, 상기 센서부(S)와 함께 수평하게 배치될 수 있다. 상기 센서부(S)는 본체 하우징(11) 후면(R)에 노출되게 배치되는데, 사용자의 신체 피부와 가장 밀착될 수 있는 위치, 즉 대략 본체 하우징(11) 후면(R)의 중앙 영역에 수평하게 배치될 수 있다. 상기 센서부(S)는 제1 회로 기판(15a) 후면에 실장되고, 센서 인터페이스부(21a)(예: 인터페이스 윈도우)를 구비할 수 있다. 또한, 상기 센서부(S)가 장착된 회로 기판(예: 제1 회로 기판(15a))이 상기 본체 하우징(11) 외관면 대비 기울어져 실장되는 경우에도 회로 기판과 상기 센서부(S) 사이에 인터포저(interposer)를 사용하여 밸런스를 맞출 수 있다. 상기 센서부(S)는 센서 인터페이스부(21a)(예: 인터페이스 윈도우)를 상기 본체 하우징(11)의 후면(R)으로 노출시키면서 수평하게 위치할 수 있다. 상기 센서 인터페이스부(21a)(예: 인터페이스 윈도우)는 상기 센서부(S) 자체에 구비될 수 있고, 상기 본체 하우징(11)의 외관에 부착될 수도 있다. 상기 센서부(S)는, 예를 들면, 사용자의 피부 또는 사용자의 신체로부터 정보를 얻을 수 있는 HRM 또는 정맥 센서와 같은 생체신호 감지 센서로 이루어질 수 있다. 이러한 생체신호 감지 센서들은 발광 다이오드, 적외선 발광 다이오드 등을 이용하여 인체 혈관에 빛을 투과 또는 반사하고, 수광 소자(예: 포토 다이오드)를 이용하여 되돌아 오는 빛을 검출하여 심박, 혈류량, 산소 포화도 등을 검출할 수 있다.
추가적으로, 상기 본체 하우징(11) 후면(R)에는 돌출부(21)가 더 구비될 수 있으며, 상기 센서부(S)의 일부분, 예컨대, 상기 센서 인터페이스부(21a)(예: 인터페이스 윈도우)가 상기 돌출부(21) 상에서 외부로 노출될 수 있다. 상기 돌출부(21) 상에 상기 센서 인터페이스부(21a)가 배치됨으로써 상기 센서부(S)가 사용자의 신체 피부에 더 밀착할 수 있다. 상기 센서 인터페이스부(21a)는 상기 돌출부(21) 상의 중앙 영역, 예컨대 평탄한 면에 위치할 수 있다. 한 실시예에서, 분절 구조로 기판들을 배열함에 있어, 상기 본체 하우징(11)의 내부에는 전자 부품 실장을 위한 최소한의 수평하면서 평탄한 영역(예: 본체 하우징(11)에서 제1 회로 기판(15a)이 배치된 영역)이 형성될 수 있다.
다른 실시예에서, 상기 배터리 팩(17) 양측 단에 확보된 공간을 실장 영역으로 활용하여 실장 공간을 더 효율적으로 활용할 수 있다. 예를 들어, 상기 배터리 팩(17)의 양측 단에 확보된 공간에 진동 모듈(15d)이나 커넥터 등 상대적으로 두꺼운 부품을 배치하여 상기 본체 하우징(11)의 전체 두께가 증가하는 것을 억제할 수 있다. 도시하지 않았지만, 상기 확보된 공간에는 보조 배터리, 후크 조립부 등 각종 메커니즘을 배치할 수 있다.
본 실시예에 따른 전자 장치(1)의 본체부(10)는 상기 디스플레이 장치(13)의 하측에서, 상기 배터리 팩(17) 일측(Y축 방향) 영역에 상기 제3 회로 기판(15c)이 배치되며, 상기 제3 회로 기판(15c)에 진동 모듈(15d), 상기 제1 회로 기판(15a)에 접속 부재(23)(예: 충전 단자)가 각각 배치될 수 있다. 다른 실시예에서, 상기 진동 모듈(15d) 자체로서 상기 브라켓(19) 또는 본체 하우징(11)에 장착, 고정될 수 있고, 상기 진동 모듈(15d)을 상기 제1 회로 기판(15c)에 접속시키는 별도의 가요성 인쇄회로 기판 등이 제공된다면, 상기 제3 회로 기판(15c)이 반드시 배치될 필요는 없다. 상기 진동 모듈(15d)은 상기 배터리 팩(17)과 병렬로 배치되고, 상기 접속 부재(23)(예: 충전 단자)도 상기 배터리 팩(17)과 병렬로 배치될 수 있다. 상기 제3 회로 기판(15c) 상면에 상기 진동 모듈(15d)이 배치되고, 제1 회로 기판(15a) 저면에 상기 접속 부재(23)가 배치될 수 있다. 상기 접속 부재(23)는 상기 본체 하우징(11) 후면(R)으로 노출될 수 있다. 상기 진동 모듈(15d)은 실장되는 전자 부품들 중, 두께가 두껍거나 볼륨이 큰 부품 중 하나이기 때문에, 상기 제2 회로 기판(15b)이나 제3 회로 기판(15c)에 배치하여 상기 배터리 팩(17)과 나란하게(상기 배터리 팩(17)과 적층되지 않게) 실장하여 상기 본체부(10)의 두께 증가를 방지하고, 실장 효율성을 높일 수 있다.
또한, 상기 제1, 2, 3 회로 기판(15a, 15b, 15c)들에 각각 실장되는 기타 입력 장치로 터치 센서, 압력 센서, 온도 센서 등을 이용한 전기적 스위치 인터페이스부 및 Tact, Dome Key 등의 물리적 스위치 인터페이스부가 상기 본체 하우징(11)의 일면에 배치될 수 있다. 이러한 입력 장치들은 사용자가 직접 조작하여 각각에 할당된 신호를 발생시킬 수 있다. 충전 및 인터페이스 단자는 상기 본체 하우징(11) 전면(F)이나 후면(R) 중, 외관을 해치지 않는 위치에 선택하여 더 배치할 수 있다. 본 실시예에서 상기 접속 부재(23)(예: 충전 단자)는 상기 본체 하우징(11) 후면(R)에 배치되어, 착용 상태에서는 상기 본체 하우징(11) 또는 사용자의 신체에 의해 은폐될 수 있다.
이하에서 도 14 내지 도 18을 참조하여 다양한 실시예들에 따른 전자 장치의 방수 구조에 대해서 살펴보기로 한다.
도 14는 다양한 실시예들 중 하나에 따른 전자 장치의 방수 구조를 설명하기 위한 도면이다. 도 15는 다양한 실시예들 중 하나에 따른 전자 장치의 측면 키를 일부 절개하여 나타내는 사시도이다. 도 16은 다양한 실시예들 중 하나에 따른 전자 장치의 측면 키를 설명하기 위한 분리 사시도이다. 도 17은 다양한 실시예들 중 하나에 따른 전자 장치의 충전 단자부를 일부 절개하여 나타내는 사시도이다. 도 18은 다양한 실시예들 중 하나에 따른 전자 장치의 충전 단자부의 변형 예를 설명하기 위한 도면이다.
상기 본체 하우징(11)은 유니 바디 구조를 가지면서, 상기 디스플레이 장치(13)를 설치하기 위해 전면(F)이 개방된 형상이며, 또한, 센서부(S)(예: 생체신호 감지 센서), 사이드 키(K), 접속 부재(23) 등을 배치할 수 있는 개구(11d)들을 포함할 수 있음은 앞서 살펴본 바 있다. 이러한 개방된 면 또는 개구들 각각에 방수 구조를 형성하여 상기 본체부(10)의 내부로 수분이나 습기가 유입되는 것을 방지할 수 있다. 본 실시예에 따른 전자 장치(1)의 본체부(10)는 각종 전자 부품들을 모듈화 할 수 있는 브라켓(19)을 유니 바디 구조의 본체 하우징(11)에 결합함으로써, 방수 포인트를 최소화할 수 있다.
도 14 내지 도 18을 참조하면, 본 실시예에 따른 전자 장치(1)의 본체부(10)에서, 방수 구조가 적용되는 위치는 곡면 윈도우(13b)가 배치된 곳, 사이드 키(K)가 배치된 곳, 센서부(S)가 배치된 곳, 접속 부재(23)가 배치된 곳을 포함할 수 있다.
상기 본체 하우징(11) 전면(F)에 장착되는 곡면 윈도우(13b) 방수 구조는 밀봉 부재, 예컨대, 방수 테이프(13e)를 이용할 수 있다. 상기 본체 하우징(11)의 전면 둘레에 형성된 부착면(11c)에 방수 테이프(11e)를 이용하여 상기 곡면 윈도우(13b)의 가장자리를 부착할 수 있다. 상기 방수 테이프(13e)는 양면 테이프로서, 상면은 상기 곡면 윈도우(13b)에 부착되고, 하면은 상기 부착면(11c)에 부착될 수 있다. 이로써 상기 본체 하우징(11)과 곡면 윈도우(13b) 사이로 수분이나 습기가 유입하는 것을 방지할 수 있다.
상기 본체 하우징(11) 측면에 배치되는 사이드 키(K) 방수 구조는 또 다른 밀봉 부재를 이용할 수 있으며, 이러한 밀봉 부재로는 방수 테이프(25a)를 이용할 수 있다. 상기 방수 테이프(25a)는 양면 테이프로서, 사이드 키(K)의 둘레를 감싸는 형상으로 구비될 수 있다. 상기 방수 테이프(25a) 일면은 상기 본체 하우징(11)의 내면에 부착되고, 타면은 상기 사이드 키(K)의 실리콘 러버(25b)에 부착되어, 상기 방수 테이프(25a)를 이용하여 물의 침입을 방지할 수 있다. 또한, 상기 실리콘 러버(25a)는 상기 사이드 키(K)를 누르는 동작에 대한 복원력을 제공할 수 있다. 도시되지는 않지만 상기 실리콘 러버(25a)의 둘레를 따라서 방수 돌기를 형성하여 상기 개구(11d)의 내측벽에 밀착시킴으로써, 상기 실리콘 러버(25a)와 본체 하우징(11) 사이로 수분이나 습기가 유입하는 것을 방지할 수 있다. 예컨대, 상기 실리콘 러버(25a)는 방수 돌기와 밀봉 부재를 이용한 이중 방수 구조를 형성할 수 있다.
상기 본체 하우징(11) 저면에 배치된 센서부(S)(예: 생체신호 감지 센서)에도 방수 테이프(21c)를 이용한 방수 구조가 적용될 수 있다. 상기 센서부(S)는 인터페이스 윈도우(예: 센서 인터페이스부(23a))를 구비하며, 상기 방수 테이프(21c)는 양면 테이프로서, 일면은 상기 본체 하우징(11)에 부착되고, 타면은 상기 인터페이스 윈도우 저면에 부착된다. 상기 방수 테이프(21c)는 인터페이스 윈도우 저면 둘레를 따라서 부착된다. 상기 센서부(S)를 배치하기 위한 개구(11d)(예: 관통홀)의 둘레에서, 상기 인터페이스 윈도우의 가장자리가 상기 본체 하우징(11)의 후면(R)에 부착될 수 있다. 상기 본체 하우징(11)의 후면(R)으로 상기 인터페이스 윈도우가 돌출되는 것을 방지하기 위해, 상기 개구(11d)의 둘레에는 홈부(recessed portion)(11e)가 형성될 수 있으며, 상기 인터페이스 윈도우의 가장자리가 상기 홈부(11e)에 수용될 수 있다. 상기 홈부(11e)와 상기 인터페이스 윈도우 사이에는 방수 구조를 제공하는 밀봉 부재, 예컨대, 상기 방수 테이프(21c)가 개재될 수 있다. 생체신호 감지 센서(21b)는 상기 제1 회로 기판(15a)에 장착되어 상기 개구(11d) 상에 위치될 수 있다.
상기 접속 부재(23)(예: 충전 단자)는 양면 테이프와 같은 방수 테이프(23c) 또는 러버나 실리콘 재질의 고탄성 방수 부품(23d; 도 18에 도시됨)을 끼워넣어서, 방수 구조를 구현할 수 있다. 상기 방수 테이프(23c)는 상기 접속 부재(23)와 상기 본체 하우징(11) 사이에 부착되어 방수 구조를 형성할 수 있다. 상기 방수 부품(23d)은 접속 부재(23)의 측면과 본체 하우징(11) 내벽사이에 배치되어, 상기 방수 테이프(23c)나 방수 부품(23d)을 이용한 방수 구조는 본드, 실리콘 등의 각종 접착제 류 등으로 구현된 방수 구조로 대체될 수 있다. 도 14, 도 17 및 도 18에서, 참조부호 '23a'는 상기 접속 부재(23)를 회로 기판(예: 제1 회로 기판(15a))으로 연결하는 씨-클립(C-clip)을, 참조부호 '23b'는 다른 장치의 접속 부재(예: 거치대의 접속 단자)에 직접 접촉하는 접속 패드를 각각 나타낸다.
도 19는 다양한 실시예들 중 하나에 따른 전자 장치의 본체부를 조립하는 과정을 나타내는 도면이다.
도 19를 참조하면, 상기 본체부(10)는 브라켓(19)을 이용하여 각종 전자 부품들을 하나의 모듈 형태로 구현하여 본체 하우징(11)에 조립하는 것을 가능하게 한다. 유니 바디 구조의 상기 본체 하우징(11)과 전자 부품들을 모듈화한 상기 브라켓(19)을 결합함으로써 방수에 적합한 조립성을 확보할 수 있다. 또한, 상기 브라켓(19)에 각종 전자 부품을 조립, 부착, 융착, 리벳팅, 스크류 구조 등으로 고정할 수 있다. 이러한 브라켓을 이용하여 각종 전자 부품들을 모듈화함으로써, 상기 본체 하우징(11)에 스크류 보스를 형성하지 않더라도 각종 전자 부품을 용이하게 조립할 수 있다. 전자 부품을 모듈화하는 상기 브라켓(19)과 유니 바디 구조의 상기 본체 하우징(11)은 후크, 돌기 등의 고정 구조물로 고정되고, 상기 곡면 윈도우(13b)와 상기 본체 하우징(11)의 갭은 방수 테이프로 마감함으로써, 스크류 보스 삭제를 통해 내부 실장 공간을 효율적으로 활용하면서 방수 성능을 극대화 할 수 있다.
한 실시예에서, 상기와 같이 구성된 본체부(10)의 조립 과정을 살펴보면, 먼저, 상기 브라켓(19)에 상기 배터리 팩(17)이 실장되고, 상기 배터리 팩(17)의 후면 중앙 영역에 금속편(예: 제2 브라켓(19a))을 고정한다. 상기 배터리 팩(17)을 상기 브라켓(19)에 실장했을 때, 상기 배터리 팩(17)의 적어도 일측에서 상기 브라켓(19)의 내부에는 실장 공간(19b)이 형성될 수 있다. 이어서, 기판 조립체(15)를 상기 브라켓(19)에 조립하고, 상기 디스플레이 장치(13)를 상기 브라켓(19)에 고정한다. 상기 기판 조립체(15)는 상기 사이드 키(K) 등에 대응하는 적어도 하나의 측면 기판(15f)을 더 포함할 수 있다. 상기 기판 조립체(15)에 부피가 큰 전자 부품(예: 진동 모듈)이 장착되어 있다면, 상기한 실장 공간(19b)에 수용함으로써, 상기 본체부(10)의 실장 효율을 높일 수 있다. 상기 브라켓(19)은 상기 디스플레이 장치(13)의 후면을 지지한 상태로 상기 디스플레이 장치(13)와 결합할 수 있다. 상기 브라켓(19)에 각종 전자 부품들이 조립된 상태에서, 각 전자 부품들로부터 연장된 가요성 인쇄회로 기판(13c, 13d, 17a)(또는 커넥터)가 상기 기판 조립체(15)에 접속된다. 마지막으로 상기 본체 하우징(11)이 상기 브라켓(19)을 수용함으로써 상기 본체부(10)의 조립이 완성되며, 상기 디스플레이 장치(13), 예컨대, 상기 곡면 윈도우(13b)는 상기 본체 하우징(11)에 부착되어 방수 구조를 형성할 수 있다.
도 20은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부를 나타내는 평면도이다. 도 21은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부를 나타내는 측면도이다.
도 20과 도 21을 참조하면, 상기 착용부(50)는 평면도로 볼 때 거의 직사각형 형상의 개구부(51a)를 포함할 수 있다. 예컨대, 상기 개구부(51a)는 네 개의 내측벽이 각각 직사각형 한 변의 적어도 일부분을 이루게 배치되면서, 상기 개구부(51a)를 이루는 내측벽들 중 서로 인접하는 내측벽들은 곡면으로 연결될 수 있다. 예컨대, 상기 개구부(51a)는 실질적으로 직사각형 형상이지만, 서로 인접하는 두 내측벽들이 서로 직각으로 교차할 필요는 없다.
상기 개구부(51a)를 둘러싸는 안착부(51) 또한 평면도로 볼 때에는 거의 직사각형 형상이지만, 측면도로 볼 때 일정 곡률을 가지는 형상일 수 있다. 상기 안착부(51)의 곡률은 상기 본체부(10)의 제1 곡률과 동일하게 설정될 수 있다. 다만, 상술한 바와 같이, 상기 안착부(51)와 제1, 제2 착용 부재(53, 55)들 사이의 경계 영역(A)에서의 곡률은 상기 제1 곡률과 다르게 설정될 수 있다. 또한, 상기 안착부(51)는 상기 본체부(10)의 착탈을 용이하게 하기 위해 탄성 재질로 제작되어 상기 본체부(10)의 형상 또는 상기 결속 홈(11a)의 형상에 대응하게 변형될 수 있으므로, 그 곡률이 특정될 필요는 없음에 유의한다.
도 22는 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 구조를 설명하기 위한 도면이다. 도 23은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 구조의 변형예를 설명하기 위한 도면이다. 도 24는 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조를 설명하기 위한 측면도이다. 도 25는 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조를 설명하기 위한 사시도이다. 도 26은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조의 변형예를 설명하기 위한 사시도이다. 도 27은 다양한 실시예들 중 하나에 따른 전자 장치의 착용부 결속 구조의 변형예를 설명하기 위한 측면도이다.
도 22에 도시된 착용부는 제1, 2 착용 부재(53, 55)와, 제1, 2 착용 부재(53, 55)를 일몸체로 배치시키는 영역 또는 형상(예: 클립(H1))을 포함할 수 있다. 상기 전자 장치(1)를 손목에 착용할 경우, 상기 클립(H1)을 이용하여 상기 제1, 2 착용 부재(53, 55)가 일몸체로 배치될 수 있다. 상기 클립(H1)은 제1, 2 착용 부재(53, 55)들 중 하나에 끼워지는 부속물로서, 일부 구간이 개방된 형상으로 이루어질 수 있다. 상기 제1 착용 부재(53)에는 상술한 바 있는 제1 결속 부재(53c)가 배치될 수 있으나, 도 22에서는 제1 결속 부재가 도시되지 않음에 유의한다. 다만, 도 22에서, 상기 제1 결속 부재의 고정부가 안착되는 면(53d)이 상기 제1 착용 부재(53)의 외측면에 형성된 구성이 도시되어 있다. 상기 제2 착용 부재(55)에는 길이 방향으로 복수의 결속 홀(55a)이 구비될 수 있다.
도 23에 도시된 착용부는 제1, 2 착용 부재(53, 55)와, 제1, 2 착용 부재(53, 55)를 일몸체로 배치시키는 영역 또는 형상(예: 클립(H2))을 포함할 수 있다. 상기 전자 장치(1)를 손목에 착용할 경우, 상기 클립(H2)을 이용하여 상기 제1, 2 착용 부재(53, 55)가 일몸체로 배치될 수 있다. 상기 클립(H2)은 상기 제1, 2 착용 부재(53, 55)들 중 하나에 끼워지는 부속물로서, 도 22에 도시된 클립(H1)보다 더 개방된 형상으로 이루어질 수 있다.
도 24와 도 25에 도시된 착용부는 제1, 2 착용 부재(53, 55)와, 제1, 2 착용 부재(53, 55)를 일몸체로 배치시키는 영역 또는 형상(예: 제2 결속 부재(H3))을 포함할 수 있다. 상기 전자 장치(1)를 손목에 착용할 경우, 상기 제2 결속 부재(H3), 예를 들면, 후크를 이용하여 상기 제1, 2 착용 부재(53, 55)들이 서로 구속된다. 상기 제2 결속 부재(H3)는 제2 착용 부재(55)에 일체형으로 구비되어, 상기 제1 착용 부재(53)의 둘레를 적어도 부분적으로 감싸게 제공될 수 있다. 상기 제1 착용 부재(55)의 단에는 상기 제1 결속 부재(53c)가 일체형으로 고정되고, 상기 제1 결속 부재(53c)의 결속 돌기(53a)가 제2 착용 부재(55)의 결속 홀(55a)들 중 하나에 삽입되어서, 상기 제1, 2 착용 부재(53, 55)들을 일몸체로 구속시킬 수 있다.
도 26과 도 27에 도시된 착용부는 제1, 2 착용 부재(53, 55)와, 제1, 2 착용 부재(53, 55)를 일몸체로 배치시키는 또 다른 제2 결속 부재(H4)를 포함할 수 있다. 상기 전자 장치(1)를 손목에 착용할 경우, 상기 제2 결속 부재(H4)를 이용하여 상기 제1, 2 착용 부재(53, 55)가 서로 구속된다. 선행 실시예의 제2 결속 부재(H3)가 상기 제2 착용 부재(55)에 일체형으로 성형된 구조라면, 본 실시예의 제2 결속 부재(H4)는 제2 착용 부재(55)에 고정된 제2의 고정부(H4a)와, 상기 제2 고정부(H4a)로부터 연장된 결속부(H4b)로 이루어지며, 상기 제2 고정부(H4a)가 상기 제2 착용 부재(55)에 조립될 수 있다. 상기 결속부(H4b)가 상기 제1 착용 부재(53)의 둘레를 적어도 부분적으로 감싸게 제공되어 상기 제1, 제2 착용 부재(53, 55)들이 일몸체로 배치될 수 있다. 도 26과 도 27에 도시되지는 않지만, 상기 제1 착용 부재(53)의 단부에는 상술한 제1 결속 부재(53c)가 제공되어 상기 제1, 제2 착용 부재(53, 55)를 서로 구속시킬 수 있음을 선행 실시예들을 통해 용이하게 이해할 수 있을 것이다.
상기 도 22 내지 도 27에 도시된 착용부는 다양한 색상이나 형상으로 구현될 수 있으며, 사용자의 신체에 접촉하는 착용면을 요철부 형상(단면이 웨이브 형상)으로 구성하여, 착용감을 향상시킬 수 있다. 또한, 각 실시예에 개시된 구성요소들을 선택적으로 조합하여 개시되지 않은 다른 형태의 착용부를 구성할 수 있다.
도 28은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부와 착용부가 결속되는 구조를 설명하기 위한 도면이다. 도 29는 다양한 실시예들 중 하나에 따른 전자 장치의 본체부와 착용부가 결속된 제1 상태를 설명하기 위한 도면이다. 도 30은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부와 착용부가 결속된 제2 상태를 설명하기 위한 도면이다.
도 28 내지 도 30을 참조하면, 상기 본체부(10)의 형상과, 사용자의 신체 곡률이 부합하지 않는다면, 사용자가 착용한 상태에서 상기 본체부(10)와 안착부(51) 사이에서 또는 상술한 바 있는 경계 영역(A)에서 무리한 꺾임이 발생할 수 있다. 이러한 무리한 꺾임은, 상기 안착부(51)로부터 본체부(10)가 이탈하는 현상을 유발할 수 있다. 상기 본체부(10)가 상기 착용부(51)로부터 이탈하는 것을 방지하기 위해, 상기 본체부(10), 예컨대, 상기 결속 홈(11a)의 실제 크기 대비, 그에 대응되는 안착부(51) 치수를 작게 설계함으로써, 상기 안착부(51)가 상기 본체부(10)의 측면에 더 강하게 밀착, 고정될 수 있다. 또한, 사용자의 신체 착용시 과도한 꺾임이 발생하는 구간에 대해 본체부(10)와 면하는 안착부(51)의 일부 구간에 별도의 꺾임 방지 돌기 구조(예: 지지 돌기(51b))가 추가될 수 있다
도 28을 참조하면, 상기 본체부(10), 예컨대, 본체 하우징(11)은 안착부(51)에 착탈되는 구조로서, 상기 본체부(10)가 안착부(51)에 하방에서 상방으로 이동하여 결합하고, 결합된 상태에서는 상기 안착부(51)로부터 하방으로 이동하여 분리될 수 있다. 상기 본체부(10)가 상기 안착부(51)에 결합된 경우, 상기 전자 장치(1)를 사용자가 착용한 상태에서 상기 본체부(10)는 상기 안착부(51)로부터 이탈하지 않고 안정된 착용 상태를 유지할 수 있다.
곡형의 상기 본체 하우징(11)은 후면(R)(또는, 후면(R)과 전면(F) 사이의 중간 부분)으로부터 전면(F)쪽으로 갈수록 가로 방향(X) 폭이 점차적으로 감소할 수 있다. 예컨대, 도 28에 도시된 바와 같이, 상기 본체 하우징(10)의 중간 부분(저면 포함)의 가로 방향(X) 폭(W2)보다 상기 전면(F)에 있는 가로 방향 폭(W1)이 작다. 상기와 같은 본체 하우징(11) 형상으로 인해 상기 안착부(51)를 기준으로 아래에서 위로 상기 본체부(10)를 결합하는 것이 용이하다. 상기 본체 하우징(11) 측면은 상기 결속 홈(11a)과 상기 전면(F) 사이에 위치하는 제1 부분 및 상기 결속 홈(11a)과 상기 후면(R) 사이에 위치하는 제2 부분을 포함하며, 세로 방향(Y)과 직교하도록 잘라진, 상기 본체 하우징(11)의 단면에서 볼 때(when viewed in a cross-section cut perpendicularly to the Y direction), 상기 제1 부분의 폭(W1)이 상기 제2 부분의 폭(W2)보다 작게 구성될 수 있다. 상기와 같은 형상에 의해, 상기 본체부(10)는 상기 안착부(51)의 하부에서 상향으로 결합하거나, 상기 안착부(51)에 결합한 상태에서 하향으로 이동하여 분리될 수 있다. 상기 결속 홈(11a)은 상기 본체 하우징(11) 측면 둘레를 따라 상기 제1 곡률과 동일한 곡률을 가진 곡선 형태로 연장될 수 있다. 상기 안착부(51)는 상기 결속 홈(11a)에 타이트하게 결합되어, 상기 본체 하우징(11)을 개구부(51a)에 견고하게 구속시킨다. 상기 안착부(51)는 탄성 재질로서, 상기 본체부(10)의 착탈 여부에 따라 탄성 변형을 하며, 상기 개구부(51a)는 상기 본체 하우징(11)보다 약간 작게 구성함으로써, 상기 결속 홈(11a)에 상기 안착부(51)가 타이트하게 결합할 수 있다. 상기 안착부(51)는 상기 본체 하우징(11) 측면들 중, 상기 본체 하우징(11)의 세로 방향(Y)을 따라 연장된 위치의 결속 홈에 결합하여 상기 제1 곡률과 동일한 곡률을 가질 수 있다.
상기 결속 홈(11a)은 제1, 제2 내측벽(11a-1, 11a-2)과, 상기 제1, 제2 내측벽(11a-1, 11a-2)을 연결하는 바닥(11a-3)을 포함할 수 있다. 상기 제1 내측벽(11a-1)은 상기 본체부(10)의 전면(F)에 인접하게, 상기 제2 내측벽(11a-2)은 상기 본체부(10)의 후면(R)에 인접하게 위치하고, 상기 바닥(11a-3)은 상기 제1, 제2 내측벽(11a-1, 11a-2) 사이에 위치할 수 있다. 상기 결속 홈(11a)에서 상기 제1 내측벽(11a-1)의 폭이 상기 제2 내측벽(11a-2)의 폭보다 더 작게 형성함으로써, 상기 안착부(51)의 하측에서 상기 본체부(10)가 상기 안착부(51)로 착탈은 용이하게 하고, 반면에, 상기 안착부(51)의 상측에서 상기 본체부가(10)가 상기 안착부(51)로 착탈하는 것을 제한할 수 있다.
다른 실시예에서, 상기 제1 내측벽(11a-1)은 상기 본체 하우징(11)의 후면(R)에 대하여 수평한 평면 또는 거의 수평한 평면으로 구성가능하고, 상기 제2 내측벽(11a-2)은 수평한 평면이나 거의 수평한 평면으로 구성가능하다. 또 다른 실시예에서, 상기 제1 내측벽(11a-1)은 상기 바닥(11a-3)으로부터 멀어질수록 상기 후면(R)에서 멀어지게 형성될 수 있다. 이와 같이 상기 제1 내측벽(11a-1)의 경사진 형상은, 상기 본체부(10)를 상기 착용부(51)로부터 분리할 때, 상기 안착부(51)가 상기 결속 홈(11a)으로부터 이탈하는 것을 용이하게 할 수 있다.
또한, 상기 안착부(51)의 내측벽은 제1, 제2 외측벽(51-1, 51-2)과, 상기 제1, 제2 외측벽(51-1, 51-2)을 연결하는 안착벽(51-3)으로 이루어질 수 있다. 상기 제1 외측벽(51-1)은 상기 제1 내측벽(11a-1)에 대응하는 평면, 곡면 또는 경사면으로 형성될 수 있다. 상기 제2 외측벽(51-2)은 상기 제2 내측벽(11a-2)에 대응하게 수평한 평면이나 거의 수평한 평면으로 구성가능하다. 상기 안착부(51)는 제1 외측벽(51-1)에 대응되는 외관측 가로폭보다 제2 외측벽(51-2)에 대응되는 외관측 가로폭을 더 광폭으로 구성할 수 있다.
상기 안착부(51)의 내측벽이 결속 홈(11a)에 대응하는 형상으로 구성되어, 상기 본체부(10)를 상기 안착부(51)에 안전하게 결속시킬 수 있다. 또한, 상기 제2 부분의 폭(W2)이 상기 제1 부분의 폭(W1)보다 더 크게 형성되면서, 상기 전자 장치(1)를 착용한 상태에서 상기 제2 부분이 상기 안착부(51)와 사용자의 신체 사이에 위치하므로, 착용 상태를 안정적으로 유지할 수 있다. 또한, 상기 본체부(10)의 폭이 상기와 같이 구성되어(전면(F)으로 갈수록 작게 구성되어) 상기 안착부(51)로부터 상기 본체부(10)를 분리하는 것 또한 용이할 수 있다. 이러한 착탈 구조는 사용자의 신체 활동 시, 착용 압박에 의한 불의의 탈거(본체부(10)가 안착부(51)에서 이탈되는 현상)를 방지할 수 있다.
도 29와 도 30을 참조하면, 상기 착용부(50), 예컨대, 상기 안착부(51)가 탄성체 재질로 제작되어, 상기 본체부(10)와 결합했을 때, 일부분이 변형(예: 압축)될 수 있다. 상기 착용부(50)가 변형되면서, 상기 본체부(10)와 착용부(50)가 더 견고하게 결합할 수 있다. 도 29에서 참조번호 'O'로 지시된 영역은 상기 본체부(10)와 착용부(50)가 결합하면서 변형되는 상기 안착부(51)의 일부분을 나타낸다. 상기 안착부(51)의 일부분(O)이 변형되므로, 실질적으로 상기 안착부(51)는 상기 결속 홈(11a) 내에 위치하게 될 것이다.
사용자가 상기 전자 장치(1)를 착용한 경우, 상기 안착부(51)와 제1 또는 제2 착용 부재(53, 55) 사이의 경계 영역(A)에서 상기 착용부(50)에 인장력이 작용할 수 있다. 이러한 인장력이 특정 위치에 집중될 경우, 상기 본체부(10)와 착용부(50) 사이에 벌어짐이 발생할 수 있다. 이러한 벌어짐 현상을 방지하기 위하여, 도 29와 도 30에 도시된 바와 같이, 상기 경계 영역(A)에 있는 착용부(50)의 내면, 즉 신체와 접촉하는 착용면의 일부 구간에 캐비티 형태의 살빼기 구간(53e, 55e)을 형성할 수 있다. 상기 살빼기 구간(53e, 55e)에 의해 상기 착용부(50)의 일부분은 다른 부분보다 상대적으로 얇은 두께를 가질 수 있다. 따라서 상기 전자 장치(1)를 착용한 경우, 상기 살빼기 구간(53e, 55e)이 상대적으로 더 꺾이게 되어서, 상기 본체부(10)와 착용부(50) 간의 벌어짐을 방지할 수 있다.
또한, 상기 착용부(50)는 지지 돌기(51b)를 구비할 수 있다. 상기 지지 돌기(51b)는 상기 결속 홈(11a)의 내측에서 상기 본체 하우징(11)에 지지되어, 상기 안착부(51)와 본체 하우징(11) 사이의 결합을 견고하게 할 수 있다. 상기 지지 돌기(51b)는, 사용자가 상기 전자 장치(1)를 착용한 상태에서 상기 착용부(50)에 인장력이 작용하더라도, 상기 안착부(51)의 형상을 유지하면서, 상기 살빼기 구간(53e, 55e)이 변형되도록 유도할 수 있다.
도 31은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부가 거치대에 장착된 모습을 나타내는 사시도이다. 도 32는 다양한 실시예들 중 하나에 따른 전자 장치의 거치대의 일부분을 나타내는 사시도이다. 도 33은 다양한 실시예들 중 하나에 따른 전자 장치의 본체부의 일부분을 나타내는 사시도이다.
도 31 내지 도 33을 참조하면, 본 실시예에 따른 전자 장치(1)는 외부 장치, 예컨대, 거치대(90)를 더 포함할 수 있으며, 상기 착용부(50)로부터 분리된 상기 본체부(10)가 상기 거치대(90)에 착탈 가능하게 구성될 수 있다. 상기 거치대(90)는 상기 본체부(10)에 내장된 배터리 팩의 충전 기능을 제공함과 아울러, 다른 전자 장치, 예를 들면, 개인용 컴퓨터 등에 접속할 수 있는 수단을 제공할 수 있다.
상기 거치대(90)는 상기 본체부(10)의 후면을 적어도 부분적으로 감싸는 안착면(91)과, 상기 안착면(91)으로부터 서로 마주보게 각각 연장된 고정면(93)들을 포함할 수 있다. 상기 고정면(93)들은 각각 상기 본체부(10)의 측면을 적어도 부분적으로 감싸게 형성될 수 있다. 상기 본체부(10)를 상기 거치대(90)에 안정적으로 고정하기 위해, 상기 고정면(93)에는 고정 돌기(93a)들이 각각 형성될 수 있다. 상기 고정 돌기(93a)들은 상기 본체부(10)의 측면에 형성된 고정 홈(11b)에 맞물려 상기 본체부(10)를 상기 거치대(90)에 안정적으로 고정할 수 있다. 상기 고정 돌기(93a)들은 실리콘, 고무 등의 탄성체로 제작되거나, 상기 고정면(93)으로 출몰 가능하게 구성될 수 있다.
상기 본체부(10)와 상기 거치대(90)의 전기적인 접속을 위해, 상기 거치대(90)에는 포고 핀 등의 제2 접속 부재(91a)들이 배치될 수 있다. 상기 제2 접속 부재(91a)들은 상기 본체부(10)의 후면(R)에 제공된 접속 부재(23)(예: 상기 충전 단자)에 대응하게 배치되어 상기 본체부(10)와 상기 거치대(90)의 전기적인 접속을 제공할 수 있다. 본 발명의 구체적인 실시예들을 설명함에 있어, 상기 본체부(10)의 후면(R)에 제공된 접속 부재(23)들을 '충전 단자'라 칭하였으나, 이러한 접속 부재들이 충전 단자로 한정되지는 않는다. 예컨대, 상기 본체부(10)의 후면(R)에 제공된 접속 부재(23)들은 개인용 컴퓨터 등 다른 전자 장치와의 데이터 송수신을 제공하는 접속 단자로 활용될 수 있다.
도 34는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 본체부가 착용부로부터 분리된 모습을 나타내는 사시도이다. 도 35는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용 상태를 설명하기 위한 사시도이다.
본 실시예에 따른 전자 장치를 설명함에 있어, 형상 등에서 다소 차이는 있지만, 선행 실시예와 동일하거나 선행 실시예를 통해 용이하게 이해할 수 있는 구성들에 대해서는 도면의 참조번호를 동일하게 부여하거나 생략하고 그 상세한 설명 또한 생략될 수 있음에 유의한다.
도 34와 도 35를 참조하면, 본 실시예에 따른 전자 장치(2)의 착용부(70)는 이종 재질의 체결 부재(41)를 더 포함할 수 있다. 상기 체결 부재(41)는 안착부(71)나 착용 밴드와는 다른 재질로 제작될 수 있다. 예컨대, 상기 안착부(71)나 착용 밴드가 탄성체 재질(유연한 재질)로 제작되어 있다면, 상기 체결 부재(41)는 상기 안착부(71)나 착용 밴드보다 더 경화된 재질(rigid material)로 제작될 수 있다. 예컨대, 상기 체결 부재(41)는 폴리카보네이트를 포함하는 합성 수지 또는 도전성 금속으로 제작될 수 있다. 상기 체결 부재(41)는 조립, 접착, 이중 사출, 인서트 사출 등의 공정을 통해 상기 안착부(71)의 내측면으로 배치될 수 있다. 상기 체결 부재(41)는 상기 안착부(71)와 본체부(10) 사이에 더 견고한 결속력을 제공할 수 있으며, 장기간에 걸쳐 반복된 상기 본체부(10)의 탈착으로 인한 상기 안착부(71)의 마모를 완화 또는 방지할 수 있다. 상기 체결 부재(41)는 이중 사출에 의해 상기 안착부(71)의 내측면에 고정될 수 있으며, 상기 본체부(10)가 결합하면, 상기 본체부(10)의 측면에 완전히 수용될 수 있다.
다른 실시예에서, 체결 부재는 전자 장치의 장식 요소로 활용될 수 있다.
도 36은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부의 변형예를 나타내는 사시도이다. 도 37은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 변형예를 나타내는 사시도이다.
선행 실시예의 체결 부재(41)는 상기 본체부(10)에 완전히 수용되어 외부로 드러나지 않지만, 도 36과 도 37에 도시된 바와 같이, 본 실시예의 체결 부재(41a)는 그의 일부분을 상기 본체부(10)의 둘레로 노출시킬 수 있다. 따라서 상기 체결 부재(41a)의 색상이나 형상 등을 이용하여 또는, 형광 물질이 첨가된 합성수지로 상기 체결 부재(41a)를 제작하여, 또는 발광 다이오드 등을 추가하여, 상기 전자 장치(2a)의 장식 요소로 활용할 수 있다. 이와 같이, 상기 체결 부재(41a)의 재질이나 상기 체결 부재(41a)에 부가되는 장치(예: 발광 다이오드)에 따라 상기 체결 부재(41a)를 이용한 다양한 장식 효과를 구현할 수 있다.
도 38은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부의 다른 변형예를 나타내는 사시도이다.
도 38을 참조하면, 적어도 한 쌍의 체결 부재(41a)들이 착용부(70)에 제공될 수 있다. 복수의 상기 체결 부재(41a)들은 상기 개구부(71a)의 내측벽을 따라 배열될 수 있다. 본 실시예에서 상기 착용부(70a)는 한 쌍의 상기 체결 부재(41a)들을 포함하는 구성이 예시되어 있다. 상기 체결 부재(41a)들을 배치함에 있어, 상기 체결 부재(41a)들 사이에 슬릿(41b)들이 각각 형성될 수 있다. 상기 슬릿(41b)들은 세로 방향에서 상기 개구부(71a)의 양단에 각각 배치될 수 있다. 상기 체결 부재(41a)들이 경화된 재질(예: 폴리카보네이트, 도전성 금속 등)로 제작된다면, 상기 체결 부재(41a)들에 의해 상기 안착부(71)의 변형은 한 방향으로만 가능 또는 원활할 수 있다. 예컨대, 도 38에 도시된 바와 같이, 상기 안착부(71)에 가로 방향으로 작용하는 인장력(D1)에 대해서 상기 안착부(71)의 변형은 가능하지만, 세로 방향으로 작용하는 인장력(D2)에 대해서는 상기 안착부(71)의 변형이 상기 체결 부재(41a)들에 의해 억제될 수 있다. 상기 슬릿(41b)들의 수와 위치에 따라(또는, 상기 체결 부재(41a)들의 수와 위치에 따라) 인장력에 의해 상기 착용부가 변형될 수 있는 방향은 다양하게 설정될 수 있다.
본 발명의 구체적인 실시예에서, 슬릿을 사이에 두고 복수의 체결 부재들이 배열된 구조를 이용하여 안착부가 정해진 방향에서는 변형되지 않고 다른 방향에서 변형될 수 있는 구조를 예시하고 있다. 하지만, 본 발명은 이에 한정되지 않는다. 예컨대, 폐곡선 형태를 가지는 하나의 체결 부재를 배치하되, 체결 부재의 일부 구간을 다른 구간보다 더 얇게 함으로써, 또는 체결 부재의 일부 구간을 탄성 변형이 가능한 재질로 제작함으로써 안착부가 변형될 수 있는 방향을 제한할 수 있다.
도 38에 도시된 상기 체결 부재(41a)들과 슬릿(41b)들의 배치는, 착용한 상태에서 작용하는 인장력에 대하여 상기 착용부(70)의 변형을 억제함으로써, 본체부가 상기 착용부(70a)에 결합된 상태를 안정적으로 유지할 수 있다. 또한, 사용자는 상기 착용부(70a)를 가로 방향으로 인장시키면서 본체부를 상기 착용부(70a)에 용이하게 결합하거나 분리할 수 있다.
도 39는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부에 제공되는 체결 부재의 한 예를 나타내는 사시도이다. 도 40은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 착용부에 제공되는 체결 부재의 다른 예를 나타내는 사시도이다.
도 39와 도 40에 도시된 체결 부재(41c, 41e)들은 각각 도전성 재질로 제작된 것으로서, 본체부와 전기적으로 접속될 수 있다. 예컨대, 상기 체결 부재(41c, 41e)들은 무선 송수신 기능을 확장하는 안테나 장치로 활용될 수 있다. 한 실시예에서, 상기 체결 부재(41c, 41e)들에는 각각 접촉 단자(41d)들 또는 자성체들이 제공될 수 있다. 상기 접촉 단자(41d)들은 본체부와 상기 체결 부재(41c, 41e)들 사이에 전기적인 접속을 제공할 수 있다. 상기와 같은 접촉 단자(41d)들 또는 자성체들이 제공된 체결 부재(41c, 41e)들과 대응하는 본체부의 구성은 도 41을 통해 도시되어 있다.
도 41은 다양한 실시예들 중 다른 하나에 따른 전자 장치의 본체부의 다른 예를 나타내는 사시도이다.
도 39, 도 40 및 도 41을 참조하면, 상기한 체결 부재들(41c, 41e)에 대응하는 본체부(10a)는 일측면, 예컨대, 결속 홈(11a)의 내부, 주변 또는 인접한 위치에 또 다른 센서(41h)가 배치될 수 있다. 본 실시예에서, 상기 센서(41h)는 상기 접촉 단자(41d)들과 연결되어 상기 본체부(10a)가 상기 착용부(70, 70a)에 장착되었는지의 여부 또는 상기 착용부(70, 70a)에 대한 상기 본체부(10a)의 장착 방향을 감지할 수 있다. 예를 들어, 상기 접촉 단자(41d)들이 도전성 패드로 이루어져 있다면, 상기 센서(41h)는 상기 접촉 단자(41d)들을 통해 전기적으로 연결되는 적어도 하나의 전극으로 이루어질 수 있다. 상기 접촉 단자(41d)들이 아닌 자성체가 상기 체결 부재(41c, 41e)들에 제공되어 있다면, 상기 센서(41h)는 홀 센서(Hall sensor)로 이루어질 수 있다.
상기 체결 부재(41c, 41e)들이 도전성 재질이고, 상기 센서(41h)가 전극으로 이루어진다면, 상기 체결 부재(41c, 41e)들은 상기 본체부(10a)의 무선 송수신 기능을 확장하는 안테나 장치로 활용될 수 있다. 이 경우, 상기 착용부(70, 70a)에 결합한 상태에서 상기 체결 부재(41c, 41e)과의 전기적인 연결을 감지하면, 상기 본체부(10a)가 통신 모드를 활성화할 수 있다. 상기 본체부(10a)가 상기 착용부(70, 70a)로부터 분리되거나, 상기 센서(41h)가 상기 접촉 단자(41d)들을 감지하지 못하는 방향으로 상기 본체부(10a)가 상기 착용부(70, 70a)에 장착되면, 상기 본체부(10a)는 통신 모드를 해제하여 배터리의 소모를 방지할 수 있다. 이외에도, 상기 센서(41h)와 접촉 단자(41d)(또는 자성체)를 활용하여 상기 본체부(10a)의 장착 방향 등을 고려하여 작동 모드를 다양하게 설정할 수 있다.
도 42는 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 본체부가 착용부로부터 분리된 모습을 나타내는 사시도이다.
다양한 실시예들 중 또 다른 하나에 따른 전자 장치(3)의 착용부(70b)는 펜던트 형태로 구현될 수 있다. 예컨대, 상기 착용부(70b)의 안착부(71b)는 환형 형상(annular shape)으로 구현될 수 있으며, 도시되지 않은 목걸이 형태의 착용 부재가 상기 안착부(71b)로부터 연장될 수 있다. 상기 안착부(71b)의 내측면에는 상기 안착부(71b)와는 재질이 다른 체결 부재(들)(41i, 41j)가 배치될 수 있다. 상기 안착부(71b)의 내측면에 복수의 체결 부재(41i, 41j)들이 배열된다면, 상기 안착부(71b)는 특정 방향으로 작용하는 인장력에 따라 확장이 가능하지만 다른 방향으로 작용하는 인장력에 대해서는 확장이 억제될 수 있다. 상기 전자 장치(3)의 본체부(10c)는 상기 안착부(71b)에 감싸지는 원반 형태를 가질 수 있다. 상기 본체부(10c)의 측면에는 상기 안착부(71b)에 상응하는 형상의 결속 홈(11f)이 형성될 수 있다. 도시되지는 않지만, 상기 체결 부재(41i, 41j)들에 접촉 단자(또는 자성체)들이 배치되고, 그에 대응하는 센서들이 상기 본체부(10c)에 제공된다면, 상기 본체부(10c)의 결합 위치 또는 방향에 따라 상기 본체부(10c)의 작동 모드를 설정할 수 있다.
도 43은 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 착용부를 나타내는 사시도이다. 도 44는 다양한 실시예들 중 또 다른 하나에 따른 전자 장치를 나타내는 사시도이다.
도 43과 도 44를 참조하면, 본 실시예에 따른 전자 장치(2b)는 착용부(70c)에 복수의 개구부(71c)가 제공될 수 있다. 따라서 상기 전자 장치(2b)는 상기 본체부(10, 10a) 외에도 제2의 본체부(10b)를 더 구비할 수 있다. 상기 제2 본체부(10b)는, 상기 본체부(10, 10a)와 동일하게 구성될 수 있을 뿐만 아니라, 다른 기능을 가지게 구성될 수 있다. 상기 본체부(10, 10a)와 동일하게 구성된 경우, 상기 제2 본체부(10b)는 메모리 용량이나 디스플레이 영역을 확장할 수 있으며, 유선 또는 무선으로 상기 제2 본체부(10b)를 상기 본체부(10, 10b)와 연동하거나 독립적으로 작동함으로써 다양한 어플리케이션을 동시에 구동할 수 있다. 또한, 상기 제2 본체부(10b)는 연산 장치, 배터리의 용량을 확장하거나, 보조 저장 장치를 제공할 수 있으며, 상기 본체부(10, 10a)에 장착되지 않은 각종 스위치나 센서 등을 부가할 수 있다. 예컨대, 상기 전자 장치(2b)가 생체신호 감지 센서를 가지고 있으나, 정맥 등을 인식하는데 필요한 충분한 광량을 확보하지 못하는 환경에 있다면, 상기 제2 본체부(10b)를 이용하여 부족한 광량을 공급할 수 있다.
도 45는 다양한 실시예들 중 또 다른 하나에 따른 전자 장치를 나타내는 사시도이다. 도 46은 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 커버부를 나타내는 사시도이다. 도 47은 다양한 실시예들 중 또 다른 하나에 따른 전자 장치의 변형예를 나타내는 사시도이다.
본 발명의 구체적인 실시예들을 설명함에 있어, 선행 실시예들은 신체 착용형 전자 장치를 예로 들어 설명하고 있으나, 본 발명이 이에 한정되지는 않는다. 예를 들어, 다양한 실시예들은 상용화된 바타입 전자 장치에도 적용될 수 있다.
도 45 내지 도 47을 참조하면, 전자 장치(2c)의 본체부는 바타입의 이동통신 단말기(10d)로 구현될 수 있으며, 착용부는 상기 단말기(10d)에 착탈 가능하게 제공되는 커버 부재(70d, 70e)로 이루어질 수 있다. 상기 커버 부재(70d, 70e)는 상기 단말기(10d)의 후면에 장착, 고정되면서, 상기 단말기(10d)의 전면을 개폐하도록 구성될 수 있다. 상기 커버 부재(70d, 70e)는 그의 내측면, 예컨대, 상기 단말기(10d)의 후면에 착탈되는 제1 면 또는 상기 단말기(10d)의 전면을 개폐하는 제2 면에 부가 장치(41k, 41l)를 포함할 수 있다. 상기 부가 장치(41k, 41l)로는 근접 무선 통신(near field communication; NFC) 안테나, 보조 배터리, 보조 저장 장치 등으로 구성될 수 있다. 또한, 상기 커버 부재(70d, 70e)가 상기 단말기(10d)의 측면에 결속되는 안착부를 포함한다면, 상기와 같은 부가 장치(41k, 41l)들은 상기 커버 부재(70d, 70e)의 안착부에 배치될 수 있다. 선행 실시예들에서 구현된 것과 마찬가지로, 상기 보조 장치(41k, 41l)와 단말기(10d)를 연동하여, 상기 단말기(10d)가 상기 커버 부재(70d, 70e)에 장착되는 방향에 따라 상기 단말기(10d)의 작동 모드를 다르게 설정하는 등, 다양한 설정이 가능하다.
도 48은 다양한 실시예들에 따른 전자 장치의 거치대의 변형예를 나타내는 사시도이다. 도 49는 다양한 실시예들 중 다른 하나에 따른 전자 장치의 거치대의 사용예를 나타내는 도면이다. 도 50은 다양한 실시예들에 따른 전자 장치의 거치대의 다른 변형예를 나타내는 사시도이다.
도 48 내지 도 50을 참조하면, 다양한 실시예들에 따른 전자 장치는 본체부를 외부 장치, 예컨대, 상술한 바 있는 거치대에 장착하여 신체에 착용하지 않은 상태에서도 다양한 기능을 구현할 수 있다. 본 실시예에 따른 거치대는 사용자가 사용하는 물품이나 가구, 예컨대, 침대에 장착되어 전자 장치의 본체부가 결합하면 조명 등을 수면 환경으로 조정하거나 사용자의 수면 상태를 검출할 수 있다.
다양한 실시예들에 따른 전자 장치는 거치대(90)에 연결된 고정 장치(97a, 97c)를 포함할 수 있다. 상기 거치대(90)와 고정 장치(97a, 97c)는 연성 재질의 연결부(97b)를 통해 연결될 수 있다. 상기 고정 장치(97a, 97c)는 도 48에 도시된 집게 구조, 도 50에 도시된 스냅 버튼 구조로 구현될 수 있으며, 다른 실시예에서, 자성체나 벨크로 등으로 구현될 수 있다. 상기 고정 장치(97a, 97c)를 통해 상기 거치대(90)는 사용자가 사용하는 물품이나 가구, 예를 들면, 책상, 조명 스탠드, 벽체(wall), 침대 등에 장착될 수 있다.
도 49를 참조하면 탄성 부재(E)를 포함하는 집게 구조의 고정 장치(97a)는 침대(9)의 베이스(9a) 또는 매트리스(9b)에 고정될 수 있다. 도 50은 스냅 버튼 구조로 구현된 고정 장치(97c)를 예시하고 있다. 예컨대, 상기 고정 장치(97c)는, 침대의 매트리스에 고정되는 고정 판(97d)과, 연결부(97b)에 제공된 결합 판(97f)을 포함할 수 있다. 상기 결합판(97f)은 상기 고정판(97d)에 형성된 다수의 후크들(97e)에 의해 상기 고정판(97d)에 마주보게 결합, 고정됨으로써 상기 거치대(90)를 침대에 고정할 수 있다.
다양한 실시예들에 따른 전자 장치(1)의 본체부(10)가 착용부(50)로부터 분리되어 충전 등을 위해 상기 거치대(90)에 장착되면, 그 기능이 일부 제한될 수 있다. 예컨대, 사용자의 심박 등을 검출하는 생체신호 감지 기능은 제한될 수 있다. 또한, 생체신호 감지 센서를 이용하여 상기 전자 장치(1)를 착용한 상태로 사용자의 수면 상태나 수면의 질을 모니터하는 경우, 오히려 수면에 방해가 될 수 있다. 다양한 실시예에 따르면, 상기 고정 장치(97a, 97c)를 이용하여 상기 본체부(10)가 결합된 상기 거치대(90)를 침대, 예컨대, 매트리스(9b)에 장착함으로써, 충전과 동시에, 수면 상태에서 사용자의 뒤척임 등, 신체의 움직임과 상태를 모니터할 수 있다. 예컨대, 사용자의 뒤척임 등으로 인해 침대가 흔들리면 상기 고정 장치(97a, 97c)와 연결부(97b)를 통해 이러한 움직임이 상기 본체부(10)로 전달될 수 있다. 상기 거치대(90)에 장착된 본체부는 이러한 움직임이나 진동을 통해 사용자의 수면 상태를 모니터할 수 있다. 상기 거치대(90)의 측면으로 제공되는 인터페이스 커넥터(95)에 충전 케이블(99)이 연결되어 있다면, 이러한 수면 상태 모니터링과 동시에 상기 본체부(10)에 내장된 배터리 팩이 충전될 수 있다. 사용자의 수면 상태를 모니터하는 것은 이러한 움직임이나 진동뿐만 아니라, 상기 본체부(10)에 내장된 마이크로폰(microphone) 등을 통해서도 이루어질 수 있다.
다른 실시예에서, 상기 본체부(10)가 상기 거치대(90)에 결합함으로써, 상기 본체부(90)는 다른 전자 장치와의 정보 공유가 가능하다. 여기서, '다른 전자 장치'라 함은, 상술한 착용부들 외에도 다른 형태의 악세사리나 모바일 기기, 홈 네트워크 기기(예: 스마트 TV, 스마트 조명, 공기조화기, 홈 네트워크 제어기 등)와 같이 네트워크를 통해 상기 본체부(10)로 연결될 수 있는 기기들을 의미할 수 있다.
사용자가 상기 본체부(10)를 상기 거치대(90)에 결합하면, 사용자가 수면을 취하고자 한다는 정보를 상기 본체부(10)가 다른 전자 장치로 전달하여 영상/음향 기기나 조명, 공기 조화기 등을 수면에 적합한 상태로 조절할 수 있다. 또한, 기상 시간을 미리 예약해 둔다면, 상기 본체부(10)는 예약된 기상 시간에 영상/음향 기기나 조명 등을 작동시켜 기상 시간을 알릴 수 있다. 사용자가 상기 본체부(10)를 상기 거치대(90)로부터 분리하여 착용부(50)에 장착하면, 상기 본체부(10)는 착용부(90)와의 결합을 인지하고, 수면 모니터링 기능을 정지시킬 수 있다. 이외에도, 상기 본체부(10)의 작동 환경이나 사용자 설정에 따라 또 다른 다양한 기능이 구현될 수 있다.
도 51은 다양한 실시예에 따른 전자 장치(101)를 포함하는 네트워크 환경(100)을 도시한다. 도 51을 참조하면, 상기 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 및 추가 기능 모듈(170)을 포함할 수 있다.
상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지 등)을 전달하는 회로일 수 있다.
상기 프로세서(120)는, 예를 들면, 상기 버스(110)를 통해 전술한 다른 구성 요소들(예: 상기 메모리(130), 상기 입출력 인터페이스(140), 상기 디스플레이(150), 상기 통신 인터페이스(160), 상기 추가 기능 모듈(170) 등의 적어도 하나)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성 요소들(예: 상기 입출력 인터페이스(140), 상기 디스플레이(150), 상기 통신 인터페이스(160), 상기 추가 기능 모듈(170) 등의 적어도 하나)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성 요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: application programming interface, 133) 또는 어플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어(132), 상기 API(133) 또는 상기 어플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스(110), 상기 프로세서(120), 상기 메모리(130) 등의 적어도 하나)을 제어 또는 관리할 수 있다. 또한, 상기 커널(131)은 상기 미들웨어(132), 상기 API(133) 또는 상기 어플리케이션(134)에서 상기 전자 장치(101)의 개별 구성 요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(132)는 상기 API(133) 또는 상기 어플리케이션(134)이 상기 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 상기 어플리케이션(134)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션(134) 중 적어도 하나의 어플리케이션에 상기 전자 장치(101)의 시스템 리소스(예: 상기 버스(110), 상기 프로세서(120), 상기 메모리(130) 등의 적어도 하나)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링, 로드 밸런싱 등의 적어도 하나)을 수행할 수 있다.
상기 API(133)는 상기 어플리케이션(134)이 상기 커널(131) 또는 상기 미들웨어(132)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 이미지 처리, 문자 제어 등의 적어도 하나를 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어 등)를 포함할 수 있다.
다양한 실시예에 따르면, 상기 어플리케이션(134)은 SMS(Short Message Service)/MMS(Multimedia Messaging Service) 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량, 혈당 등의 적어도 하나를 측정하는 어플리케이션), 환경 정보 어플리케이션(예: 기압, 습도, 온도 정보 등의 적어도 하나를 제공하는 어플리케이션) 등의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 어플리케이션(134)은 상기 전자 장치(101)와 외부 전자 장치(예: 전자 장치(104) 등) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 상기 정보 교환과 관련된 어플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치(101)의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션 또는 환경 정보 어플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치(104) 등)로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치(104) 등)로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치(101)와 통신하는 외부 전자 장치(예: 전자 장치(104) 등)의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프, 디스플레이의 밝기(또는, 해상도) 조절 등의 적어도 하나), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스, 메시지 서비스 등)를 관리(예: 설치, 삭제, 업데이트 등의 적어도 하나)할 수 있다.
다양한 실시예에 따르면, 상기 어플리케이션(134)은 상기 외부 전자 장치(예: 전자 장치(104) 등)의 속성(예: 전자 장치의 종류 등)에 따라 지정된 어플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 상기 어플리케이션(134)은 음악 재생과 관련된 어플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 상기 어플리케이션(134)은 건강 관리와 관련된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션(134)은 전자 장치(101)에 지정된 어플리케이션 또는 외부 전자 장치(예: 서버(106), 전자 장치(104) 등)로부터 수신된 어플리케이션 중 적어도 하나를 포함할 수 있다.
상기 입출력 인터페이스(140)는, 입출력 장치(예: 센서, 키보드, 터치 스크린 등의 적어도 하나)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스(110)를 통해 상기 프로세서(120), 상기 메모리(130), 상기 통신 인터페이스(160), 상기 추가 기능 모듈(170) 등의 적어도 하나에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스(140)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서(120)로 제공할 수 있다. 또한, 상기 입출력 인터페이스(140)는, 예를 들면, 상기 버스(110)를 통해 상기 프로세서(120), 상기 메모리(130), 상기 통신 인터페이스(160), 상기 추가 기능 모듈(170) 등의 적어도 하나로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예: 스피커, 디스플레이 등의 적어도 하나)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스(140)는 상기 프로세서(120)를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
상기 디스플레이(150)는 사용자에게 각종 정보(예: 멀티미디어 데이터, 텍스트 데이터 등의 적어도 하나)를 표시할 수 있다.
상기 통신 인터페이스(160)는 상기 전자 장치(101)와 외부 전자 장치(예: 전자 장치(104), 서버(106) 등) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스(160)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 상기 외부 전자 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, WiFi(wireless fidelity), WiFi 다이렉트, BT(Bluetooth), NFC(near field communication), GPS(global positioning system), 셀룰러(cellular) 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 등의 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), POTS(plain old telephone service) 등의 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 네트워크(162)는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things), 전화망(telephone network) 등의 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 전자 장치(101)와 외부 전자 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol, physical layer protocol 등)은 어플리케이션(134), API(133), 상기 미들웨어(132), 커널(131), 통신 인터페이스(160) 등의 적어도 하나에서 지원될 수 있다.
한 실시예에 따르면, 상기 추가 기능 모듈(170)은 상기 전자 장치(101)에서 구현되는 동작(또는, 기능)들 중 적어도 하나의 동작을 수행함으로써, 상기 전자 장치(101)의 구동을 지원할 수 있다. 예를 들면, 상기 서버(106)는 상기 전자 장치(101)에 구현된 추가 기능 모듈(170)을 지원할 수 있는 추가 기능 서버 모듈(108)을 포함할 수 있다. 예컨대, 상기 추가 기능 서버 모듈(108)은 추가 기능 모듈(170)의 적어도 하나의 구성 요소를 포함하여, 추가 기능 모듈(170)이 수행하는 동작들 중 적어도 하나의 동작을 수행(예: 대행 등)할 수 있다.
상기 추가 기능 모듈(170)은, 다른 구성요소들(예: 상기 프로세서(120), 상기 메모리(130), 상기 입출력 인터페이스(140), 상기 통신 인터페이스(160) 등의 적어도 하나)로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 이용할 수 있다. 예를 들면, 상기 추가 기능 모듈(170)은 상기 프로세서(120)를 이용하여 또는 이와는 독립적으로, 상기 전자 장치(101)가 다른 전자 장치(예: 전자 장치(104), 서버(106) 등)와 연동하도록 상기 전자 장치(101)의 적어도 일부 기능을 제어할 수 있다. 상기 추가 기능 모듈(170)은 상기 프로세서(120) 또는 상기 통신 인터페이스(160)에 통합될 수 있다. 한 실시예에 따르면, 추가 기능 모듈(170)의 적어도 하나의 구성은 상기 서버(106)(예: 추가 기능 서버 모듈(108) 등)에 포함될 수 있으며, 상기 서버(106)로부터 추가 기능 모듈(170)에서 구현되는 적어도 하나의 동작을 지원받을 수 있다.
도 52는 다양한 실시예에 따른 전자 장치(201)의 블록도(200)를 도시한다. 상기 전자 장치(201)는, 예를 들면, 도 51에 도시된 전자 장치(101)의 전체 또는 일부를 구성할 수 있다. 도 52를 참조하면, 상기 전자 장치(201)는 하나 이상의 어플리케이션 프로세서(AP: application processor) 및/또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor)를 포함하는 프로세서(210), 통신 모듈(220), SIM 카드(subscriber identification module card, 224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 또는 모터(298) 중 적어도 하나를 포함할 수 있다.
상기 AP(210)는 운영체제 또는 응용 프로그램을 구동하여 상기 AP(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 AP(210)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 통신 모듈(220)(예: 상기 통신 인터페이스(160) 등)은 상기 전자 장치(201)와 네트워크를 통해 연결된 다른 전자 장치들(예: 전자 장치(104), 서버(106) 등) 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시예에 따르면, 상기 통신 모듈(220)은 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227), NFC 모듈(228) 또는 RF(radio frequency) 모듈(229) 중 적어도 하나를 포함할 수 있다.
상기 셀룰러 모듈(221)은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스, 인터넷 서비스 등의 적어도 하나를 제공할 수 있다. 또한, 상기 셀룰러 모듈(221)은, 예를 들면, 가입자 식별 모듈(예: SIM 카드(224) 등)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(221)은 상기 AP(210)가 제공할 수 있는 기능들 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈(221)은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
한 실시예에 따르면, 상기 커뮤니케이션 프로세서는 상기 셀룰러 모듈(221)에 포함될 수 있다. 또한, 상기 셀룰러 모듈(221)은, 예를 들면, SoC로 구현될 수 있다. 도 52에서는 상기 셀룰러 모듈(221)(예: 커뮤니케이션 프로세서 등), 상기 메모리(230) 또는 상기 전력관리 모듈(295) 등의 구성요소들이 상기 AP(210)와 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP(210)가 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈(221) 등)를 포함하도록 구현될 수 있다.
한 실시예에 따르면, 상기 AP(210) 또는 상기 셀룰러 모듈(221)(예: 커뮤니케이션 프로세서 등)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(210) 또는 상기 셀룰러 모듈(221)은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈(223), 상기 BT 모듈(225), 상기 GPS 모듈(227) 또는 상기 NFC 모듈(228) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 52에서는 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228)이 각각 별개의 블록으로 도시되었으나, 한 실시예에 따르면, 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈(221)에 대응하는 커뮤니케이션 프로세서 및/또는 Wifi 모듈(223)에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈(229)는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈(229)는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier) 등의 적어도 하나를 포함할 수 있다. 또한, 상기 RF 모듈(229)은 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체, 도선 등의 적어도 하나를 더 포함할 수 있다. 도 52에서는 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 및 NFC 모듈(228)이 하나의 RF 모듈(229)을 서로 공유하는 것으로 도시되어 있으나, 한 실시예에 따르면, 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드(224)는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(224)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier) 등) 또는 가입자 정보(예: IMSI(international mobile subscriber identity) 등)를 포함할 수 있다.
상기 메모리(230)(예: 상기 메모리(130) 등)는 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 상기 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 내장 메모리(232)는 Solid State Drive (SSD)일 수 있다. 상기 외장 메모리(234)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), Memory Stick 등의 적어도 하나를 더 포함할 수 있다. 상기 외장 메모리(234)는 다양한 인터페이스를 통하여 상기 전자 장치(201)과 기능적으로 연결될 수 있다. 한 실시예에 따르면, 상기 전자 장치(201)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈(240)은 물리량을 계측하거나 전자 장치(201)의 작동 상태를 검출하여, 계측 또는 검출된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), color 센서(240H)(예: RGB(red, green, blue) 센서 등), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(240)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시), 지문 센서(미도시) 등의 적어도 하나를 포함할 수 있다. 상기 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치(250)는 터치 패널(touch panel, 252), (디지털) 펜 센서(pen sensor, 254), 키(key, 256) 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 상기 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치(258)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(201)에서 마이크(예: 마이크(288) 등)로 음파를 검출하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 전자 장치(201)는 상기 통신 모듈(220)를 이용하여 이와 연결된 외부 전자 장치(예: 컴퓨터, 서버 등)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이(260)(예: 상기 디스플레이(150) 등)은 패널(262), 홀로그램 장치(264) 또는 프로젝터(266)을 포함할 수 있다. 상기 패널(262)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(262)은 상기 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(264)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이(260)는 상기 패널(262), 상기 홀로그램 장치(264), 또는 프로젝터(266)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface, 272), USB(universal serial bus, 274), 광 인터페이스(optical interface, 276) 또는 D-sub(D-subminiature, 278)를 포함할 수 있다. 상기 인터페이스(270)는, 예를 들면, 도 51에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈(280)은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 51 에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 상기 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 마이크(288) 등의 적어도 하나를 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(291)은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서, 후면 센서 등), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED, xenon lamp 등)를 포함할 수 있다.
상기 전력 관리 모듈(295)은 상기 전자 장치(201)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈(295)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(296)는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치(201)에 전원을 공급할 수 있다. 상기 배터리(296)는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(297)는 상기 전자 장치(201) 혹은 그 일부(예: 상기 AP(210) 등)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태, 충전 상태 등의 적어도 하나를 표시할 수 있다. 상기 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치(201)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
도 53은 다양한 실시예들에 따른 센서 장치(310)가 포함된 전자 장치를 도시한다. 도 53에 도시된 전자 장치(300)는, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201) 일 수 있다. 도 53에 도시된 센서 장치(310)는, 예를 들면, 도 52에 도시된 도시된 센서 장치(예: 센서 모듈(240), 생체 센서(240I))일 수 있다. 센서 장치(310)는 전자 장치(300)의 배면에서 카메라(320)(예: 카메라 모듈(291))에 인접하여 위치함으로써, 센서 장치(310)에 포함된 플래쉬를 통해 카메라 촬영 시 보조 광원을 제공할 수 있다. 센서 장치(310)의 적어도 일부가 사용자 신체의 일부분에 근접 또는 접촉하면, 전자 장치(300)는 센서 장치(310)를 통하여 생체 정보를 인식할 수 있다. 생체 정보는 예컨대, 맥박, 심박, 산소포화도, 또는 혈류량 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 전자 장치(예: 전자 장치(101, 201))는, 사용자의 신체로부터 물리적 특성, 생화학적 특성, 정서적 특성, 신체 활동, 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중 한 가지 이상을 검출하기 위한 하나 이상의 센서를 탑재할 수 있다. 상기 전자 장치는 한 휴대용 혹은 착용 가능한 하나 이상의 전자 장치로서 다른 전자 장치 혹은 주변 전자 장치와 통신이 가능하다. 상기 전자 장치, 다른 전자 장치 또는 주변 전자 장치 중 적어도 하나에는 사용자 입력 및 정보 조회가 가능한 입출력 장치(예: 입출력 인터페이스(140), 입력 장치(250))가 포함될 수 있다. 상기 전자 장치, 다른 전자 장치 또는 주변 전자 장치는, 휴대전화, 스마트폰, 노트북, 전자책, 손목시계, 팔찌, 발찌, 스트립, 밴드, 부착형(반창고형) 밴드, 벨트, 귀착용형 이어폰, 헤드폰, 의복형, 신발형, HMD(Head Mounted Display), 모자형, 장갑형, 골무형(Finger-tip 착용형), 클립형, 암밴드(arm band)형, 혈당체크가 가능한 콘텍트렌즈 장치, 디지털의복, 리모컨 중 하나일 수 있다.
상기 전자 장치(예: 전자 장치(101, 201))는 독자적(stand alone)으로도 운용될 수 있고, 다른 장치 혹은 주변 장치와 유선 혹은 무선으로 연결되어 사용자에게 서비스를 제공할 수 있다. 한 예로, 상기 전자 장치는 전자 체중계, 전자 온도계, 카디오캠 미러(CardioCam Mirror), 피트니스(fitness) 기구, 디스플레이, 가전 기기, 전자침대 매트리스, 전자 이불 등과 함께 무선 혹은 유선통신을 이용하여 연결되어 다양한 서비스를 제공할 수 있다.
한 예로 심박 센서(HRM: Heart Rate Monitor)를 이용하여 사용자의 심박을 측정하는 경우, 심박 센서를 내장한 스마트폰이나 손목시계는 사용자의 손가락이나 손목에서 심박을 측정한 후 내장된 디스플레이에 측정한 심박 정보를 표시할 수 있다. 다른 예로 이어클립(ear clip)형 웨어러블 장치에 내장된 HRM 센서에서 측정된 정보는 무선이나 유선으로 스마트폰에 전달될 수 있으며, 스마트폰의 디스플레이를 통해 사용자에게 제공될 수도 있다.
한 실시예에 따르면, 상기 전자 장치는 별도의 서버나 원격 장치에 생체 정보 또는 개인 정보 중 하나 이상을 포함한 데이터를 전송하거나 저장할 수도 있다. 생체 정보 또는 개인 정보를 수신한 서버나 원격 장치는, 예를 들면, 수신된 정보를 분석하여, 그 결과(예: 다른 전자 장치로부터 수신된 정보와 함께 조합하여 새로운 정보를 생성)를 상기 전자 장치에 전달할 수도 있다.
생체 센서(또는 헬스(health) 센서라고 함)는, 예를 들면, 사용자로부터 하나 이상의 생체 신호를 수집하거나 측정하는 센서일 수 있다. 생체 센서는, 사용자의 혈압, 혈류, 심박수(HRM, HRV), 체온, 호흡수, 산소포화도, 심폐음 검출, 혈당, 허리둘레, 키, 체중, 체지방, 칼로리소비량, 뇌파, 목소리, 피부저항, 근전도, 심전도, 걸음걸이, 초음파영상, 수면상태, 표정(얼굴), 동공확장 또는 눈깜박임 중 한 가지 이상을 측정하기 위한 기본 데이터(raw data)를 수집할 수 있다. 한 실시예에 따르면, 상기 전자 장치는, 생체 신호를 분석하여 생체 정보(또는 생체 특성 정보라고 함)를 생성할 수 있다. 한 예로 HRV(Heart Rate Variability) 센서를 통해 획득된 맥파 신호가 생체 신호일 수 있다. 상기 전자 장치는 생체 신호를 분석하여 평균심박수 또는 심박분포도 등과 같은 1차적인 생체 정보를 얻을 수도 있고, 이러한 생체 정보를 가공하여 더 고차원적인 스트레스 상태 또는 혈관노화도와 같은 2차적인 생체 정보를 얻을 수도 있다. 한 실시예에 따르면, 생체 센서는 수집한 사용자 생체 신호를 단순 출력할 수도 있고, 생체 센서는 내장된 프로세서를 통해 생체 신호를 분석하여 생체 정보를 출력할 수도 있다. 따라서 생체 센서를 통해 수집한 생체 신호는 생체 센서 내 프로세서, 상기 생체 센서가 내장된 전자 장치의 프로세서, 또는 외부 장치(예: 서버(106) 또는 전자 장치(104))의 프로세서에 전달되어 생체 정보를 생산하는데 이용될 수 있다. 한 실시예에 따르면, 사용자는 ECG센서가 내장된 휴대 전화를 이용할 수도 있고, PPG센서가 내장된 손목 시계를 이용할 수도 있다.
상기 생체 센서가 내장된 전자 장치(예: 전자 장치(101, 201))가 유선 네트워크, 무선 네트워크, 또는 직접 연결을 통해 통해 원격 장치(예: 전자 장치(104))나 서버(예: 서버(106))에 생체 신호를 전송한 경우, 생체 신호를 수신한 원격 장치나 서버가 생체 신호를 가공하여 생체 정보를 생성할 수도 있다. 한 실시예에 따르면, 상기 생체 센서가 내장된 전자 장치(예: 전자 장치(101, 201))는 1차적인 생체 정보를 생성하고, 생성된 생체 정보를 원격 장치나 서버로 전송하면, 2차적인 생체 정보는 원격 장치나 서버에서 생성될 수도 있다.
한 예로, 손목시계 장치(웨어러블 장치의 예)에 내장된 HRV 센서가 수집한 생체 신호는 손목시계 장치와 무선으로 연결된 스마트폰(호스트 혹은 메인 전자 장치의 예)에 전달되고, 스마트폰은 수신한 생체 신호를 분석하여, 생체 정보를 생성할 수 있다. 생체 정보는 스마트폰의 디스플레이에 표시되거나 혹은 손목시계 장치의 디스플레이에 표시될 수 있도록 유선 혹은 무선 통신 수단을 이용하여 전송될 수 있다. 생체 정보는, 예를 들면, 스마트폰 혹은 손목시계 장치 중 하나 이상에 표시 혹은 저장이 가능하다. 일 실시예에 따르면, 이어폰 기능이 있는 이어클립에 내장된 HRV 센서가 수집한 생체신호는 손목시계 장치나 스마트폰에 전달되고, 상기 손목시계 장치나 스마트폰이 생체 정보를 생성할 수 있다. 생성된 생체 정보는 하나 이상의 다른 장치로 전달될 수 있다. 만약 스마트폰에서 생체 정보를 생성하였다면, 상기 생체 정보를 수신한 손목시계 장치는 디스플레이에 표시할 수 있고, 상기 생체 정보를 수신한 이어클립은 음성을 통해 사용자에게 제공할 수도 있다.
생체 센서의 예는 매우 다양하다. 예를 들어, 혈당센서의 경우 여러 휴대 장치들이 있으며, 현재에는 MIT 등에서 라만분광법을 이용한 초음파 무채혈 혈당 측정기 등과 같이 무채혈 방식의 측정 센서들이 개발되고 있다. 콜레스테롤 센서의 경우, 미국 코넬대학 연구팀이 개발한 스마트카드(smartCARD)와 같이 스마트폰으로 콜레스테롤을 간편하게 측정할 수 있는 장치가 개발되었다. 상기 장치의 경우, 사용자가 측정 시험지에 혈액을 한 방울 넣어 스마트폰에 연결한 측정 장치에 끼우면 화학 반응이 일어나고, 전자 장치는 플래시와 카메라를 구동하여 측정한 결과를 어플리케이션에 전송할 수 있다. 상기 어플리케이션은 상기 측정 결과를 분석해 구체적인 수치와 상태를 사용자에게 나타낼 수 있다. 손등 위에 스마트폰을 올려놓고 흔들림의 양과 빈도를 측정해 파킨슨병을 검출하는 기술이나, 미세유체 공학을 활용하여 스마트폰으로 살모넬라 균을 검출하는 기술 등 다양한 스마트폰 진단 기술이 국제 학술지에 보고되고 있다. KAIST 생명화학공학과 박현규 교수팀은 소변이나 혈액을 스마트폰 터치스크린에 접촉시키면 정전용량 변화를 검출해 DNA 유무와 농도, 세포, 단백질, 핵산 등 생체 분자를 검출해 질병을 진단할 수 있다는 아래의 연구 결과를 발표한 바 있다.
Byoung Yeon Won, Hyun Gyu Park, A Touchscreen as a Biomolecule Detection Platform, Angewandte Chemie International Edition, DOI: 10.1002/anie.201105986, Volume 51, Issue 3, pages 748-751, January 16, 2012
혈압은 blood pressure, arteriotony, "B.P.", hemadynamometer 라고도 하는데, 고혈압의 경우 수축기에 140mmHg 이상이거나 이완기에 90mmHg이상인 경우에 해당한다. 근래에는 스마트폰이 팔에 장착한 혈압측정 장치와 연결되어 측정결과를 알려주는 휴대용 디지털 측정기로도 이용된다.
도 54는 심전도 파형(400)의 예를 도시한다. 도 54에서, 가로축은 시간을 나타내고, 세로축은 전류 또는 전압의 세기를 나타낸다. 심전도 센서는 ECG(electrocardiogram), 혹은 EKG 센서라고도 하며, 심장의 활동전류의 패턴 신호를 검출하는 센서이다. 심전도 센서는 신호 검출방식에 따라 전류심전계와 전압심전계로 나누기도 하며, PEM(Portable ECG Monitor)이라고 하는 휴대형 심전도 모니터 장치도 있고, 휴대전화 케이스의 사이드부(rim)에 복수 개의 ECG 전극을 부착하여 사용자가 손에 쥐고 있으면, 생체 신호를 검출하기도 한다. 심전도 파형(400)은 P, Q, R, S, T파로 구성된다. 이중 R파는 피크 신호에 해당하므로 생체 신호 분석에 널리 사용된다. 예컨대, 심박수는 단위시간당 발생한 R파 신호의 수를 통해 측정할 수 있는데, 빈맥이나 서맥과 같은 부정맥 진단 및 전반적인 심장작업 수행 능력을 측정하는데 사용된다.
HRV(Heart Rate Variability)는 R파(peak)들 사이의 시간 간격 (R-R)의 변이를 측정하는 기법으로서, 심박사이의 미세한 변화로부터 자율신경의 활동을 분석할 수 있으므로 다양한 생체 상태를 알 수 있다. HRV는 교감신경, 부교감신경과 관련한 스트레스 정보를 얻는데 사용될 수 있다. 스트레스는 무기력, 긴장, 흥분, 분노, 근심, 공포, 자율신경 균형도, 외부환경 적응력 등과 관련이 있다. 또한 HRV 분석을 통해 부정맥이나 심장마비 등에 대한 예측이나 검출도 가능하다.
건강한 사람의 경우, HRV가 크고 복잡하게 나타나지만, 질병 상태나 스트레스 상태에서는 변이의 복잡도가 현저히 감소하는 특성을 보인다. HRV를 측정하기 위해서 생체 센서에서 각 심박의 간격측정을 위해 피크시마다 이벤트 신호 수신을 하여 발생시각 간의 차이를 구하거나, 혹은 미리 설정된 시간 동안의 발생한 심박수를 연속적으로 수집하여 R-R 간격을 추정할 수도 있다.
도 55a 및 도 55b는 심전도 파형과 심박 파형의 비교를 한 일 예를 도시한다. 도 55a는 심전도 파형(510)을 나타내고, 도 55b는 심박 파형(520)을 나타낸다. 도 55의 각 파형과 관련하여, 가로축은 시간을 나타내고, 세로축은 전류 또는 전압의 세기를 나타낸다. 심박 센서는 맥박 센서, 맥파 센서라고도 하며, 단위시간당 심박수를 잴 수 있는 HRM(Heart rate monitor) 센서와 심박간 시간간격의 변이인 HRV(heart rate variability)를 잴 수 있는 센서 등이 있다. 심박수나 HRV는 ECG 뿐만 아니라 심박 센서를 통해서도 얻을 수 있다. 심박 파형(520)은 심전도 파형(510)과 다소 상이하나, 심박 파형(520)에서도 심전도 파형(510)의 R파에 대응하는 피크치(P)가 존재하므로 이를 이용하여 심박수, HRV를 구할 수 있다. 심전도 파형(510)의 피크와 심박 파형(520)의 피크 사이에 약간의 시간차가 있으나 심전도 파형(510)의 피크 거리(RR1, RR2, RR3)와 심박 파형(520)의 피크 거리(PP1, PP2, PP3)는 거의 유사함을 보여 준다. 이러한 사실은 아래의 문헌 등의 여러 문헌들에서 보여지고 있다.
A comparative analysis of heart rate variability of Electrocardiogram and Pulse-wave using time series, Naghwan Kim, et al., Journal of Korean Soc Med Inform. 2000 Dec;6(4):165-173. Korean.
심장이 수축 이완을 반복하면서 말초혈관의 혈류량이 변화하게 되고, 혈관의 부피가 변하게 되는데, 심박 센서의 하나인 광혈류량 센서(PPG: Photoplethysmography)는 광센서를 이용하여 빛의 투과량을 측정하여 심장의 박동을 파형으로 보여 주는 기술로 혈관내 혈액양의 변화나 산소포화도를 측정하는데 사용하는 기술이다. 심박 센서는 클립, 손목시계, 목걸이, 밴드, 휴대전화 등에 내장되고, 신체 부위(예: 귀, 손목, 경동맥, 손가락, 발목 등)에 심박 센서를 부착하거나 접촉함으로써 생체 신호의 측정을 수행한다. 한 예로 손가락을 통해 측정하는 경우, 발광부와 수광부로 구성된 심박 센서에 손가락을 접촉하고, 일정시간 이상 접촉을 유지하면, 심박 센서는 수축기에는 손가락에 혈액이 많아져 손가락을 투과한 광의 양이 작게 되고, 이완기에는 혈액이 빠지면서 손가락을 투과한 광의 양이 크게 되는 변화를 측정한다.
심박 센서는 빛의 양을 전압으로 검출하고, 심박 센서 또는 전자 장치는 검출된 전압을 디지털 값으로 변환하여 변화가 일어나는 빈도수를 측정할 수 있다. 심박 센서 또는 전자 장치는 검출된 전압에 근거하여 초당 몇 번의 펄스가 발생하는지를 알 수 있고, 이것을 이용해 심박수나 심박간 경과시간을 계산할 수 있다. 손목시계 장치에 PPG 센서가 내장된 경우에는 요골동맥이나 척골동맥을 통해 생체 신호를 검출할 수 있으며, 반드시 해당 동맥들이 아니더라도 혈관이 분포한 곳을 통해 생체 신호를 측정할 수 있다. 또한 심장에서 발생한 신호가 신체 각 부분까지 전달되는데 지연 시간이 있으므로, 심전도 신호와 심박 신호간 시간 차가 존재할 수 있다. 예를 들어 심박 센서가 손목시계 장치나 이어클립에 장착된 경우 심장으로부터 손목 혹은 귀까지 신호가 전달될 때 시간지연이 발생할 수 있다.
나이에 따라서 분당 심박수가 다르며, 건강 상태, 감정 상태에 따라 심박 패턴이 상이하다. 전자 장치(예: 전자 장치(101, 201))는 맥파 분석을 통해 혈관 탄성도를 측정하고 이를 통해 혈관 노화도를 판단할 수 있다. 즉, 전자 장치는 맥파 신호를 2차 미분하여 얻은 가속도맥파(APG: Accelerated Plethysmo) 분석을 통해 심박출의 강도, 혈관탄성, 잔혈량을 분석할 수 있으며, 이를 통해 혈관 탄성도, 경화도 등 혈액 순환 상태 자동 분석함으로써, 고혈압, 당뇨, 고지혈, 동맥경화, 심장질환, 말초 혈행장애 등의 보조적 검사를 수행할 수 있다.
도 56a 및 도 56b는 맥파를 이용하여 가속도 맥파를 계산하는 일 예를 도시한다. 도 56a는 맥파 파형(610)을 나타내고, 도 56b는 가속도 맥파의 파형(620)을 나타낸다. 도 56의 각 파형과 관련하여, 가로축은 시간을 나타내고, 세로축은 전류 또는 전압의 세기를 나타낸다. 가속도맥파(APG: Accelerated Plethysmo)에서, 인덱스 a는 파형 관측의 비교를 용이하게 하기 위한 베이스 값에 해당하고, 인덱스 b는 심박출 세기를 나타내고, 인덱스 c는 혈관 탄성도를 나타내고, 인덱스 d는 잔혈량을 나타낸다. 심박출 세기가 약하면 손발이 저릴 수 있고, 혈관 탄성도는 나이와 건강 상태에 따라 탄성이 나빠지는 특성이 있으므로 연령대 추정에 사용할 수도 있으며, 고혈압 환자가 약을 먹지 않은 경우 등에 탄성도가 나빠지므로 투약관리에도 사용할 수 있다. 잔혈량은 혈액 분출 및 어혈(독소)과 관련되며 기능적 혈관 경화 정보를 나타낸다. 인덱스들 b 및 d의 비교를 통해, 혈관벽 자체 경화, 기질적 경화, 기능적 혈관 경화 등의 정보를 얻을 수 있다.
심박 변동에 대한 시간영역 분석을 통해 다양한 건강관련 정보 및 스트레스 상태 확인이 가능하다. 한 예로, 평균 심박수(Heart Rate HR) 및 심박 분포도(HRV-Index, Heart Rate Variability-Index)를 이용할 수 있다. 1분당 평균 심박수 및 심박의 확률분포를 통해 생체 정보를 분석하고, 이러한 분석을 통해 미리 설정된 기준 이하의 서맥으로 판단되는 경우에 피로, 어지럼증, 갑상선 저하에 주의할 필요성이 있다. 반대로 빈맥으로 판단되는 경우 심장질환이나 갑상선 항진 주의가 요구된다.
전체 RR 간격의 표준편차(SDNN, Standard Deviation of Normal R-Normal R intervals)를 통해 항스트레스 지수, 항상성, 면역능력, 자연치유력 등과 관련한 정보를 얻을 수 있으며, 주로 신체적 피로도와 관련있다. 예를 들어 교대 근무자의 경우 SDNN 감소 등 직무스트레스 판단 기준으로 사용할 수 있다. 인접 RR간격의 차이를 제곱한 값의 평균의 제곱근(RMSSD: Root Mean Square of SD)는 심장의 부교감신경 조절 능력과 관련되며, 표준 범위보다 높을 수록 건강함을 나타내고, 분노, 근심, 공포상태에서 낮게 나타난다. 따라서 전체적으로 RR 간격의 차이가 적은 상태인 경우 정신적 스트레스 정도가 높다고 판단할 수 있다. 심박 간격이 50ms이상인 것들의 비율(pNN50)는 심장 박동의 다양성을 나타내며, 표준범위에서 낮을 수록 건강하다고 판단할 수 있다.
심박변동(HRV)에 대한 주파수 영역 분석을 통해 다양한 자율신경계 정보를 얻을 수 있다. 이를 위해 HRV에 대한 파워스펙트럼밀도(power spectrum density: PSD)를 구하고, 0.01 - 0.02Hz의 VLF(Very Low Frequency), 0.04-0.15Hz의 LF(Low Frequency), 0.16 - 0.4Hz HF(High Frequency) 대역에서 발생한 파워피크 정보를 분석할 수 있다. PSD는 상관함수법, 고속푸리에변환, 자기회귀(AR: autoregressive) 기법 등에 의해 구할 수 있으며, 심전도 센서나 심박 센서를 통해 얻은 시계열 데이터값을 계산한 빈도 함수로서 분산의 분포를 나타낸다. LF(Low Frequency)의 파워피크 정보는 교감신경 및 부교감 신경의 영향을 모두 받고 혈압성 변동을 나타내며, 면역결핍, 육체적 스트레스, 육체적 피로도, 체내 에너지 소실, 수면부족이나 무기력을 반영한다. 교감신경이 활성화되면 심박수가 감소하는 경향이 있다. 부교감신경과 관련된 HF(High Frequency)의 파워피크 정보는 긴장시 피크가 감소, 긴장해소시 피크가 증가하는 호흡성 변동과 관련성이 있고, 정신적이나 심리적 피로도 혹은 노화 만성스트레스와 관련이 있다. 예를 들어 분노, 근심, 공포 상태에서 낮게 표시되며, 소화기 계통의 기능 저하 판단에도 이용될 수 있다.
LF/HF 비율은 자율신경의 균형 정도를 의미하는데, 스트레스의 유형, 예를 들어 급성스트레스, 만성스트레스(과로형, 질병형), 부정맥 정도, 불면 초래 관련성 검토에도 활용된다. 스트레스가 높은 군에서 교감신경계의 과반응에 의해 심박동수 변이가 감소하는 것으로 의학계에서 보고되고 있으며, 심장 질환의 예측지표로 사용될 수 있다. 즉, 심근 경색을 경험한 환자에서 심박동수의 정상적인 변이가 감소하는 경우는 사망의 위험도가 증가할 수 있다. 심전도나 맥파를 이용하여 얻은 HRV 정보를 통해 얻을 수 있는 스트레스 및 의학적 검토 결과는 하기 참고문헌들을 참고할 수 있다.
Guidelines: Heart rate variability-Standards of measurement, physiological interpretation, and clinical use Task Force of The European Society of Cardiology and The North American Society of Pacing and Electrophysiology, European Heart Journal (1996) 17, 354-381
Job Stress, Heart Rate Variability and Metabolic Syndrome, Sei Jin Chang, et al., Korean J Occup Environ Med, 2003; 16(1):70-81
산소포화도 센서는 전체 혈색소 중에서 산소로 포화된 혈색소가 차지하는 비율을 측정하는 센서이다. 측정방법 및 부위에 따라 측정된 산소 포화도의 표기가 다른데, SpO2(Pulse Oximetry)가 널리 사용된다. 적외선을 사용하여 혈액의 산소포화도에 따른 특정파장 빛의 흡수량을 측정하는 방식으로 비침습적이므로 사용이 간편하고, 연속적 측정이 가능하다. PPG센서 방식은 산소포화도 센서로도 사용할 수 있는데, 2개 이상의 파장들(예: 적외선 904nm, 적색 660nm)의 빛을 이용 사용자의 손목 등에 비추고 이를 수신하여 분석하는 방식이다. 산소포화도 센서는 사용자의 활동에 따른 칼로리 소모량 계산에 많이 사용하고 있으며, 호흡곤란, 의식장애, 쇼크, 운동시 몸 상태, 폐질환인 급성호흡곤란증후군(ARDS), 고산지대의 저산소증 위험 검출, 가스중독, 질식사고 등의 상황에 모니터링에도 이용된다.
수면센서는 인간의 수면상태를 측정하기 위한 것으로 가속도 센서(accelerometer), 자이로센서, 맥파 측정센서, 호흡수 측정센서, 혈압측정센서 중 한 가지 이상을 이용하여 수면 상태를 측정할 수 있다. 이 때, 사용자별 수면상태의 패턴을 하나 이상 저장하고, 측정된 생체 신호와 미리 저장된 수면상태의 패턴의 유사도에 근거하여 수면 상태를 판단할 수 있다. 이 때 가속도 센서 등과 같이 사용자의 움직임을 검출하는 센서와 시간 센서를 이용하여 수면 상태를 판단하는 자료로 이용할 수 있다. 예를 들어, 특정 야간 시간에 사용자의 움직임이 미리 설정된 기준 이하로 미리 설정된 시간 이상 유지될 경우, 수면 상태인 것으로 판단할 수 있다. 수면은 처음 잠자리에 들기 시작할 때부터 기상시까지 여러 단계를 거치게 되는데. 수면은 급속안구운동(Rapid Eye Movement: 이하 'REM'이라 한다.)이 있는 렘(REM) 수면과 그렇지 아니한 비렘(Non-REM) 수면으로 크게 구분된다. 잠을 자기 시작하면 비렘(Non-REM) 수면이 먼저 시작된다. 비렘(Non-REM) 수면은 4기로 이루어져있다. 잠이 들기 시작하는 상태인 비렘(Non-REM) 수면의 1기와 2기를 거쳐 수면상태 시작 후 30분 정도 후에는 3기와 4기의 깊은 수면상태에 들어간다. 이러한 상태가 1시간 정도 지속된 후 다시 2기와 1기로 돌아가고 수면상태 시작 후 대략 90분 정도 지나면 첫 번째 렘(REM)수면에 도달하게 된다. 즉, 정상적인 수면시 약 90분을 주기로 1기, 2기, 3기, 4기, 3기, 2기, 1기 및 렘수면의 과정을 반복하게 된다. 이러한 렘(REM) 수면 상태에서는 생리적 활동이 증가하고 따라서 혈압, 심박동, 호흡수가 급격히 증가하여 렘(REM) 수면이 끝나는 시점이 각성하기에 가장 좋은 상태가 된다. 반면 비렘(Non-REM)수면의 3기와 4기에는 생리적 활동이 저하되어 각성이 어렵고 이 단계에서 잠이 깨는 경우 혼돈상태에 빠지게 된다. 따라서 신체리듬을 최상으로 유지할 수 있는 최적의 각성 시간은 렘(REM) 수면이 끝나고 비렘(Non-REM) 수면 단계로 진입하기 직전이다.
일 실시예에 따르면, 생체 센서를 이용하여 에너지 소모량을 측정할 수도 있다. 기초대사량(Basal Metabolic Rate: BMR)은 인간이 깨어 있는 상태에서 생명유지를 위해 필요한 최소한의 에너지 수준을 의미하며, 신체발열량, 즉 소모한 열량을 의미한다. 이러한 열량의 소모는 곧 칼로리 소모량이며, 식사와 운동을 통한 체중조절 프로그램에 중요한 기초 자료로 사용된다. 본래 이를 측정하려면 측정 12시간 이전에 음식섭취를 금지하고 누운 자세로 30분간 안정을 취한 뒤, 10분간의 산소섭취량을 측정하여 에너지소비량을 계산한다. 통상 BMR은 160-290ml/min(0.8-1.43 kcal/min) 정도이다. 안정시 대사량(Rest Metabolic Rate: RMR)은 가벼운 식사 후 3-4시간 뒤 측정한 안정시 값으로서 BMR보다 약간 높지만, BMR대신 사용하기도 한다. 연령 증가에 따라 RMR은 10년에 2% 정도의 감소를 나타낸다.
RMR과 같은 안정 상태에서 우리 몸의 1kg이 소비하는 산소는 분당 3.5ml이며, 한 시간 동안 약 1 kcal의 열량을 소비한다. 이러한 RMR에 대응하는 에너지 대사율을 MET(metabolic equivalent)라고 하며, 에너지 소비량과 관련된 운동 강도를 표현할 때 사용할 수 있으며 아래와 같은 수식으로 표현된다.
MET = VO2 / 3.5 (VO2 : 산소소비량)
1MET = 3.5ml/kg/min = 1kcal/kg/h = 4.184 kJ/kg/h = 58.2 W/m2
산소는 혈액이 수송하고, 혈액 순환량은 심박수에 비례하므로 심박수는 산소소비량과도 비례한다. 따라서 산소소비량 혹은 심박수에 따라 열량 소비량 추정이 가능하다. 이를 이용하여 개인별, 나이별로 최대 심박수를 고려하여 자신에게 적당하고, 효과적인 운동 강도인 심박수(목표심박수)를 정해 두고 확인하면서 운동하면 목표 에너지 소비량을 계산하는데 유용하다.
MET는 운동종류에 따라 달라지는데, 5MET는 안정시 5배의 운동 강도, 혹은 산소(에너지) 소비량을 의미한다. 예를 들어 5 MET는 한시간 운동하면 체중 1kg 당 1시간에 5kcal를 소비하게 하는 운동을 뜻한다. 만약 70kg의 사람이 METs 7.0에 해당하는 운동 강도를 가진 조깅을 1시간 수행시 490kcal(= 70kg * 7 MET * 1 hour)의 열량을 소모하게 된다.
운동 강도는 사용자의 활동과 이에 대응하는 MET를 기록한 표를 이용하면 쉽게 알 수 있다. 예를 들어 하기와 같은 사용자의 활동별 METs 추정표를 이용하면, 자신의 행동과 예상 에너지 소비량을 추정할 수 있다.
Compendium of Physical Activities: An update of activity codes and MET intensities. Medicine and Science in Sports and Exercise, 2000;32 (Suppl):S498-S516
2011 Compendium of Physical Activities: a second update of codes and MET values., Ainsworth BE, Haskell WL, Herrmann SD, Meckes N, Bassett Jr DR, Tudor-Locke C, Greer JL, Vezina J, Whitt-Glover MC, Leon AS. , Medicine and Science in Sports and Exercise, 2011;43(8):1575-1581, https://sites.google.com/site/compendiumofphysicalactivities/compendia
이러한 에너지 소비량은 심박과도 관련이 있으므로, 심박 센서를 통해서도 에너지 소비를 추정할 수 있다. 최대심박수(HRmax)은 아래의 식에 따라 구할 수 있으나 오차가 많은 것으로 여겨진다.
최대심박수(HRmax)= 220-나이
한 연구에 따르면 여성의 최대심박수 추정식은 mean peak HR = 206 - 0.88×나이이며, 남성과 여성은 서로 다른 것으로 알려졌다. 개인의 최대심박수 추정식의 정확성은 대상자의 체력수준, 운동 습관, 건강수준 등에 의해 좌우되므로 사실상 사용자가 착용한 전자 장치에서 지속적인 센싱을 통해 최대심박수를 얻는 것이 바람직하다.
운동의 강도는 심폐기능을 향상시킬 정도의 자극을 주면서 과도한 부담이 되지 않도록 정해야 한다. 흔히 최대여유산소소비량(VO2R) 또는 최대여유심박수(HRR)를 기준으로 운동 강도를 결정하는데 권유되는 운동 강도는 젊고 건강하면 50~85%로, 나이 들거나 운동한 적이 없으면 40~50% 정도이다. 최대 여유 산소 소비량은 최대산소소비량(VO2max)에서 안정산소소비량을 뺀 값이고, 최대여유심박수는 최대심박수에서 안정심박수를 뺀 값이다. 따라서 목표 운동 강도 계산식은 다음과 같다.
목표산소소비량 = 운동 강도(%) x (최대산소소비량-안정산소소비량) + 안정산소소비량
목표심박수 = 운동 강도(%) x (최대심박수-안정심박수) + 안정심박수
예를 들어 안정 상태 심박수가 분당 70회인 운동 경력이 없는 60세 남자의 목표심박수를 구할 경우, 추정최대심박수는 220-60 즉 160이다. 이때 권유운동 강도는 40~50%가 적절하므로 따라서 목표심박수(THR, target heart rate)는 아래와 같이 최저와 최대값을 구할 수 있다.
최저 목표심박수: 40% x (160-70) + 70 = 106
최대 목표심박수: 50% x (160-70) + 70 = 115
따라서 분당 심박수가 106 ~ 115로 유지될 정도로 운동하게 되며, 운동 도중 심박수는 본 운동 5분 후 걷거나 잠시 쉬면서 경동맥이나 요골동맥으로 10초간 맥박수를 측정한 후 6을 곱하는 방법으로 측정할 수 있다. 단, 투약이나 임신 등 운동에 따른 심박수변화에 영향을 주는 상황에서는 심박수를 운동 강도의 지표로 사용할 수 없다는 점이 반영되어야 한다.
얼마나 힘든지를 주관적으로 20점 단위로 표시한 것을 주관적 운동 강도(Ratings of perceived exertion, RPE)라고 하며, ‘편안하다’를 0점,‘더 이상 못하겠다’를 최고점으로 하여 '보통이다', '조금 힘들다',‘힘들다’등의 표현을 중간 점수로 표시하는 방법이다. 이는 심리학자인 Borg가 개발한 척도로서 20점 단위인 경우에는 각 점수에 10을 곱하면 대략적인 심박 수를 나타낸다. 예를 들어 일반적으로 고강도는 힘들다(15점)에 해당하고, 중등도는 약간 힘들다(13점)에 해당하므로 이를 이용할 수도 있다.
이러한 에너지 소비량을 측정하기 위해 다양한 센서를 이용할 수 있다. 예를 들어 걸음 수를 측정하기 위한 만보기 기능을 제공하는 것으로 가속도 센서(accelerometer), 자이로 센서를 통해 걸음수를 측정하고, 이를 기반으로 열량 소비를 추정할 수 있다. 또는 GPS나 실내측위 기술을 이용하여 이동한 거리를 측정할 수도 있다.
운동 강도의 판별의 예는 아래와 같다.
Sedentary = BMR X 1.2 (운동을 거의 하지 않거나 사무일)
Lightly active = BMR X 1.375 (가벼운 운동이나 스포츠를 주당 1-3회 수행)
Mod. active = BMR X 1.55 (일반적인 운동이나 스포츠를 주당 3-5회 수행)
Very active = BMR X 1.725 (힘든 운동이나 스포츠를 주당 3-5회 수행)
Extreme Active = BMR X 1.9 (마라톤이나 트라이애슬론(triathlons) 처럼 매우 힘든 운동이나 업무를 날마다 수행)
생체 센서에서 측정된 생체 신호나 생체 정보, 혹은 정서나 신체적 활동 정보는 다른 전자 장치로 전송될 수도 있다. 예를 들어, 웨어러블 장치(예: 스마트 와치, 이어클립형 장치)에서 측정된 생체 신호(또는 변환된 생체 정보)를 다른 전자 장치(예: 연결된 스마트폰 또는 클라우드(cloud)/서버)로 전송할 경우, 웨어러블 장치나 다른 전자 장치의 배터리 상태, 무선통신 수단이나 통신 프로토콜(예: BLE(Bluetooth low energy)/BT, WiFi, 셀룰러(Cellular) 등), 어플리케이션 호환 상태 및 요구 사항, 사용자 인증 등이 고려될 수도 있다.
도 57은 다양한 실시예에 따른 전자 장치(예: 전자 장치(101, 201))의 서비스 제공 모듈(701)(예: 추가 기능 모듈(170))의 블록도(700)를 도시한다. 상기 서비스 제공 모듈(701)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다. 도 57을 참조하면, 상기 서비스 제공 모듈(701)은, 획득 모듈(710), 결정 모듈(720), 제어 모듈(730), 검출 모듈(740), 비교 모듈(750), 전송 모듈(760) 및 수신 모듈(770)을 포함할 수 있다. 상기 서비스 제공 모듈(701)은 프로세서(예: 프로세서(120, 210))와는 별도로 제공되거나, 프로세서에 그 전체 또는 일부가 통합될 수 있다.
다양한 실시예에 따른 상기 획득 모듈(710)은 사용자의 생체 정보를 획득할 수 있다. 사용자의 생체 정보는 사용자의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다. 한 실시예에서, 상기 획득 모듈(710)은 센서 모듈(예: 센서 모듈(240) 등)을 통해 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자의 정신 상태 또는 신체 상태를 나타내는 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 획득 모듈(710)은 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등)를 통해 사용자의 생체 신호를 수신할 수 있고, 상기 수신된 생체 신호로부터 사용자의 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 획득 모듈(710)은 상기 통신 장치를 통해 사용자의 생체 정보를 수신할 수 있다.
상기 획득 모듈(710)은 사용자 연관 정보를 획득할 수 있다. 상기 사용자 연관 정보는 사용자에 대한 정보, 상기 전자 장치에 대한 정보, 상기 전자 장치의 주변 환경에 대한 정보 중의 적어도 하나를 포함할 수 있다. 상기 사용자 연관 정보는 사용자 및/또는 전자 장치의 움직임 정보, 사용자 및/또는 전자 장치의 위치 정보, 현재 시간/날짜/요일/날씨 정보, 사용자 입력 정보, 미리 설정된 이벤트의 발생 정보, 이미지, 비디오, 오디오 중의 적어도 하나를 포함할 수 있다. 또는, 상기 사용자 연관 정보는 사용자/전자장치의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다. 한 실시예에서, 상기 획득 모듈(710)은 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 센서 모듈(예: 센서 모듈(240) 등), 메모리(예: 메모리(130, 230) 등) 등의 적어도 하나를 통해 상기 사용자 연관 정보를 획득할 수 있다. 한 실시예에서, 상기 획득 모듈(710)은 상기 통신 장치를 통해 사용자 연관 정보를 수신할 수 있다. 한 실시예에서, 상기 획득 모듈(710)은 상기 입력 인터페이스를 통해 사용자 연관 정보를 사용자로부터 수신할 수 있다. 상기 획득 모듈(710)은 상기 메모리에 저장된 사용자 연관 정보를 획득할 수 있다.
다양한 실시예에 따른 상기 결정 모듈(720)은 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 적어도 하나의 서비스를 결정할 수 있다. 한 실시예에서, 상기 결정 모듈(720)은 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 미리 설정된 조건이 충족되는지의 여부를 결정할 수 있고, 상기 획득 모듈(710)은 상기 미리 설정된 조건이 충족됨에 따라 상기 생체 정보를 획득하는 동작을 개시할 수 있다. 상기 미리 설정된 조건은, 임계 값을 초과하는 상기 전자 장치의 움직임, 미리 설정된 제스처에 따른 상기 전자 장치의 움직임, 미리 설정된 영역으로의 상기 전자 장치의 위치 이동, 상기 전자 장치로의 사용자 입력, 상기 전자 장치에서 미리 설정된 이벤트의 발생, 상기 전자 장치의 슬립 상태 및 웨이크 업 상태 간의 전환 중의 적어도 하나를 포함할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 상기 전자 장치에 미리 저장된 사용자 연관 정보들 중에서 상기 생체 정보와 연관된 사용자 연관 정보를 결정할 수 있고, 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 상기 생체 정보 및 상기 결정된 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 상기 전자 장치에서 발생한 이벤트에 대응하는 적어도 하나의 서비스를 결정할 수 있다.
다양한 실시예에 따른 상기 제어 모듈(730)은 상기 결정 모듈(720)에 의해 결정된 적어도 하나의 서비스를 사용자에게 제공할 수 있다. 상기 결정된 적어도 하나의 서비스는 사용자 인터페이스(예: GUI(graphical user interface) 등의 시각적 인터페이스, 안내 음성 등의 청각적 인터페이스, 햅틱 피드백 등의 촉각적 인터페이스 등)의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 정보 저장, 기능 또는 서비스의 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한 또는 차단, 상기 전자 장치의 환경설정 변경, 외부 장치의 제어 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 상기 검출 모듈(740)은 상기 전자 장치의 상태 변경을 검출할 수 있다. 한 실시예에서, 상기 검출 모듈(740)은 미리 설정된 조건을 충족하는 상기 전자 장치의 상태 변경을 검출할 수 있고, 상기 획득 모듈(710)은 상기 전자 장치의 상태 변경을 검출함에 따라 상기 생체 정보를 획득할 수 있다.
다양한 실시예에 따른 상기 비교 모듈(750)은 상기 생체 정보를 미리 설정된 값과 비교할 수 있다. 한 실시예에서, 상기 제어 모듈(730)은 상기 생체 정보와 상기 미리 설정된 값의 차이에 따라 상기 생체 정보의 획득 주기를 변경할 수 있다. 한 실시예에서, 상기 제어 모듈(730)은 상기 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력할 수 있다.
다양한 실시예에 따른 상기 전송 모듈(760)은 상기 생체 정보를 외부 장치로 전송할 수 있다.
다양한 실시예에 따른 상기 수신 모듈(770)은 상기 외부 장치로부터 상기 생체 정보의 획득 주기 정보를 수신할 수 있다. 한 실시예에서, 상기 수신 모듈(740)은 외부 장치로부터 상기 생체 정보를 수신할 수 있다.
한 실시예에서, 상기 획득 모듈(710)은 사용자 연관 정보를 획득한 이후 사용자의 생체 정보를 획득할 수 있고, 상기 결정 모듈(720)은 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 결정할 수 있다.
한 실시예에서, 상기 획득 모듈(710)은 사용자의 움직임, 사용자의 위치, 현재 시간/날짜, 사용자의 운동 강도, 사용자의 활동 종류 등의 적어도 하나를 획득할 수 있다. 상기 제어 모듈(730)은 사용자의 움직임, 사용자의 위치, 현재 시간/날짜, 사용자의 운동 강도, 사용자의 활동 종류 등의 적어도 하나에 근거하여 사용자를 인증할 수 있다.
한 실시예에서, 상기 비교 모듈(750)은 사용자의 인증을 위해 사용자의 생체 정보를 미리 설정된 제1 값과 비교할 수 있다. 상기 획득 모듈(710)은 사용자의 생체 정보와 상기 미리 설정된 제1 값의 차이가 임계값 이하인 경우, 추가적인 생체 정보를 획득할 수 있다. 상기 비교 모듈(750)은 상기 사용자의 인증을 위해 상기 추가적인 생체 정보를 미리 설정된 제2 값과 비교할 수 있다.
한 실시예에서, 상기 제어 모듈(730)은 사용자의 생체 정보에 근거하여 사용자를 인증할 수 있다. 상기 검출 모듈(740)은 사용자의 인증 이후 이벤트를 검출할 수 있다. 상기 제어 모듈(730)은 상기 전자 장치 또는 제1 외부 장치에 저장된 데이터베이스에서 상기 사용자 및 상기 이벤트와 일치하는 이벤트를 검색할 수 있다. 상기 제어 모듈(730)은 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 제어 정보에 근거하여 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈(730)은 사용자의 생체 정보에 근거하여 사용자를 인증할 수 있다. 상기 검출 모듈(740)은 사용자의 인증 이후 이벤트를 검출할 수 있다. 상기 제어 모듈(730)은 상기 이벤트와 연관된 상기 전자 장치의 제어 정보를 검출할 수 있다. 상기 제어 모듈(730)은 상기 이벤트 및 상기 제어 정보에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장할 수 있다.
한 실시예에서, 상기 비교 모듈(750)은 사용자의 생체 정보를 미리 설정된 값과 비교할 수 있다. 상기 획득 모듈(710)은 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 사용자 연관 정보를 획득할 수 있다. 상기 제어 모듈(730)은 상기 생체 정보 및 상기 사용자 연관 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 미리 설정된 복수의 카테고리들 중 사용자의 생체 정보가 속하는 카테고리를 결정할 수 있다. 상기 제어 모듈(730)은 현재 재생 중인 콘텐츠 및 상기 카테고리에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장할 수 있다.
한 실시예에서, 상기 검출 모듈(740)은 이벤트를 검출할 수 있다. 상기 결정 모듈(720)은 상기 이벤트에 대응하는 생체 정보를 결정하고, 상기 전자 장치가 지원하는 상기 이벤트와 연관된 복수의 서비스들 중에서 상기 결정된 생체 정보에 대응하는 적어도 하나의 서비스를 결정할 수 있다. 상기 제어 모듈(730)은 상기 결정된 적어도 하나의 서비스를 사용자에게 제공할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 검출된 이벤트와 일치하는 이벤트를 검색하고, 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 생체 정보를 상기 검출된 이벤트에 대응하는 생체 정보로 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 검출된 이벤트와 일치하는 이벤트를 검색하고, 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 생체 정보의 종류를 확인할 수 있다. 상기 획득 모듈(710)은 상기 확인된 종류의 생체 정보를 사용자로부터 획득할 수 있다.
한 실시예에서, 상기 획득 모듈(710)은 상기 이벤트를 검출한 이후 사용자의 생체 정보를 획득할 수 있다. 상기 제어 모듈(730)은 상기 이벤트 및 상기 획득된 생체 정보에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장할 수 있다.
한 실시예에서, 상기 획득 모듈(710)은 상기 이벤트를 검출한 이후 사용자의 생체 정보를 획득할 수 있다. 상기 비교 모듈(750)은 상기 획득된 생체 정보를 미리 설정된 값과 비교할 수 있다. 상기 제어 모듈(730)은 상기 획득된 생체 정보 및 상기 미리 설정된 값의 차이에 따라 상기 이벤트 및 상기 사용자의 생체 정보에 연관된 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장할 수 있다.
한 실시예에서, 상기 전송 모듈(760)은 상기 결정된 생체 정보를 외부 장치로 전송할 수 있다. 상기 수신 모듈(770)은 상기 외부 장치로부터 상기 생체 정보와 연관된 정보를 수신할 수 있다. 상기 제어 모듈(730)은 상기 수신된 정보를 상기 사용자에게 제공할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 상기 결정된 생체 정보에 대응하는 외부 장치의 제어 정보를 결정할 수 있다. 상기 전송 모듈(760)은 상기 제어 정보를 상기 외부 장치로 전송할 수 있다.
한 실시예에서, 상기 결정 모듈(720)은 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 전자 장치의 위치가 속하는 영역을 검색하고, 상기 검색된 영역에 대응하여 상기 데이터베이스에 저장된 생체 정보를 상기 검출된 이벤트에 대응하는 생체 정보로 결정할 수 있다.
도 58은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 810~870 동작들의 전체 또는 그 일부를 포함할 수 있다.
810 동작에서, 미리 설정된 조건이 충족되는지의 여부가 결정될 수 있다. 상기 전자 장치는 미리 설정된 조건이 충족되는 경우 820 동작을 수행하고, 미리 설정된 조건이 충족되지 않는 경우 810 동작을 주기적으로 반복할 수 있다. 상기 미리 설정된 조건은, 임계 값을 초과하는 상기 전자 장치의 움직임, 미리 설정된 제스처에 따른 상기 전자 장치의 움직임, 미리 설정된 영역으로의 상기 전자 장치의 위치 이동, 상기 전자 장치로의 사용자 입력, 상기 전자 장치에서 미리 설정된 이벤트의 발생, 상기 전자 장치의 슬립 상태 및 웨이크 업 상태 간의 전환 중의 적어도 하나를 포함할 수 있다.
예를 들어, 상기 전자 장치의 상태가 변경되었는지의 여부가 결정되고, 상기 전자 장치의 상태가 변경된 경우에 생체 센서가 동작될 수 있다. 상기 미리 설정된 조건은, 움직임 센서, 위치를 인식 할 수 있는 센서 중 하나 이상(예: 카메라 모듈, 자이로 센서, 가속도 센서, GPS 센서, 자이로 콤파스, 측위 센서 중 하나 이상)을 통해 검출되는 상기 전자 장치의 물리적인 위치가 변경된 경우, 상기 전자 장치의 움직임을 검출하는 신호가 임계 값 이상의 크기를 갖는 경우, 상기 움직임 신호가 미리 설정된 제스처를 나타내는 경우, 전원 버튼, 터치 패널 등을 통한 사용자 입력이 발생한 경우, 상기 전자 장치에서 미리 설정된 이벤트(예: 콜(call), 문자 등)가 발생하는 경우, 상기 전자 장치의 AP, CP 등이 슬립 상태에서 웨이크 업(wake up) 상태로 전환되는 경우, 상기 전자 장치의 AP, CP 등이 웨이크 업 상태에서 슬립 상태로 전환되는 경우 중 하나 이상을 포함할 수 있다.
820 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자의 정신 상태 또는 신체 상태를 나타내는 생체 정보를 도출할 수 있다. 상기 생체 신호는 생체 센서로부터 출력되는 전기 신호(예: 심전도 신호, 맥파 신호 등)를 나타낼 수 있고, 상기 생체 정보는 상기 사용자의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다. 한 실시예에서, 상기 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등)를 통해 외부 장치로부터 사용자의 생체 신호를 수신할 수 있고, 상기 수신된 생체 신호로부터 사용자의 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 전자 장치는 상기 통신 장치를 통해 외부 장치로부터 사용자의 생체 정보를 수신할 수 있다. 예를 들어, 상기 전자 장치의 상태 변경이 검출되면 생체 센서가 동작될 수 있다. 생체 센서의 기동은 생체 센서에 전기 신호를 인가하여 동작시키는 것, 생체 센서가 동작하는 주기를 변경하는 것, 생체 센서에 제어 신호(센서 값의 수집을 시작하라는 소프트웨어(software) 또는 하드웨어(hardware) 명령 등)를 전달하는 것 등일 수 있다. 한 실시예에서, 생체 센서는 외부 장치에 구비될 수 있으며, 상기 전자 장치는 상기 외부 장치와 상기 통신 장치를 통해 연결되어 있고, 상기 외부 장치의 생체 센서는 상기 전자 장치의 제어 신호에 응답하여 구동될 수도 있다.
830 동작에서, 상기 생체 정보의 값은 미리 설정된 값 또는 이전 생체 정보와 비교될 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 임계 범위 또는 임계 값과 비교할 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보를 미리 설정된 값 또는 이전 생체 정보와 비교하여 그 차이(즉, 변화량)를 산출하고, 상기 차이를 임계 범위 또는 임계 값과 비교할 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 임계 범위 또는 임계 값 이내인 경우 생체 정보의 실질적인 변경이 없는 것으로 판단하여 840 동작을 수행하고, 상기 생체 정보의 값이 임계 범위 또는 임계 값 초과인 경우 생체 정보의 실질적인 변경이 있는 것으로 판단하여 850 동작을 수행할 수 있다. 상기 미리 설정된 값 또는 이전 생체 정보는 상기 전자 장치의 메모리(예: 메모리(130, 230))에 저장되어 있거나, 외부 장치(예: 서버(106) 또는 전자 장치(104))에 저장되어 있을 수 있다. 상기 미리 설정된 값은 한 명 이상 다른 사용자로부터 측정된 생체 정보, 사용자 집단의 대표값 또는 평균값(예: 연령별 평균값, 성별 평균값 등), 기관(예: 연구기관, 학계)에서 측정한 실험값 등일 수도 있다.
840 동작에서, 상기 생체 정보의 값와 상기 미리 설정된 값 또는 상기 이전 생체 정보의 차이에 따라 상기 생체 신호/정보의 획득 주기가 변경될 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 임계 범위 또는 임계 값 이내인 경우 생체 정보의 실질적인 변경이 없는 것으로 판단하고, 생체 신호/정보의 획득 주기(또는 획득 간격)를 증가시키거나 생체 신호/정보의 획득을 중단할 수 있다.
850 동작에서, 상기 생체 정보의 값과 상기 미리 설정된 값 또는 상기 이전 생체 정보의 차이에 따라 추가 정보(예: 사용자 연관 정보)가 획득될 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 임계 범위 또는 임계 값 초과인 경우 생체 정보의 실질적인 변경이 있는 것으로 판단하고, 상기 생체 정보와 연관된 추가 정보를 획득할 수 있다. 상기 사용자 연관 정보는 사용자에 대한 정보, 상기 전자 장치에 대한 정보, 상기 전자 장치의 주변 환경에 대한 정보 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 전자 장치는 생체 신호/정보의 획득 주기(또는 획득 간격)를 감소시킬 수 있다.
860 동작에서, 상기 전자 장치가 지원하는 상기 생체 정보 또는 상기 사용자 연관 정보와 연관된 복수의 서비스들 중에서 적어도 하나의 서비스가 결정될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 결정할 수 있다. 한 실시예에서, 상기 전자 장치는 미리 저장된 제1 데이터베이스를 이용하여 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 선택할 수 있다. 상기 제1 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제1 데이터베이스는 표 1과 같은 형태를 가질 수 있다.
표 1
| 생체 정보 | 사용자 연관 정보 | 서비스정보 |
| A11 | B11 | C11 |
| A11 | B12 | C12 |
| A12 | B11 | C13 |
| A12 | B12 | C14 |
| … | … | … |
표 1에서, 생체 정보(예: A11, A12, …)는 생체 정보의 종류/내용(예: 혈압, 심박수, 혈당 등), 특정 생체 정보 종류의 수치 범위(예: 혈압 범위, 심박수 범위, 혈당 범위 등), 특정 생체 정보 종류의 차이 값(예: 생체 정보 값과 미리 설정된 값의 차이 등)의 수치 범위, 특정 생체 정보 종류의 값 또는 레벨 등을 나타낼 수 있다. 사용자 연관 정보(예: B11, B12, …)는 사용자 연관 정보의 종류/내용(예: 질병 정보(예: 고혈압, 저혈압, 당뇨 등), 신체 정보, 인증 정보, 장애 정보, 이전 생체 정보, 현재 운동/활동 정보, 현재 감정/스트레스 정보, 이벤트 등), 특정 사용자 연관 정보 종류의 값, 레벨 또는 수치 범위(예: 고혈압, 저혈압, 당뇨, 시간대/요일/날씨, 지리적 영역 등) 등을 나타낼 수 있다. 서비스 정보(예: C11, C12, …)는 명령, 액션, 기능, 실행 어플리케이션, 어플리케이션 실행 파라미터 등의 서비스 종류/내용을 나타낼 수 있다.
870 동작에서, 상기 결정된 서비스가 제공될 수 있다. 상기 서비스는 사용자 인터페이스의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 정보 저장, 정보 전송, 기능 또는 서비스의 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한 또는 차단, 상기 전자 장치의 환경설정 변경, 외부 장치의 제어 중의 적어도 하나를 포함할 수 있다. 상기 전자 장치는 상기 결정된 서비스의 제공과 함께 또는 별도로 상기 생체 정보의 적어도 일부 및/또는 상기 사용자 연관 정보의 적어도 일부를 사용자에게 표시할 수 있다.
도 59는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 910~940 동작들의 전체 또는 그 일부를 포함할 수 있다.
910 동작에서, 사용자 연관 정보가 획득될 수 있다. 상기 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 센서 모듈(예: 센서 모듈(240) 등), 메모리(예: 메모리(130) 등) 등의 적어도 하나를 통해 상기 사용자 연관 정보를 획득할 수 있다.
920 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자의 정신 상태 또는 신체 상태를 나타내는 생체 정보를 도출할 수 있다.
930 동작에서, 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스가 결정될 수 있다. 한 실시예에서, 상기 전자 장치는 미리 저장된 제2 데이터베이스를 이용하여 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 선택할 수 있다. 상기 제2 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제2 데이터베이스는 표 2와 같은 형태를 가질 수 있다.
표 2
| 사용자 연관 정보 | 생체 정보 | 서비스정보 |
| B21 | A21 | C21 |
| B21 | A22 | C22 |
| B22 | A21 | C23 |
| B22 | A22 | C24 |
| … | … | … |
표 2에서, 사용자 연관 정보(예: B21, B22, …)는 사용자 연관 정보의 종류/내용(예: 질병 정보(예: 고혈압, 저혈압, 당뇨 등), 신체 정보, 인증 정보, 장애 정보, 이전 생체 정보, 현재 운동/활동 정보, 현재 감정/스트레스 정보, 이벤트 등), 특정 사용자 연관 정보 종류의 값, 레벨 또는 수치 범위(예: 고혈압, 저혈압, 당뇨, 시간대/요일/날씨, 지리적 영역 등) 등을 나타낼 수 있다. 생체 정보(예: A21, A22, …)는 생체 정보의 종류/내용(예: 혈압, 심박수, 혈당 등), 특정 생체 정보 종류의 수치 범위(예: 혈압 범위, 심박수 범위, 혈당 범위 등), 특정 생체 정보 종류의 차이 값(예: 생체 정보 값과 미리 설정된 값의 차이 등)의 수치 범위, 특정 생체 정보 종류의 값 또는 레벨 등을 나타낼 수 있다. 서비스 정보(예: C21, C22, …)는 명령, 액션, 기능, 실행 어플리케이션, 어플리케이션 실행 파라미터 등의 서비스 종류/내용을 나타낼 수 있다.
940 동작에서, 상기 결정된 서비스가 제공될 수 있다. 상기 서비스는 사용자 인터페이스의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 정보 저장, 정보 전송, 기능 또는 서비스의 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한 또는 차단, 상기 전자 장치의 환경설정 변경, 외부 장치의 제어 중의 적어도 하나를 포함할 수 있다. 상기 전자 장치는 상기 결정된 서비스의 제공과 함께 또는 별도로 상기 생체 정보의 적어도 일부 및/또는 상기 사용자 연관 정보의 적어도 일부를 사용자에게 표시할 수 있다.
한 실시예에서, 상기 전자 장치는 측정된 생체 신호로부터 사용자의 정서 상태나 감정 상태를 검출하고, 검출된 상태에 따라 다양한 서비스를 제공할 수 있다. 상기 전자 장치는 사용자의 개인정보(user profile), 사용자의 상황정보(context) 등의 사용자 연관 정보를 이용하여 현재 상태의 사용자에게 필요할 것으로 판단된 서비스를 선택할 수 있다. 예를 들어, 상기 전자 장치는 사용자의 스마트 폰이나 손목시계 장치에 장착된 HRV 센서를 통해 맥파 신호와 같은 사용자의 생체 신호를 수신한 후, 이를 분석하여 육체적 스트레스, 정신적 스트레스 또는 감정 정보를 획득할 수 있다. 상기 전자 장치는 이러한 스트레스/감정 정보를 기반으로 사용자에게 적합한 서비스를 제공할 수 있으며, 이를 위해 사용자의 상황이나 개인 정보를 이용하여 동일한 종류의 스트레스이더라도 다른 서비스를 제공, 추천 혹은 금지할 수도 있다.
한 실시예에 따르면, 개인 정보(또는 사용자에 대한 정보)는 사용자의 생체적 특성을 나타내는 정보일 수 있으며, 로컬 장치, 원격 장치, 서버, 클라우드 환경 중 하나 이상에 저장된 정보를 수신하거나 읽어 오는 동작에 의해 상기 개인 정보가 참조될 수 있다. 상기 개인 정보는 사용자의 나이, 성별, 키, 체중, 인종, 건강진료정보, 질병 정보, 장애 정보 중 하나 이상을 포함할 수 있다. 상기 건강진료정보는 연령, 신장, 체중, 허리둘레, 체질량지수, 시력, 청력, 혈압, 총콜레스테롤, HDL(high-density lipoprotein) 콜레스테롤, LDL(low-density lipoprotein) 콜레스테롤, 트리글리세라이드, AST(SGOT), ALT(SGPT), 감마지티피, 공복혈당, 요단백, 혈청크레아티닌, 혈색소, 흉부방사선촬영정보, 구강검진정보, 최대산소포화도, 최대심박수 중 하나 이상을 포함할 수 있다. 상기 질병 정보는 당뇨, 고혈압, 저혈압, 근골격계질환, 골다공증 중 하나 이상을 포함할 수 있다. 상기 개인정보는 생체 센서를 구비한 장치(즉, 센서 장치)에서 생체 신호를 수집하여 저장한 정보를 포함할 수 있으며, 센서 장치는 시간의 경과에 따른 복수 개의 생체신호를 저장할 수도 있다. 개인 정보의 관리와 사용을 위해, 센서 장치는 생체 신호를 분석하여 생체 정보를 획득한 후 저장할 수도 있다. 생체 신호는 사용자의 운동 이력이나 건강 상태에 따라 달라지기 때문에, 센서 장치는 최근의 생체 신호 정보나 생체 정보를 저장하여 관리함으로써 보다 유용한 서비스를 지원할 수 있다. 개인 정보는 사용자 인증을 위한 인증용 개인 정보를 포함할 수 있다. 장애 정보는 사용자의 신체적인 장애 정보 혹은 부상과 같은 신체적인 운동 능력이나 검출 능력과 관련한 정보일 수 있다. 장애 정보에 따라서 제공할 수 있는 서비스와 UX/UI가 달라지므로, 상기 전자 장치는 서비스를 결정함에 있어서 이러한 장애 정보를 고려할 수 있다. 예를 들어, 다리 부상으로 인해 달리기가 어려운 사용자의 경우에, 상기 전자 장치는 이러한 장애 정보를 참조하여 수영과 같은 운동을 추천할 수 있다.
상기 사용자 인증 동작은 사용자를 구분하기 위한 생체인증 정보, 예를 들어 홍채, 지문, 성문, 얼굴, 족문, 장문, 손등정맥, 걸음걸이 패턴 정보 등의 하나 이상을 인식하는 동작을 포함할 수 있다. 인증용 개인정보는 홍채, 지문, 성문, 얼굴, 족문, 장문, 손등정맥을 인식하기 위한 관련 정보(예: 홍채, 지문, 성문, 얼굴, 족문, 장문, 손등정맥 등의 이미지, 특징 정보, 패턴 등)를 포함할 수 있다. 예를 들어, 사용자의 인적 사항과 등록된 사용자의 생체인증 정보가 데이터베이스에 연관되어 저장되어 있고, 상기 등록된 사용자는 생체인증이 성공한 경우 상기 사용자의 인적사항을 획득할 수 있다.
개인 정보는 사용자에 대한 정보뿐만 아니라 상기 사용자와 연관된 간접 정보도 포함할 수 있다. 예를 들어, 상기 간접 정보는, 상기 사용자와 관련한 주소록, 통화 내역, SNS 친구, 선호 어플리케이션, 어플리케이션 구동 이력, 사용자 선호도 정보(예: 선호 운동 정보, 선호하는 장소 연관 정보, 선호하는 음악 및 장르, 취미 등) 등과 같이 상기 사용자의 전자 장치, 서버, 클라우드 컴퓨팅 장치에 저장된 사용자의 활동관련 정보를 포함할 수 있다. 상기 개인 정보는 사용자 입력에 의해 저장될 수도 있고, 사용자의 활동관련 정보를 이용하여 자동으로 저장될 수도 있다.
한 실시예에서, 사용자의 개인 정보는 신체 정보와 생활습관 정보 중 하나 이상을 포함할 수 있으며, 사용자마다 서로 다른 서비스를 제공하기 위한 기초 데이터로 사용할 수 있다. 예를 들어, 상기 전자 장치는 신체적인 특성과 질병, 건강관리상 주요 특성들을 획득하고, 이를 토대로 건강관리 및 피트니스 가이드, 스트레스 등을 관리할 수 있다. 신체 정보는 생년월일(나이), 성별, 키, 성별, 몸무게, 허리둘레, 가슴둘레, 인종과 같은 기본 정보를 포함할 수 있고, 이 외에도 질병정보로서 질병 이력을 포함할 수도 있고, 장애 정보로서 운동 제한 정보를 포함할 수도 있고, 운동 제한 정보는 운동이나 활동 중 제한을 가할 수 있는 신체적 정보에 해당할 수 있다. 신체 정보는, 장애 부위, 장애 정도, 부상 부위, 부상 정도, 비만, 기립성 저혈압, 어지럼증, 운동 실조, 고지혈증, 당뇨, 퇴행성 골관절염, 관상 동맥 질환, 천식, 아토피 등을 포함할 수 있으며, 우울증, 조울증, 지능지수 등의 정신적 상태 정보도 포함할 수 있다. 신체 정보는, 건강관리를 위해서 질병방지나 치료를 위한 투약 정보 등도 포함할 수 있고, 혈압, 혈류, 심박수 (HRM, HRV), 체온, 호흡, 산소포화도, 심폐음 검출, 혈당, 허리둘레, 키, 체중, 칼로리소비량, 뇌파, 목소리, 피부저항, 근전도, 심전도, 걸음걸이, 초음파영상, 체지방량(BMI) 등의 생체 정보도 포함할 수 있다. 생활습관 정보는, 직업, 식생활 습관, 수면 정보(예: 수면시간, 코골이 여부, 이갈이 여부, 수면 후 피곤도 등), 운동습관 등을 포함할 수 있다.
이러한 개인 정보들은 하나 이상의 장치에서 공유 가능하며, 상기 전자 장치에 저장될 수도 있고, 서버에 저장될 수도 있으며, 제2의 전자 장치에 저장될 수도 있다. 사용자의 신체 정보와 생활습관 정보는 업데이트가 가능하며, 최신 정보는 다른 장치의 오래된 정보를 갱신하는데 사용될 수 있다. 이를 위해 장치들이 연결되거나, 특정한 사용자 입력이 발생하거나, 업데이트 이벤트가 발생할 때, 상기 장치들에 저장된 정보들은 상호 업데이트될 수도 있다.
신체 정보를 포함하는 개인 정보는 로컬(local) 혹은 원격장치 안의 메모리에 데이터베이스, 전자파일 등의 형태로 기록될 수 있다. 기록된 정보는 사용자의 인증 정보와 함께 암호화될 수 있다. 신체 정보는 특정한 어플리케이션이나 데이터베이스를 위해 미리 설정된 형식으로 기록될 수 있으며, 헬스(health) 서비스를 위한 국제 혹은 상업 표준을 따를 수도 있다. 상기 전자 장치는, 서버에서 건강검진 보고서, 혹은 생체정보관련 표준화 포맷으로 매핑된 정보를 다운로드하면 해당 정보를 상기 전자 장치에 내장된 어플리케이션에서 처리 가능한 포맷에 따라 파싱하여 매핑할 수 있다. 예를 들어, HL7 CDA 기반 헬스케어 서버 플랫폼 기술은 가정 및 모바일 환경에서 측정되는 여러 다양한 개인건강기록을 HL7 CDA 국제 표준 포맷에 따라 수집하고, 이를 데이터베이스에 저장 및 관리하는 서버 플랫폼이다. 그리고, HL7 CDA 기반 헬스케어 서버 플랫폼 기술은 외부의 헬스케어 서비스로부터 특정 환자의 개인건강기록을 요청 받았을 때, 이를 조회하여 제공하여 줄 수 있도록 한다.
사용자 인터페이스에 의한 개인 정보의 입력은 상기 전자 장치의 터치스크린, 스타일러스 펜, 가상 키보드, 메뉴 선택, 필기 인식, 음성 입력 중 하나 이상을 포함할 수 있다. 상기 전자 장치는 문진이나 건강에 관한 퀴즈를 실시하고, 사용자의 답변 입력을 통해 생활패턴 정보 등을 기록할 수도 있으며, 사용자 인증 수단을 통해 특정 사용자만 입력과 조회, 사용이 가능토록 할 수 있다. 상기 전자 장치는 어플리케이션을 구동하여 사용자가 기본 자료를 입력하도록 할 수도 있고, 운동 중이나 활동 중에 사용자에게 질의를 하여 재평가하여 입력할 수도 있다.
한 실시예에서, 개인 정보 입력 및 저장을 위하여 문자인식 혹은 이미지코드, 전자태그 인식 방법 중 하나 이상이 사용될 수도 있다. 예를 들어 건강검진결과 보고서, 진료 기록 등과 같은 문서가 사용자에게 전자문서 혹은 인쇄된 문서로 제공되는 경우가 있다. 상기 전자 장치는, 이메일, SNS, MMS, 문서파일, 이미지 파일 등과 같은 전자 문서에서 신체 정보가 기록된 텍스트, 숫자, 기호, 표, 도형, 패턴, 바코드, 2차원이미지 코드, 워터마크 중 하나 이상을 인식하고, 이로부터 신체 정보를 획득한 후 미리 설정된 포맷으로 기록할 수 있다. 물리적으로 인쇄된 문서 등의 경우에, 상기 전자 장치는 카메라 모듈 혹은 스캐너 등 광학 입력 장치를 이용하여 신체 정보 부분을 문자인식 혹은 이미지 코드인식, 워터마크 인식 등을 통해 입력받고 미리 설정된 포맷으로 기록할 수 있다.
상기 전자 장치는, 투약 정보를 관리하기 위해 복용하는 약의 포장, 성분표, 처방전 등에 있는 바코드, QR 코드 등을 인식하거나 약의 상표명, 성분표 등의 문자를 인식하여 질병 정보를 추정하여 기록할 수도 있다. 상기 전자 장치는, 의료 및 신체정보 측정 장치에서 표시된 정보를 문자인식 혹은 바코드 인식으로 입력받을 수도 있다. 바코드는 1차원 바코드(예: UPC, EAN 등), 2차원 바코드 (예: Data matrix, Quick Response code, PDF417, Max code, Color based code 등) 등을 포함할 수 있으며, 상기 전자 장치는 이미지 안의 워터 마크를 인식할 수도 있다. 인식한 값이 ID 정보인 경우에, 상기 전자 장치는 해당 제품 정보를 원격 서버나 로컬 장치에 있는 데이터베이스를 통해 수집할 수 있는데, 제품의 바코드를 검색함으로써 제품의 상세 정보를 얻을 수 있다.
QR 코드와 같이 바코드에 원문(full text) 정보가 포함된 경우에는 상기 전자 장치는 QR 코드로부터 상세 정보를 직접 수집할 수 있다. 상기 전자 장치는 Near Field Code(NFC), RFID, EPC (Electronic Product Code) 등의 전자 태그에 포함된 ID나 텍스트 정보를 이용하여 해당 제품 정보를 원격 서버나 로컬 장치에 있는 데이터베이스를 통해 수집할 수 있다. 만약 전자 태그에 원문(full text) 정보가 포함된 경우에는 상기 전자 장치는 전자 태그로부터 상세 정보를 직접 수집할 수 있다. 상기 전자 장치는 RFID 리더기를 통해 RFID 태그를 입력받을 수 있으며, 이미지 코드는 카메라 모듈, 스캐너 등을 통해 정보를 입력받을 수 있다. 상기 전자 장치는 IoT(Internet of Things), M2M(Machine-to-Machine) 기술을 이용한 정보 조회 서비스를 이용할 수도 있다.
사용자 개인 정보는 의료 및 신체정보 측정 기기에 의해 입력될 수도 있다. 체중계, BMI 측정 장치, 체수분측정기, 체성분 분석기(수분, 근육, 수분, 지방, 뼈 등으로 구분해서 부위별 양을 계산해주는 기능 제공)이나 Wii Fit Plus와 같은 콘솔 게임기의 주변기기를 통해 체중이 측정될 수도 있다. 생체 전기저항 분석법(BIA: bioelectrical impedance analysis)을 이용한 측정기기는 체수분(Body Water)을 전기적인 방법을 사용하여 측정하는 기술로서 인체로 약한 교류 전류 전기 신호를 보내면 체수분을 따라 흐르므로, 이를 임피던스라는 측정치로 나타낼 수 있다. 성분 분석기(수분, 근육, 수분, 지방, 뼈 등으로 구분해서 부위별 양을 계산해주는 기능 제공)나 에어로바이크(Aerobike)를 통한 심폐지구력 측정, 악력기에 의한 악력 측정 등이 수행될 수 있고, 측정된 정보는 상기 전자 장치에 입력될 수 있다.
피부주름두께 측정법을 통해 캘리퍼스를 이용한 신체의 피부주름 두께가 측정되거나, 이를 기반으로 체지방 비율이 계산될 수 있다. 전산화 단층촬영(CT), 방사성동위원소를 이용한 측정기기 등도 이용될 수 있다. 이러한 의료/신체정보 측정 장치와 통신을 통해 전자 장치가 개인 정보를 수신할 수도 있다. 예를 들어, 전자 장치는 디스커버리(Discovery)를 수행하여 해당 측정 장치(예: BIA 측정기 등)의 식별 정보(예: 장치명, 고유의 ID, MAC address, SIM card ID, 전화번호, 시리얼 번호 등)를 획득하거나 사용자의 전자 장치(예: 휴대 전화, 손목시계장치 등)를 검색하고, 두 장치들이 무선 통신을 통해 연결(예: Wifi, Bluetooth, BLE, IrDA, IEEE 802 프로토콜, 2G, 3G, Piconet, LAN, BAN, WAN 등)된 후, 상기 전자 장치는 측정 장치에서 측정한 신체 정보를 전달받을 수도 있다. 디스커버리(Discovery)는 RFID 센서와 리더를 통해 수행될 수도 있다.
예를 들어, 측정 장치의 네트워크상의 식별정보를 담은 RFID를 상기 전자 장치의 리더기가 인식하거나, 이와 반대로 상기 전자 장치의 RFID의 정보를 이용하여 측정 장치가 접속할 상기 전자 장치의 주소를 인식할 수 있다. 측정 장치에 사용자 식별정보(예: 이메일 주소, 전화번 등)를 입력함으로써, 신체 정보를 사용자의 전자 장치에 직접 전송하거나, 서버나 다른 원격 장치 등에 전송하고, 전송된 정보가 다시 상기 전자 장치에 전달될 수 있다. 정확한 운동코칭 서비스를 제공하기 위한 자료로서 운동부하검사시 해당 측정 장치들의 자료가 전달될 수 있다. 이때, 운동부하검사의 종료기준은 심한 피로/호흡곤란, 운동실조, III/IV도 흉통, 3.0mm 이상의 허혈성 ST절 하강, 비Q파 유도에서 1.0mm 이상 허혈성 ST절 상승, 심실성 부정맥, 상실성 빈맥, 수축기 혈압의 점진적 감소나 비정상적 증가, 심박수 감소, 목표 심박 수 도달 등이 될 수 있다.
도 60은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1010~1030 동작들의 전체 또는 그 일부를 포함할 수 있다.
1010 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 연령을 추정하기 위한 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 연령을 추정하기 위한 생체 정보를 도출할 수 있다. 상기 연령을 추정하기 위한 생체 신호는 맥파 신호, 심전도 신호, 혈압, HRV, HRM, RMR, 산소포화도 등을 포함할 수 있고, 상기 연령을 추정하기 위한 생체 정보는 혈관 노화도 등을 포함할 수 있다.
1020 동작에서, 사용자의 연령이 추정될 수 있다. 한 실시예에서, 상기 전자 장치는 맥파 분석을 통해 혈관 탄성도를 측정하고 이를 통해 혈관 노화도를 판단할 수 있다.
1030 동작에서, 상기 추정된 사용자의 연령에 대응하는 사용자 인터페이스 또는 서비스가 제공될 수 있다. 상기 전자 장치는 상기 사용자 인터페이스 또는 서비스의 제공과 함께 또는 별도로 상기 생체 정보의 적어도 일부 및/또는 상기 추정된 사용자의 연령의 적어도 일부를 사용자에게 표시할 수 있다. 한 실시예에서, 상기 전자 장치는 현재 디스플레이에 표시된 사용자 인터페이스를 상기 사용자의 연령에 따른 사용자 인터페이스로 변경할 수 있다. 상기 사용자 인터페이스 또는 서비스는 상기 전자 장치의 안내 음성 변경, 음성 볼륨 변경, 미리 설정된 콘텐츠 또는 서비스의 접근 제한, 경고 피드백의 제공, 정보 추천 중의 적어도 하나를 포함할 수 있다. 상기 사용자 인터페이스는 GUI(graphical user interface) 등의 시각적 인터페이스, 안내 음성 등의 청각적 인터페이스, 햅틱 피드백 등의 촉각적 인터페이스 등을 포함할 수 있다. 한 실시예에서, 상기 전자 장치는 미리 저장된 제3 데이터베이스를 이용하여 상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보 및/또는 사용자 연관 정보에 대응하는 적어도 하나의 서비스를 선택할 수 있다. 상기 제3 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제3 데이터베이스는 표 3과 같은 형태를 가질 수 있다.
표 3
| 생체 정보 | 사용자 연관 정보 | 서비스정보 |
| A31 | B31 | C31 |
| A31 | B32 | C32 |
| A32 | B31 | C33 |
| A32 | B32 | C34 |
| … | … | … |
표 3에서, 생체 정보(예: A31, A32, …)는 연령 연관 정보의 종류/내용(예: 혈관 탄성도, 혈관 노화도 등), 연령 연관 정보의 수치 범위(예: 혈관 탄성도의 수치 범위, RMR의 수치 범위, 혈관 노화도의 수치 범위 등), 값 또는 레벨(예: 혈관 노화도의 레벨 또는 종류 등) 등을 나타낼 수 있다. 사용자 연관 정보(예: B31, B32, …)는 사용자 연관 정보의 종류/내용(예: 질병 정보(예: 고혈압, 저혈압, 당뇨 등), 신체 정보, 인증 정보, 장애 정보, 이전 생체 정보, 현재 운동/활동 정보, 현재 감정/스트레스 정보, 이벤트 등), 특정 사용자 연관 정보 종류의 값, 레벨 또는 수치 범위(예: 고혈압, 저혈압, 당뇨, 시간대/요일/날씨, 지리적 영역 등) 등을 나타낼 수 있다. 서비스 정보(예: C21, C22, …)는 사용자 인터페이스의 종류, 명령, 액션, 기능, 실행 어플리케이션, 어플리케이션 실행 파라미터 등의 서비스 종류/내용을 나타낼 수 있다.
예를 들어, 상기 전자 장치는 사용자가 노인인 경우에 글자 크기가 더 크도록 자동으로 변환하거나, 사용자가 노인인 경우에 어린 아이의 경우에 아이콘 등을 동물 캐릭터로 표현할 수 있다. 상기 전자 장치는 생체 신호/정보를 분석하여 사용자의 연령을 추정하고, 이에 따라 적절하게 대응하는 서비스를 제공할 수 있다. 사용자의 연령을 추정하는데 사용할 수 있는 생체 신호는 혈압, HRV, HRM, 산소포화도, 맥파, ECG 신호 등을 포함할 수 있다. RMR은 10년에 2% 정도의 감소되는 특성이 있고, 산소포화도나 분당 심박수에 의해 추정이 가능하다. 상기 전자 장치는 HRV 신호를 이용하여 혈관노화도를 측정함으로써 사용자의 연령대를 추정할 수 있다. 상기 전자 장치는 이러한 연령대 추정을 통해 사용자의 연령대를 판별함으로써 서비스를 결정할 수 있고, 또한 사용자가 해당 기기의 정당한 사용자인지 혹은 사용자 중 누구인지를 판별할 수도 있다.
예를 들어, 상기 전자 장치는 HRV 센서를 통해 사용자의 혈관노화도를 측정하고, 해당 노화도에 따라 사용자 인터페이스 변경, 사용금지, 숨김, 또는 하나 이상의 사용자 인터페이스를 추천하는 기능을 제공할 수 있다. 이러한 사용자 인터페이스는 글자, 이미지, 크기, 월 페이퍼(wall paper), 음향 특성, 위젯, 아이콘, 색상, 알람, 링톤, 볼륨, 목소리 속성, 단어나 문장의 변경, STT(Speech-to-Text), TTS(Text-to-Speech) 중 하나 이상을 포함할 수 있다. 예를 들어, 노화가 진행됨에 따라 40대부터 시력 저하가 발생하여 작은 글자보다는 큰 글자를 선호하게 된다. 또한 노화에 따라 청력이 나빠지면, 여성 목소리와 같이 높은 주파수의 목소리 대신 남성 목소리처럼 낮은 주파수의 목소리를 더 잘 듣게 된다.
따라서, 상기 전자 장치는 글자나 이미지 등과 같은 GUI의 크기를 크게하거나 실버 세대에 적합한 앱들을 모은 위젯 모드를 제공하여 사용자별로 적합한 인터페이스나 사용자 모드를 제공할 수 있다. 상기 전자 장치는 음성을 통해 UI를 제공하는 경우에 여성 음성을 남성 음성으로 주파수를 변환하여 제공하거나, 별도의 남성 음성을 제공함으로써 나이 많은 사용자가 보다 쉽게 듣을 수 있도록 할 수 있다. 이외에도, 상기 전자 장치는 볼륨의 크기를 일반적인 사용자의 경우보다 더 키워서 제공할 수도 있다. 혈관노화도는 혈관의 탄성도, 심장질환의 위험도와 연관성이 있으므로, 혈관노화도, 혈관의 탄성도, 심장질환의 위험도 등이 미리 설정된 기준 이상인 경우에는 콘텐츠의 종류 등을 분석하여 지나친 흥분이나 공포심을 자극하는 콘텐츠의 재생을 금지할 수도 있다. 이를 위해 상기 전자 장치는 콘텐츠 자체에 메타데이터로 기록된 연령 등급이나 장르 등을 판별하는 작업을 더 포함할 수도 있다.
추정된 연령대가 미리 설정된 기준 이하인 경우에는 상대적으로 시각적 청각적인 UX/UI 제한이 적을 것으로 예상 가능하므로, 상기 전자 장치는 음향 속성 중 볼륨을 줄이거나, GUI의 크기를 상대적으로 줄여서 디스플레이되는 정보량을 늘릴 수도 있다. 또한 사용자가 미리 설정된 기준보다 어린 것으로 추정될 경우, 상기 전자 장치는 연령 등급이 맞지 않는 콘텐츠나 유료 서비스 등을 금지하거나 추가적인 인증동작을 요청할 수도 있다. 이러한 인증동작은 비밀번호, 전화인증, OTP(One Time Password), 생체인증 정보(예: 홍채, 지문, 성문, 얼굴, 족문, 장문 및/또는 손등정맥에 대한 정보 등) 중 하나 이상을 포함할 수도 있다.
이러한 연령추정 기반 서비스는 특히 위험을 경고하거나 방지하는데 도움을 줄 수 있다. 예를 들어, 혈관노화도가 미리 설정된 기준 이상으로 높은 노인의 경우에는 격렬한 운동 및 심혈관계에 무리를 주는 운동은 추천하지 않아야 한다. 따라서, 상기 전자 장치는 사용자의 상황 정보(예: 날씨, 기온, 결빙지역, 풍속, 환경오염 정보 등)를 상기 전자 장치의 위치에 기반하여 직접 검출하거나, 상기 전자 장치와 유선 혹은 무선으로 연결된 다른 장치로부터 수신하고, 상기 상황 정보에 근거하여 미리 설정된 기준 이상의 위험도를 검출하면, 시각적, 청각적, 혹은 햅틱 피드백을 통해 주의토록 경고하거나 혹은 적절한 운동의 종류와 방법을 제공할 수 있다.
이러한 사용자 인터페이스의 제공은 특정 시간이나 사용자의 특정 활동과 같은 상황에서 발생할 수 있으며, 사용자가 센서가 내장된 전자 장치를 착용하여 생체 신호가 검출되는 경우 등에도 발생할 수 있고, 서버, 재난 센서, 다른 전자 장치와 같은 유선 혹은 무선을 통해 연결된 원격 장치로부터 수신한 이벤트 정보(예: 재난정보, 경고 SNS, 특정 번호의 문자메시지, 날씨 알림 정보 등)에 의해서도 발생할 수 있다. 예를 들어, 사용자 인터페이스의 제공은 체온 센서에 의해 체온, 심박수 등이 미리 설정된 기준 이상으로 변화하는 경우에도 발생할 수 있다.
생체신호는 사용자의 활동상태에 따라 다르고, 또한 사용자 개인별로 건강 상태나 운동 이력 등에 의해 차이가 클 수 있다. 예를 들어, 운동선수가 휴식중일 때 평균 심박수는 일반적인 사람의 휴식중 평균심박수보다 적을 수 있다. 상기 전자 장치는, 사용자의 개인 정보 중에서 건강검진정보, 질병 정보, 장애 정보 중 하나를 고려하여 제공될 서비스를 결정할 수도 있다. 개인 정보가 당뇨, 고혈압, 저혈압, 근골격계질환, 골다공증 중 하나의 정보를 포함하는 경우에, 상기 전자 장치는 운동 강도를 조절하여 달리기 등의 운동을 삼가게 하고, 스트레칭이나 걷기와 같은 비교적 가벼운 운동을 추천할 수도 있다.
도 61은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1110~1170 동작들의 전체 또는 그 일부를 포함할 수 있다.
1110 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 연령을 추정하기 위한 생체 정보를 도출할 수 있다. 상기 연령을 추정하기 위한 생체 신호는 혈압, 심전도, HRM, HRV, PPG, 산소포화도, 혈당 등의 적어도 하나를 포함할 수 있고, 상기 생체 정보는 혈압, 혈관탄성도 혹은 혈당 등의 적어도 하나를 포함할 수 있다.
1120 동작에서, 상기 생체 정보의 값은 미리 설정된 제1 값 또는 이전 생체 정보의 값과 비교될 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 제1 임계 범위 또는 제1 임계 값과 비교할 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 미리 설정된 제1 값 또는 이전 생체 정보의 값과 비교하여 그 차이를 산출하고, 상기 차이를 제1 임계 범위 또는 제1 임계 값과 비교할 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 제1 임계 범위 또는 제1 임계 값 이내인 경우 위험도가 낮은 것으로 판단하여 1130 동작을 수행하고, 상기 생체 정보의 값이 제1 임계 범위 또는 제1 임계 값 초과인 경우 위험도가 중간 이상인 것으로 판단하여 1140 동작을 수행할 수 있다. 상기 미리 설정된 제1 값, 제1 임계 범위, 제1 임계 값 또는 이전 생체 정보의 값은 상기 전자 장치의 메모리(예: 메모리(130, 230))에 저장되어 있거나, 외부 장치(예: 서버(106) 또는 전자 장치(104))에 저장되어 있을 수 있다. 상기 미리 설정된 제1 임계 값은 한 명 이상 다른 사용자로부터 측정된 생체 정보, 사용자 집단의 대표값 또는 평균값(예: 연령별 평균값, 성별 평균값 등), 기관(예: 연구기관, 학계)에서 측정한 실험값 등일 수도 있다.
1130 동작에서, 상기 생체 정보의 값과 상기 미리 설정된 제1 임계 값 또는 상기 이전 생체 정보의 값의 차이에 따라 상기 생체 신호/정보의 획득 주기가 변경될 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 제1 임계 범위 또는 제1 임계 값 이내인 경우 위험도가 낮은 것으로 판단하고, 생체 신호/정보의 획득 주기(또는 획득 간격)를 증가시키거나, 초기화하거나, 생체 신호/정보의 획득을 중단할 수 있다.
1140 동작에서, 상기 생체 정보의 값과 상기 미리 설정된 제1 임계 값 또는 상기 이전 생체 정보의 값의 차이에 따라 제1 서비스가 제공될 수 있다. 상기 전자 장치는 상기 제1 서비스의 제공과 함께 또는 별도로 상기 생체 정보의 적어도 일부를 사용자에게 표시할 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 제1 임계 범위 또는 제1 임계 값 초과인 경우 위험도가 중간 이상인 것으로 판단하고, 미리 설정된 제1 서비스를 제공할 수 있다. 한 실시예에서, 상기 제1 서비스는 적어도 하나의 알람 신호(예: 투약 경고)를 출력하는 동작을 포함하고, 상기 적어도 하나의 알람 신호는 시각적 신호, 청각적 신호, 촉각적 신호 중 적어도 하나를 포함할 수 있다.
1150 동작에서, 상기 생체 정보의 값은 미리 설정된 제2 임계 값과 비교될 수 있다. 상기 전자 장치는 상기 생체 정보의 값을 미리 설정된 제2 값과 비교하여 그 차이를 산출하고, 상기 차이를 제2 임계 범위 또는 제2 임계 값과 비교할 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 제2 임계 범위 또는 제2 임계 값 이내인 경우 위험도가 중간인 것으로 판단하여 1160 동작을 수행하고, 상기 생체 정보의 값이 제2 임계 범위 또는 제2 임계 값 초과인 경우 위험도가 높은 것으로 판단하여 1170 동작을 수행할 수 있다. 상기 미리 설정된 제2 값, 제2 임계 범위 또는 제2 임계 값은 상기 전자 장치의 메모리(예: 메모리(130, 230))에 저장되어 있거나, 외부 장치(예: 서버(106) 또는 전자 장치(104))에 저장되어 있을 수 있다. 상기 미리 설정된 제2 임계 값은 상기 제1 임계 값보다 크게 설정될 수 있다.
1160 동작에서, 상기 생체 정보의 값과 상기 미리 설정된 제2 임계 값 또는 상기 이전 생체 정보의 값의 차이에 따라 상기 생체 신호/정보의 획득 주기가 변경될 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값 제2 임계 범위 또는 제2 임계 값 이내인 경우 위험도가 중간인 것으로 판단하고, 생체 신호/정보의 획득 주기(또는 획득 간격)를 감소시키거나, 최소 주기로 설정할 수 있다.
1170 동작에서, 상기 생체 정보의 값과 상기 미리 설정된 제2 임계 값의 차이에 따라 제2 서비스가 제공될 수 있다. 상기 전자 장치는 상기 제2 서비스의 제공과 함께 또는 별도로 상기 생체 정보의 적어도 일부를 사용자에게 표시할 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값이 제2 임계 범위 또는 제2 임계 값 초과인 경우 위험도가 높은 것으로 판단하고, 미리 설정된 제2 서비스를 제공할 수 있다. 한 실시예에서, 상기 제2 서비스는 적어도 하나의 알람 신호의 강도, 상기 적어도 하나의 알람 신호의 종류, 상기 적어도 하나의 알람 신호의 출력 횟수 등을 증가시키는 동작, 긴급 구호 신호를 미리 설정된 연락처로 전송하는 동작 등을 포함할 수 있다.
한 실시예에서, 상기 전자 장치는 투약 관리를 위해서 시간의 흐름이라는 상황 정보에 의해 생체 신호를 수집할 수 있다. 상기 전자 장치는 한 가지 이상의 센서를 이용하여 혈압, 심전도, HRM, HRV, PPG, 산소포화도, 혈당 중 적어도 하나의 신호/정보를 수집할 수 있다. 상기 전자 장치는 생체 신호를 분석하여 혈압, 혈관 탄성도, 혈당 중 하나 이상의 생체 정보를 도출할 수 있다. 상기 전자 장치는 일정 주기, 특정 시각, 특정 시간의 경과 중 하나 이상의 상황정보를 이용하여, 생체 정보의 변화를 판별하고, 상기 생체 정보나 그 변화량이 미리 설정된 기준에 부합하면, 미리 설정된 기능을 수행할 수 있다. 예를 들어, 고혈압 환자가 약을 먹지 않은 경우에 혈관 탄성도가 나빠지는 경향을 보인다. 상기 전자 장치는 혈압의 변화가 미리 설정된 값 이상이거나, 해당 시간대의 이전의 혈압 변화의 패턴과 많은 차이를 보이거나, 혈압이 미리 설정된 기준을 벗어나는 경우에는 고혈압 약을 투약하도록 관련 사용자 인터페이스를 제공할 수 있다. 사용자 인터페이스는 GUI를 통한 시각적 표시 방법, 미리 설정된 오디오나 음악을 통한 청각적 표시 방법, 햅틱이나 진동을 통한 촉각적 표시방법 중 하나 이상을 이용할 수 있다.
위험성 검출은 개인 정보를 이용함으로써 더 정확성이 향상될 수 있다. 상기 전자 장치는 상기 서비스 제공을 위하여 사용자 연관 정보(예: 상황 정보, 개인 정보 등)를 반영하여 생체 정보의 변화를 판별할 수 있다. 예를 들어, 고혈압 환자의 경우, 개인 정보에서 사용자가 고혈압이라는 정보를 참조할 수 있다면, 상기 전자 장치는 해당 상황에 대해서 보다 정확한 상황을 예측할 수 있다.
시간의 흐름에 따라 위험성이 있을 경우, 상기 전자 장치는 생체 신호/정보의 측정 빈도를 높일 수도 있다. 예를 들어, 상기 전자 장치는 제1 기능/서비스를 수행한 이후일지라도 생체 정보나 생체 정보의 변화추이에 따라 제2 기능/서비스 수행하거나, 측정 빈도를 변경할 수 있다. 상기 전자 장치는 생체 정보, 생체 정보의 변화추이, 최초 기능/서비스 수행이후 경과 시간 중 하나 이상을 고려하여 표시되는 내용, 소리나 음성의 속성, 햅틱 피드백의 속성을 변경할 수 있다. 상기 전자 장치는 위험도가 높아지면 생체 신호/정보의 측정 빈도와 기능/서비스 수행 빈도를 높일 수도 있고, 위험도가 낮아지면 상기 빈도들을 낮출 수도 있다. 상기 전자 장치는 위험도가 높을수록 GUI 요소의 색상, 크기, 소리의 크기, 밝기 강도, 깜박임 빈도, 진동크기 등을 변화시켜 더 사용자가 인지하기 쉽게 변경할 수 있다. 이러한 위험성 판단 기준에 대하여 혈압의 예를 들면, 고혈압 상태에서 미리 설정된 시간 이상 유지될 경우, 혈압이 점점 높아질 경우, 혈압이 미리 설정된 기준 이상인 상태에서 달리기와 같은 미리 설정된 강도 이상의 운동 활동이 가속도 센서 등을 통해 검출되는 경우 등이 위험성이 높은 경우에 해당할 수 있다. 혈압이 정상 범주인 경우, 혈압이 강하되는 속도가 미리 설정된 속도 이하이며 정상적인 범주에 근접하는 경우 등은 위험도가 낮은 상태라고 판단될 수 있다.
상기 전자 장치는 생체 정보가 미리 설정된 위험도를 넘는 경우에는 사용자를 보호하기 위한 또 다른 기능/서비스를 더 실행할 수 있다. 예를 들어, 상기 전자 장치는 미리 설정된 하나 이상의 장치에 유선 또는/혹은 무선을 통해 사용자의 상황 정보, 개인 정보, 생체 정보 중 하나 이상을 전달하는 동작이나 로컬 장치나 원격 장치의 디스플레이 출력이나 음성 출력을 통해 상기 정보들 중 하나 이상을 출력하는 동작, 또는 오디오를 출력하는 동작 중 하나 이상을 더 수행할 수 있다. 예를 들어 심장마비와 같은 경우, HRV 센서를 통해 생체신호를 수집하면 급성심장마비가 발생하기 이전에 HRV의 변화 범위가 매우 협소해짐을 감지할 수 있다. 상기 전자 장치는 개인 정보를 통해 심장질환이 있는 사용자를 인식하고, 생체 정보인 HRV의 추이를 분석함으로써 사용자에게 위험성을 미리 알려 줄 수 있다. 예를 들어, 심장마비 징후가 검출되거나 가속도 센서 등을 통한 사용자의 전도(넘어짐) 등의 활동이 검출되면, 상기 전자 장치는 구급 센서나 재난 센터 등에 무선통신을 통한 긴급구호 요청 신호를 전달할 수 있으며, 상기 긴급구호 요청 신호에 상기 전자 장치에 저장된 위치 정보 및/또는 개인정보를 포함시킬 수도 있다. 사용자의 주변사람들이 이러한 긴급 상황을 검출하고 원인을 알 수 있도록, 상기 전자 장치는 해당 상황과 관련한 생체 신호/정보, 개인 정보, 응급처치 방법 중 하나 이상을 디스플레이로 출력하거나 오디오 등으로 알려줌으로써 응급 처리를 도울 수도 있다.
도 62는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1210~1240 동작들의 전체 또는 그 일부를 포함할 수 있다.
1210 동작에서, 상기 전자 장치 내의 이벤트/상황 발생이 검출될 수 있다. 상기 이벤트/상황은 콜, 메일, 메시지 등의 수신, 미리 설정된 시간/날짜/요일의 도래, 온도/습도의 증가, 미리 설정된 콘텐츠/서비스/어플리케이션/웹사이트/지리적 영역의 접근, 미리 설정된 활동/상황의 검출 등을 포함할 수 있다. 상기 전자 장치는 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입출력 장치(예: 입출력 인터페이스(140), 입력 장치(250)) 등을 통해 상기 이벤트/상황의 발생을 검출할 수 있다.
1220 동작에서, 상기 이벤트/상황의 발생에 따라 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자의 스트레스/감정 정보를 나타내는 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 스트레스/감정 정보는 스트레스/감정의 종류 및/또는 스트레스/감정의 레벨 또는 값을 포함할 수 있다. 예를 들어, 상기 스트레스/감정 종류는 HRV를 통해 얻은 평균심박수, 심박분포도, SDNN, RMSSD, pNN50 중 하나 이상을 판별하여 얻은 서맥, 빈맥, 신체적 피로도, 정신적 스트레스, 분노(anger), 증오(hate), 슬픔(grief), 즐거움(joy), 외경(reverence), 행복감(platonic love, 평화, 유대감), 로맨틱한 사랑(romantic love, excitement, lust) 중 하나 이상을 포함할 수 있다, 다른 예를 들어, 상기 스트레스 종류는 HRV를 통해 얻은 PSD에서 LF, HF, LF/HF 중 하나 이상을 계산하고, LF, HF, LF/HF 중 하나 이상으로부터 얻은 혈압성 변동, 호흡성 변동, 자율신경 균형도 중 하나 이상을 포함할 수 있다,
1230 동작에서, 상기 생체 정보의 값은 미리 설정된 값 또는 이전 생체 정보의 값과 비교될 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 임계 범위 또는 임계 값과 비교할 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 미리 설정된 값 또는 이전 생체 정보의 값과 비교하여 그 차이를 산출하고, 상기 차이를 임계 범위 또는 임계 값과 비교할 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 미리 설정된 임계 범위 또는 임계 값 미만인 경우 주목할만한 스트레스 또는 감정의 변화가 없는 것으로 판단하여 본 방법을 종료하고, 상기 차이가 임계 범위 또는 임계 값 이상인 경우 주목할만한 스트레스 또는 감정의 변화가 있는 것으로 판단하여 1240 동작을 수행할 수 있다. 상기 미리 설정된 값 또는 이전 생체 정보는 상기 전자 장치의 메모리(예: 메모리(130, 230))에 저장되어 있거나, 외부 장치(예: 서버(106) 또는 전자 장치(104))에 저장되어 있을 수 있다. 상기 미리 설정된 값은 한 명 이상 다른 사용자로부터 측정된 생체 정보, 사용자 집단의 대표값 또는 평균값(예: 연령별 평균값, 성별 평균값 등), 기관(예: 연구기관, 학계)에서 측정한 실험값 등일 수도 있다.
1240 동작에서, 상기 이벤트/상황 및 상기 생체 정보의 연관 정보가 저장될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 이벤트 및 상기 생체 정보의 연관 정보를 제4 데이터베이스에 저장할 수 있다. 상기 제4 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제4 데이터베이스는 표 4와 같은 형태를 가질 수 있다.
표 4
| 이벤트/상황 정보 | 생체 정보 | 스트레스/감정 정보 |
| D41 | A41 | E41 |
| D42 | A42 | E42 |
| D43 | A43 | E43 |
| D44 | A44 | E44 |
| … | … | … |
표 4에서, 이벤트/상황 정보(예: D41, D42, …)는 이벤트/상황의 종류/내용, 이벤트/상황 발생 시간/날짜/요일, 이벤트 발생 위치, 이벤트/상황과 연관된 콘텐츠 또는 파일의 식별 정보(예: 저장 위치, 식별자, 파일명 등) 등을 나타낼 수 있다. 생체 정보(예: A41, A42, …)는 생체 정보의 종류/내용(예: 평균심박수, 심박분포도 등), 특정 생체 정보 종류의 수치 범위(예: 평균심박수, 심박분포도 등의 수치 범위), 특정 생체 정보 종류의 차이 값(예: 생체 정보 값과 미리 설정된 값의 차이 등)의 수치 범위, 특정 생체 정보의 값 또는 레벨 등을 나타낼 수 있다. 스트레스/감정 정보(예: E41, E42, …)는 스트레스/감정 변화의 유무, 스트레스/감정의 종류/내용, 스트레스/감정의 레벨 또는 값(예: 빈도 수, 평균 값 등) 등을 나타낼 수 있다.
도 63은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1310~1340 동작들의 전체 또는 그 일부를 포함할 수 있다.
1310 동작에서, 상기 전자 장치 내의 이벤트/상황 발생이 검출될 수 있다. 예를 들어, 이벤트/상황은, 장치가 켜지는 경우, 슬립(sleep) 상태에서 깨어 연산을 시작하는 경우, 사용자가 센서 모듈을 통해 생체 신호를 감지하기 시작하는 경우, 사용자가 상기 전자 장치 또는 센서가 내장된 웨어러블 장치를 착용한 것을 감지하는 경우, 사용자에 의한 입력이 발생하는 경우, 사진을 촬영하는 경우, 특정한 어플리케이션이 구동되는 경우, 사용자 인증을 수행하여 정당한 사용자로 인식되는 경우, 사용자의 미리 설정된 기준 이상의 움직임이 감지되는 경우, 생체 신호/정보가 미리 설정된 범위를 벗어나는 경우, 생체 신호/정보가 미리 설정된 기준 이상의 변화를 일으키는 경우, 다른 외부 장치와 유선 혹은 무선으로 연결되는 경우, 특정한 장소, 특정 시간, 특정 요일, 특정 계절, 시간 주기의 도래, 시간의 경과, 특정 날씨의 감지 등을 포함할 수 있다. 예를 들어, 이벤트 또는 상황 정보는, 가속도 센서, 측위 센서, GPS 센서 등을 통해 사용자에 의한 상기 전자 장치의 이동이나 상기 전자 장치의 움직임을 인식하여 제공될 수도 있다. 예를 들어, 이벤트 또는 상황 정보는, 상기 전자 장치에서 결정 되거나, 사용자 장치와 유선 혹은 무선으로 연결된 외장 장치나 서버, 클라우드 컴퓨팅 환경으로부터 전달된 정보 혹은 이벤트, 사용자 입력에 의해서도 제공될 수 있다.
1320 동작에서, 상기 이벤트/상황의 발생에 따라 상기 이벤트/상황에 대응하는 생체/스트레스/감정 정보가 결정될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치 또는 외부 장치에 저장된 제5 데이터베이스에서 상기 검출된 이벤트/상황과 대응하는 이벤트/상황 정보를 검색할 수 있다. 상기 전자 장치는 상기 검색된 이벤트/상황 정보에 대응하여 상기 제5 데이터베이스에 저장된 생체/스트레스/감정 정보를 상기 검출된 이벤트에 대응하는 생체/스트레스/감정 정보로 결정할 수 있다. 이러한 생체/스트레스/감정 정보의 결정은 상기 제5 데이터베이스에 상기 검출된 이벤트/상황에 대응하는 생체/스트레스/감정 정보가 존재하는지의 유무를 결정하는 것, 이벤트/상황 및 생체/스트레스/감정 정보의 연관 정보를 저장한 데이터베이스에서 상기 검출된 이벤트/상황과 대응하는 이벤트/상황 정보가 검색되는지의 여부를 결정하는 것 등을 포함할 수 있다.
한 실시예에서, 상기 제5 데이터베이스는 표 5와 같은 형태를 가질 수 있다.
표 5
| 이벤트/상황 정보 | 생체/스트레스/감정 정보 | 서비스 정보 |
| D51 | F51 | G51 |
| D52 | F52 | G52 |
| D53 | F53 | G53 |
| D54 | F54 | G54 |
| … | … | … |
표 5에서, 이벤트/상황 정보(예: D51, D52, …)는 이벤트/상황의 종류/내용, 이벤트/상황 발생 시간/날짜/요일, 이벤트/상황 발생 위치, 이벤트/상황과 연관된 콘텐츠 또는 파일의 식별 정보(예: 저장 위치, 식별자, 파일명 등) 등을 나타낼 수 있다. 생체/스트레스/감정 정보(예: F51, F52, …)는 생체 정보의 종류/내용(예: 평균심박수, 심박분포도 등), 특정 생체 정보 종류의 수치 범위(예: 평균심박수, 심박분포도 등의 수치 범위), 특정 생체 정보 종류의 차이 값(예: 생체 정보 값과 미리 설정된 값의 차이 등)의 수치 범위, 특정 생체 정보의 값 또는 레벨, 스트레스/감정 변화의 유무, 스트레스/감정의 종류, 스트레스/감정의 레벨 또는 값(예: 빈도 수, 평균 값 등) 등을 나타낼 수 있다. 서비스 정보(예: G51, G52, …)는 명령, 액션, 기능, 실행 어플리케이션, 어플리케이션 실행 파라미터 등의 서비스 종류/내용을 나타낼 수 있다.
한 실시예에서, 상기 전자 장치는 상기 제5 데이터베이스에서 상기 검출된 이벤트/상황과 대응하는 이벤트/상황 정보를 검색하고, 상기 검색된 이벤트/상황 정보에 대응하여 상기 제5 데이터베이스에 저장된 생체/스트레스/감정 정보의 종류를 확인하고, 상기 확인된 종류의 생체/스트레스/감정 정보를 사용자로부터 획득할 수 있다.
1330 동작에서, 상기 이벤트/상황 및/또는 상기 생체/스트레스/감정 정보에 대응하는 서비스가 결정될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치 또는 외부 장치에 저장된 제5 데이터베이스에서 상기 이벤트/상황 및/또는 상기 생체/스트레스/감정 정보에 대응하여 저장된 서비스를 검색 및 결정할 수 있다.
1340 동작에서, 상기 결정된 서비스가 제공될 수 있다. 상기 결정된 서비스는 사용자 인터페이스의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 정보 저장, 정보 전송, 기능 또는 서비스의 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한 또는 차단, 상기 전자 장치의 환경설정 변경, 외부 장치의 제어 중의 적어도 하나를 포함할 수 있다. 상기 전자 장치는 상기 결정된 서비스의 제공과 함께 또는 별도로 상기 이벤트/상황 정보의 적어도 일부 및/또는 상기 결정된 생체/스트레스/감정 정보의 적어도 일부를 사용자에게 표시할 수 있다.
생체 정보 중의 하나인 스트레스 정보는 하나 이상의 생체 센서를 이용하여 감지된 HRV, 심전도, 심박수, 호흡빈도, 피부저항도 신호 등의 하나 이상 생체 신호를 분석하여 얻을 수 있다. 이러한 스트레스 정보는 상황 정보 혹은 개인 정보 중 한 가지 이상과 연관이 있을 수 있다. 상기 전자 장치는 상황 정보 혹은 개인 정보 중 한 가지 이상에 대응하는 스트레스 정보에 따라 미리 설정된 기능/서비스를 수행할 수 있다.
한 실시예에서, 상기 스트레스 정보의 검출을 위해, 상기 전자 장치는 미리 설정된 레벨 이상의 급격한 생체 신호/정보의 변화에 따라 입출력 장치(예: 입출력 인터페이스(140), 입력 장치(250))를 통하여 사용자에게 질의를 하고, 사용자의 응답에 따른 결과를 분석하여 스트레스 유무 또는 레벨을 판단할 수 있다.
한 실시예에서, 상기 전자 장치는 이벤트와의 연관성 측정을 위해서 이벤트 발생 상황 혹은 발생 이후 미리 설정된 시간 내에 스트레스 정보를 측정하고, 상기 이벤트 및 상기 스트레스 정보 간의 연관성을 평가하고, 상기 이벤트 및 상기 스트레스 정보의 각각 및/또는 이들의 연관성을 데이터베이스에 저장하거나, 그 발생 횟수를 데이터베이스에 누적하거나, 각각 대표값, 최신 값, 평균 값, 빈도 수 등으로 데이터베이스를 업데이트할 수 있다. 상기 전자 장치는 이벤트가 발생한 경우 및/또는 이벤트 및 스트레스 정보의 연관성이 미리 설정된 기준 이상인 경우에 자동적으로 미리 설정된 기능/서비스를 수행할 수 있다.
한 실시예에서, 상기 전자 장치는 특정 스트레스와 관련된 이벤트들이 복수 있는 경우에 해당 스트레스 정보와 관련한 이벤트들 중 하나 이상의 주요인을 추출하여 관리할 수도 있다. 상기 전자 장치는 스트레스를 야기하는 여러 요인들 중에서 가장 중요한 미리 설정된 개수의 주요인들을 추출할 수 있으며, 이를 위하여 각 이벤트별 대표 스트레스 값 또는 레벨을 이용하거나 주요인 분석, 독립성 검정, 상관 분석 등을 이용할 수 있다.
한 실시예에서, 상기 전자 장치는 콜이나 메시지 수신시 스트레스를 고려하여 UI를 변경하는 서비스를 제공할 수도 있다. 상기 전자 장치는, 해당 이벤트가 발생한 때, 혹은 발생할 것으로 추정되는 시각으로부터 미리 설정된 시간 이전에 미리 설정된 기능/서비스를 수행할 수 있다. 예를 들어, 특정한 다른 사용자의 콜이 수신되거나, 상기 사용자의 이메일, 메시지, SNS 등이 디스플레이에 표시되는 이벤트인 경우, 사용자의 스트레스 레벨이 높아지는 경우가 반복적으로 발생하거나 미리 설정된 레벨 이상의 스트레스 상황이 1회 이상 발생할 수 있다. 이를 통해 해당 사용자가 상기 다른 사용자와의 커뮤니케이션에 스트레스를 받을 가능성이 높음을 알 수 있다. 상기 다른 사용자의 정보는 개인 정보에 해당하고, 상기 커뮤니케이션은 이벤트 또는 상황 정보에 해당할 수 있다. 상기 전자 장치는 해당 다른 사용자의 커뮤니케이션 시도가 발생할 경우, 상기 커뮤니케이션을 실행(예: 상기 커뮤니케이션에 따른 사용자 인터페이스를 표시 등)하기 이전에 미리 설정된 다른 기능/서비스를 수행함으로써 사용자의 스트레스를 낮추도록 시도할 수 있다. 예를 들어, 상기 전자 장치는 수신 콜(incoming call)의 경우 링톤(ringtone)을 경쾌하거나 부드러운 음악, 혹은 선호하는 음악 등으로 변경할 수도 있고, 유머스러운 사운드나 GUI로 변경할 수도 있다. 상기 전자 장치는 스트레스 레벨에 따라서 일반적인 콜 수신 UI와 함께 "지금은 전화수신이 불가능하니 나중에 다시 걸어 주십시오"와 같은 멘트를 발송할 수 있도록 UI를 제공할 수도 있다. 사용자는 즉시 전화통화를 하거나 혹은 전화통화 대신 메시지 발송을 선택할 수도 있다.
스팸 전화나 스팸 문자의 경우에는 고정된 전화번호 혹은 동일한 앞자리 번호를 가지는 경우가 많은데, 수신한 통신의 발신자의 전화번호가 사용자의 스트레스 레벨을 높이거나, 스트레스 변화도가 미리 설정된 값 이상인 경우에, 상기 전자 장치는 사용자에게 해당 전화번호를 스팸처리(예: 수신 거부, 기록 삭제 등)할 것인지 선택할 수 있는 UI를 제공하거나 바로 메시지를 삭제할 수도 있다.
한 실시예에서, 상기 전자 장치는 시간 정보를 기반으로 스트레스 관리 서비스를 제공할 수도 있다. 상황 정보는 요일, 월, 달, 시각, 계절, 날씨, 온도 관련 정보를 포함할 수 있다. 예를 들어, 월요일의 경우 사용자의 스트레스 레벨이 다른 요일에 비해 대체적으로 높은 경우, 상기 전자 장치는 매주 월요일에는 스트레스를 줄일 수 있도록 월 페이퍼(wall paper), 위젯, 아이콘, 이미지, 테마 중 하나 이상을 변경하거나 표시할 수 있다. 상기 전자 장치는 월요일 오전의 경우 자명종 소리가 다른 요일보다 더 큰 스트레스를 주는 것으로 분석되는 경우, 스트레스를 해소하기 위하여 오디오의 속성을 변경하거나 콘텐츠를 선호하는 음악으로 변경할 수도 있다. 상기 오디오 속성은 성별, 음압(volume), 음색, 캐릭터 음성, 선호콘텐츠, 음악의 장르, 음악의 분위기 중 하나 이상을 포함할 수 있다.
한 실시예에서, 상기 전자 장치는 콘텐츠 추천 및 금지 서비스를 제공할 수도 있다. 상기 전자 장치는 스트레스 상황인 경우에 적절한 콘텐츠를 추천하거나 콘텐츠 추천 우선순위를 변경하여 사용자의 스트레스 해소에 도움을 줄 수도 있다. 한 실시예에서, 상기 전자 장치는 원격 장치나 클라우드 컴퓨팅 환경, 서버 등에 저장된 해당 사용자 혹은 다른 사용자의 스트레스 정보와 해당 상황에서 조회된 콘텐츠 정보를 수신할 수 있다. 상기 콘텐츠는 전자책, 이미지, 웹 페이지, SNS, 멀티미디어, 게임 콘텐츠 중 하나 이상을 포함할 수 있으며, 상기 전자 장치는 해당 스트레스 레벨의 사용자들이 가장 많이 조회한 콘텐츠들을 우선적으로 추천할 수도 있다. 상기 전자 장치는 사용자가 외부 장치(예: TV, 컴퓨터 등)에서 콘텐츠를 조회할 때 콘텐츠 추천 및 금지 서비스를 제공할 수도 있다. 예를 들어, 손목시계형 HRV 장치를 통해 스트레스를 감지하면, 스트레스 정보는 손목시계장치를 이용하여 TV에 유/무선을 통해 직접 전달되거나, 원격 서버를 거치거나, 혹은 스마트 폰을 거쳐서 TV 혹은 TV의 콘텐츠 관리 서버에 전달될 수 있다. 전달된 스트레스 정보는 TV 혹은 TV 콘텐츠 관리 서버에서 평가되고, 상기 스트레스 정보에 대응하는 하나 이상의 콘텐츠가 사용자에게 TV를 통해 우선 순위를 갖는 리스트 형태로 제공될 수 있다. 이러한 콘텐츠 추천 순위는 사용자의 감정에 따라 달라질 수도 있다. 예를 들어, 사용자의 스트레스 상태가 공포나 두려움 상태이라면, 추천 콘텐츠로서 공포물은 제외하고, 코메디물이 제공될 수 있다. 반대로 사용자가 흥분상태이라면 폭력물대신 아름다운 자연을 담은 다큐멘터리가 추천될 수도 있다. 상기 이벤트 또는 상황 정보는 위치와 관련이 있을 수도 있다. 예를 들어, 어떠한 장소를 포함하는 특정 지역 내에서 미리 설정된 레벨 이상의 스트레스 상황이 발생되면, 해당 지역에서 해당 사용자나 다른 사용자가 미리 설정된 빈도나 확률 이상으로 이용한 어플리케이션이나 콘텐츠 정보가 추천될 수도 있다. 상기 콘텐츠는 전자책, 이미지, 웹 페이지, SNS, 멀티미디어, 게임 콘텐츠 중 하나 이상을 포함할 수 있으며, 해당 스트레스 레벨의 사용자들이 가장 많이 조회하거나 가장 최근에 조회한 콘텐츠들이 우선적으로 추천될 수도 있다.
한 실시예에서, 상기 전자 장치는 스트레스를 해소하기 위한 어플리케이션(예: 호흡조절 어플리케이션, 운동 코칭 어플리케이션, 아로마 분사 어플리케이션 등)을 제공할 수도 있다. 호흡조절 어플리케이션은 호흡의 템포와 방법을 가이드함으로써 스트레스를 해소할 수 있는 사용자 인터페이스를 제공한다. 운동코칭 어플리케이션은 사무실에서 미리 설정된 시간 이상 일했을 때, 사용자의 육체적 혹은 정신적 스트레스를 확인하고 사용자로 하여금 스트레칭을 통해 몸의 긴장이나 정신적인 여유를 제공하기 위한 사용자 인터페이스를 제공할 수 있다. 아로마 분사 어플리케이션은 장치에 아로마향을 공압을 통해 풍기거나 분사할 수 있는 기능이 탑재되어 있는 경우, 사용자의 생체 정보에 기반하여 자동으로 기능을 수행할 수 있다.
한 실시예에서, 상기 전자 장치는 스트레스 정보에 따라서는 콘텐츠를 제한할 수도 있다. 예를 들어 스트레스 지수가 높은 경우, 특히 흥분한 경우에는 잘못된 의사결정을 내릴 가능성이 높으므로 신중한 판단이 필요하거나 주요도가 높은 의사결정 행위는 제한할 필요가 있다. 예컨대, 스트레스 레벨 80% 이상 혹은 불쾌지수 90% 이상 중 하나 이상일 경우, 상기 동작이 금지되는 기능의 예로는 온라인 결재, 온라인 결제, 쇼핑몰 접속이 있다. 또한 잘못된 커뮤니케이션을 방지하기 위하여, 미리 설정된 전화번호, 이메일, 주소록 그룹, 다른 사용자에 대한 통화, 메시지, SNS 전송 중 하나 이상의 기능을 금지할 수도 있다. 상기 금지된 동작은 미리 설정된 시간 경과, 미리 설정된 스트레스 레벨 이하 중 하나 이상인 경우에는 금지가 해제되는 동작이 추가될 수 있다. 상기 스트레스 정보는 미리 설정된 레벨 이상의 흥분상태, 우울상태, 졸리운 상태, 육체적 피로도가 높은 상태 중 하나 이상의 경우에 해당한다.
부교감신경 관련 HF(High Frequency)는 긴장시 피크가 감소, 긴장해소시 피크가 증가하는 호흡성 변동과 관련성이 있고, 정신적이나 심리적 피로도 혹은 노화 만성스트레스와 관련이 있다. 예를 들어, HF는 분노, 근심, 공포 상태에서 낮게 표시되며, 소화기 계통의 기능 저하와도 관련이 있다. 상기 전자 장치는 HRV신호에서 HF를 분석결과 소화기능 저하로 판단되는 경우에는 이에 따라 소화가 잘되는 음식을 추천하거나 소화가 잘 안되는 음식은 금지할 수도 있다. 예를 들어 음식추천 어플리케이션이 구동되고, 생체 신호/정보 분석을 통해 스트레스로 인한 소화불량이 우려되는 경우, 상기 전자 장치는 위치 정보(상황 정보)를 기반으로 인근의 음식점 중 소화가 잘되는 사용자의 선호음식(개인 정보)를 이용하여 하나 이상의 음식을 추천할 수 있다. 사용자의 선호음식은 개인 정보 중에서 사용자가 입력한 선호음식 정보, 칼로리 계산을 위해 입력했던 식사 이력 정보를 이용할 수 있다. 상기 전자 장치는 사용자가 자주 방문한 상점정보 등을 위치인식 기술을 이용하여 수집하거나, 인터넷상의 상점 정보를 수집할 수도 있고, 특정 지역에서 사용자가 음식 정보를 입력했을 경우 이러한 위치 정보와 음식정보의 연관관계 및 빈도와 같은 정보를 수집하여 저장하고 이용할 수도 있다.
한 실시예에서, 상기 전자 장치는 자동차 제어 서비스를 제공할 수도 있다. 예를 들어, 상기 전자 장치는 자가운전 금지와 같은 자동차 제어기능을 수행할 수 있다. 사용자가 미리 설정된 레벨 이상의 흥분상태, 우울상태, 졸리운 상태, 육체적 피로도가 높은 상태(즉, 스트레스 정보)인 경우, 사용자의 인지능력이 저하된다. 상기 전자 장치는 상기 스트레스 정보를 감지한 상황에서 자가 운전을 금지하거나, 대중교통 관련 어플리케이션을 구동하거나, 특정한 기능을 제한할 수도 있다.
상기 전자 장치는 자동차 제어 시스템이나 자동차의 카메라 장치와의 유선 혹은 무선 접속을 통해, 사용자가 자동차에 진입한 것을 자동차에 장착된 카메라를 통해 인식할 수 있다. 상기 전자 장치는 사용자의 생체 신호/정보를 센서 모듈 또는 유선/무선 연결된 웨어러블 장치를 통해 검출하고, 생체 신호/정보에 대응하는 제어 신호를 자동차의 제어 시스템에 전달할 수 있다. 상기 전자 장치는 생체 신호/정보를 자동차 제어 시스템에 전달하고, 자동차 제어 시스템에서 허가하거나 금지할 기능을 결정하여 제어할 수도 있다.
한 실시예에서, 상기 전자 장치는 자동차 핸들이나 자동차의 손잡이 등에 장착된 센서를 통해 접촉 발생을 감지하고, 상기 전자 장치, 웨어러블 장치, 또는 자동차 제어 시스템 중 하나 이상에서 생체 신호/정보를 분석함으로써 스트레스 지수가 미리 설정된 값 이상이면 금지 기능을 수행할 수도 있다. 예를 들어, 자동차 핸들에 장착된 ECG 혹은 GSR 센서를 통해 측정된 스트레스 지수가 소정 값 이상이면 급가속 시도시 차량 RPM의 증가 속도를 제어하여 급가속이 제한될 수도 있고, 계기판 시인성 증대를 위해 내부 계기판 조도 증대, 최고 속도 제한, 일정 속도 이상 상승 시 경고음 출력, 차량 운전모드 중 스포츠 모드 제한, 주행 시인성 확보 위해 전조등 온(on), 정서적 안정을 위한 특정한 장르나 사용자의 선호도에 따른 음악 선곡 등 하나 이상의 기능이 수행될 수 있다.
자동차 제어 기술은 인포테인먼트 시스템을 통해 수행될 수 있으며, 텔레매틱스 기술 및 업계 표준 기술이 이용될 수도 있다. 상기 전자 장치와 자동차 제어 시스템간 유선 혹은 무선 연결은 다양한 방법이 이용될 수 있다. 무선 연결의 경우에는 BT, Wifi, BLE, IrDA, IEEE 802 중 하나 이상을 이용하여 서로간에 직접 연결될 수 있다. 상기 전자 장치와 자동차 제어 시스템은 셀(cell)망이나 위성망을 통해 연결될 수도 있으며, 상기 전자 장치와 자동차 제어 시스템은 제어 서버 또는 자동차를 제어하기 위한 센터를 통해 연결될 수도 있다. 예를 들어, 상기 전자 장치는 생체 신호/정보에 따라 자동차의 제어 신호를 생성하고, 상기 제어 신호는 제어 서버에 전송되고, 상기 제어 서버는 자동차 제어 권한을 확인하고, 상기 제어 신호를 자동차 제어 시스템에 전달할 수 있다. 예를 들어, 자동차 제어 권한은 자동차 소유주의 전화번호, 아이디와 패스워드, 홍채 등 생체인증 정보, 상기 전자 장치의 ID, 생체 신호/정보에 의한 인증정보 등일 수 있으며, 자동차 제어 권한/정보는 제어 신호를 송신 혹은 수신하는 과정에서 부가될 수 있다. 상기 제어 서버는 제어 신호를 송신하거나 수신할 때, 자동차 제어 권한/정보를 요청할 수도 있다.
한 실시예에서, 상기 전자 장치는 콘텐츠를 변경하는 서비스를 제공할 수도 있다. 상기 전자 장치는 스트레스 지수가 미리 설정된 값 이상인 경우에는 콘텐츠의 내용을 변경할 수도 있다. 예를 들어, 생체 정보가 미리 설정된 스트레스 지수 이상이고, 이메일, 단문메시지, SNS, 채팅메시지, MMS 중 하나 이상의 메시지를 수신하는 상황 정보가 감지되는 경우, 상기 전자 장치는 해당 메시지를 사용자에게 표시하거나 TTS(Text-To-Speech)로 음성출력하기 이전에 해당 메시지의 내용을 분석하여 미리 설정된 위험도를 가진 하나 이상의 단어 혹은 문장, 이미지, 음악을 식별하는 동작을 수행할 수 있다. 상기 전자 장치는 해당 위험도가 높은 단어 혹은 문장 각각을 다른 텍스트나 음성, 이미지, 음악으로 변경하여 출력할 수도 있다.
예를 들어, 위험도가 높은 메시지 내용은 비속어, 욕설, 비난, 저주, 예의에 어긋나는 어투, 오탈자, 협박, 정렬안된 문서 포맷 중 하나 이상에 해당할 수 있으며, 상기 전자 장치는 상기 각각의 내용도에 대한 위험도를 평가하고, 평가 결과를 스트레스 지수와 함께 반영하여 처리할 수 있다. 예를 들어, 심한 욕설은 높은 위험도를 가질 수 있고, 약한 욕설은 낮은 위험도를 가질 수 있다. 상기 전자 장치는 낮은 스트레스 지수에서 낮은 위험도를 가진 메시지 내용은 변경하지 않고 사용자에게 표시할 수 있고, 높은 스트레스 지수에서 낮은 위험도의 메시지 내용을 변경하거나 감추어 출력할 수 있다. 상기 전자 장치는 스트레스 지수와 위험도 각각에 대해 등급 평가를 하고, 두 등급을 더하거나 곱하거나, 평균을 구하는 등의 연산을 통해 종합 평가하고, 종합 평가된 등급에 따라 메시지 내용을 그대로 보여 주거나 혹은 변경할 수 있다.
예를 들어, 상기 전자 장치는 스트레스 지수를 3개의 그룹(높음-3, 조금 높음-2, 보통-1)으로 평가하고 메시지 내용의 위험도 또한 3개 그룹으로 평가한 후, 스트레스 지수와 메시지 내용의 위험도의 평균이 2 이상이면, 메시지 내용을 변경하거나 해당 부분을 감출 수 있다. 상기 전자 장치는 메시지 내용중 판별된 단어, 문구, 문장을 삭제, 다른 기호로 대체, 혹은 순화하는 동작 중 한 가지 이상을 이용하여 변환할 수도 있다. 상기 전자 장치는 상기 메시지 내용을 TTS(Text-To-Speech)를 이용하여 음성신호로 변경하여 출력할 수도 있다. 상기 전자 장치는 메시지 내용이 표시되거나 음성 출력되는 도중 측정된 생체 신호로부터 생체 정보인 스트레스 지수가 미리 설정된 기준 이상으로 변화할 경우, 메시지 내용 변환을 수행할 수도 있다. 상기 전자 장치는 메시지 분석이 진행되는 동안 표시되는 정보를 변경하거나 다른 UI를 보여줄 수도 있다. 상기 전자 장치는 음성의 경우에 일시 정지(pause)를 수행한 후 변환이 종료되면 음성 출력을 재개(resume)하거나 처음부터 다시 변환된 메시지를 출력할 수도 있다.
상황 정보가 이메일, 단문메시지, SNS, 채팅메시지, MMS 중 하나 이상의 메시지를 작성하는 동작을 나타내는 경우, 상기 전자 장치는 작성 중 혹은 작성 후의 스트레스 정보에 따라 상기 메시지 내용 중 변경할 내용들을 판별할 수도 있다. 사용자가 너무 흥분하거나 침울하여 감정적인 경우 향후 문제를 만들 수 있는 메시지를 작성할 수 있다. 이러한 경우, 상기 전자 장치는 위험도 평가와 스트레스 지수에 따라 메시지 내용중 판별된 단어, 문구, 문장을 삭제, 다른 기호로 대체, 혹은 순화 중 한 가지 이상을 이용하여 표현하는 동작을 수행할 수 있다. 상기 전자 장치는 메시지를 음성입력을 이용하여 텍스트로 입력(STT)하는 경우에 입력된 텍스트 결과를 분석하여 변경할 수도 있다.
도 64는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1410~1430 동작들의 전체 또는 그 일부를 포함할 수 있다.
1410 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 사용자 인증을 위한 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자 인증을 위한 생체 정보를 도출할 수 있다. 예를 들어, 상기 사용자 인증을 위한 생체 정보는 HRV 패턴, ECG 패턴, 홍채 이미지, 음성, 손등의 정맥 이미지 등을 포함할 수 있다.
1420 동작에서, 상기 생체 신호/정보의 획득에 따라 사용자 연관 정보가 획득될 수 있다. 상기 전자 장치는 상기 생체 신호/정보를 측정 또는 획득하는 시점 및/또는 그 이전/이후의 상기 사용자의 움직임, 위치, 현재 시간, 상기 사용자의 운동 강도, 상기 사용자의 활동 종류 등의 사용자 연관 정보를 획득할 수 있다. 상기 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등), 카메라 모듈(예: 카메라 모듈(291) 등), 메모리(예: 메모리(130, 230) 등) 등의 적어도 하나를 통해 상기 생체 신호/정보를 측정 또는 획득하는 시점 및/또는 그 이전/이후의 상기 사용자 연관 정보를 획득할 수 있다.
1430 동작에서, 상기 사용자 연관 정보 및 상기 생체 정보의 연관 정보가 저장될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 사용자 연관 정보 및 상기 생체 정보의 연관 정보를 사용자 식별/인증 정보로서 제6 데이터베이스에 저장할 수 있다. 상기 제6 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제6 데이터베이스는 표 6과 같은 형태를 가질 수 있다.
표 6
| 사용자 정보 | 생체 정보 | 사용자 연관 정보 |
| H61 | A61 | B61 |
| H61 | A61 | B62 |
| H61 | A62 | B61 |
| H61 | A62 | B62 |
| H62 | A63 | B63 |
| … | … | … |
표 6에서, 사용자 정보(예: H61, H62, …)는 사용자를 식별하기 위한 정보(예: ID, 이름 등)를 나타낼 수 있다. 생체 정보(예: A61, A62, …)는 생체 정보의 종류/내용(예: 평균심박수, 심박분포도, HRV 패턴, ECG 패턴, 홍채 이미지, 음성, 손등의 정맥 이미지 등), 특정 생체 정보의 수치 범위(예: 평균심박수, 심박분포도 등의 수치 범위), 특정 생체 정보의 특징점들(예: 피크, 에지, 패턴 등) 및 그 특징값들, 특정 생체 정보의 저장 위치, 특정 생체 정보의 값, 식별자, 파일명 등을 나타낼 수 있다. 사용자 연관 정보(예: B61, B62, …)는 사용자 연관 정보의 종류/내용(예: 움직임, 위치, 시간/날짜/요일, 사용자의 운동 강도, 사용자의 활동 종류, 사용자의 질병/장애/건강 정보, 현재 감정/스트레스 정보, 이벤트 등), 특정 사용자 연관 정보 종류의 값, 레벨 또는 수치 범위(예: 움직임 레벨, 운동 강도, 시간대/요일/날씨, 지리적 영역, 장애 정도, 질병/부상 정도 등) 등을 나타낼 수 있다.
도 65는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1510~1550 동작들의 전체 또는 그 일부를 포함할 수 있다.
1510 동작에서, 사용자 인증을 필요로 하는 상기 전자 장치 내의 이벤트/상황 발생이 검출될 수 있다. 예를 들어, 사용자 인증을 필요로 하는 이벤트/상황은, 장치가 켜지거나, 슬립(sleep) 상태에서 깨어 연산을 시작하는 경우, 개인 정보를 외부 장치로 전송/수신하는 경우, 사용자가 센서 모듈을 통해 생체 신호를 감지하기 시작하는 경우, 사용자가 상기 전자 장치 또는 센서가 내장된 웨어러블 장치를 착용한 것을 감지하는 경우, 사용자에 의한 입력이 발생하는 경우, 특정한 어플리케이션이 구동되는 경우 등일 수 있다.
1520 동작에서, 상기 이벤트/상황의 발생에 따라 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 사용자 인증을 위한 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자 인증을 위한 생체 정보를 도출할 수 있다.
1530 동작에서, 획득된 생체 정보와 미리 저장된(또는 등록된) 생체 정보의 유사도가 결정되고, 상기 유사도와 미리 설정된 임계값이 비교될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치 또는 외부 장치에 저장된 제6 데이터베이스에서 생체 신호/정보의 측정 또는 획득 시점 및/또는 그 이전/이후의 상황(예: 움직임, 위치, 시간/날짜/요일, 사용자의 운동 강도, 사용자의 활동 종류, 이벤트 등)에 대응하는 사용자 연관 정보(또는 상황 정보)를 검색할 수 있다. 상기 전자 장치는 상기 검색된 사용자 연관 정보에 대응하는 생체 정보를 상기 비교될 미리 저장된(또는 등록된) 생체 정보로 결정할 수 있다. 예를 들어, 상기 전자 장치는 획득된 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값(예: 심박수 등)과 미리 등록된 사용자의 미리 저장된(또는 등록된) 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값을 비교하고, 그 유사도(예: 일치하거나 임계 값 이내의 차이를 갖는 특징점들의 수, 상기 수 또는 값의 비율(예: 전체 특징점들의 수에 대한 유사 특징점들의 수의 비 등) 등)를 결정할 수 있다.
한 실시예에서, 상기 전자 장치는 획득된 생체 정보로부터 개인 정보(예: 질병/장애/건강 정보 등)를 도출하고, 상기 제6 데이터베이스에서 상기 도출된 개인 정보에 대응하는 사용자 연관 정보를 검색할 수 있다. 상기 전자 장치는 상기 검색된 사용자 연관 정보를 상기 비교될 미리 저장된(또는 등록된) 생체 정보로 결정할 수 있다.
상기 전자 장치는 상기 유사도가 미리 설정된 임계 값 이상인 경우에 1540 동작에서 사용자 식별/인증이 성공한 것으로 결정하고, 상기 유사도가 미리 설정된 임계 값 미만인 경우에 1550 동작에서 사용자 식별/인증이 실패한 것으로 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 유사도가 미리 설정된 임계 값 이상인 경우에 상기 획득된 생체 정보의 사용자가 상기 미리 등록된 사용자와 동일한 것으로 결정할 수 있다.
도 66은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1610~1670 동작들의 전체 또는 그 일부를 포함할 수 있다.
1610 동작에서, 사용자 인증을 필요로 하는 상기 전자 장치 내의 이벤트/상황 발생이 검출될 수 있다.
1620 동작에서, 상기 이벤트/상황의 발생에 따라 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 사용자 인증을 위한 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자 인증을 위한 생체 정보를 도출할 수 있다.
1630 동작에서, 획득된 생체 정보와 미리 저장된(또는 등록된) 생체 정보의 유사도가 결정되고, 상기 유사도와 미리 설정된 임계값이 비교될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치 또는 외부 장치에 저장된 제6 데이터베이스에서 생체 신호/정보의 측정 또는 획득 시점 및/또는 그 이전/이후의 상황(예: 움직임, 위치, 시간/날짜/요일, 사용자의 운동 강도, 사용자의 활동 종류, 이벤트 등)에 대응하는 사용자 연관 정보(또는 상황 정보)를 검색할 수 있다. 상기 전자 장치는 상기 검색된 사용자 연관 정보에 대응하는 생체 정보를 상기 비교될 미리 저장된(또는 등록된) 생체 정보로 결정할 수 있다. 한 실시예에서, 상기 전자 장치는 획득된 생체 정보로부터 개인 정보(예: 질병/장애/건강 정보 등)를 도출하고, 상기 제6 데이터베이스에서 상기 도출된 개인 정보에 대응하는 사용자 연관 정보를 검색할 수 있다. 상기 전자 장치는 상기 검색된 사용자 연관 정보를 상기 비교될 미리 저장된(또는 등록된) 생체 정보로 결정할 수 있다.
상기 전자 장치는 1640 동작에서 상기 유사도가 미리 설정된 임계 값 이상인 경우에 사용자 인증이 성공한 것으로 결정하고, 상기 유사도가 미리 설정된 임계 값 미만인 경우에 1650 동작을 수행할 수 있다.
1650 동작에서, 추가 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 사용자 인증을 위한 추가 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자 인증을 위한 추가 생체 정보를 도출할 수 있다. 1620 동작에서 획득된 생체 신호/정보의 종류는 1650 동작에서 획득된 추가 생체 신호/정보의 종류는 서로 상이하다. 예를 들어, 상기 전자 장치는 1620 동작에서 센서 모듈을 통해 생체 신호(예: 혈압, HRV, HRM, 산소포화도, 맥파, ECG 신호 등)를 획득하고, 1650 동작에서 카메라 모듈을 통해 이미지(예: 홍채 이미지, 음성, 손등의 정맥 이미지 등)를 획득할 수 있다.
1660 동작에서, 획득된 추가 생체 정보와 미리 저장된(또는 등록된) 생체 정보의 유사도가 결정되고, 상기 유사도와 미리 설정된 임계값이 비교될 수 있다. 예를 들어, 상기 전자 장치는 획득된 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값(예: 심박수 등)과 미리 등록된 사용자의 미리 저장된(또는 등록된) 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값을 비교하고, 그 유사도(예: 일치하거나 임계 값 이내의 차이를 갖는 특징점들의 수, 상기 수 또는 값의 비율(예: 전체 특징점들의 수에 대한 유사 특징점들의 수의 비 등) 등)를 결정할 수 있다. 상기 전자 장치는 상기 유사도가 미리 설정된 임계 값 이상인 경우에 1640 동작에서 사용자 인증이 성공한 것으로 결정하고, 상기 유사도가 미리 설정된 임계 값 미만인 경우에 1670 동작에서 사용자 인증이 실패한 것으로 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 유사도가 미리 설정된 임계 값 이상인 경우에 상기 획득된 생체 정보의 사용자가 상기 미리 등록된 사용자와 동일한 것으로 결정할 수 있다.
추가적으로, 또는 대체적으로, 상기 전자 장치는 1630 동작에서 상기 유사도가 미리 설정된 임계 값 이상인 경우에 1650 및 1660 동작들을 수행할 수도 있다.
상기 전자 장치는 저장 또는 수신된 개인 정보를 이용할 수 있으므로, 개인 정보를 보호하기 위해 사용자에 대한 인증을 수행할 수 있다. 예를 들어, 사용자의 UI를 통해서, 또는 특정한 기능에 의해서 사용자 식별을 요청받는 동작이 발생하면 사용자로부터 하나 이상의 생체 신호를 수신하고, 사용자의 생체 신호를 분석하여 하나 이상의 생체 정보를 추출할 수 있다. 상기 전자 장치는 추출된 생체 정보와 데이터베이스에 기저장된 생체 정보의 유사도를 계산하고, 유사도가 미리 설정된 기준 이상인 한 명 이상의 사용자 후보를 추출할 수 있다.
상기 사용자 식별을 위한 특정한 기능이란 사용자가 상기 전자 장치를 작동시키거나, 상기 전자 장치를 착용하거나, 특정 정보를 다른 외부 장치로 전송하거나 수신하는 기능 중 하나 이상을 포함할 수 있다. 상기 전자 장치는 상기 인증 과정을 통해 특징 정보들의 정합률을 계산하고, 정합률이 미리 설정된 기준 이하이면 상기 전자 장치의 정당한 사용자가 아닌 것으로 판단할 수 있다. 상기 데이터베이스는 상기 전자 장치, 외장 장치, 원격 장치, 서버, 클라우드 컴퓨팅 환경 중 하나 이상에 배치될 수 있고, 상기 전자 장치는 상기 데이터베이스가 배치된 외부 장치와 유선이나 무선으로 연결될 수도 있다.
사용자의 생체정보는 동일한 사용자라고 할지라도 상황에 따라 다를 수 있다. 예를 들어, HRV의 경우 사용자가 안정을 취한 상태와 운동을 하는 경우는 서로 패턴의 주기, 심박수 등이 다르다. 이러한 움직임에 따라서 센서가 흔들리거나 신체에 밀착되지 않아서 노이즈가 발생할 수도 있으므로, 상기 전자 장치는 이러한 움직임 정보를 생체 신호의 보정에 사용할 수도 있다. 상기 전자 장치는 상기 생체 정보를 기반으로 사용자를 식별하는데 있어서 사용자의 상황 정보를 더 포함하여 계산할 수 있다.
사용자의 생체 신호는 사용자의 건강상태와 나이에 따라 특징이 있다. 한 예로 심전도 센서를 통해 수집한 ECG 신호의 경우나 심박센서를 통해 수집한 맥파 신호의 경우 사용자마다 심장 활동의 특징을 나타낸다. 상기 전자 장치는 이러한 파형 신호의 특징 패턴을 분석하고 이전에 사용했던 사용자의 특징 패턴과 비교하여 사용자를 확인하거나 인증할 수도 있다.
예를 들어 ECG에서 P파의 길이 및 모양은 사용자의 심방(atrium) 크기를 반영하며, Q파, R파, S파의 조합인 QRS 콤플렉스(complex) 구간의 시간 길이는 사용자의 심장전도율을 반영한다. 파형의 크기(amplitude), 파형의 유지 시간(duration), 파형의 형태는 개인마다 다르며, 이들은 심장질환 등과 같은 건강 상태를 반영하므로 개인 식별에 이용할 수 있다. 이러한 파형은, 사용자의 활동 상태 등에 따라 노이즈가 포함되거나 스트레스 상태 등에 따라 변형될 수 있다. 건강한 사람의 경우 일반적으로 이러한 파형들의 특징이 정상 범주에 속하는 경우가 많으므로, 상기 전자 장치는 각 개인마다 특징이 되는 생체 정보를 별도로 수집하여 저장하고 관리함으로써 인식률을 향상할 수 있다.
상기 전자 장치는 사용자 식별을 위하여 사전에 여러 상황에서 사용자별로 생체 신호/정보를 수집할 수 있다. 예를 들어, 상기 전자 장치는 패턴 락(pattern lock), 비밀번호, 홍채인식, 지문인식, 음성인식, 손등의 정맥인식, 얼굴인식 중 하나 이상의 기법을 통해 사용자를 인증하고, 사용자의 생체 신호를 수집할 수 있다. 상기 전자 장치는, 가속도 센서나 자이로 센서와 같은 움직임 센서를 통해 해당 상황의 움직임 정보를 함께 기록함으로써 향후 사용자 식별시, 움직임 센서를 함께 운용하여 생체 정보와 움직임 센서에 의한 움직임 정보를 함께 수집하고, 기저장된 생체 신호/정보 및 움직임 정보와 함께 비교함으로써 사용자 인식률을 향상시킬 수 있다.
상기 전자 장치는 PPG 센서를 이용한 HRV 센서를 통해 가속도 맥파를 구하여, 비교적 변하기 어려운 혈관탄성도와 같은 생체 정보를 하나 이상 이용하여 동일한 사용자인지의 여부를 판단할 수도 있다.
한 실시예에서, 상기 전자 장치는 시간 혹은 장소 중 하나 이상을 기반으로 사용자 인증을 수행할 수도 있다. 상황 정보는 상기 전자 장치의 위치, 시간 중 하나 이상을 포함하며, 상기 전자 장치는 해당 위치나 시간에 대응하는 해당 생체 정보 이력이 있는 한 명 이상 사용자를 후보로 선별할 수 있다. 사용자는 특정 위치 및 시간에 반복적인 동작을 하는 경우가 많은데, 이런 경우에 생체 신호/정보도 유사한 경우가 많다. 예를 들어 사무실에서 업무를 하는 사무직 사용자인 경우에는 회사에 출근하여 일하는 업무시간이 거의 동일하며, 출근하여 책상에서 작업하므로 유사한 시간과 유사 장소 영역에서는 유사한 생체 신호/정보의 패턴이 기대될 수 있다.
상기 전자 장치는 하나가 아닌 복수의 생체 정보를 이용함으로써 보다 인증의 정확도를 향상시킬 수 있다. 즉, 심박센서를 통해 측정한 평균 심박수, 혈압, HRV나 심전도 센서를 통해 측정한 파형의 패턴과 같이 여러 개의 생체 신호들/정보들의 특성이 모두 특정 사용자와 일치하는 경우는 하나의 센서를 사용한 경우보다 정확도가 높아진다. 장소와 관련한 정보는 상기 전자 장치 또는 다른 외부 장치로부터 수집된 GPS 정보나 인도어(indoor) 측위 정보 중 하나 이상을 포함할 수 있다. 상기 전자 장치는 특정한 무선 AP(access point)의 신호를 인식하여 위치를 판별할 수도 있다. 상기 전자 장치는 사무실과 집에서 각각 AP신호를 수신하면 해당 장소에 대한 상황 정보를 기반으로 사용자의 위치를 판별하고 사용자의 생체 신호/정보를 기존에 저장된 정보와 비교할 수 있다.
한 실시예에서, 상기 전자 장치는 사용자의 운동 강도 또는 사용자의 활동 정보를 기반으로 사용자 인증을 수행할 수도 있다. 상기 전자 장치는, 사용자를 인식하거나 인증하기 위하여 사용자의 운동 강도 또는 사용자의 활동 종류 중 한 가지 이상을 포함하는 사용자 활동 정보를 감지할 수 있다. 사용자의 생체 신호는 안정시와 운동시에 다른 형태를 보일 수 있다. 예를 들어, 운동시에는 안정시에 비해 심박수나 산소포화도에 변화가 발생하며, HRV, ECG 신호 패턴에서 강도(amplitude)나 피크의 빈도, 맥파의 유지시간(duration), 웨이브(wave) 형태, 스트레스 정보 등과 같은 생체 정보가 변화할 수 있다. 또한 운동시에는 안정시에 비해 생체 센서가 피부에 밀착하지 못하는 경우도 있기 때문에 노이즈 신호가 생체 신호에 포함될 수도 있다. 상기 전자 장치는, 어떠한 사용자의 활동 종류나 운동 강도별로 이에 대응하는 생체 정보를 미리 저장해두고, 활동 종류나 운동 강도가 감지되었을 때 대응하는 생체 정보를 감지하고, 감지된 정보들을 기저장된 정보들과 비교함으로써 해당 사용자의 특성과 부합하는지 판단할 수 있다. 만약 여러 사용자들이 있다면, 상기 전자 장치는 각 사용자별로 운동 강도 혹은 사용자의 활동 종류 중 하나 이상의 활동정보별로 생체 정보를 저장해둠으로써 감지된 상황정보와 감지된 생체 정보를 이용하여 기저장된 정보들과 비교하여 하나 이상의 사용자를 후보자로 추출할 수도 있다.
예를 들어, 사용자의 움직임이 적은 안정 상태인 경우에는 운동 강도가 1MET에 해당하며, 상기 전자 장치는 해당 상황의 생체 정보를 수집하고, 향후 같은 운동 강도의 상황에서 사용자의 생체 정보를 수집한 후 기저장된 생체 정보와 비교함으로써 동일한 사용자인지 판별할 수 있다. 예를 들어, 안정 상태에서 캐주얼을 입은 경우와 턱시도를 입은 경우에는 ECG 신호의 강도나 피크 빈도 등이 바뀐다. 상기 전자 장치는 생체 신호/정보에 영향을 주는 공통적인 특성들을 찾아내거나 해당 사용자만의 특성을 검출할 수 있다. 예를 들어 상기의 경우, ECG 패턴에서 두 경우의 파형의 크기나 주기는 다르지만, 두 경우 각각에 대해 파형들을 평균화한 평균화 파형들(averaged wave forms)을 구하거나 파워스펙트럼 밀도를 구하여 서로 비교할 수 있다. 상기 전자 장치는 동일한 운동 강도나 활동 종류에 대해서도 복수개의 생체 정보를 저장할 수도 있다. 이는 동일한 운동 강도라고 하더라도 착용한 옷의 상태나 달리기 중 도로의 경사도 등과 같이 다양한 변이 상황이 있을 수도 있고, 상기 전자 장치는 복수개의 생체 센서를 사용할 수도 있기 때문이다.
사용자의 운동 강도는 사용자의 활동 종류와 관련이 있다. 예를 들어 METs 7.0에 해당하는 운동 강도를 가진 사용자의 활동 종류, 예를 들어 조깅을 수행하고, 손목에 장착한 손목시계에 내장된 PPG센서를 통해 맥파를 입력받을 수 있는데, 이 경우 손목을 흔들면서 운동을 하게 되므로 안정시에 비해 진동과 같은 기계적 물리적 특성에 의해 신호 잡음이 많이 포함될 수 있다. PPG 신호와 함께 검출되는 이 신호잡음은 PPG 신호의 PPI(peak-to-peak interval) 검출을 위해서 제거될 수 있다. PPG 센서에 의해 측정되는 생체 신호는 보통 0.04Hz~0.4Hz 주파수 대역에서 활성화되므로, Butterworth, Chebyshev, Elliptic 방법 등과 같이 고주파 잡음은 저역통과필터를 이용하여 제거될 수 있다. 움직임에 대한 잡음은 가속도 센서나 자이로 센서를 이용하여 제거하는 방법이 아래 논문에 소개되어 있으며, 여러 개의 동일 유형 센서를 이용하여 가장 좋은 신호를 선택하는 선택 결합(Selective combining) 방법 등을 통해 보정될 수도 있다.
J. Lee, Y. J. Woo, Y. J. Jeon, Y. J. Lee, and J. Y. Kim “Moving artefacts detection system for a pulse diagnosis system,” J. Inst. Electron. Eng. Korea (IEEK), vol. 45, no. 5, pp. 21-27, Sep. 2008.
H. K. Lee, J. H. Lee, J. W. Park, J. Lee, andK. J. Lee, “Detection of heartbeat in PPG signals mixed with various hand motion,” in Proc. Conf. Inform. Control Syst. (CICS), pp. 233-234, Ansung, Korea, Apr. 2012.
Minho Kim, Taewook Kim, Sunghwan Jang, Dahee Ban, Byungseok Min, Sungoh Kwon, Noise-Robust Algorithm for PPG Signal Measurement, J-KICS) '13-12 Vol.38C No.12, 1085-1094, 2013, http://dx.doi.org/10.7840/kics.2013.38C.12.1085.
상기 전자 장치는 사용자가 어떠한 운동 강도의 활동을 하는지를 여러 가지 방법을 통해 판단할 수 있다. 예를 들어, 상기 전자 장치는 특정한 활동이 가속도 센서를 통해 감지되면, 해당 활동 후 해당 활동의 종류를 사용자 인터페이스를 통해 질의하고 가속도 센서를 통한 움직임의 특징 정보를 함께 기록할 수 있다. 상기 전자 장치는 이후에 유사한 가속도 센서에 의한 움직임 특징이 감지되면, 이에 대응하는 사용자의 생체 정보와 실제로 수신되는 사용자의 생체 정보를 비교하여 이전의 사용자인지 여부를 판별할 수 있다.
한 실시예에서, 상기 전자 장치는 GPS로 사용자의 이동 속도를 측정하고, 가속도 센서의 패턴 정보를 분석함으로써 운동의 종류와 운동 강도를 측정할 수 있다. 예를 들어, 동일한 속도로 동일한 거리를 이동하더라도, 상기 전자 장치는 자전거를 이용하는 경우와 달리기나 걷기를 하는 경우, 그리고 자동차를 이용하는 경우 모두 다른 모션 패턴을 기록하게 된다. 상기 전자 장치는 사용자 활동별 METs와 같은 자료를 참조하여 해당 운동 강도와 대략적인 사용자의 활동 종류 또는 운동 종류를 판별할 수 있다. 예를 들어 GPS 센서를 통해 시속 8km로 이동하는 것이 감지되는 경우, 자동차에 의한 이동, 자전거에 의한 이동, 그리고 달리기에 의한 이동은 가속도 센서에 의해 수신된 신호의 패턴이 상이하다. 예를 들어 손목시계 장치에 가속도 센서가 장착된 경우, 달리기를 할 때 가속도 센서 신호의 변화량은 손목의 움직임이나 몸의 상하운동에 민감한 신호 패턴을 보인다. 이에 반해 자전거의 경우에는 몸의 상하 움직임보다는 자전거 핸들의 움직임에 관련된 패턴을 보일 수 있고, 자동차의 경우에는 자전거와 상이한 자동차 핸들의 움직임이나 보다 다양한 차내 움직임과 관련있는 패턴을 보인다. 운동 강도 측면에서 같은 속도의 이동일지라도 운동 강도는 달리기가 가장 높고, 자전거가 자동차에 의한 이동보다 운동 강도가 높다.
한 실시예에 따르면, 이러한 가속도 센서에 의한 패턴 정보는 착용위치에 따라 상이할 수 있다. 예를 들어 허리에 장착한 경우에는 손목의 움직임과는 다른 패턴을 보인다. 달리기를 하는 경우 전진 방향(roll)의 가속도 변화량은 발을 내딛고 몸을 당기는 동작에서 가장 크고, 다른 다리를 내딛기 전의 가속도 변화량이 가장 작다. 수직방향(yaw) 가속도 센서 신호는 달리기 동작시 두 다리가 모아졌을 때 가장 고점이고, 다리를 내뻗어서 몸의 높이가 낮아졌을 때 저점이 된다. 길이나 트랙의 코너를 돌거나 하는 경우에는 측면방향 (pitch, side direction)에서 변화가 발생할 수 있다. 이때, 수직방향의 가속도 신호의 변화량은 매우 많거나 크게 감지되지만, 다른 방향의 신호들은 크기가 작거나 변화량이 적다. 자전거를 타는 경우에는 전진 방향의 달리기와 달리 가속도 변화량이 많지 않고, 대신 타는 자세에 따라 수직과 측면 방향의 패턴에서 고유의 움직임이 판별될 수 있다. 자동차를 타는 경우에는 모든 방향에서 달리기나 자전거와 상이한 패턴을 보인다.
상기 전자 장치는 하나 이상 센서들의 장착 위치와 종류, 그리고 움직임 패턴 정보를 기저장된 패턴종류와 비교함으로써 사용자의 활동 종류를 판별할 수 있다. 사용자의 활동 종류는 큰 범주와 작은 범주로 나눌 수 있다. 예를 들어 걷기는 큰 범주에 해당하고, 걷는 속도와 위치, 방법, 도구, 목적 등에 따라 작은 범주로 나눌 수 있다. 표 7은 2011 Compendium of Physical Activities: a second update of codes and MET values의 일부로서 사용자 활동 중 큰 범주(Major Heading)가 걷기인 경우에 작은 범주의 사용자 활동(specific activity 또는 CODE)과 운동 강도(METs)의 예를 보여준다.
표 7
| CODE | METS | MAJOR HEADING | SPECIFIC ACTIVITIES |
| 17082 | 5.3 | walking | hiking or walking at a normal pace through fields and hillsides |
| 17085 | 2.5 | walking | bird watching, slow walk |
| 17088 | 4.5 | walking | marching, moderate speed, military, no pack |
| 17090 | 8 | walking | marching rapidly, military, no pack |
| 17100 | 4 | walking | pushing or pulling stroller with child or walking with children, 2.5 to 3.1 mph |
| 17105 | 3.8 | walking | pushing a wheelchair, non-occupational |
| 17110 | 6.5 | walking | race walking |
| 17130 | 8 | walking | stair climbing, using or climbing up ladder (Taylor Code 030) |
| 17133 | 4 | walking | stair climbing, slow pace |
| 17134 | 8.8 | walking | stair climbing, fast pace |
| 17140 | 5 | walking | using crutches |
| 17150 | 2 | walking | walking, household |
| 17151 | 2 | walking | walking, less than 2.0 mph, level, strolling, very slow |
| 17152 | 2.8 | walking | walking, 2.0 mph, level, slow pace, firm surface |
| 17160 | 3.5 | walking | walking for pleasure (Taylor Code 010) |
| 17161 | 2.5 | walking | walking from house to car or bus, from car or bus to go places, from car or bus to and from the worksite |
| 17162 | 2.5 | walking | walking to neighbor's house or family's house for social reasons |
| 17165 | 3 | walking | walking the dog |
| 17170 | 3 | walking | walking, 2.5 mph, level, firm surface |
| 17180 | 3.3 | walking | walking, 2.5 mph, downhill |
| 17190 | 3.5 | walking | walking, 2.8 to 3.2 mph, level, moderate pace, firm surface |
| 17200 | 4.3 | walking | walking, 3.5 mph, level, brisk, firm surface, walking for exercise |
| 17210 | 5.3 | walking | walking, 2.9 to 3.5 mph, uphill, 1 to 5% grade |
| 17211 | 8 | walking | walking, 2.9 to 3.5 mph, uphill, 6% to 15% grade |
| 17220 | 5 | walking | walking, 4.0 mph, level, firm surface, very brisk pace |
| 17230 | 7 | walking | walking, 4.5 mph, level, firm surface, very, very brisk |
| 17231 | 8.3 | walking | walking, 5.0 mph, level, firm surface |
| 17235 | 9.8 | walking | walking, 5.0 mph, uphill, 3% grade |
| 17250 | 3.5 | walking | walking, for pleasure, work break |
| 17260 | 4.8 | walking | walking, grass track |
| 17262 | 4.5 | walking | walking, normal pace, plowed field or sand |
| 17270 | 4 | walking | walking, to work or class (Taylor Code 015) |
| 17280 | 2.5 | walking | walking, to and from an outhouse |
| 17302 | 4.8 | walking | walking, for exercise, 3.5 to 4 mph, with ski poles, Nordic walking, level, moderate pace |
| 17305 | 9.5 | walking | walking, for exercise, 5.0 mph, with ski poles, Nordic walking, level, fast pace |
| 17310 | 6.8 | walking | walking, for exercise, with ski poles, Nordic walking, uphill |
| 17320 | 6 | walking | walking, backwards, 3.5 mph, level |
| 17325 | 8 | walking | walking, backwards, 3.5 mph, uphill, 5% grade |
상기 전자 장치는 이동 거리나 속도, 장소(지형), 시간, 일정(schedule), 이동 방향 등과 같은 상황 정보를 수집하고 함께 수집된 생체 정보를 함께 고려함으로써 보다 정확한 행동 판별, 예를 들어 상기 작은 범주의 사용자 활동 판별을 할 수 있다. 예를 들어 지형이 낮은 언덕이고, 3mph의 이동속도이고, 움직임 센서로 판단결과 걷기 운동으로 분류된다면, 상기 전자 장치는 이러한 작은 범주의 사용자 활동이 코드 17210에 해당하며, 5.3 METs인 활동으로 판단할 수 있다. 예를 들어 사용자가 평균적인 속도로 이동하고 지형이 모래밭이라면, 상기 전자 장치는 코드 17262이고 4.5 METs인 활동으로 판단할 수 있다. 상기 전자 장치는 이러한 사용자 활동이나 운동 강도와 함께 생체 정보를 기록함으로써 보다 정확한 사용자 인증을 위해 사용할 수 있다. 코드 17320의 경우에는 뒤로 걷기의 경우를 보여주는데, 상기 전자 장치는 이동 방향이 몸의 방향과 다르다는 것을 가속도 센서 혹은 자이로 콤파스를 이용하여 판단할 수 있다. 즉, 뒤로 걷는 경우와 앞으로 걷는 경우는 가속도 센서에 의해 검출된 패턴이 다르므로 쉽게 구분될 수 있다. 예를 들어, 자이로 콤파스가 장착된 헤드폰이나 HMD의 경우는 시선의 방향을 감지할 수 있고, 밴드나 시계 장치는 장착 부위를 인식하면 몸의 방향을 판단할 수 있는데, GPS나 가속도 센서에 의해 이동 방향이 일치하지 않는다는 사실을 감지할 수 있다.
상기 전자 장치는 상황 정보와 생체 정보는 최신의 정보들로 지속적으로 업데이트함으로써 사용자의 최근 몸 상태를 반영할 수 있으므로, 행동 판별의 정확도 향상을 제공할 수 있다. 예를 들어, 운동을 거의하지 않던 사람이 운동을 지속적으로 하여 근력이나 체형이 바뀐 경우에도 이러한 변화를 업데이트를 통해 반영될 수 있다. 예를 들어, 달리기를 지속하는 경우 사용자가 지치면 보폭이 작아지므로 이러한 변화도 반영될 수 있다.
상기 전자 장치는 가속도 센서에 의한 패턴 정보를 분석함으로써 걷기나 달리기와 같은 경우에 에너지 소모량 측정을 할 수 있다. 예를 들어, 사용자가 달리기를 하는 경우 이동거리는 보폭과 걸음 수의 곱으로 계산되며, 보폭은 키와 관련이 있으므로 키에 따른 평균 보폭을 이용하거나 사용자의 입력으로 설정된 보폭을 이용하여 계산될 수 있다. 이동 거리가 계산되면, 이는 시간으로 나누어서 평균 이동속도를 알 수 있으며, 이를 통해 대략적인 달리기의 운동 강도가 판별될 수도 있다. 달리기는 그 속도에 따라 다른 사용자 활동으로 간주되고 이에 따라 각기 다른 운동 강도 또는 에너지 소비량이 판별될 수 있다.
심박수나 산소소비량은 에너지 소모량과 관계가 있고, 이는 운동 강도와 관련성이 있으므로 이러한 생체 정보를 이용하여 운동 강도가 예측될 수 있다. 이때, 나이나 체중과 같은 개인정보를 이용함으로써 보다 구체적인 에너지 소모량을 추정할 수 있다. 상기 전자 장치는 생체 정보와 함께 움직임 센서를 사용하여 사용자 활동 종류를 판별함으로써 METs 테이블 정보에서 이에 대응하는 운동 강도를 판별하고 에너지 소비량을 측정할 수도 있다.
상기 전자 장치는 사용자의 활동 종류를 판별하고 해당 상황 혹은 그 직후의 생체 신호/정보를 분석하여 사용자의 운동 강도를 측정하는 동시에 생체 정보를 함께 저장할 수도 있다. 상기 전자 장치는 사용자 활동 종류, 혹은 움직임 패턴 정보, 혹은 운동 강도 중 하나 이상으로 구성된 움직임 정보와 함께 이에 대응하는 생체신호 패턴 또는 생체 정보 중 하나 이상을 저장하고, 이후 해당 사용자의 움직임 정보를 감지하면, 이에 대응하는 미리 설정된 정합도(일치율) 이상을 보이는 하나 이상의 생체신호 패턴이나 하나 이상의 생체 정보를 찾고, 이에 해당하는 사용자를 찾아낼 수 있다.
상기 사용자 운동 강도 판별은 활동의 종류를 기반으로 하며, 상기 전자 장치는 활동 종류 판별을 위하여 가속도계(accelerometer), 자이로 센서(gyro sensor), GPS, 자이로 콤파스, 지자기 센서 중 하나 이상의 움직임 센서를 이용할 수도 있지만, 생체 센서를 통한 심박수, HRV, 산소소비량 중 하나 이상을 수집하여 운동 강도를 구할 수도 있다. 상기 전자 장치는 보다 정확한 운동 강도 및 에너지 소비량 추정을 위해 키, 몸무게 등의 사용자 개인 정보를 활용할 수도 있다. 통상 사용자의 운동 강도는 수면상태일 때가 약 0.8 METs, 안정/휴식시 1 METs이고, 상기 작은 범주의 사용자 활동에 따라 특정 METs 수치를 가지게 된다.
한 실시예에서, 상기 전자 장치는 사용자의 개인 정보를 기반으로 사용자를 인증할 수도 있다. 예를 들어, 상기 전자 장치는 사용자를 인식하거나 인증하기 위하여 사용자의 나이, 체중, 혈관노화도, 혈압, ECG 패턴, HRV 패턴, 질병정보, 장애정보 중 한 가지 이상의 개인 정보를 이용할 수 있다. 상기 전자 장치는 생체 신호를 통해 생체 정보를 판별하면, 미리 등록된 사용자의 개인 정보와 비교하여 해당 사용자인지 판별할 수 있다. 예를 들어, 상기 전자 장치는 맥파를 분석하여 가속도 맥파를 구한 후 이로부터 혈관노화도 정보를 구하였을 때, 해당 혈관노화도에 부합하는 사용자 후보를 하나 이상 구할 수 있다. 예를 들어 사용자의 심장에 질환이 있는 경우에, HRV, ECG, 맥파, 심박음 중 한 가지 이상의 신호에서 생체 정보가 추출될 수 있으므로, 상기 전자 장치는 이러한 생체 정보가 감지되었을 때, 해당 질환 정보를 이용하여 사용자를 판별할 수도 있다. 예를 들어 사용자가 관절질환이 있거나 팔다리가 불편한 경우 등에도 움직임 감지 센서를 통해 이러한 특성이 감지되면, 상기 전자 장치는 개인 정보를 이용하여 사용자를 판별할 수 있다. 건강검진시나 운동능력 측정을 사전에 진행하였고, 해당 기록 접근이 가능한 경우라면, 상기 전자 장치는 감지된 생체 정보와 해당 기록 내용을 비교하여 정합률이 높은 사용자를 찾을 수 있다. 이러한 생체 정보는 지속적으로 변화할 수 있으므로 일정한 시간 간격, 혹은 근래의 감지된 생체 정보를 지속적으로 개인 정보에 업데이트하여 시계열적으로 관리할 수도 있다.
한 실시예에서, 상기 전자 장치는 1차 및 2차 인증 과정을 통해 사용자 인증을 수행할 수도 있다. 생체 정보를 기반으로 사용자를 식별하는데 있어서, 상기 전자 장치는 사용자의 상황 정보, 개인 정보, 사용자 활동 정보 중 하나 이상을 포함하여 계산할 수 있다. 상기 사용자 인증 동작은 사용자를 구분하기 위한 홍채, 지문, 성문, 얼굴, 족문, 장문, 손등정맥 정보 중 하나 이상을 광학 센서, 이미지 센서, 지문 센서 등과 같은 제2의 인증 수단을 통해 인식하는 동작을 더 포함할 수도 있다. 예를 들어, 사용자의 생체 정보나 사용자 활동 정보 혹은 개인정보를 등록할 때, 상기 전자 장치는 상기 인식 동작을 수행하여 사용자를 인증한 후 등록할 수 있다. 이는 민감한 사용자의 정보들을 기록하는데 보안을 유지하기 위한 것일 수 있다. 예를 들어, 생체 정보, 사용자 활동정보를 인식하였을 때, 사용자를 판정하기 어렵거나, 허가되지 않은 사용자인 것으로 의심되거나, 혹은 더 높은 보안레벨이 필요한 기능을 구동해야 하는 경우로 판단된다면, 상기 전자 장치는 상기 제 2 인증 수단에 의한 추가적인 인증 동작을 더 수행할 수도 있다.
생체 정보를 기반으로 사용자 인증을 수행하여 인식된 사용자에 따라 다양한 기능이 구동될 수 있다. 예를 들어 사용자가 손목시계형 장치를 장착하였을 때, 사용자의 맥파를 해당 장치로 감지하고, 사용자의 신원을 인증할 수 있다. 예를 들어, 상기 전자 장치가 여러 가족 구성원들에 의해 사용되면, 상기 전자 장치는 사용자에 따라 서로 다른 GUI를 제공할 수도 있고, 특정 기능을 활성화하거나 불활성화, 혹은 추천할 수도 있다. 예를 들어 가족들이 설정한 운동 목적이나 운동량, 운동이력 정보 등은 개인별로 유지 및 관리되며, 상기 전자 장치는 사용자가 운동을 위해 자주 이용하는 장소에 접근한 경우 등에서 생체 정보를 자동으로 감지하여 사용자 인증을 수행한 후 해당 사용자에 적합한 운동코칭 기능을 구동하거나 이전의 운동 이력을 알려 줄 수도 있다. 만약 사용자 인증이 수행된 경우에 피트니스 프로그램이 구동된다면, 인증된 사용자를 위한 목표량, 운동 이력 등이 표시되고, 전에 했던 운동 이력을 고려한 코칭기능이 제공될 수도 있다.
예를 들어 상기 전자 장치가 사용자를 인증한 이후 자동차에 진입하여, 자동차의 제어 장치와 무선연결되는 경우에는, 상기 전자 장치는 해당 사용자의 프로파일 정보를 자동차의 제어 장치에 전달할 수도 있다. 이에 따른 결과로 자동차 제어 장치에 의해 사용자의 프로파일에 적합하도록 시트 전후 위치와 높이 조절이 제공될 수도 있다. 예를 들어, 자동차 제어 장치는 사용자별로 각 미러의 위치 변경이나 선호하는 라디오 채널로의 자동 변경을 제공할 수 있다. 상기 전자 장치는 사용자가 인증되었을 때 사용자의 프로파일 정보나 선호도 정보를 이용하여 해당 서비스를 제공할 수 있다.
도 67은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1710~1740 동작들의 전체 또는 그 일부를 포함할 수 있다.
1710 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 사용자 인증을 위한 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자 인증을 위한 생체 정보를 도출할 수 있다. 예를 들어, 상기 사용자 인증을 위한 생체 정보는 HRV 패턴, ECG 패턴, 홍채 이미지, 음성, 손등의 정맥 이미지 등을 포함할 수 있다.
1720 동작에서, 사용자가 식별/인증될 수 있다. 상기 전자 장치는, 미리 등록된 적어도 하나의 사용자의 각각에 대하여, 획득된 생체 정보와 해당 사용자의 미리 저장된(또는 등록된) 생체 정보의 유사도를 결정하고, 상기 유사도와 미리 설정된 임계값을 비교할 수 있다. 예를 들어, 상기 전자 장치는 획득된 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값(예: 심박수 등)과 해당 사용자의 미리 저장된(또는 등록된) 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값을 비교하고, 그 유사도(예: 일치하거나 임계 값 이내의 차이를 갖는 특징점들의 수, 상기 수 또는 값의 비율(예: 전체 특징점들의 수에 대한 유사 특징점들의 수의 비 등) 등)를 결정할 수 있다. 상기 전자 장치는 상기 획득된 생체 정보의 사용자가 상기 미리 등록된 적어도 하나의 사용자 중 상기 유사도가 미리 설정된 임계 값 이상인 등록된 사용자인 것(즉, 두 사용자들이 동일한 사람인 것)으로 결정할 수 있다.
1730 동작에서, 상기 식별/인증된 사용자의 제어 활동이 감지될 수 있다. 상기 전자 장치는 상기 식별/인증된 사용자의 콘텐츠/채널 등의 선택 활동, 볼륨 조절, 밝기 조절 등의 장치 제어 활동 등을 감지할 수 있다. 상기 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등), 카메라 모듈(예: 카메라 모듈(291) 등) 등의 적어도 하나를 통해 상기 식별/인증된 사용자의 제어 활동을 감지할 수 있다.
1740 동작에서, 사용자 제어 정보 및 사용자 정보의 연관 정보가 저장될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 사용자 제어 정보(즉, 상기 식별/인증된 사용자의 제어 활동에 대한 정보) 및 상기 사용자 정보(즉, 상기 식별/인증된 사용자에 대한 정보)의 연관 정보를 제7 데이터베이스에 저장할 수 있다. 상기 제7 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제7 데이터베이스는 표 8과 같은 형태를 가질 수 있다.
표 8
| 사용자 정보 | 상황 정보 | 제어 정보 |
| H71 | I71 | J71 |
| H71 | I72 | J72 |
| H71 | I73 | J73 |
| H72 | I74 | J74 |
| … | … | … |
표 8에서, 사용자 정보(예: H71, H72, …)는 사용자를 식별하기 위한 정보(예: ID, 이름 등)를 나타낼 수 있다. 상황 정보(예: I71, I72, …)는 상황 정보의 종류/내용(예: 콘텐츠 재생, 채널 시청, 광고 시청, 외부 장치의 접속 등) 등을 나타낼 수 있다. 제어 정보(예: J71, J72, …)는 제어 정보의 종류/내용(예: 콘텐츠 선택, 채널 선택, 볼륨 조절, 밝기 조절, 특정 기능의 환경설정 변경 등), 특정 제어 정보의 수치 또는 레벨(예: 볼륨, 밝기 등의 수치 범위), 특정 제어 정보의 내용(예: 특정 콘텐츠 또는 파일의 식별 정보 등) 등을 나타낼 수 있다.
도 68은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1810~1850 동작들의 전체 또는 그 일부를 포함할 수 있다.
1810 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 사용자 인증을 위한 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자 인증을 위한 생체 정보를 도출할 수 있다.
1820 동작에서, 사용자가 식별/인증될 수 있다. 상기 전자 장치는, 미리 등록된 적어도 하나의 사용자의 각각에 대하여, 획득된 생체 정보와 해당 사용자의 미리 저장된(또는 등록된) 생체 정보의 유사도를 결정하고, 상기 유사도와 미리 설정된 임계값을 비교할 수 있다. 예를 들어, 상기 전자 장치는 획득된 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값(예: 심박수 등)과 해당 사용자의 미리 저장된(또는 등록된) 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값을 비교하고, 그 유사도(예: 일치하거나 임계 값 이내의 차이를 갖는 특징점들의 수, 상기 수 또는 값의 비율(예: 전체 특징점들의 수에 대한 유사 특징점들의 수의 비 등) 등)를 결정할 수 있다. 상기 전자 장치는 상기 획득된 생체 정보의 사용자가 상기 미리 등록된 적어도 하나의 사용자 중 상기 유사도가 미리 설정된 임계 값 이상인 등록된 사용자인 것(즉, 두 사용자들이 동일한 사람인 것)으로 결정할 수 있다.
1830 동작에서, 상기 전자 장치 내의 이벤트/상황 발생이 검출될 수 있다. 예를 들어, 이벤트/상황은, 사용자로부터 콘텐츠/채널 재생/시청 명령을 수신하는 경우, 광고의 재생을 감지하는 경우, 외부 장치의 접속을 감지하는 경우, 특정 어플리케이션의 실행을 감지하는 경우 등을 포함할 수 있다. 상기 전자 장치는 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입출력 장치(예: 입출력 인터페이스(140), 입력 장치(250)) 등을 통해 상기 이벤트/상황의 발생을 검출할 수 있다.
1840 동작에서, 상기 식별/인증된 사용자 및 상기 이벤트/상황에 대응하는 사용자 제어 정보가 결정될 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치 또는 외부 장치에 저장된 제7 데이터베이스에서 상기 식별/인증된 사용자에 대응하는 사용자 정보와 상기 검출된 이벤트/상황에 대응하는 이벤트/상황 정보를 검색할 수 있다. 상기 전자 장치는 상기 검색된 사용자 정보 및 이벤트/상황 정보에 대응하여 상기 제7 데이터베이스에 저장된 제어 정보를 상기 식별/인증된 사용자 및 상기 이벤트/상황에 대응하는 제어 정보로 결정할 수 있다.
1850 동작에서, 상기 결정된 제어 정보에 따른 제어 기능이 수행될 수 있다.
한 실시예에서, 상기 전자 장치는 사용자를 식별/인증하면, 해당 사용자가 특정 상황에 대응하는 행동 패턴이나 상기 전자 장치의 제어 패턴을 해당 상황에 대한 정보와 함께 기록할 수 있다. 상기 전자 장치는 상기 특정 상황이 다시 발생한 경우, 기록된 해당 행동 패턴이나 상기 전자 장치의 제어 패턴을 자동으로 재현할 수 있다.
한 실시예에서, 상기 전자 장치는 특정 상황을 감지하고, 상기 특정 상황에 대응하는 제어 활동/기능을 로컬 혹은 통신으로 연결된 외부 장치로부터 수집/수신하고, 상기 수집/수신된 제어 활동/기능을 자동으로 실행할 수 있다.
상기 전자 장치는 생체 신호/정보를 획득하고, 획득된 생체 정보와 미리 등록된 생체 정보가 일치하는 경우 상기 획득된 생체 정보의 사용자를 상기 전자 장치의 서비스를 이용할 수 있는 사용자로서 간주할 수 있다. 상기 전자 장치는 여러 미리 등록된 사용자들 중에서 상기 획득된 생체 정보에 대응하는 특정한 사용자를 상기 전자 장치의 서비스를 이용할 수 있는 사용자로서 간주할 수도 있다.
한 실시예에서, 상기 전자 장치는 다른 외부 장치(예: TV 장치, 셋탑 박스 등)와 유선 혹은 무선 통신으로 연결시, 사용자명, 전화번호, 장치식별번호(예: SIM, MAC 주소 등)을 외부 장치에 전달하고, 외부 장치는 이를 사용자의 식별 정보로서 간주할 수 있다.
한 실시예에서, 상기 전자 장치는 미리 설정된 아이디 입력, 비밀번호 입력, 패턴 락 입력, 지문인식, 홍채인식, 얼굴인식, 음성인식, 족문(足紋) 인식, 장문(掌紋) 인식, 손등정맥 인식 중 하나의 사용자 식별 정보를 이용하여 식별/인증 동작을 수행할 수도 있다.
한 실시예에서, 상기 전자 장치는 사용자 식별정보를 이용한 인증 동작과 생체 정보를 이용한 인증 동작을 수행하고, 두 가지 동작에 의하여 인증한 사용자 정보들이 일치하거나 연관되는지 판단하는 동작을 수행할 수도 있다. 예를 들어, 상기 전자 장치는 사용자 식별 정보를 이용한 인증 동작을 수행하여 얻은 사용자의 개인 정보를 이용하여 미리 저장된 사용자의 생체 정보를 얻고, 다른 외부 장치에서 수집한 생체 정보와 일치하는지 확인하는 동작을 수행할 수도 있다. 상기 전자 장치는 상기 생체 정보들이 불일치하는 경우에는 상기 전자 장치 또는 외부 장치의 사용을 제한하거나 다시 사용자 식별 정보를 이용한 인증 동작을 재수행할 수도 있다. 상기 전자 장치는 생체 신호가 정상적으로 감지되지 않는 경우, 예를 들어 생체 신호를 측정하는 웨어러블 장치를 사용자가 정상적으로 착용하지 않은 경우에도 상기 전자 장치 또는 웨어러블 장치의 사용을 제한 수 있다. 이는 비밀번호 도난과 같은 상황에서 잘못된 사용자가 웨어러블 장치를 이용하는 것을 막기 위한 효과가 있다.
한 실시예에서, 웨어러블 장치인 손목시계 장치로 TV 기능을 제어하기 위해, 사용자는 IrDA나 블루투스 중 하나 이상의 무선 통신 장치가 내장된 손목시계 장치를 장착할 수 있다. 사용자가 손목시계 장치를 통해 TV를 제어하는 기능을 구동하기 위해서 앱을 구동하거나, 손목시계 장치 상의 버튼 선택이나 터치를 하거나, 혹은 상기 손목시계 장치를 장착하는 경우, 상기 손목시계 장치의 생체 센서가 구동되어 사용자를 인증하는 동작이 수행될 수 있다. 상기 스마트 손목시계는 사용자 식별 정보를 요구하는 동작을 통해 인증하는 동작을 수행할 수도 있다. 이러한 인증 동작은 한 번만 구동하여 이후에는 별도의 인증 동작이 필요하지 않을 수도 있다. 예를 들어, 상기 손목시계 장치는 생체 센서를 통해 일정 주기 혹은 간헐적으로 사용자의 생체 신호가 감지되는지를 확인하고, 감지되는 경우에는 사용자가 변경되지 않은 것으로 판단하여, 인증 동작을 수행하지 않을 수 있다. 생체신호가 감지되지 않는 경우에, 상기 손목시계 장치는 신체로부터 떨어진 것으로 간주하여 다시 인증 동작을 수행할 수도 있다. 생체 신호를 감지하는 동작은 움직임 센서 등에 의해 손목시계 장치의 움직임 신호가 미리 설정된 값 이상인 경우에 수행될 수도 있는데, 이는 손목시계 장치가 사용자로부터 탈착이나 장착이 이루어지는지를 확인하기 위함이다. 손목시계 장치는 사용자가 손목시계 장치를 조작하는 경우에 생체 신호를 확인하고, 최초 인증 시간으로부터 미리 설정된 시간이 경과하면 재인증을 수행할 수도 있다.
사용자의 확인이나 인증은 손목시계 장치가 아닌 외부 장치에서 이뤄질 수도 있다. 예를 들어, TV나 셋탑박스, 혹은 콘솔 게임기 중 하나 이상의 외부 장치가 블루투스나 Wifi 등을 통해 손목시계 장치와 연결되고, 외부 장치는 손목시계 장치로부터 전달되는 무선 신호(예: RF, 광신호 등)를 받아서 제어될 수도 있다. 외부 장치는 무선 연결된 손목시계 장치의 장치 식별 번호나 장치명, 사용자명, 전화번호 중 하나 이상을 수신함으로써 자신에게 제어 신호를 보내는 장치를 인식할 수도 있다. 손목시계 장치는 제어 신호를 전송할 때, 사용자 확인/식별/인증을 위한 정보를 함께 전달할 수도 있고, 이는 여러 사용자가 저마다의 장치로 외부 장치를 제어하는 경우를 지원하기 위한 것이다. 한 실시예에서, 손목시계 장치는 사용자 인증을 수행하고, 인증된 사용자 정보나 장치 정보를 외부 장치로 전송할 수도 있다.
사용자가 상기 전자 장치를 통해 수행하는 동작 및 관련 상황 정보는 상기 전자 장치에 기록될 수도 있고, 통신으로 연결된 외부 장치(예: 서버, 호스트 단말, 스마트 폰, 웨어러블 장치 중 하나 이상)에 저장될 수도 있다. 한 실시예에서, 상기 전자 장치의 제어 신호를 수신한 외부 장치(예: 셋탑 박스, 홈 네트워크 서버, TV 등)이 제어 신호의 정보와 관련 상황 정보를 기록할 수 있다. 상기 전자 장치는, TV 리모컨 기능을 가진 모바일, 이동형 혹은 착용형 컴퓨팅 장치 중 하나일 수 있다. 예를 들어, 사용자별로 특정 요일과 특정한 시간에 특정한 TV 채널을 시청하거나 특정한 프로그램을 선호하는 경우가 있다. 사용자는 상기 전자 장치를 구동하여, 해당하는 요일과 시간이 되거나, 혹은 현재 선호하는 특정한 콘텐츠가 방송되고 있다면, 선호하는 채널이나 프로그램을 시청하기 위하여 상기 전자 장치를 통해 제어 기능을 구동할 수 있다.
예를 들어, 영화 시청 중 중간 광고가 발생하는 경우, 사용자가 볼륨을 조정하거나, 다른 채널을 돌려보거나, PIP(Picture in picture) 혹은 PBP(Picture by picture) 기능을 실행하거나, 다른 UI를 조작하거나, 어플리케이션을 실행하거나, 버튼을 누르는 등 하나 이상의 제어 기능이 사용자 입력에 의해 실행될 수 있다. 상기 전자 장치는 동일한 상황에서 동일하거나 유사한 제어 기능/동작의 실행이 반복된다면 해당하는 상황과 제어 기능/동작에 대한 정보를 저장하고, 이후 해당 상황에서 자동으로 대응하는 제어 기능/동작을 실행할 수도 있고, 해당 제어 기능을 추천할 수도 있다. 예를 들어, 광고 콘텐츠의 시청 중 볼륨을 낮추는 동작이나 묵음하는 동작은 유사한 동작들에 해당할 수 있다. 상기 전자 장치는 광고 콘텐츠가 재생되는 상황을 감지하면, 볼륨을 낮추거나 묵음 처리할 수도 있고, 혹은 두 가지 기능 중 하나를 선택하도록 사용자에게 디스플레이, 오디오 중 하나 이상을 통해 추천하는 동작을 수행할 수도 있다.
상기 전자 장치는 이러한 상황 정보와 대응하는 동작을 상기 전자 장치 자체에 기록할 수도 있고, 다른 외부 장치에 저장할 수도 있다. 시간과 같은 상황 정보는 저장이 비교적 용이하지만, 콘텐츠 내용을 판단해야 하는 경우라면, 콘텐츠 내용을 분석하는 동작이나 콘텐츠의 메타데이터를 수신하여 분석하는 동작이 필요할 수 있다. 콘텐츠 메타데이터로는 이미지, 비디오, 오디오 파일이나 스트림에 포함된 하나 이상의 메타데이터일 수도 있고, 별도로 부가된 상세설명 정보(description)일 수도 있고, 방송 편성 정보인 전자프로그램가이드(EPG: electronic program guide)일 수도 있다. 상기 전자 장치는 이러한 콘텐츠 메타데이터를 네트워크를 통해 연결된 외부 장치(예: 서버, 다른 전자 장치 등)를 통해 수신하여 분석할 수도 있고, 혹은 상기 전자 장치의 제어를 받는 제2 장치(예: TV)가 콘텐츠 메타데이터를 수신하여 분석할 수도 있으며, 서버나 호스트 단말과 같은 제3 전자 장치가 콘텐츠 메타데이터를 분석한 결과를 상기 전자 장치, 외부 장치, 상기 제2 장치 중 하나에 전달할 수도 있다.
예를 들어, 사용자가 이어폰을 장착한 경우, 사용자는 이어폰과 연결된 웨어러블 장치 혹은 이어폰 자체를 이용하여 음악이나 라디오, DMB, 비디오, 혹은 오디오 재생을 위해 사용자 선호 볼륨 설정, 장르별 볼륨 설정, 이퀄라이저 설정, 디스플레이 밝기 설정 혹은 추천 중 한 가지 이상의 기능을 조작할 수 있다. 이러한 경우, 상황/이벤트로서 이어폰 혹은 스피커모드간 상호 변환이 발생하거나, 출력 음향 장치가 인식/지정되거나, 특정 콘텐츠 종류 재생, 플레이어 구동, UI 조작, 어플리케이션 구동, 혹은 전화나 메시지 수신 중 한가지 이상을 포함하는 상황/이벤트가 발생했을 때, 상기 전자 장치는 상기 기능들 중 하나 이상을 수행할 수도 있다. 상기 콘텐츠 종류에는 광고, 연령등급, 선호하는 음악정보(예: 곡명, 장르, 작곡가, 가수 등), 조회한 비디오에 대한 등록된 정보, 플레이한 경험이 있는 게임 중 하나 이상이 포함될 수 있다.
상기 기능으로는 사용자 선호 볼륨 설정, 장르별 볼륨 설정, 이퀄라이저 설정, 디스플레이 밝기 설정 혹은 추천 중 한 가지 이상이 포함될 수 있다. 상기 이어폰은 클립, 이어폰, 헤드폰형 웨어러블 장치일 수도 있고, 다른 웨어러블 장치와 유선 혹은 무선으로 연결될 수도 있다. 상황/이벤트는 특정 시간대, 주변 소음도가 미리 설정된 기준 이하인 경우, 광센서에 의한 밝기 정보가 미리 설정된 기준 이하인 경우, 미리 설정된 장소에 접근한 경우 중 하나 이상인 경우에, 각각의 상황/이벤트에 따라 제어 동작이 수행될 수 있다.
특정한 제어 기능이 실행될 때, 상기 전자 장치는 해당 기능이 수행된 시점 혹은 해당 기능을 수행하게 한 상황/이벤트 정보를 저장하고, 해당 상황/이벤트가 발생하면, 해당 기능을 자동으로 수행하거나 사용자에게 해당 기능을 추천할 수 있다. 한 실시예에서, 제어 기능이 여러 개의 사용자 입력들로 구성된 경우, 해당 상황/이벤트가 발생하면 상기 전자 장치는 여러 개 사용자 입력들에 해당하는 입력 신호들(또는 제어 신호들) 중 최소한 일부를 자동으로 발생시킬 수도 있다. 이는 일종의 컴퓨터에서 사용하는 매크로 기능이나 일부 문자만 입력해도 단어를 완성해주는 자동완성 기능과 대응될 수 있다. 예를 들어, 해당 상황/이벤트가 발생한 상황에서 어떠한 사용자 입력이 발생하면, 상기 전자 장치는 해당 사용자 입력이 미리 저장된 제어 기능과 관련된 것인지 판단한 후, 자동으로 이전의 제어 기능을 수행함으로써 추가적인 사용자 입력이 불필요하도록 만들 수 있다.
예를 들어, 광고 콘텐츠를 재생하는 상황에서 사용자가 볼륨낮춤 키를 여러 번 눌러서 볼륨 레벨 3까지 내린 이력이 있다면, 사용자가 볼륨낮춤키를 한 번만 눌러도 상기 전자 장치는 볼륨 레벨 3까지 볼륨을 내려줄 수도 있다. 이러한 자동완성 동작은 목표하는 볼륨값이나 채널값과 같은 상태값이 이뤄질 때까지 진행될 수도 있고, 키를 눌렀던 순서나 회수 중 하나 이상을 기록하고, 이중 하나가 눌리면 자동으로 해당 순서나 회수 중 하나 이상이 수행될 수도 있다. 예를 들어, 광고가 방송될 때 볼륨다운 키를 여러 번 눌러서 소리를 줄인 후 특정 채널 변경 후 볼륨업 키를 여러 번 눌러서 소리를 키운 이력이 저장된 경우라면, 광고 방송 중에 볼륨다운 키를 한 번 눌렀을 때, 상기 전자 장치는 상기 저장되었던 키 입력들에 의한 제어를 자동으로 수행, 즉 소리를 줄이고 채널을 바꾼 후 소리를 키우는 동작을 추가적인 키입력이 없더라도 수행할 수 있다.
이러한 기능은 하나의 상황/이벤트에서 여러 가지 동작이 있을 경우에도 대응이 가능하다. 예를 들어, 케이블 TV 100번을 보다가 광고 방송이 나오는 경우, 사용자가 어떠한 경우에는 볼륨다운 키를 여러 번 눌러서 소리를 줄였고, 또 다른 경우에는 채널증가 키를 눌러서 105번으로 변경한 이력이 저장되어 있을 수 있다. 만약 같은 상황이 발생하였을 때, 상기 전자 장치는 사용자가 볼륨다운 키를 한 번 누르는 경우에는 자동으로 이전에 줄였던 볼륨 레벨로 변화시키고, 사용자가 채널 변경을 위해 '1'을 누르거나 채널증가 키를 누른 경우에는 자동으로 105번으로 변경할 수도 있다. 예를 들어, 상기 상황에서 사용자가 105로 채널 변화를 한 경우도 있고, 107로 변경한 경우도 있다면, 상기 전자 장치는 '1'이나 '10'을 사용자가 입력하였을 때, 105 및 107채널의 관련 정보와 함께 선택을 할 수 있도록 상기 전자 장치 또는 외부 장치의 디스플레이나 오디오 중 하나 이상을 통해 추천하는 동작을 수행할 수도 있다. 만약 이러한 기저장된 기능과 관련이 없는 다른 키/기능, 예를 들어 PIP 구동키를 누르거나 기능을 실행한 경우에, 상기 전자 장치는 해당 동작과 해당 상황을 기록할 수도 있다.
사용자 인증을 통해 사용자가 확정되면, 상기 전자 장치는 해당 사용자가 특정 상황에서 수행한 복수의 행동 패턴이나 장치 제어 패턴을 해당 상황에 대한 정보와 함께 기록할 수 있다. 이후 이러한 특정 상황이 다시 발생한 경우, 상기 전자 장치는 기록된 해당 행동패턴이나 장치의 제어패턴을 자동으로 재현하거나 하나 이상의 기능을 추천할 수 있다.
도 69는 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다. 상기 방법은, 1910~1930 동작들의 전체 또는 그 일부를 포함할 수 있다.
1910 동작에서, 생체 신호 및/또는 생체 정보가 획득될 수 있다. 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자의 스트레스/감정 정보를 나타내는 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 스트레스/감정 정보는 스트레스/감정의 종류 및/또는 스트레스/감정의 레벨 또는 값을 포함할 수 있다. 예를 들어, 상기 스트레스/감정 종류는 HRV를 통해 얻은 평균심박수, 심박분포도, SDNN, RMSSD, pNN50 중 하나 이상을 판별하여 얻은 서맥, 빈맥, 신체적 피로도, 정신적 스트레스, 분노(anger), 증오(hate), 슬픔(grief), 즐거움(joy), 외경(reverence), 행복감(platonic love, 평화, 유대감), 로맨틱한 사랑(romantic love, excitement, lust) 중 하나 이상을 포함할 수 있다, 다른 예를 들어, 상기 스트레스 종류는 HRV를 통해 얻은 PSD에서 LF, HF, LF/HF 중 하나 이상을 계산하고, LF, HF, LF/HF 중 하나 이상으로부터 얻은 혈압성 변동, 호흡성 변동, 자율신경 균형도 중 하나 이상을 포함할 수 있다,
1920 동작에서, 상기 생체 정보의 값은 미리 설정된 값 또는 이전 생체 정보의 값과 비교될 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 임계 범위 또는 임계 값과 비교할 수 있다. 예를 들어, 상기 전자 장치는 상기 생체 정보의 값을 미리 설정된 값 또는 이전 생체 정보의 값과 비교하여 그 차이를 산출하고, 상기 차이를 임계 범위 또는 임계 값과 비교할 수 있다. 상기 전자 장치는 상기 생체 정보의 값이 미리 설정된 임계 범위 또는 임계 값 미만인 경우 주목할만한 스트레스 또는 감정의 변화가 없는 것으로 판단하여 1910 동작을 반복 수행하고, 상기 차이가 임계 범위 또는 임계 값 이상인 경우 주목할만한 스트레스 또는 감정의 변화가 있는 것으로 판단하여 1930 동작을 수행할 수 있다. 상기 미리 설정된 값 또는 이전 생체 정보는 상기 전자 장치의 메모리(예: 메모리(130, 230))에 저장되어 있거나, 외부 장치(예: 서버(106) 또는 전자 장치(104))에 저장되어 있을 수 있다. 상기 미리 설정된 값은 한 명 이상 다른 사용자로부터 측정된 생체 정보, 사용자 집단의 대표값 또는 평균값(예: 연령별 평균값, 성별 평균값 등), 기관(예: 연구기관, 학계)에서 측정한 실험값 등일 수도 있다.
1930 동작에서, 상기 생체 신호/정보를 측정 또는 획득하는 시점 및/또는 그 이전/이후의 이벤트/상황 정보 및/또는 상기 생체 정보가 저장될 수 있다. 상기 전자 장치는 주목할만한 스트레스 또는 감정의 변화가 발생한 것을 확인하고, 이러한 스트레스 또는 감정의 변화를 야기하거나 그와 연관된 상황 또는 이벤트에 대한 정보를 메모리(예: 메모리(130, 230))에 저장할 수 있다. 한 실시예에서, 상기 전자 장치는 스트레스 또는 감정의 변화를 야기한 콘텐츠 파일에 이벤트/상황 정보를 부가하여 저장할 수 있다. 한 실시예에서, 상기 전자 장치는 상기 생체 신호/정보를 측정 또는 획득하는 시점 및/또는 그 이전/이후의 이벤트/상황 정보 및/또는 상기 생체 정보를 제8 데이터베이스에 저장할 수 있다. 상기 제8 데이터베이스는 상기 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제8 데이터베이스는 표 9과 같은 형태를 가질 수 있다.
표 9
| 이벤트/상황 정보 | 생체 정보 | 스트레스/감정 정보 | 카테고리 |
| D81 | A81 | E81 | K81 |
| D82 | A82 | E82 | K82 |
| D83 | A83 | E83 | K83 |
| D84 | A84 | E84 | K84 |
| … | … | … | … |
표 9에서, 이벤트/상황 정보(예: D81, D82, …)는 이벤트/상황의 종류, 이벤트/상황 발생 시간/날짜/요일, 이벤트 발생 위치, 이벤트/상황과 연관된 콘텐츠 또는 파일의 식별 정보(예: 저장 위치, 식별자, 파일명 등) 등을 나타낼 수 있다. 생체 정보(예: A81, A82, …)는 생체 정보의 종류(예: 평균심박수, 심박분포도 등), 특정 생체 정보 종류의 수치 범위(예: 평균심박수, 심박분포도 등의 수치 범위), 특정 생체 정보 종류의 차이 값(예: 생체 정보 값과 미리 설정된 값의 차이 등)의 수치 범위, 특정 생체 정보의 값 또는 레벨 등을 나타낼 수 있다. 스트레스/감정 정보(예: E81, E82, …)는 스트레스/감정 변화의 유무, 스트레스/감정의 종류, 스트레스/감정의 레벨 또는 값(예: 빈도 수, 평균 값 등) 등을 나타낼 수 있다. 카테고리(예: K81, K82, …)는 스트레스/감정 정보를 분류한 정보(예: 각성 레벨, 개인 기호(예: 좋음, 중간, 나쁨 등) 등)를 나타낼 수 있다.
상기 전자 장치는 센서 모듈을 통해 인식한 생체 정보의 변화, 또는 특정 사용자 입력 중 하나 이상의 변화를 감지하면, 이와 관련한 상황 정보를 수집하고 기록하는 동작을 수행할 수 있다.
사용자의 정서 또는 감정 변화를 인식하기 위해, 예를 들어 상기 전자 장치는 맥파 분석이나 ECG 신호 분석을 통해 스트레스 상태를 확인할 수도 있다. 급성 스트레스는 두려움, 분노, 불안을 나타낼 수 있다. 한 실시예에서, 상기 전자 장치는 복수의 서로 다른 종류의 생체 센서들을 이용하여 여러 종류의 감정을 판단할 수도 있다. 예를 들어, MIT의 Affective computing group에서는 심전도, 피부 전도도 등 여러 생체 신호들을 분석하여 분노(anger), 증오(hate), 슬픔(grief), 즐거움(joy), 외경(reverence), 행복감(platonic love, 평화, 유대감), 로맨틱한 사랑(romantic love, excitement, lust)과 같은 여러 감정을 구분해 내는 방법에 대한 연구를 진행하였다. 또한, PPG 센서를 통해 PPG 신호 세기(amplitude), PPI(Pulse to Pulse Interval), 그리고 PRV(Pulse Rate Variability)를 분석하여 각성 상태나 흥분 상태 등의 각성 레벨(arousal level)을 측정하는 기술들도 개발되었다. 또한, 심박률(HR), R-R 간격의 표준편차(SD-RR), 연속된 R-R 간격 차이의 제곱평균제곱근(RMSSD), 호흡성 부정맥(RSA), 손가락 혈류량 파형의 진폭(FBVPA), 손가락 맥파 전달시간(FPTT)을 측정하여, 놀람의 경우 HR(heart rate), SD-RR 및 RMSSD은 놀람 자극 제시전에 비하여 놀람 자극이 제시된 이후에 의미있게 증가하였으며, FBVPA는 의미있게 감소하였고, FPTT는 의미있게 짧아짐이 관찰되었다. 이러한 측정 방법 및 결과들의 예가 아래 문헌에 기술되어 있다.
R. W. Picard et al,“Toward Machine Emotional Intelligence: Analysis of Affective Physiological State,” IEEE Trans on pattern analysis and machine intelligence , vol23, no.10, 2001.
M. Pantic and L. Rothkrantz, "Toward an Affect-sensitive Multimodal Human-computer interaction," Proc. of the IEEE, vol. 91, no. 9, pp. 1370-1390, 2003.
C.-J. Kim, et al., A Study on Evaluation of Human Arousal Level using PPG Analysis, Journal of the Ergonomics Society of Korea, Vol. 29, Iss. 1, 2010, pp.113-120.
Cardiovascular response to surprise stimulus, S. E. Jin, et al., Korean Journal of the Science of Emotion and Sensibility, vol. 14, Iss. 1, 2011, pp. 147-156.
예를 들어, 긴장을 하면 손바닥에 땀이 차거나, 분노시 혈압이 상승하는 등의 생리적 변화가 발행할 수 있으며, 따라서 피부저항도 센서나 혈압센서를 이용하여 이러한 스트레스나 감정 상태가 판별될 수 있다. 사용자의 선호도를 측정하기 위해서, 상기 전자 장치는 눈 깜박임의 빈도나 속도, 심박수 증감, HRV 증감, 혈압 증감, 호흡 빈도, 동공 크기의 증감 중 하나 이상에 근거하여 사용자의 선호도 감정을 판별할 수도 있다. 상기 전자 장치는 눈 깜박임의 빈도가 미리 설정된 기준 이상 증가시에는 스트레스를 받고 있는 것으로 평가할 수 있고, 동공의 크기가 미리 설정된 기준 이상 커지는 것은 보고 있는 대상에 대해 호감을 갖는 경우로 판단할 수 있다. 눈 깜박임이나 동공 크기를 측정하는 경우에, 상기 전자 장치는 눈을 촬영할 수 있는 이미지 센서가 장착된 HMD와 같은 웨어러블 장치를 이용할 수도 있고, 혹은 손목시계 장치의 카메라 장치를 이용할 수도 있다.
사용자가 웨어러블 장치를 착용한 경우, 웨어러블 장치는 이러한 사용자의 스트레스, 각성 레벨, 놀람, 감정 등에 대해 분석하여, 이를 기반으로 사용자나 장치의 상황 정보를 수집할 수 있다.
한 실시예에서, 상기 전자 장치는 하나 이상의 생체신호 센서를 이용하여 사용자의 하나 이상의 생체 신호를 수집하고 상기 생체 신호를 분석하여 생체 정보를 판별하는 동작을 수행할 수 있다. 만약 미리 설정된 기준 이상의 상기 생체 정보의 변화가 발생하면, 상기 전자 장치는 변화 감지 이벤트가 발생한 것으로 판단하여, 상황/이벤트 정보를 수집하고 기록하는 동작을 수행할 수 있다. 상기 전자 장치는 상기 상황/이벤트 정보를 기록할 때, 생체 정보를 기록하는 동작을 더 수행할 수 있다. 상기 생체 정보는 스트레스 레벨, 각성 레벨, 놀람, 흥분도, 감정 중 하나 이상일 수 있다. 상기 생체 정보는 평균심박수, 심박분포도, SDNN/SDRR, RMSSD, pNN50, RSA, FBVPA, FPTT 중 하나 이상을 판별하여 얻거나, HRV 신호를 분석한 PSD에서 LF, HF, LF/HF 중 하나 이상을 계산하여 얻을 수 있다. 상기 생체 신호는 혈압, 심전도, 호흡수, 심박수, HRV, 산소포화도, 체온, 근전도, 혹은 피부저항 중 한 가지 이상의 센서로부터 수집한 하나 이상의 관련 신호일 수 있다.
생체 신호는 미리 설정된 주기에 따라 수집될 수도 있고, 혹은 가속도 센서나 틸트 센서, 지자기 센서, GPS 중 하나 이상의 센서에 의해 움직임이 감지되거나 혹은 사용자가 사용자 입력에 의한 기능 구동 중 하나 이상의 경우에 의하여 발생할 수 있다.
일상 생활에서 정서/스트레스/감정의 변화는 다양한 상황(situation)에서 발생한다. 사용자는 여행 중에 아름다운 경치를 보는 경우 놀라거나 흥분할 수도 있고, 아름다운 꽃을 보고 행복감을 느낄 수도 있다. 사용자는 아름답고 웅장한 건물을 보고 경외감을 느낄 수도 있고, 종교 시설에서 스트레스가 해소될 수도 있다. 사용자는 지인을 만나서 기쁨을 느낄 수도 있고, 좋지 않은 일을 목격하거나 운전 중 사고를 당할 뻔하여 놀랄 수도 있다. 사용자는 컴퓨터 장치를 통해 웹 사이트나 SNS를 조회하면서 긍정적인 감정이나 부정적인 감정을 느낄 수도 있다.
이러한 변화 감지는 사용자에게 있어서 매우 중요한 상황 정보가 발생한 것이므로 이러한 상황 정보를 기록하면 이를 다양한 용도로 사용할 수 있다. 예를 들어, 사용자가 여행지에서 감정의 변화나 놀라움을 느꼈다면, 상기 전자 장치는 해당 상황/이벤트에 대한 이미지나 비디오, 오디오 중 하나 이상을 상황/이벤트 정보로서 기록할 수도 있다. 한 실시예에 따르면, 상기 전자 장치는 상기 상황/이벤트 정보를 수집하고 기록하는 동작을 할 때, 상기 전자 장치의 위치나 시간 중 하나 이상을 판별하고, 기록한 상황/이벤트 정보와 관련한 지역 정보, 여행 정보, 날씨 정보, SNS/뉴스 중 하나 이상의 시간/장소 기반 주요 정보 중 하나 이상을 수집하고 상기 상황/이벤트 정보에 포함하여 기록할 수도 있다. 상황/이벤트 정보는 텍스트, url, 썸네일(Thumbnail), 키워드, 문서요약정보, 어플리케이션 식별자 형태로 저장될 수도 있고, 별도의 오디오나 이미지 데이터 중 하나 이상의 형태로 저장될 수도 있다. 상기 전자 장치는 상황/이벤트 정보로서 해당 스트레스, 각성 레벨, 놀람, 감정에 대한 정보를 하나 이상 기록할 수도 있고, 이러한 정보의 변화를 기록할 수도 있다.
한 실시예에서, 상기 전자 장치는 여행 경험을 기록하는 서비스를 제공할 수도 있다. 예를 들어, 상기 전자 장치는 여행지에서 감정 변화를 감지하고, 카메라 기능이나 어플리케이션을 구동하여 이미지를 촬영하였다면, 해당 이미지의 메타메이터 영역(JPEG인 경우 exif 필드 등)에 하나 이상의 상황/이벤트 정보, 예를 들어 위치, 날씨, 그 지역의 관련 정보(예: 사진촬영 장소 혹은 인근의 지명, 역사적 사건, 관광정보, 그 지역의 주요 뉴스 등) 중 하나 이상을 포함하여 저장할 수 있다. 상기 전자 장치는 이미지 촬영 당시의 오디오를 상황/이벤트 정보로서 저장할 수도 있다. 상기 전자 장치는 상기 상황/이벤트 정보를 해당 이미지와 별개로 저장하되 이미지와 연관지어 저장해둘 수 있다. 상기 전자 장치는 나중에 앨범이나 갤러리 어플리케이션을 통해 촬영된 이미지를 조회할 경우, 연관된 메타데이터와 오디오를 표시하거나 출력할 수도 있다.
한 실시예에서, 상기 전자 장치는 상황/이벤트 정보를 다른 외부 장치에 전송하거나, 특정 어플리케이션을 구동하거나, SNS에 기록/등록하거나, 메시지에 첨부하여 전송하거나, 첨부 파일로 전송하거나, 이미지 앨범을 제작하는 동작들 중 하나 이상의 동작을 수행할 수 있다. 예를 들어, 상기 전자 장치는 촬영한 이미지를 SNS의 사용자의 블로그에 자동으로 등록할 수 있으며, 이때, 게시물에 대해서 디폴트(default)로 상기 사용자만 조회가 가능하도록 설정할 수도 있다. 상기 전자 장치는 미리 지정된 집단, 예를 들어 주소록에서 가족 카테고리로 설정되거나, 미리 지정된 하나 이상의 연락처들에 대해 감정 변화시 수집한 상황/이벤트 정보를 자동으로 전달할 수 있다. 이 때, 상기 상황/이벤트 정보는 미리 지정된 연락 수단(예: sns, mms, sms, 이메일 등)을 통해 전송될 수도 있다.
예를 들어, 상기 전자 장치는 메모리에 저장된 이미지나 비디오를 전자 앨범 어플리케이션을 이용하여 한꺼번에 조회할 수 있다. 예를 들어, 상기 전자 장치는 미리 설정된 시간이나 미리 설정된 장소 영역 내에서 감정 변화를 인식하여 수집된 관련 상황/이벤트 정보들을 하나의 폴더에 저장하거나 특정 파일의 메타데이터 영역에 상기 시간이나 장소 중 하나 이상을 저장할 수 있다. 이러한 정보들은 전자앨범 어플리케이션을 통해 슬라이드 쇼나 순차적으로 하나씩 조회되거나 매거진 UX(tile 방식 레이아웃), 혹은 전자책 형태로 묶여서 조회될 수도 있다. 상기 전자 장치는 멀티미디어 플레이어를 이용하여 이미지나 비디오를 조회하거나 재생할 때 상황/이벤트 정보를 표시/출력할 수 있다. 상기 전자 장치는 상황/이벤트 정보로서 장소 정보를 기록하고, 지도 위에 상황/이벤트 정보를 조회할 수 있는 이미지를 제공할 수 있다. 예를 들어, 상기 전자 장치는 2차원이나 3차원 지도에 이미지나 비디오의 썸네일(Thumbnail)이나 아이콘 등을 표시하고, 사용자가 이를 선택하거나 확대하면 저장된 상황/이벤트 정보를 조회하거나 재생할 수 있다.
한 실시예에서, 상기 전자 장치는 상황/이벤트 정보를 임시적으로 저장할 수 있다. 상기 전자 장치는 생체 신호의 변화가 발생한 시점의 상황/이벤트 정보를 기록하기 위해 GPS, 가속도 센서, 오디오 센서, 이미지 센서 등으로부터 입력되는 이벤트 정보들을 임시적인 데이터로서 메모리에 실시간으로 미리 저장하는 동작과 미리 설정된 시간 이후에 삭제하는 동작을 수행할 수 있다. 상기 전자 장치는 내장된 시간 정보 센싱 장치(예: 시계장치, GPS, 기지국 등에서 무선으로 시간 정보를 수신하는 통신 장치 등)를 통해 시간 정보를 수집할 수 있다. 상기 전자 장치는 내장된 위치 센싱 장치(예: GPS, WiFi, BLE, RFID, 기지국 신호를 수신하는 통신 장치, 측위 장치, 지오 펜스(geo fence) 지원 장치 등)를 통해 위치 정보를 수집할 수 있다. 상기 전자 장치는 가속도 센서나 자이로 센서를 통해 움직임 관련 정보들을 실시간으로 수집할 수 있다.
상황/이벤트 정보를 기록하기 위해, 상기 전자 장치는 이미지 센서나 오디오 센서(마이크)를 생체 신호를 감지하기 이전에 미리 동작시킬 수도 있다. 즉, 생체 센서를 동작시키기 위한 사용자 입력이 발생하는 경우에는, 상기 전자 장치는 먼저 이미지 센서나 오디오 센서를 동작한 이후에 생체 센서를 통해 생체 신호를 수집할 수 있다. 생체 센서가 미리 설정된 주기나 시간 설정에 의해 동작하는 경우에는 해당 동작 시간을 확인할 수 있으므로, 상기 전자 장치는 미리 설정된 시간 이전에 미리 이미지 센서나 오디오 센서를 동작시킴으로써, 생체 정보를 수집하는 동안, 혹은 생체 정보를 수집하는 동안, 그리고 그 이전이나 이후에 상황/이벤트 정보를 수집할 수도 있다.
상기 상황/이벤트 정보는 조회한 지역 정보, 송수신 내역 및 연락처 중 하나 이상을 포함할 수도 있다. 상기 전자 장치는 해당 지역에서 통화했던 지인의 연락처나 통화 내역을 이미지, 비디오, 혹은 오디오와 함께 기록하고, 이를 나중에 멀티미디어 어플리케이션이나 또 다른 상황 정보 조회 기능을 통해 확인할 수도 있다.
상기 전자 장치는 상기 상황 정보를 기록 혹은 전송하거나 상기 전자 장치를 사용하기 이전에 사용자 인증 동작을 더 수행할 수도 있다. 상기 전자 장치는 사용자에 착용되거나 사용자 입력을 수신하는 경우에 사용자 인증 동작을 수행할 수도 있다. 사용자 인증 정보는 미리 기록된 생체 정보를 포함하며, 상기 전자 장치는 사용자 인증 정보와 분석된 생체 정보의 일치도가 미리 설정된 기준 이상인지를 판별하는 동작을 수행할 수 있다. 상기 전자 장치는 생체 센서를 이용하여 생체 신호를 수신하고 이를 분석하여 일치도를 분석할 수 있다. 상기 사용자 인증 동작은 사용자를 구분하기 위해 홍채, 지문, 성문, 얼굴, 족문, 장문, 손등정맥 정보 중 하나 이상을 인식하는 동작을 포함할 수도 있다.
상기 저장된 상황/이벤트 정보를 조회시에, 상기 전자 장치는 기록된 생체 정보를 기준으로 분류하는 동작을 수행할 수 있다. 상기 전자 장치는 변화 감지를 통해 생체 정보를 확인한 후, 해당하는 감정의 종류, 흥분, 놀람, 스트레스에 따라서 하나 이상의 카테고리로 분류할 수 있다. 각 카테고리는 레벨로 분류될 수도 있고, 예를 들어 각성 레벨의 경우, 수면(sleep), 졸림(sleepy), 보통(awake), 활동(activity), 놀람(surprise) 등과 같이 여러 레벨로 분류될 수 있고, 상기 전자 장치는 해당 상황에 따라 각기 다른 기능을 작동시킬 수도 있다.
한 실시예에서, 상기 전자 장치는 상황/이벤트 정보를 이용한 콘텐츠 추천 동작을 수행할 수도 있다. 예를 들어, 사용자의 정서 상태의 변화 감지를 통해, 상기 전자 장치는 콘텐츠를 조회하는 경우 상황/이벤트 정보를 선호도 판단에 이용하거나, 혹은 기능이나 콘텐츠를 추천하는데 이용할 수도 있다. 예를 들어, 상기 상황/이벤트 정보는 SNS, 웹페이지 조회, 전자책 조회, 음악재생, 비디오 재생 중 한 가지 이상의 콘텐츠 조회 동작일 수 있으며, 상기 변화 감지의 값이 미리 설정된 기준 이상의 값일 경우, 상기 전자 장치는 해당 상황/이벤트 정보와 관련하여 다양한 기능을 수행할 수 있다. 예를 들어, 상기 전자 장치는 해당 콘텐츠 정보와 함께 선호도의 변화를 기록해둘 수 있는데, 어떠한 콘텐츠를 조회할 때, 상기 전자 장치는 선호도(감정, 스트레스, 각성레벨)의 변화량이 미리 설정된 값 이상일 경우 선호도의 변화를 기록할 수 있다. 선호도의 변화란 이전 값과 이후 값의 집합이거나 선호도의 추이 정보일 수 있다.
한 실시예에서, 상기 전자 장치는 이러한 선호도 변화와 해당 콘텐츠를 상황/이벤트 정보로서 기록함으로써 향후 어떠한 상황에서 사용자의 정서 변화를 위해 상황/이벤트 정보를 이용할 수 있다. 예를 들어, 특정 음악이 스트레스를 완화한 선호도 추이를 보였다면, 상기 전자 장치는 사용자가 스트레스를 받은 경우 해당 음악을 추천하거나 재생할 수도 있다. 예를 들어, 사용자가 슬픔의 정서를 가진 것으로 판단하면, 상기 전자 장치는 이전에 해당 정서 상태에서 자주 했던 행동, 예를 들어 가족 사진 조회나 선호하는 유머 사이트 접속, 혹은 선호하는 게임 어플리케이션 구동과 같은 기능을 사용자에게 추천하는 동작을 수행하거나 자동 수행할 수 있다. 이런 추천 동작은 디스플레이를 통해 GUI로 표시되거나 오디오를 통해 음성 인터페이스로 출력될 수도 있다.
예를 들어, 상기 전자 장치는 콘텐츠 조회 중에 콘텐츠의 선호도에 따라 사용자의 SNS에 등록하는 기능, 다른 장치/사용자에게 전송하는 기능, 저작자에게 메시지를 전송하는 기능, 메일 기능, 게시물 추천/비추천 기능 중 하나 이상을 수행할 수 있다. 예를 들어, 사용자가 여행지에서 긍정적인 감정이 많았다면, 상기 전자 장치는 해당 여행지나 이동 경로 정보, 일정 정보와 함께 결합하여 여행하기 좋거나 기분 좋은 경험이 많았던 여행으로 평가할 수 있다. 상기 전자 장치는 부정적인 감정이 많았던 여행지나 경로는 위험하거나 기분이 좋지 않은 여행으로 평가할 수도 있다. 이러한 경험 정보가 각 사용자마다 SNS나 클라우드 컴퓨팅 환경을 통해 공유될 수 있으며, 어떠한 사용자가 부정적 경험이 많았던 지역이나 경로에 진입하거나 이러한 지역이나 경로에 대한 정보를 조회할 경우, 경고 팝업, 다른 장소 추천, 다른 경로 추천과 같은 서비스가 제공될 수도 있다. 또한 긍정적 경험이 많았던 경우에는, 상기 전자 장치는 다른 사용자들이 등록한 상황/ 이벤트 정보를 참조하여 특정한 어플리케이션을 추천하거나 관련 콘텐츠(예: 웹사이트, 전자책) 등을 추천할 수도 있다.
상기 전자 장치는 콘텐츠에 대한 감정을 기반으로 서비스를 제공할 수 있다. 상기 전자 장치는 사용 중인 콘텐츠에 대한 정보를 수신할 수 있으며, 콘텐츠는 시청 중인 비디오, 음악 파일, 텍스트(text), 이미지 또는 그 조합이 될 수 있다. 콘텐츠의 정보는 콘텐츠 제목, 전체시간, 현재 재생시간 등의 콘텐츠 시그널을 분석하여 획득할 수 있는 정보일 수 있으며, 콘텐츠 시그널 외 추가로 전송받은 정보, 메타데이터나, 유선 혹은 무선통신을 통해 수신하는 별개 정보(웹사이트, 블로그, SNS, 전자프로그램가이드)일 수 있다.
상기 전자 장치는 콘텐츠 사용 중 생체 인식 센서를 통해서 사용자의 생체 정보를 수집할 수도 있다. 생체 인식 센서는 상기 전자 장치의 내부 또는 외부에 존재할 수 있으며 유선 혹은 무선 통신을 통해 연결되어 정보 공유가 가능할 수 있다.
상기 전자 장치는 어떠한 사용자의 변화 감지 판단을 위해 심장 박동의 변화, 감정의 변화 등 기존 대비 변경되는 부분이 있는지를 판단할 수 있다. 변화 여부를 판단하기 위해, 상기 전자 장치는 사용자의 생체 정보의 평균값 대비 측정된 생체 정보의 값을 비교할 수도 있고, 미리 설정된 기간내 변화량을 비교할 수도 있다. 상기 전자 장치는 다른 사람의 것과 생체 정보 값을 비교할 수도 있다. 상기 전자 장치는 이러한 변화 추이나 변화량이 미리 설정된 크기 이상인지 판단함으로써 변화 여부를 확인할 수 있다.
상기 전자 장치는 상기 판단된 결과를 기반으로 적어도 하나 이상의 콘텐츠 정보를 저장하는 동작을 수행할 수 있다. 상기 콘텐츠 정보는 콘텐츠 재생 시간, 콘텐츠 장면보, 콘텐츠 제목, 콘텐츠 종류, 콘텐츠 파일 포맷 중 하나 이상을 포함할 수 있다. 상기 전자 장치는 콘텐츠 정보와 생체 정보를 하나의 쌍으로 관리할 수도 있고, 추후 그 연관 관계를 분석하는데 사용할 수 있으며, 서버를 통해 저장할 수 있다.
상기 전자 장치는 저장된 정보를 이용하여 추후 광고 등의 서비스에 활용할 수 있다. 예를 들어, 상기 전자 장치는 사용자들이 특정 콘텐츠를 봤을 때의 반응 등을 수집하고, 이를 기반으로 광고 콘텐츠 효용성 평가, 사용자의 몰입도에 기반한 광고 과금 등 다양한 서비스를 제공할 수 있다.
도 70은 다양한 실시예에 따른 서비스 제공 방법을 설명하기 위한 도면이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 상기 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 서비스 제공 모듈(예: 서비스 제공 모듈(701))에 의해 수행될 수 있다.
상기 전자 장치는 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입출력 장치(예: 입출력 인터페이스(140), 입력 장치(250)) 등을 통해 상기 전자 장치가 미리 설정된 지오 펜스들 중의 하나에 접근(그 내부에 위치한 것을 포함)하는 이벤트/상황이 발생한 것을 검출할 수 있다.
도 70을 참조하면, 생체 정보에 근거하여 복수의 지리적 영역들, 즉 지오 펜스들이 설정될 수 있다. 예를 들어, 제1 지오 펜스(2010)는 스트레스 경험이 많았던 영역, 제2 지오 펜스(2020)는 스트레스 경험이 중간 정도되는 영역, 제3 지오 펜스(2030)는 즐거운 경험이 많았던 영역을 나타낼 수 있다.
상기 전자 장치는 지오 펜스와 연관된 이벤트/상황의 발생에 따라 상기 이벤트/상황에 대응하는 생체/스트레스/감정 정보를 결정할 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스(예: 제5 데이터베이스)에서 상기 검출된 이벤트/상황과 대응하는 이벤트/상황 정보를 검색할 수 있다. 상기 전자 장치는 상기 검색된 이벤트/상황 정보에 대응하여 상기 데이터베이스에 저장된 생체/스트레스/감정 정보를 상기 검출된 이벤트에 대응하는 생체/스트레스/감정 정보로 결정할 수 있다.
상기 전자 장치는 상기 이벤트/상황 및/또는 상기 생체/스트레스/감정 정보에 대응하는 서비스를 결정하고, 결정된 서비스를 사용자에게 제공할 수 있다. 상기 전자 장치는 상기 결정된 서비스의 제공과 함께 또는 별도로 상기 이벤트/상황 정보의 적어도 일부 및/또는 상기 결정된 생체/스트레스/감정 정보의 적어도 일부를 사용자에게 표시할 수 있다. 한 실시예에서, 상기 전자 장치는 상기 데이터베이스(예: 제5 데이터베이스)에서 상기 이벤트/상황 및/또는 상기 생체/스트레스/감정 정보에 대응하여 저장된 서비스를 검색 및 결정할 수 있다.
상기 전자 장치는 생체 센서에 의해 측정된 생체 정보와 생체 정보의 측정 위치를 활용한 서비스를 제공할 수 있다. 상기 생체 정보와 위치 정보는 하나 또는 그 이상의 센서 또는 장치에 의해 측정될 수 있으며, 상기 생체 정보와 위치 정보는 각각 다른 장치들에서 측정될 수 있고, 상기 장치들은 무선 연결 등을 통해 생체 정보나 위치 정보 중 최소 하나의 정보를 서로 공유할 수 있다. 상기 위치 정보는 GPS 뿐만 아니라, WiFi, BLE, NFC, Beacon, 결제정보 등 위치를 판단할 수 있는 다양한 소스(source)로부터 측정되거나 그 측정 데이터로부터 유추될 수 있다.
상기 전자 장치는 지오 펜스를 활용하여 스트레스가 높은 영역에 진입 시, 관련된 서비스를 제공할 수 있다. 예를 들어, 상기 전자 장치는 스트레스가 높았을 때 기존에 행했던 사용자의 활동을 기반으로 특정 기능을 실행하거나 사용자를 위한 기능을 추천할 수 있다. 예를 들어, 상기 전자 장치는 스트레스를 줄이기 위하여 미리 설정된 콘텐츠/서비스(예: 어플리케이션, 웹페이지, 컨텐츠, 운동 정보, 여행 정보 등) 중 하나를 제공할 수 있다. 상기 전자 장치는 스트레스와 관련된 다른 사람들의 SNS 피드(feed), 가이드(예: 대처법, 솔루션, 힐링 콘텐츠, 유머 등) 등을 검색하여 사용자에게 제공할 수도 있다. 상기 전자 장치는 상대적으로 스트레스가 낮았거나 또는 스트레스를 완화시켰던 사용자의 활동을 기반으로 이벤트를 발생시키거나 사용자를 위한 기능을 추천할 수도 있고, 스트레스가 낮은 지오 펜스에서의 경험과 관련한 콘텐츠를 제공할 수도 있다. 예를 들어, 상기 전자 장치는 여행 중 사진 등과 같이 즐거운 경험과 관련된 정보를 제공할 수 있다.
만약 사용자가 극심하게 스트레스 경험이 많거나 지수가 높은 지역에 진입했거나 진입이 예상된다면, 상기 전자 장치는 해당 지역을 회피하거나 상대적으로 스트레스 경험이 적거나 스트레스 지수가 낮은 지역으로 유도하기 위하여 경로를 표시하거나 네비게이션 기능을 통해 가이드할 수도 있다.
한 실시예에서, 상기 전자 장치는 위치 정보와 매핑된 생체 정보 또는 측정된 스트레스 정도를 데이터베이스로 구성할 수 있다. 상기 전자 장치는, 데이터베이스 내 복수 사용자의 위치 정보와 매핑된 생체 정보를 활용하여 서비스를 제공할 수 있다. 상기 복수 사용자는 나이, 성별, 취미, 직업 등으로 분류될 수도 있고, 상기 전자 장치는 어떠한 사용자의 개인 정보를 활용하여 가장 유사한 특징을 지닌 다른 사용자들의 위치별 스트레스 레벨을 이용할 수도 있다. 예를 들어, 상기 전자 장치는 상기 데이터베이스를 활용하여 약속 장소/여행 목적지 등을 추천할 때, 해당 지역에서의 불특정 다수 사용자들의 스트레스 지수 히스토리를 참조할 수 있다. 상기 전자 장치는 약속 장소/여행 목적지 등을 추천할 때, 참여하는 사람들의 해당 지역에서의 스트레스 지수를 참조하여 여러 선택지를 추천할 수도 있다. 상기 전자 장치는 상기 데이터베이스를 활용하여 네이게이션 경로를 추천할 때, 최단거리/최소시간 외에 "최소 스트레스/최대 기쁨이나 흥분" 등과 같은 감정과 관련된 옵션을 제공할 수 있다.
한 실시예에서, 상기 전자 장치는 지오 펜스 외에 다른 데이터 또는 서비스를 이용할 수 있다. 예를 들어, 상기 전자 장치는 날씨 제공 어플리케이션을 이용하여 날씨에 따른 생체 정보(예: 심박수, 혈압, 체온 등)을 판단하고, 자주 방문했던 선호(favorite) 장소, 위치를 제시하거나 추천할 수 있다. 예를 들어, 상기 전자 장치는 바람이 많이 불거나 추운 날에는 외부 장소에서 체온이 낮아지거나 스트레스가 높았을 수 있으므로 같은 위치/지역에서도 스트레스가 낮았던 장소(예: 실내, 레스토랑, 커피숍, 명소 등)을 추천하는 등 사용자 경험에 기반한 생체 정보와 날씨 등 부가 정보를 이용하여 추천 기능을 수행할 수 있다.
다양한 실시예에 따르면, 전자 장치의 서비스 제공 방법은, 사용자의 생체 정보를 획득하는 동작; 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 사용자의 생체 정보는 상기 사용자의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 미리 설정된 조건을 충족하는 상기 전자 장치의 상태 변경을 검출하는 동작을 더 포함하고, 상기 전자 장치의 상태 변경을 검출함에 따라 상기 생체 정보를 획득하는 동작을 개시할 수 있다.
다양한 실시예에 따르면, 상기 방법은 미리 설정된 조건이 충족되는지의 여부를 결정하는 동작을 더 포함하고, 상기 미리 설정된 조건이 충족됨에 따라 상기 생체 정보를 획득하는 동작을 개시하고, 상기 미리 설정된 조건은, 임계 값을 초과하는 상기 전자 장치의 움직임, 미리 설정된 제스처에 따른 상기 전자 장치의 움직임, 미리 설정된 영역으로의 상기 전자 장치의 위치 이동, 상기 전자 장치로의 사용자 입력, 상기 전자 장치에서 미리 설정된 이벤트의 발생, 상기 전자 장치의 슬립 상태 및 웨이크 업 상태 간의 전환 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 외부 장치로부터 상기 생체 정보를 수신할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 생체 정보를 미리 설정된 값 또는 이전 생체 정보와 비교하는 동작; 및 상기 생체 정보와 상기 미리 설정된 값 또는 상기 이전 생체 정보의 차이에 따라 상기 생체 정보의 획득 주기를 변경하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 생체 정보를 외부 장치로 전송하는 동작; 및 상기 외부 장치로부터 상기 생체 정보의 획득 주기 정보를 수신하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 사용자 연관 정보를 획득하는 동작을 더 포함하고, 상기 사용자의 생체 정보를 획득하는 동작은 상기 사용자 연관 정보의 획득에 따라 개시되고, 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 상기 생체 정보 및 상기 사용자 연관 정보에 대응하는 적어도 하나의 서비스가 결정될 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 전자 장치에 미리 저장된 사용자 연관 정보들 중에서 상기 생체 정보와 연관된 사용자 연관 정보를 결정하는 동작을 더 포함하고, 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 상기 생체 정보 및 상기 결정된 사용자 연관 정보에 대응하는 적어도 하나의 서비스가 결정할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 전자 장치에 미리 저장된 사용자 연관 정보들 중에서 상기 생체 정보와 연관된 사용자 연관 정보를 결정하는 동작을 더 포함하고, 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 상기 생체 정보 및 상기 결정된 사용자 연관 정보에 대응하는 적어도 하나의 서비스가 결정되고, 상기 사용자 연관 정보는 상기 사용자에 대한 정보, 상기 전자 장치에 대한 정보, 상기 전자 장치의 주변 환경에 대한 정보 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스는 사용자 인터페이스의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 정보 저장, 정보 전송, 기능 또는 서비스의 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한 또는 차단, 상기 전자 장치의 환경설정 변경, 외부 장치의 제어 중의 적어도 하나일 수 있다.
다양한 실시예에 따르면, 상기 사용자의 생체 정보는 상기 사용자의 연령을 포함하고, 상기 결정된 적어도 하나의 서비스는 현재 표시된 사용자 인터페이스를 상기 사용자의 연령에 따른 사용자 인터페이스로 변경할 수 있다.
다양한 실시예에 따르면, 상기 사용자의 생체 정보는 상기 사용자의 연령을 포함하고, 상기 결정된 적어도 하나의 서비스는 상기 전자 장치의 안내 음성 변경, 음성 볼륨 변경, 미리 설정된 콘텐츠 또는 서비스의 접근 제한, 경고 피드백의 제공, 정보 추천 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 생체 정보를 미리 설정된 값과 비교하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 생체 정보를 미리 설정된 값과 비교하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력하는 동작을 더 포함하고, 상기 적어도 하나의 알람 신호는 시각적 신호, 청각적 신호, 촉각적 신호 중 적어도 하나일 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 생체 정보를 미리 설정된 값과 비교하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력하는 동작을 더 포함하고, 상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이가 임계값보다 크면, 상기 적어도 하나의 알람 신호의 강도, 상기 적어도 하나의 알람 신호의 종류, 상기 적어도 하나의 알람 신호의 출력 횟수, 또는 상기 생체 정보의 획득 주기가 증가되는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 움직임 또는 위치 정보를 획득하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보와 상기 움직임 또는 위치 정보에 근거하여 상기 사용자를 인증하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 현재 위치 또는 현재 시간을 획득하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보와, 상기 현재 위치 또는 상기 현재 시간에 근거하여 상기 사용자를 인증하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 운동 강도 또는 활동 종류를 획득하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보와, 상기 운동 강도 또는 활동 종류에 근거하여 상기 사용자를 인증하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 인증을 위해 상기 사용자의 생체 정보를 미리 설정된 제1 값과 비교하는 동작; 상기 사용자의 생체 정보와 상기 미리 설정된 제1 값의 차이가 임계값 이하인 경우, 추가적인 생체 정보를 획득하는 동작; 및 상기 사용자의 인증을 위해 상기 추가적인 생체 정보를 미리 설정된 제2 값과 비교하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 이벤트를 검출하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보에 근거하여 상기 사용자를 인증하는 동작; 상기 전자 장치 또는 제1 외부 장치에 저장된 데이터베이스에서 상기 사용자 및 상기 이벤트와 일치하는 이벤트를 검색하는 동작; 및 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 제어 정보에 근거하여 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치를 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 이벤트를 검출하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보에 근거하여 상기 사용자를 인증하는 동작; 상기 전자 장치 또는 제1 외부 장치에 저장된 데이터베이스에서 상기 사용자 및 상기 이벤트와 일치하는 이벤트를 검색하는 동작; 및 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 제어 정보에 근거하여 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치를 제어하는 동작을 포함하고, 상기 제어 동작은, 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치의 볼륨 조절, 사용자 인터페이스의 변경, 밝기 변경, 채널 변경 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 이벤트를 검출하는 동작을 더 포함하고, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보에 근거하여 상기 사용자를 인증하는 동작; 상기 이벤트와 연관된 상기 전자 장치의 제어 정보를 검출하는 동작; 및 상기 이벤트 및 상기 제어 정보에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보를 미리 설정된 값과 비교하는 동작; 상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 사용자 연관 정보를 획득하는 동작; 및 상기 생체 정보 및 상기 사용자 연관 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 사용자의 생체 정보를 미리 설정된 값과 비교하는 동작; 상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 사용자 연관 정보를 획득하는 동작; 및 상기 생체 정보 및 상기 사용자 연관 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하는 동작을 포함하고, 상기 사용자 연관 정보는 이미지, 비디오, 오디오, 위치, 시간, 날씨 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 미리 설정된 복수의 카테고리들 중 상기 사용자의 생체 정보가 속하는 카테고리를 결정하는 동작; 현재 재생 중인 콘텐츠 및 상기 카테고리에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치의 서비스 제공 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체에 있어서, 상기 방법은, 사용자의 생체 정보를 획득하는 동작; 상기 전자 장치가 지원하는 상기 생체 정보와 연관된 복수의 서비스들 중에서 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치의 서비스 제공 방법은, 이벤트를 검출하는 동작; 상기 이벤트에 대응하는 생체 정보를 결정하는 동작; 상기 전자 장치가 지원하는 상기 이벤트와 연관된 복수의 서비스들 중에서 상기 결정된 생체 정보에 대응하는 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 이벤트에 대응하는 생체 정보를 결정하는 동작은, 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 검출된 이벤트와 일치하는 이벤트를 검색하는 동작; 및 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 생체 정보를 상기 검출된 이벤트에 대응하는 생체 정보로 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 이벤트에 대응하는 생체 정보를 결정하는 동작은, 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 검출된 이벤트와 일치하는 이벤트를 검색하는 동작; 상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 생체 정보의 종류를 확인하는 동작; 및 상기 확인된 종류의 생체 정보를 사용자로부터 획득하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 생체 정보를 획득하는 동작; 및 상기 이벤트 및 상기 획득된 생체 정보에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은, 상기 사용자의 생체 정보를 획득하는 동작; 상기 획득된 생체 정보를 미리 설정된 값과 비교하는 동작; 및 상기 획득된 생체 정보 및 상기 미리 설정된 값의 차이에 따라 상기 이벤트 및 상기 사용자의 생체 정보에 연관된 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스는 사용자 인터페이스의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 정보 저장, 정보 전송, 기능 또는 서비스의 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한 또는 차단, 상기 전자 장치의 환경설정 변경, 외부 장치의 제어 중의 적어도 하나일 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 결정된 생체 정보를 외부 장치로 전송하는 동작; 상기 외부 장치로부터 상기 생체 정보와 연관된 정보를 수신하는 동작; 및 상기 수신된 정보를 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 적어도 하나의 서비스를 제공하는 동작은, 상기 결정된 생체 정보에 대응하는 외부 장치의 제어 정보를 결정하는 동작; 및 상기 제어 정보를 상기 외부 장치로 전송하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 이벤트에 대응하는 생체 정보를 결정하는 동작은, 상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 전자 장치의 위치가 속하는 영역을 검색하는 동작; 및 상기 검색된 영역에 대응하여 상기 데이터베이스에 저장된 생체 정보를 상기 검출된 이벤트에 대응하는 생체 정보로 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치의 서비스 제공 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체에 있어서, 상기 방법은, 이벤트를 검출하는 동작; 상기 이벤트에 대응하는 생체 정보를 결정하는 동작; 상기 전자 장치가 지원하는 상기 이벤트와 연관된 복수의 서비스들 중에서 상기 결정된 생체 정보에 대응하는 적어도 하나의 서비스를 결정하는 동작; 및 상기 결정된 적어도 하나의 서비스를 제공하는 동작을 포함할 수 있다.
도 71은 다양한 실시예에 따른 전자 장치(예: 전자 장치(101, 201))의 네비게이션 모듈(2101)(예: 추가 기능 모듈(170))의 블록도(2100)를 도시한다. 상기 네비게이션 모듈(2101)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다. 도 71을 참조하면, 상기 네비게이션 모듈(2101)은, 획득 모듈(2110), 결정 모듈(2120) 및 제공 모듈(2130)을 포함할 수 있다. 상기 네비게이션 모듈(2101)은 프로세서(예: 프로세서(120, 210))와는 별도로 제공되거나, 프로세서에 그 전체 또는 일부가 통합될 수 있다.
다양한 실시예에 따른 상기 획득 모듈(2110)은 복수의 지점에 대한 정보를 획득할 수 있다.
다양한 실시예에 따른 상기 결정 모듈(2120)은 적어도 상기 획득된 정보에 기반하여, 적어도 하나의 참조 지점(reference point)을 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(2120)은 상기 복수의 지점에 기반한 초기 경로를 설정할 수 있고, 참조 후보 지점들 중에서 상기 초기 경로로부터 지정된 범위 내에 포함되는 참조 후보 지점을 상기 참조 지점으로 결정할 수 있다. 상기 결정 모듈(2120)은 임의의 참조 후보 지점을 포함하는 가상 경로에 따른 이동 거리나 이동 시간의 증가량이 기준 값 이하인 경우, 상기 임의의 참조 후보 지점을 상기 참조 지점으로 결정할 수 있다. 상기 결정 모듈(2120)은 상기 참조 후보 지점들 중 지정된 우선 순위에 따라서 상기 참조 지점을 결정할 수 있다. 상기 결정 모듈(2120)은 상기 참조 후보들 중에서 일부는 자동으로, 나머지 일부는 사용자 입력에 기반하여 상기 참조 지점으로 결정할 수 있다. 상기 결정 모듈(2120)은 외부 단말로부터 수신된 지점을 상기 참조 지점으로 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(2120)은 상기 획득된 정보에 기반하여 상기 복수의 지점을 연결하는 초기 경로를 결정할 수 있고, 상기 초기 경로에 기반하여 상기 적어도 하나의 참조 지점을 결정할 수 있다.
다양한 실시예에 따른 상기 제공 모듈(2130)은 상기 참조 지점에 대한 정보를 포함한 경로 안내를 제공할 수 있다. 상기 제공 모듈(2130)은 상기 복수의 지점, 또는 상기 복수의 지점 및 상기 참조 지점 중 적어도 일부에 기반하여 상기 경로를 결정할 수 있다. 상기 제공 모듈(2130)은 전체 경로에 대한 상기 참조 지점까지의 이동 거리의 비율 정보를 제공할 수 있다. 상기 제공 모듈(2130)은 상기 전체 경로에 포함된 경유지에서의 턴바이턴(turn-by-turn) 안내를 상기 참조 지점에 대한 정보와 함께 제공할 수 있다.
한 실시예에서, 상기 제공 모듈(2130)은 상기 초기 경로 및 상기 참조 지점 중 일부에 기반하여 최종 경로를 생성할 수 있고, 상기 최종 경로에 기반하여, 상기 참조 지점에 대한 정보 및 상기 최종 경로에 포함되는 경유지에 대한 정보를 제공할 수 있다. 상기 참조 지점 중 다른 일부는 상기 최종 경로에 포함되지 않을 수 있다.
상기 네비게이션 모듈(2101)은, 획득된 정보에 기반하여 경로를 설정하고 설정된 경로에 대한 안내를 입출력 인터페이스(예: 입출력 인터페이스(140)), 디스플레이(예: 디스플레이(150, 260)), 오디오 모듈(예: 오디오 모듈(280)) 등을 이용하여 제공할 수 있다. 다양한 실시예에서, 상기 네비게이션 모듈(2101)은 네비게이션 엔진으로 이해될 수 있다. 다양한 실시예에서, 상기 네비게이션 모듈(2101)은 프로세서(예: 프로세서(120, 210))와 함께 하나의 제어 모듈로 이해될 수 있고, 하나의 칩셋(SoC)으로 구현될 수 있다. 상기 네비게이션 모듈(2101)은 메모리(예: 메모리(130, 230))에 저장된 참조 지점에 대한 데이터를 획득하여, 경로 설정에 반영될 참조 지점을 추출하거나 필터링하거나 또는 결정할 수 있다. 다양한 실시예에 따르면, 상기 네비게이션 모듈(2101)은, 다른 구성요소들(예: 상기 프로세서, 상기 메모리, 상기 입출력 인터페이스, 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220) 등) 등)로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 상기 통신 장치 등으로 제공할 수 있다. 예를 들면, 상기 네비게이션 모듈(2101)은, 획득되거나 결정된 참조 지점에 대한 정보를 다른 전자 장치(예: 전자 장치(104), 서버(106) 등)로 제공할 수 있다. 또는 상기 네비게이션 모듈(2101)은 생성된 초기 또는 최종 경로에 대한 정보를 다른 구성요소 또는 다른 전자 장치로 제공할 수 있다.
다양한 실시예에 따른 경로 안내를 제공하는 상기 전자 장치(예: 전자 장치(101, 201))는, 적어도 하나의 목적지 정보를 획득하기 위한 입출력 상기 인터페이스, 복수의 참조 지점들에 대한 정보를 저장하기 위한 상기 메모리, 및 적어도 상기 목적지 정보에 기반하여, 상기 복수의 참조 지점들 중 일부를 경로 안내에 제공할 참조 지점으로 결정하는 상기 프로세서를 포함하고, 상기 프로세서는 상기 결정된 참조 지점에 대한 정보를 포함한 경로 안내를 제공하도록 설정될 수 있다.
다양한 실시예에서, 상기 전자 장치는 상기 전자 장치의 현재 위치를 결정하는 위치 모듈을 더 포함하고, 상기 프로세서는 상기 현재 위치를 출발지 정보로 하여 상기 경로 안내를 제공하도록 설정될 수 있다.
다양한 실시예에서, 상기 메모리는 서비스 제공자에 의해 지정된 참조 지점, 사용자에 의해 설정된 참조 지점, 전자 장치의 어플리케이션을 통해 획득된 참조 지점, 또는 사용자 등록에 위해 획득된 참조 지점 중 적어도 하나를 상기 복수의 참조 지점들로 저장할 수 있다.
다양한 실시예에서, 상기 전자 장치는 상기 전자 장치와 연동되는 웨어러블 장치와 연결하기 위한 상기 통신 장치를 더 포함하고, 상기 통신 장치는 상기 웨어러블 장치에서 지정된 마킹 동작이 발생한 위치 정보를 수신하고, 상기 사용자 등록에 의해 획득된 참조 지점은, 상기 마킹 동작이 발생한 위치 정보에 대응되도록 설정될 수 있다.
다양한 실시예에서, 상기 프로세서는 상기 어플리케이션을 통해 송신 또는 수신되는 컨텐츠를 파싱하고, 상기 파싱 결과 획득된 임의의 지점을 상기 어플리케이션을 통해 획득된 참조 지점으로 상기 메모리에 저장하도록 설정될 수 있다. 다양한 실시예에서, 상기 프로세서는 상기 결정된 참조 지점 중 적어도 일부를 포함하여 경로를 재설정하도록 설정될 수 있다. 다양한 실시예에서, 상기 참조 지점 중 적어도 일부는, 상기 경로 상에 포함되지 않거나 경로의 직진 구간에 위치하도록 설정될 수 있다.
기존의 턴 바이 턴 방식의 경로 안내는 교차로와 같은 분기 점에서 사용자에게 적절한 안내를 제공할 수 있다. 하지만 사용자(또는 운전자)는 전체적인 이동 경로에 대한 이해를 하기 보다는 기계적으로 네비게이션(또는 경로 안내 기능을 제공하는 전자 장치)의 안내에 따라서 방향 전환을 하면서 목적지에 도달하게 된다. 이러한 경우, 한번(혹은 여러 번) 가본 곳이라 하더라도, 경로를 잘 기억하지 못하는 경우가 발생할 수 있다.
도 72는 경로 안내의 예시를 나타낸다.
도 72의 (a)를 참조하면, 사용자는 출발지(2210), 목적지(2220)을 입력하고, 이동 방법(2230)을 선택하면 전자 장치는 도 72의 (b)와 같이, 출발지(2210)과 목적지(2220)을 연결하는 최단, 또는 최적 경로와 같은 경로 안내를 제공할 수 있다. 이와 같은 지도 화면(2240)은 축적이 너무 크기 때문에, 사용자가 어떤 경로를 따라 이동해야 하는지 직관적으로 인식하기 힘들 수 있다. 사용자는 일반적으로 상세 버튼(2250)을 선택하여 출발지로부터 목적지에 이르는 세부 경로를 확인할 수 있다.
그러나 도 72의 (c)를 참조하면, 출발지(2210)으로부터 목적지(2220)까지의 경로가 턴 바이 턴 형태로 안내될 수 있다. 안내 화면(2270)에서 일부 구간은 93m 또는 292m와 같이 전체 경로에 대비하여 매우 짧은 구간에 대한 안내가 제공되기 때문에, 사용자는 출발지(2210)으로부터 목적지(2220)까지 이동하기 위해 대략적으로 어떤 경로들을 선택해서 이동해야 하는지 파악하기 어렵다. 또한 이동 경로 근처에 유명한 랜드마크와 같이 사용자 인식을 돕는 지점이 있어도, 해당 지점을 직접적으로 통과하지 않거나(예를 들어, 고속도로와 직접 연결되지는 않았지만 고속도로를 통해 이동하면 사용자의 시야에 확인 가능한 건물), 해당 지점을 경로 변경 없이(예를 들어, 단순히 직진만 해서) 통과하는 경우 해당 지점에 대한 안내는 제공되지 않는다. 사용자는 일반적으로 지도 버튼(2260)을 선택하여 도 72의 (b)와 같은 지도 화면을 표시할 수 있다.
다양한 실시예들은 이와 같은 문제점들을 해결하기 위해 사용자의 인식을 향상시킬 수 있는 다양한 참조 지점을 경로 안내에 포함시켜서 제공할 수 있다. 또한 다양한 참조 지점의 선택 및 결정 과정을 사용자 경험에 기반하도록 하여, 사용자에게 친숙한 경로 안내를 제공할 수 있다.
다양한 실시예에 따르면, 참조 지점을 기준으로 하여 나누어진 경로를 생성하여 사용자에게 인지시킴으로써, 사용자가 보다 정확하게 전체 경로에 대해 이해하도록 할 수 있다.
또한 다양한 실시예에 따르면, 사용자 경험을 토대로 사용자에게 친숙하고 찾기 쉬운 장소에 대한 정보를 경로 설계에 반영함으로써, 사용자가 직관적이고 신속하게 경로를 이해할 수 있도록 할 수 있다.
도 73은 다양한 실시예에 따른 경로 안내 제공 프로세스를 나타낸다.
도 73을 참조하면, 동작 2310에서, 다양한 실시예에 따른 전자 장치는 복수의 장소에 대한 정보를 획득할 수 있다. 다양한 실시예에서, 전자 장치는 터치 스크린, 음성 인식, 물리 키보드 등과 같이 다양한 입력 장치를 이용하여 복수의 장소에 대한 정보를 획득할 수 있다. 예를 들어, 스마트 폰과 같은 전자 장치는 스크린에 디스플레이 된 가상의 키보드에 대한 터치 입력을 통해 출발지와 목적지에 대한 입력을 수신할 수 있다.
다양한 실시예에서, 전자 장치는 목적지에 대한 입력만 수신할 수 있다. 이 경우, 전자 장치는 GPS 센서, Wi-Fi 또는 GSM과 같은 이동 통신 기반의 위치 모듈 등을 이용하여 전자 장치의 현재 위치를 결정할 수 있다. 이 현재 위치는 경로의 출발지에 대응될 수 있다.
다양한 실시예에서, 전자 장치는 또 다른 목적지, 또는 경유지(route point)에 대한 입력을 수신할 수 있다. 예를 들어, 전자 장치는 2개 이상의 목적지에 대한 경로 안내를 제공할 수 있다. 예를 들어, 출발지 - 제1 목적지(또는 경유지) - 제2 목적지를 연결하는 경로에 대한 안내가 제공될 수 있다.
동작 2320에서, 전자 장치는 적어도 상기 획득된 복수의 장소 또는 지점에 대한 정보에 기반하여, 적어도 하나의 참조 지점(reference point)을 결정할 수 있다.
본 명세서에 개시되는 내용에 있어서, 참조 지점은 경유지 또는 목적지와는 구별된다. 또한, 턴 바이 턴 안내로 제공되는 교차로 정보, 좌회전, 우회전, 또는 유턴(U-turn) 등을 해야 하는 지점에 대한 정보와도 구별된다. 참조 지점은, 사용자가 설정된 경로를 따라 이동할 때 지표로 삼을 수 있는 장소, 건물, 자연 등을 포함하는 개념이다.
예를 들어, 사용자가 특정 교차로를 거쳐서 이동하는 경우, 또는 교차로에서 우회전 하는 경우, 해당 교차로는 경로 안내(턴 바이 턴 안내)를 위한 장소에 해당하지만, 특정 교차로에 위치한 유명한 빌딩은 사용자의 이동 경로 상에, 또는 이동 경로 근방에 해당 빌딩이 위치한다는 참조 지점에 해당할 수 있다. 기존의 방식에 따라 해당 빌딩을 경유지에 포함하는 경우, 전자 장치는 해당 빌딩을 경유(예를 들어, 빌딩의 정문 또는 주차장으로 안내)하는 경로를 생성하여 사용자에게 안내를 제공하지만, 다양한 실시예에 따라 해당 빌딩을 참조 지점으로 설정하는 경우, 전자 장치는 출발지 및 목적지 정보에 기반하여 경로를 생성하여 사용자에게 안내를 제공할 수 있다.
다른 예를 들어, 출발지 및 목적지에 기반하여 설정된 경로를 따라 운전자가 이동하는 경우, 직진 구간에서 랜드마크(예를 들어, 63빌딩, 예술의 전당, 등)와 같은 장소를 통과할 수 있다. 기존의 방식에 따라 경로 안내가 제공되는 경우, 랜드마크와 같은 장소들은 사용자의 경로에 대한 인식을 크게 향상시켜줄 수 있음에도 불구하고, 해당 장소에서 좌회전이나 우회전 등이 발생하지 않는 경우 아무런 안내를 제공하지 않는다. 그러나 다양한 실시예에 따르면, 해당 구간에서 사용자는 단순히 직진을 하는 경우라 하더라도, 해당 지점(참조 지점)에 대한 정보(참조 지점의 이름, 이미지, 전체 경로 대비 이동 비율 등)를 제공할 수 있다.
또한 참조 지점을 설정하는 다양한 방법에 관해서는 도 78을 참조하여 후술한다.
동작 2330에서, 전자 장치는 참조 지점에 대한 정보를 포함한 경로 안내를 제공할 수 있다. 다양한 실시예에서, 상기 경로는 상기 복수의 지점(예를 들어, 출발지 및 목적지, 및 필요한 경우, 경유지)에 의해서 결정될 수 있다. 또한 다양한 실시예에서, 상기 경로는 상기 복수의 지점 및 상기 참조 지점 중 일부 또는 전부를 포함하여 결정될 수 있다. 참조 지점에 대한 정보를 포함한 경로 안내와 관련하여, 도 74 및 도 75를 참조하여 설명한다.
도 74는 다양한 실시예에 따른 참조 지점을 이용한 예시적인 경로 안내 화면을 나타낸다.
도 74를 참조하면, 전자 장치는 사용자로부터 출발지(예: 삼성전자) 및 목적지(예: 강남역)에 대한 정보를 획득할 수 있다. 전술한 바와 같이, 출발지 정보는 위치 모듈을 통해 획득될 수도 있고, 목적지는 둘 이상이 존재할 수 있다. 이하에서는 설명의 편의를 위해 삼성전자를 출발지로, 강남역을 유일한 목적지로 하는 경로 안내에 대하여 설명한다.
전자 장치는 설정된 출발지와 목적지 사이에 해당하는 참조 지점을 추출할 수 있다. 참조 지점은 전자 장치의 스토리지와 같은 저장 공간에 저장되어 있을 수 있다. 다양한 실시예에서, 전자 장치는 출발지 및 목적지에 기반하여 생성되는 경로(예: 초기 경로 또는 1차 경로)에 대한 정보를 외부 장치(예: 서버 등)로 전송하고, 외부 장치로부터 해당 경로에서 이용 가능한 참조 지점에 대한 정보를 수신할 수 있다.
전자 장치는 추출된 참조 지점을 포함하는 전체 길 안내를 제공할 수 있다. 전자 장치는 각각의 참조 지점이 전체 경로에서 어느 정도 위치에 해당하는지 수식이나 도표 또는 이미지를 통해서 사용자에게 제공할 수 있다. 도 74의 예시에서, 전체 경로에는 경희대학교, 수원 IC, 현대-기아 자동차 빌딩, 반포 IC, 교보타워, 삼성전자 서초사옥을 참조 지점으로 하는 안내(항목 2401, 2403, 2405, 2407, 2409, 2411, 2413, 2415)가 포함될 수 있다. 또한 각각의 항목은 해당 참조 지점의 이미지나 로고를 나타내는 영역(2410), 해당 참조 지점의 명칭을 나타내는 영역(2420), 및 전체 경로에서 해당 지점까지의 거리에 해당하는 비율(또는 해당 지점까지 이동하는데 소요되는 시간)을 나타내는 영역(2430)을 포함할 수 있다. 예를 들어, 안내 항목 2407을 참조하면, 현대-기아 자동차 빌딩을 나타내는 이미지와, 해당 참조 지점까지의 거리가 전체 경로(약 36.06km)에서 약 70%(즉, 출발지로부터 약 25km 경과)의 이동에 해당한다는 정보가 제공될 수 있다. 실제로 현대-기아 자동차 빌딩은 상기의 이동 경로 상에는 위치하지 않지만(경부고속도로를 따라 이동하면 운전자의 우측 시야에 들어올 뿐이다) 사용자는 이와 같은 참조 지점을 통해 전체 경로에 대해서 보다 잘 인지할 수 있고, 실제 운행 중에도 목적지를 향해 어느 정도 이동하였는지 직관적으로 알 수 있다.
도 75는 다양한 실시예에 따른 참조 지점에 대한 안내와 턴 바이 턴 안내를 결합한 예시적인 경로 안내 화면을 나타낸다.
다양한 실시예에 따르면, 전체 경로를 참조 지점들로만 표시하여 사용자에게 제공하는 것도 가능하지만, 전체 경로의 길이와 복잡도를 고려하여 참조 지점에 대한 정보를 제공하되, 각 참조 지점 사이의 턴 바이 턴 정보를 제공하는 것도 가능하다. 예를 들어, 제공되는 안내 항목 2501, 2503, 2505, 2507, 2509, 2511, 2513 중에서 안내 항목 2501, 2503, 2505, 2511, 및 2513은 턴 바이 턴 정보를 제공하고 있고, 안내 항목 2507 및 2509는 참조 지점에 대한 안내 정보를 제공하고 있다.
도 74에서 해당 참조 지점의 이미지나 로고를 나타내는 영역(2410)은 도 75에서 턴 바이 턴 안내를 나타내는 이미지 영역(2510)으로 대체될 수 있다. 참조 지점에 대한 안내 정보를 제공하는 항목의 경우, 도 74에서 참조 지점의 명칭을 나타내는 영역(2420)은 도 75에서 턴 바이 턴 안내를 제공하는 텍스트 영역(2520)으로 대체될 수 있다. 도 74에서 전체 경로에서 해당 지점까지의 거리에 해당하는 비율(또는 해당 지점까지 이동하는데 소요되는 시간)을 나타내는 영역은, 생략되거나, 참조 지점에 대한 안내 정보를 제공하는 항목(예를 들어, 안내 항목 2507 및 2509)에만 존재할 수 있다.
도 75에 도시된 형태의 안내는 도 74에 도시된 안내 형태로부터 변형될 수 있다. 예를 들어, 사용자가 도 74에 도시된 화면에서 현대-기아 자동차 빌딩 항목(안내 항목 2407)을 선택하면, 수원 IC(안내 항목 2405)부터 현대-기아 자동차 빌딩 항목(안내 항목 2407) 사이에 해당하는 턴 바이 턴 안내 정보가 제공될 수 있다. 또한 예를 들어, 사용자가 도 75에 도시된 화면에서 현대-기아 자동차 빌딩 항목(안내 항목 2507)을 선택하면, 수원 IC(미도시)부터 현대-기아 자동차 빌딩 항목(안내 항목 2507) 사이에 해당하는 턴 바이 턴 안내 정보들(예: 안내 항목 2501, 2503, 2505 등)은 접힘 상태(folded)가 되거나 사라지고, 참조 지점인 수원 IC에 대한 정보가 제공될 수 있다. 이와 같이 참조 지점을 기준으로 구획별로 턴 바이 턴 경로 안내를 제공하는 것도 가능하다. 만약 도시된 예시에서, 사용자가 안내 항목 2509(참조 지점 반포 IC에 대한 안내)를 선택하는 경우, 안내 항목 2507과 안내 항목 2509 사이의 턴 바이 턴 안내 목록들이 제공될 수 있다.
도 76은 다양한 실시예에 따른 참조 지점을 이용하여 경로를 설계하는 프로세스를 나타낸다.
다양한 실시예에 따르면 동작 2610에서, 전자 장치는 초기 데이터를 획득할 수 있다. 초기 데이터는 출발지(2611), 도착지(목적지)(2613), 경유지(2615)와 같은 복수의 지점에 대한 정보일 수 있다. 전술한 바와 같이, 경유지(2615), 또는 목적지는 복수 개로 존재할 수 있다. 또한 출발지(2611)은 위치 모듈을 이용하여 획득된 전자 장치의 현재 위치로부터 결정될 수 있다.
다양한 실시예에 따르면 동작 2620에서, 전자 장치는 복수의 지점에 기반하여 초기 경로를 생성할 수 있다. 이 초기 경로는 동작 2610에서 획득된 초기 데이터에 의해 결정될 수 있다. 초기 경로는 복수의 지점을 연결하는 최단 거리 경로, 최단 시간 경로, 실시간 교통 상황을 반영한 최적 경로, 고속도로 이용 여부 또는 도로 이용 요금 등을 반영한 다양한 경로로 설정될 수 있다. 다양한 실시예에 따르면, 동작 2620에서, 전자 장치는 둘 이상의 초기 경로 후보들을 생성하여 사용자에게 제공하고, 사용자의 결정(선택)에 기반하여 초기 경로를 최종적으로 생성할 수 있다. 그러나 다양한 실시예에서, 전자 장치는 사용자 선택 과정 없이 임의적으로 초기 경로를 결정할 수 있다.
동작 2630에서, 전자 장치는 참조 지점을 결정할 수 있다. 전자 장치는 전자 장치 혹은 서버 등에 저장되어 있는 복수의 참조 지점들 중에서 일부를 선택하여 경로 안내에 제공할 참조 지점으로 결정할 수 있다. 참조 지점을 결정하는 다양한 방법은 도 78에서 후술하고, 도 76에서는 저장된 복수의 참조 지점들을 설명한다.
복수의 참조 지점들(예를 들어, 참조 지점 후보들)은 전자 장치의 메모리에 저장되어 있을 수 있다. 상기 메모리는 서비스 제공자에 의해 지정된 참조 지점, 사용자에 의해 설정된 참조 지점, 전자 장치의 어플리케이션을 통해 획득된 참조 지점, 또는 사용자 등록에 위해 획득된 참조 지점 중 적어도 하나를 상기 복수의 참조 지점들로 저장하고 있을 수 있다. 다시 말해서, 복수의 참조 지점들은 (서비스/제품) 공급자에 의해 설정된 참조 지점(2631), 사용자에 의해 설정된 조건을 만족하는 참조 지점(2633), 사용자의 전자 장치에 입력되거나 사용자의 전자 장치로부터 다른 전자 장치로 송신 또는 수신 되는 컨텐츠(메시지, 이메일, 텍스트, 등)로부터 파악되는 참조 지점(2635), 및 전자 장치나 웨어러블 장치 등을 이용하여 사용자에 의해 등록된 사용자 등록 참조 지점(2637)을 포함할 수 있다.
공급자 설정 참조 지점(2631)은 서비스 제공자(예: 지도 어플리케이션이나 네비게이션 기능 제공자, 또는 전자 장치 제조 업체)에 의해서 설정된 참조 지점일 수 있다. 예를 들어, 각 국가/지역의 랜드마크, 관공서, 문화재, 주요 도로 IC, 학교, 병원과 같은 시설은 제품 또는 어플리케이션의 제공 단계에서 참조 지점으로 활용될 수 있도록 설정될 수 있다. 이와 같은 참조 지점에 대한 정보는 전자 장치뿐만 아니라, 공급자 서버 등에 저장되어 있어서 주기적으로 업데이트 될 수 있다.
사용자 설정 참조 지점(2633)은 사용자에 의해 설정된 참조 지점일 수 있다. 예를 들어, 사용자는 주유소나 공항, 군부대, 영화관, 커피 전문점 등을 참조 지점으로 제공하도록 설정할 수 있다. 이와 같은 경우, 지도 데이터에서 파악되는 해당 항목들은 참조 지점으로 분류될 수 있다. 예를 들어, 사용자가 주유소를 참조 지점으로 제공하도록 설정한 경우, 전자 장치는 초기 경로 인근에 주유소가 위치한 경우 해당 주유소를 참조 지점으로 제공할 수 있다. 다양한 실시예에서 사용자는 전체 경로의 어느 지점에 해당하는 곳에 주유소가 위치하는지 알 수 있다. 예를 들어, 사용자는 전체 이동 경로 중에서 20%를 경과하고 80%에 도달하기 전까지는 주유소가 하나도 없다는 정보를 미리 획득할 수 있다. 이는 주유 경고등이 들어온 후에 급히 인근 주유소를 검색하여 경로를 우회하는 것보다 훨씬 효율적이다.
사용자는 특정 브랜드나 체인점을 참조 지점으로 설정할 수 있다. 예를 들어, 사용자가 스타벅스(starbucks)를 참조 지점으로 설정하였다면, 전자 장치는 초기 경로 인근에 존재하는 다양한 스타벅스에 대한 정보를 제공할 수 있다.
데이터 수집에 의한 참조 지점(2635)은 전자 장치를 통해 교환되는 데이터의 분석을 통해 획득되는 장소나 건물 등에 해당할 수 있다. 예를 들어, 이메일 어플리케이션을 통해 클라이언트와 반복적으로 교환되는 이메일에서 언급되는 장소(예: 회사 주소 등)는 참조 지점으로 수집될 수 있다. 또한, 메시지 또는 대화형 어플리케이션에서 언급되는 장소, 소셜 네트워크 서비스에서 특정 태그를 이용하여 언급되는 장소 등도 참조 지점으로 수집될 수 있다. 또한, 지도 어플리케이션이나 네비게이션 어플리케이션에서 사용자에 의해 검색된 장소 또는 인터넷 어플리케이션에서 사용자가 검색어로 입력한 장소, 지명, 건물 등도 참조 지점으로 수집될 수 있다.
데이터 수집에 의한 참조 지점(2635)는 다른 사용자(다른 사용자 단말)로부터 제공받은 참조 지점일 수 있다. 예를 들어, 혼잡한 도심에서 약속을 잡게 되면, 약속 지점을 잘 아는 사용자는 다른 사람들에게 참조할만한 지점을 알려주고 이 지점들을 이용하여 경로 설명을 할 수 있다. 예를 들어, 강남역 스타벅스에서 미팅이 잡힌 경우, 한 사용자는 다른 사용자에게 “강남역 2번 출구로 나와서 쭉 걸어오다가 씨티은행이 보이면 오른쪽으로, 다시 던킨 도너츠에서 좌측 방향으로 직진하면 오른쪽에 스타벅스가 보인다”와 같이 안내를 제공하는 경우, “씨티은행” 이나 “던킨 도너츠”와 같은 지점은 참조 지점에 해당할 수 있다. 종래의 내비게이션 방식에 따르면, 상기의 길안내의 경우 “강남대로에서 A 미터 직진 후, 우회전해서 B 미터 진행, 다시 좌회전 해서 C 미터 직진 하면 목적지 도착”과 같이 안내하게 되는데, 이와 같은 방식은 길을 찾는 것도 쉽지 않고 교차로를 지나칠 확률도 높으며, 같은 장소를 다시 방문했을 때, 또 다시 경로 안내 어플리케이션 등의 도움을 요구하게 된다.
사용자 등록에 의한 참조 지점(2637)은 전자 장치의 특정 어플리케이션의 메뉴나 기능을 이용하여 등록된 참조 지점일 수 있다. 이와 관련하여, 도 77을 참조하여 후술한다.
동작 2640에서, 전자 장치는 상기 결정된 참조 지점들을 반영하여 최종 경로를 생성할 수 있다. 다양한 실시예에서, 전자 장치는 기존의 경로(예: 초기 경로)와 참조 지점이 반영된 최종 경로를 사용자에게 제공하고 사용자에 의해 하나의 경로를 선택하도록 할 수 있다. 예를 들어, 사용자가 참조 지점에 대한 안내가 포함되는 경로를 선택하는 경우, 최종 경로를 이용하여 경로 안내를 제공하고, 기존의 경로(예: 초기 경로)를 선택하는 경우, 기존과 같이 출발점과 도착점을 연결하는 경로에 대한 안내를 제공할 수 있다. 이 경우, 초기 경로가 최종 경로로서 결정될 수 있다.
동작 2650에서, 전자 장치는 경로 안내를 제공할 수 있다. 전자 장치는 도 73 내지 도 75에서 전술한 방법 또는 전술한 방법의 다양한 조합에 기초하여 경로 안내를 제공할 수 있다.
도 77은 다양한 실시예에 따른 사용자 등록에 의한 참조 지점을 생성하는 예시를 나타낸다.
도 77의 (a)를 참조하면, 웨어러블 장치를 이용하여 참조 지점을 생성할 수 있다. 예를 들어, 전자 장치는 상기 웨어러블 장치와 근거리 통신 네트워크(예: Bluetooth, NFC(near field communication), IrDA, BLE(Bluetooth low energy), Wi-Fi, Wi-Fi 다이렉트 등)를 통해 연결될 수 있다. 다양한 실시예에서, 전자 장치는 상기 웨어러블 장치와 이동 통신 네트워크(예: 3G, LTE, LTE-A 등)를 통해 연결될 수 있다.
사용자는 상기 웨어러블 장치의 지정된 동작을 이용하여 해당 장소를 마킹할 수 있다. 예를 들어, 웨어러블 장치는 GPS 모듈과 같은 위치 모듈을 포함하여 현재 위치를 인식할 수 있고, 사용자에 위해 지정된 동작(예를 들어, 웨어러블 장치의 디스플레이를 좌우에서 중심으로 당기는 듯한 터치 입력)이 발생하면, 현재 위치를 마킹하여 저장하거나 전자 장치로 전송할 수 있다. 전자 장치(예: 전자 장치의 통신 모듈)는 웨어러블 장치로부터 상기 마킹 동작이 발생한 위치 정보를 수신할 수 있다. 이와 같이 수신된 위치 정보는 사용자 등록에 의한 참조 지점(2637)로 결정될 수 있다.
도 77의 (b)를 참조하면, 전자 장치를 이용하여 참조 지점을 생성할 수 있다. 예를 들어, 사용자는 전자 장치의 토글(toggle) 영역(2710)을 생성하는 제스처(예: 스크린 상단에서 아래 방향으로 드래그)를 입력할 수 있다. 이때 생성된 영역에 포함된 다양한 메뉴 중, 마킹 메뉴를 선택하여 현재 영역, 또는 지도(2701) 상의 임의의 지점에 대한 마킹을 생성할 수 있다. 상기 마킹 메뉴를 통해 마킹된 지점은 사용자 등록에 의한 참조 지점(2637)로 결정될 수 있다.
도 77의 (a) 또는 (b)의 예시에서, 전자 장치 또는 웨어러블 장치의 특정 위치는 GPS 좌표 등으로 획득될 수 있다. 또한, 해당 지점에 대응되는 장소는 여러 가지가 존재할 수 있는데, 예를 들어, 강남역에 해당하는 좌표는 지하철 역으로 표현될 수도 있고, 교차로로 표현될 수도 있고, 빌딩 이름으로 표현될 수도 있고, 특정 체인점(예: 스타벅스)의 이름으로 표현될 수도 있다. 전자 장치 또는 웨어러블 장치는 마킹된 지점에 대한 다양한 선택 옵션을 제공하고, 사용자에 의해 선택된 표현으로 해당 지점을 저장하거나, 다른 장치로 전송할 수 있다.
도 78은 다양한 실시예에 따른 참조 지점을 필터링하는 프로세스를 나타낸다.
다양한 실시예에 따르면, 동작 2810에서 전자 장치는 참조 지점의 후보군을 추출할 수 있다. 예를 들어, 전자 장치는 메모리에 저장되어 있거나, 서버 상에 존재하는 다양한 참조 지점 중 지정된 조건을 만족하는 참조 지점들을 후보 참조 지점으로 추출할 수 있다. 예를 들어, 전자 장치는 초기 경로로부터 직선 거리로 일정 거리 이내에 분포하는 참조 지점들을 후보 참조 지점으로 추출할 수 있다.
다양한 실시예에 따르면, 동작 2820에서 전자 장치는 변경되는 경로를 기준으로 참조 지점 중 일부를 필터링 할 수 있다. 예를 들어, 전자 장치는 후보 참조 지점 중 제1 참조 지점 경로에 포함하도록 경로를 재설정할 수 있다. 예를 들어, 초기 경로가 출발지와 목적지를 최단 경로로 연결하는 경로인 경우, 재설정된 경로는 출발지, 제1 참조 지점, 및 목적지를 최단 경로로 연결하는 경로일 수 있다. 전자 장치는 재 설정된 경로가 초기 경로에 비하여 지정된 거리 이상 증가하거나, 재 설정된 경로에 따른 이동 시간이 초기 경로에 따른 이동 시간 보다 지정된 시간 이상 경과하는 경우, 제1 참조 지점을 필터링할 수 있다. 전자 장치는 제1 참조 지점이 필터링되면, 제2 참조 지점을 대상으로 동일한 동작을 수행할 수 있다. 전자 장치는 제1 참조 지점이 필터링되지 않으면, 제1 참조 지점을 경로 안내에 제공할 참조 지점으로 포함할 수 있다.
다양한 실시예에 따르면, 동작 2830에서 전자 장치는 우선 순위를 기준으로 참조 지점을 필터링 할 수 있다. 예를 들어, 전자 장치는 후보 참조 지점들 중에서, 사용자 등록에 의한 참조 지점(예: 참조 지점(2637))은 최우선으로 참조 지점으로 결정할 수 있다. 다양한 실시예에서, 전자 장치는 후보 참조 지점들 중에서 다수의 사람들에 의해 참조 지점으로 결정된 지점 순위로 필터링할 수 있다. 다양한 실시예에서, 전자 장치는 SNS 어플리케이션 등을 통해 사용자들이 제공하는 참조 지점의 활용 빈도, 참조 지점의 평점, 인기도 등에 가중치를 적용하여 우선순위를 결정하고, 상기 우선 순위에 기반하여 필터링할 수 있다.
다양한 실시예에 따르면, 동작 2820과 동작 2830은 순차적으로 발생할 수도 있고, 선택적으로 발생할 수도 있다. 예를 들어, 참조 지점을 결정하기 위해서 동작 2810과 동작 2830만이 수행될 수도 있다. 또는 동작 2830이 동작 2820보다 우선하여 수행될 수도 있다. 이 경우, 우선 순위가 높은 것으로 판단된 참조 지점이 임계 범위 이상으로 경로를 변경하는 경우, 전자 장치는 해당 참조 지점을 경유할 것인지 여부를 사용자에게 확인할 수 있다. 전술한 바와 같이, 다양한 실시예에서 전체 경로는 참조 지점을 경유하지 않을 수 있기 때문에, 단순히 경로를 따라 이동하는 사용자가 인식할 수 있다면 참조 지점을 이동 경로에 포함시키지 않고 참조 지점에 대한 안내를 제공하는 것도 가능하다.
다양한 실시예에 따른 전자 장치에서 경로 안내를 제공하는 방법은, 복수의 지점에 대한 정보를 획득하는 동작, 적어도 상기 획득된 정보에 기반하여, 적어도 하나의 참조 지점(reference point)을 결정하는 동작, 및 상기 참조 지점에 대한 정보를 포함한 경로 안내를 제공하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 경로는 상기 복수의 지점, 또는 상기 복수의 지점 및 상기 참조 지점 중 적어도 일부에 기반하여 결정될 수 있다.
다양한 실시예에서, 상기 경로 안내를 제공하는 동작은 전체 경로에 대한 상기 참조 지점까지의 이동 거리의 비율 정보를 제공할 수 있다. 또한 상기 경로 안내를 제공하는 동작은 상기 전체 경로에 포함된 경유지에서의 턴바이턴(turn-by-turn) 안내를 상기 참조 지점에 대한 정보와 함께 제공할 수 있다.
다양한 실시예에서, 상기 참조 지점을 결정하는 동작은, 상기 복수의 지점에 기반한 초기 경로를 설정하는 동작; 참조 후보 지점들 중에서 상기 초기 경로로부터 지정된 범위 내에 포함되는 참조 후보 지점을 상기 참조 지점으로 결정하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 참조 지점을 결정하는 동작은, 임의의 참조 후보 지점을 포함하는 가상 경로에 따른 이동 거리나 이동 시간의 증가량이 기준 값 이하인 경우, 상기 임의의 참조 후보 지점을 상기 참조 지점으로 결정하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 참조 지점을 결정하는 동작은, 상기 참조 후보 지점들 중 지정된 우선 순위에 따라서 상기 참조 지점을 결정하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 참조 지점을 결정하는 동작은, 상기 참조 후보들 중에서 일부는 자동으로, 나머지 일부는 사용자 입력에 기반하여 상기 참조 지점으로 결정하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 참조 지점을 결정하는 동작은, 외부 단말로부터 수신된 지점을 상기 참조 지점으로 결정하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 참조 지점을 결정하는 동작은, 상기 획득된 정보에 기반하여 상기 복수의 지점을 연결하는 초기 경로를 결정하는 동작; 상기 초기 경로에 기반하여 상기 적어도 하나의 참조 지점을 결정하는 동작을 포함할 수 있다.
다양한 실시예에서, 상기 경로 안내를 제공하는 동작은, 상기 초기 경로 및 상기 참조 지점 중 일부에 기반하여 최종 경로를 생성하는 동작; 상기 최종 경로에 기반하여, 상기 참조 지점에 대한 정보 및 상기 최종 경로에 포함되는 경유지에 대한 정보를 제공하는 동작을 포함할 수 있다. 또한 상기 참조 지점 중 다른 일부는 상기 최종 경로에 포함되지 않을 수 있다.
도 79는 다양한 실시예에 따른 통신 제어 시스템을 설명하기 위한 도면이다. 통신 제어 시스템(2900)은 제1 전자 장치(2910), 제2 전자 장치(2920) 및 제1 전자 장치(2930)를 포함할 수 있다. 상기 제1 내지 제3 전자 장치들(2910~2930)은 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
상기 제1 전자 장치(2910)와 상기 제2 전자 장치(2920)는 사용자의 개입 없이 자동으로 통신 연결을 수립할 수 있다. 상기 제1 전자 장치(2910) 또는 상기 제3 전자 장치(2930)는 이러한 통신 연결을 제어하는 기능, 즉 서버 기능을 수행할 수 있으며, 이러한 서버 기능을 수행하는 상기 제1 전자 장치(2910) 또는 상기 제3 전자 장치(2930)는 서버 장치라고 칭할 수 있다.
상기 제1 전자 장치(2910) 및 상기 제2 전자 장치(2920)는 각각 센서 장치(예: 센서 모듈(240), 생체 센서(240I))를 포함할 수 있으며, 상기 제1 전자 장치(2910) 및 상기 제2 전자 장치(2920) 간의 자동 통신 연결은 상기 제1 전자 장치(2910)에 의해 획득된 제1 생체 정보 및/또는 상기 제2 전자 장치(2920)에 의해 획득된 제2 생체 정보에 근거할 수 있다.
도 80은 다양한 실시예에 따른 제1 전자 장치(예: 전자 장치(101, 201))의 통신 연결 모듈(3001)(예: 추가 기능 모듈(170))의 블록도(3000)를 도시한다. 상기 통신 연결 모듈(3001)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다. 도 80을 참조하면, 상기 통신 연결 모듈(3001)은, 획득 모듈(3010), 수립 모듈(3020), 식별/인증 모듈(3030), 전송 모듈(3040), 수신 모듈(3050)을 포함할 수 있다. 상기 통신 연결 모듈(3001)은 프로세서(예: 프로세서(120, 210))와는 별도로 제공되거나, 프로세서에 그 전체 또는 일부가 통합될 수 있다.
다양한 실시예에 따른 상기 획득 모듈(3010)은 제1 사용자의 제1 생체 정보를 획득할 수 있다. 제1 사용자의 제1 생체 정보는 제1 사용자의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다. 상기 제1 생체 정보는, 홍채 정보, 지문 정보, 장문 정보, 족문 정보, 손등정맥 정보, 음성 정보, 혈압, HRV, HRM, 산소포화도, 심전도, 근전도, 뇌파, 피부저항도 중 적어도 하나를 포함할 수 있다. 한 실시예에서, 상기 획득 모듈(3010)은 센서 모듈(예: 센서 모듈(240) 등)을 통해 제1 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 제1 사용자의 정신 상태 또는 신체 상태를 나타내는 제1 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 획득 모듈(3010)은 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등)를 통해 제1 사용자의 생체 신호를 수신할 수 있고, 상기 수신된 생체 신호로부터 제1 사용자의 제1 생체 정보를 도출할 수 있다. 한 실시예에서, 상기 획득 모듈(3010)은 상기 통신 장치를 통해 제1 사용자의 제1 생체 정보를 수신할 수 있다.
상기 획득 모듈(3010)은 상기 제1 생체 정보에 근거하여 제2 전자 장치와의 통신 연결을 위한 페어링 정보를 획득할 수 있다. 상기 페어링 정보는, 상기 제2 전자 장치의 ID, 전화번호, SIM 번호, 네트워크 주소, IP 주소, MAC 주소, BT 주소, AP 정보, 비밀번호 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 상기 식별/인증 모듈(3030)은 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별/인증할 수 있다. 예를 들어, 상기 제1 전자 장치는 제1 생체 정보(예: 심박 신호)의 패턴(또는 패턴을 정의하는 특징점들) 또는 값(예: 심박수 등)과 미리 등록된 사용자의 미리 저장된(또는 등록된) 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값을 비교하고, 그 유사도(예: 일치하거나 임계 값 이내의 차이를 갖는 특징점들의 수, 상기 수 또는 값의 비율(예: 전체 특징점들의 수에 대한 유사 특징점들의 수의 비 등) 등)를 결정할 수 있다. 상기 제1 전자 장치는 상기 유사도가 미리 설정된 임계 값 이상인 경우에 사용자 식별/인증이 성공한 것으로 결정하고, 상기 유사도가 미리 설정된 임계 값 미만인 경우에 사용자 식별/인증이 실패한 것으로 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 유사도가 미리 설정된 임계 값 이상인 경우에 상기 획득된 생체 정보의 사용자가 상기 미리 등록된 사용자와 동일한 것으로 결정할 수 있다.
다양한 실시예에 따른 상기 전송 모듈(3040)은, 상기 제1 사용자에 대한 제1 사용자 연관 정보 또는 상기 제1 생체 정보를 제3 전자 장치 또는 상기 제2 전자 장치로 전송할 수 있다.
다양한 실시예에 따른 상기 수신 모듈(3050)은 상기 제3 전자 장치 또는 상기 제2 전자 장치로부터 상기 페어링 정보를 수신할 수 있다. 한 실시예에서, 상기 수신 모듈(3050)은 제2 생체 정보를 상기 제2 전자 장치 또는 상기 제3 전자 장치로부터 수신할 수 있다.
한 실시예에서, 상기 획득 모듈(3010)은, 상기 식별/인증 모듈(3030)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 전송 모듈(3040)을 통해 상기 제1 사용자에 대한 제1 사용자 연관 정보를 제3 전자 장치로 전송하고, 상기 수신 모듈(3050)을 통해 상기 제3 전자 장치로부터 상기 페어링 정보를 수신할 수 있다. 상기 제1 사용자 연관 정보는 제1 사용자에 대한 정보, 상기 제1 전자 장치에 대한 정보, 상기 제1 전자 장치의 주변 환경에 대한 정보 중의 적어도 하나를 포함할 수 있다. 상기 제1 사용자 연관 정보는 제1 사용자/제1 전자 장치의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다. 상기 제1 사용자 연관 정보는 제1 사용자 및/또는 제1 전자 장치의 움직임 정보, 제1 사용자 및/또는 제1 전자 장치의 위치 정보, 현재 시간/날짜/요일/날씨 정보, 사용자 입력 정보, 미리 설정된 이벤트의 발생 정보, 이미지, 비디오, 오디오 중의 적어도 하나를 포함할 수 있다. 상기 제1 사용자 연관 정보는 계정, ID, 이름, 주소, 이메일 주소, 전화번호, 개인정보 중의 적어도 하나를 포함할 수 있다.
한 실시예에서, 상기 획득 모듈(3010)은, 상기 식별/인증 모듈(3030)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 전송 모듈(3040)을 통해 상기 제1 사용자에 대한 제1 사용자 연관 정보를 제3 전자 장치로 전송하고, 상기 수신 모듈(3050)을 통해 상기 제3 전자 장치로부터 상기 페어링 정보를 수신하는 동작을 포함할 수 있다.
한 실시예에서, 상기 획득 모듈(3010)은, 상기 전송 모듈(3040)을 통해 상기 제1 생체 정보를 제3 전자 장치로 전송하고, 상기 수신 모듈(3050)을 통해 상기 제3 전자 장치로부터 상기 페어링 정보를 수신할 수 있다.
한 실시예에서, 상기 수립 모듈(3020)은, 적어도 하나의 주변 장치를 검색하고, 상기 검색된 적어도 하나의 주변 장치 중 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다.
한 실시예에서, 상기 수립 모듈(3020)은, 상기 제1 전자 장치의 상태 또는 환경이 상기 페어링 정보에 의해 특정되는 조건을 만족하는지를 결정하고, 상기 제1 전자 장치의 상태 또는 환경이 상기 페어링 정보에 의해 특정되는 조건을 만족하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다. 예를 들어, 상기 수립 모듈(3020)은, 센서 모듈(예: 센서 모듈(240) 등)을 통해 상기 제1 전자 장치의 상태 또는 환경(예: 위치, 시간 등)을 측정할 수 있다.
한 실시예에서, 상기 수립 모듈(3020)은, 상기 제1 전자 장치의 위치 정보를 획득하고, 상기 제1 전자 장치가 상기 페어링 정보에 의해 특정된 지역에 위치하는지를 결정하고, 상기 제1 전자 장치가 상기 페어링 정보에 의해 특정된 지역에 위치하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다.
한 실시예에서, 상기 수립 모듈(3020)은, 현재 시간 정보를 획득하고, 현재 시간이 상기 페어링 정보에 의해 특정되는 시간과 일치하는지를 결정하고, 상기 제1 전자 장치가 현재 시간이 상기 페어링 정보에 의해 특정되는 시간과 일치하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다.
한 실시예에서, 상기 획득 모듈(3010)은, 상기 전송 모듈(3040)을 통해 상기 제1 생체 정보를 상기 제2 전자 장치로 전송하고, 상기 수신 모듈(3050)을 통해 상기 제2 전자 장치로부터 상기 페어링 정보를 수신할 수 있다.
한 실시예에서, 상기 획득 모듈(3010)은, 상기 전송 모듈(3040)을 통해 상기 제1 생체 정보를 상기 제2 전자 장치로 전송하고, 상기 수신 모듈(3050)을 통해 제2 생체 정보를 상기 제2 전자 장치로부터 수신하고, 상기 제2 전자 장치, 상기 제3 전자 장치, 또는 상기 제1 전자 장치 내 메모리(예: 메모리(130, 230) 등)로부터 상기 페어링 정보를 획득할 수 있다.
한 실시예에서, 상기 획득 모듈(3010)은, 상기 수신 모듈(3050)을 통해 제2 생체 정보를 상기 제2 전자 장치로부터 수신하고, 상기 제2 전자 장치, 상기 제3 전자 장치, 또는 상기 제1 전자 장치 내 메모리(예: 메모리(130, 230) 등)로부터 상기 페어링 정보를 획득할 수 있다. 상기 수립 모듈(3020)은, 상기 제1 생체 정보와 상기 제2 생체 정보가 동일 사용자와 연관된 경우에 상기 통신 연결의 수립을 개시할 수 있다.
도 81은 다양한 실시예에 따른 제3 전자 장치(예: 전자 장치(101, 201))의 통신 연결 모듈(3101)(예: 추가 기능 모듈(170))의 블록도(3100)를 도시한다. 상기 제3 전자 장치는 서버 장치라고 칭할 수도 있다. 상기 통신 연결 모듈(3101)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다. 도 81을 참조하면, 상기 통신 연결 모듈(3101)은, 수신 모듈(3110), 결정 모듈(3120), 전송 모듈(3130), 식별/인증 모듈(3140) 및 획득 모듈(3160)을 포함할 수 있다. 상기 통신 연결 모듈(3101)은 프로세서(예: 프로세서(120, 210))와는 별도로 제공되거나, 프로세서에 그 전체 또는 일부가 통합될 수 있다.
다양한 실시예에 따른 상기 수신 모듈(3110)은 제1 전자 장치로부터 제1 사용자의 제1 생체 정보를 수신할 수 있다. 상기 수신 모듈(3110)은 제2 전자 장치로부터 제2 사용자의 제2 생체 정보를 수신할 수 있다. 상기 제1 및 제2 사용자들은 서로 동일하거나 다를 수 있고, 상기 제1 및 제2 생체 정보들은 서로 동일하거나 다를 수 있고, 상기 제1 및 제2 생체 정보들은 동일한 사용자로부터 측정된 정보들이거나, 서로 다른 사용자들로부터 각각 측정된 정보들일 수 있다. 한 실시예에서, 상기 수신 모듈(3110)은 상기 제1 전자 장치로부터 상기 제1 생체 정보 및 상기 제2 생체 정보를 수신할 수 있다. 한 실시예에서, 상기 수신 모듈(3110)은 상기 제2 전자 장치로부터 상기 제1 생체 정보 및 상기 제2 생체 정보를 수신할 수 있다.
다양한 실시예에 따른 상기 결정 모듈(3120)은 상기 제1 생체 정보 및/또는 상기 제2 생체 정보에 근거하여 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 결정할 수 있다.
다양한 실시예에 따른 상기 전송 모듈(3130)은 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 위한 페어링 정보를 상기 제1 전자 장치 및 상기 제2 전자 장치 중 적어도 하나로 전송할 수 있다. 한 실시예에서, 상기 전송 모듈(3130)은 상기 제2 전자 장치에 대한 제2 페어링 정보를 상기 제1 전자 장치로 전송할 수 있다. 한 실시예에서, 상기 전송 모듈(3130)은 상기 제1 전자 장치에 대한 제1 페어링 정보를 상기 제2 전자 장치로 전송할 수 있다. 한 실시예에서, 상기 전송 모듈(3130)은 상기 제2 전자 장치에 대한 제2 페어링 정보를 상기 제1 전자 장치로 전송하고, 상기 제1 전자 장치에 대한 제1 페어링 정보를 상기 제2 전자 장치로 전송할 수 있다.
다양한 실시예에 따른 상기 식별/인증 모듈(3140)은 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 인증 또는 식별할 수 있다. 상기 식별/인증 모듈(3140)은 상기 제2 생체 정보에 근거하여 상기 제2 전자 장치의 제2 사용자를 인증 또는 식별할 수 있다. 한 실시예에서, 상기 식별/인증 모듈(3140)은 메모리(예: 메모리(130, 230) 등)에 저장된 데이터베이스에서 상기 제1 생체 정보와 일치하는 생체 정보를 검색하고, 상기 검색된 생체 정보에 대응하여 상기 데이터베이스에 등록된 사용자를 상기 제1 전자 장치 또는 상기 제1 생체 정보의 제1 사용자로 결정할 수 있다. 한 실시예에서, 상기 식별/인증 모듈(3140)은 메모리(예: 메모리(130, 230) 등)에 저장된 데이터베이스에서 상기 제2 생체 정보와 일치하는 생체 정보를 검색하고, 상기 검색된 생체 정보에 대응하여 상기 데이터베이스에 등록된 사용자를 상기 제2 전자 장치 또는 상기 제2 생체 정보의 제1 사용자로 결정할 수 있다. 한 실시예에서, 상기 식별/인증 모듈(3140)은 상기 제1 생체 정보 및 상기 제2 생체 정보를 서로 비교하고, 상기 제1 생체 정보 및 상기 제2 생체 정보가 서로 일치하는 경우 상기 제1 생체 정보 및 상기 제2 생체 정보가 동일 사용자의 정보들인 것으로 결정할 수 있다.
다양한 실시예에 따른 상기 획득 모듈(3160)은 상기 제1 전자 장치의 위치/시간 정보를 획득할 수 있다. 상기 획득 모듈(3160)은 상기 제2 전자 장치의 위치/시간 정보를 획득할 수 있다. 상기 각 위치 정보는 해당 전자 장치의 현재 위치에 대한 정보를 나타낼 수 있다. 상기 각 시간 정보는 해당 생체 정보의 측정 시점, 전송 시점, 수신 시점 등에 대한 정보를 나타낼 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 식별/인증 모듈(3140)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 식별/인증 모듈(3140)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 수신 모듈(3110)을 통해 상기 제2 전자 장치로부터 상기 제2 생체 정보를 수신하고, 상기 제1 생체 정보 및 상기 제2 생체 정보에 근거하여 상기 제2 전자 장치를 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 식별/인증 모듈(3140)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 수신 모듈(3110)을 통해 상기 제2 전자 장치로부터 제2 생체 정보를 수신하고, 상기 식별/인증 모듈(3140)을 통해 상기 제2 생체 정보에 근거하여 상기 제2 전자 장치의 제2 사용자를 식별하고, 상기 제1 사용자 및 상기 제2 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 수신 모듈(3110)을 통해 상기 제2 전자 장치로부터 제2 생체 정보를 수신하고, 상기 식별/인증 모듈(3140)을 통해 상기 제1 생체 정보 및 상기 제2 생체 정보를 비교하고, 상기 비교의 결과에 근거하여, 상기 제1 전자 장치 및 상기 제2 전자 장치의 동일 사용자를 식별하고, 상기 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 식별/인증 모듈(3140)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 획득 모듈(3160)을 통해 상기 제1 전자 장치의 위치 정보를 획득하고, 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 미리 설정된 기준에 따라 상기 제1 전자 장치의 위치 정보와 연관된 위치 정보를 갖는 상기 제2 전자 장치를 결정할 수 있다.
한 실시예에서, 상기 결정 모듈(3120)은, 상기 식별/인증 모듈(3140)을 통해 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하고, 상기 획득 모듈(3160)을 통해 상기 제1 전자 장치에 대한 시간 정보를 획득하고, 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 미리 설정된 기준에 따라 상기 제1 전자 장치의 시간 정보와 연관된 시간 정보를 갖는 상기 제2 전자 장치를 결정할 수 있다.
도 82는 다양한 실시예에 따른 제1 전자 장치의 통신 연결 방법을 설명하기 위한 흐름도이다. 상기 방법은 제1 전자 장치(예: 전자 장치(101, 201)), 상기 제1 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 통신 연결 모듈(예: 통신 연결 모듈(3001), 추가 기능 모듈(170))에 의해 수행될 수 있다. 상기 방법은, 3210~3250 동작들의 전체 또는 그 일부를 포함할 수 있다.
3210 동작에서, 제1 사용자의 제1 생체 정보가 획득될 수 있다. 상기 제1 전자 장치는 카메라 모듈(예: 카메라 모듈(291) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등) 등을 통해 제1 사용자로부터 생체 신호를 측정할 수 있고, 상기 측정된 생체 신호로부터 사용자의 정신 상태 또는 신체 상태를 나타내는 제1 생체 정보를 도출할 수 있다. 상기 생체 신호는 생체 센서로부터 출력되는 전기 신호(예: 심전도 신호, 맥파 신호 등)를 나타낼 수 있고, 상기 제1 생체 정보는 상기 사용자의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함할 수 있다. 한 실시예에서, 상기 제1 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등)를 통해 외부 장치로부터 사용자의 생체 신호를 수신할 수 있고, 상기 수신된 생체 신호로부터 제1 사용자의 제1 생체 정보를 도출할 수 있다.
3220 동작에서, 제1 사용자가 식별/인증될 수 있다. 상기 제1 전자 장치는, 미리 등록된 적어도 하나의 사용자의 각각에 대하여, 획득된 제1 생체 정보와 해당 사용자의 미리 저장된(또는 등록된) 생체 정보의 유사도를 결정하고, 상기 유사도와 미리 설정된 임계값을 비교할 수 있다. 예를 들어, 상기 제1 전자 장치는 획득된 제1 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값(예: 심박수 등)과 해당 사용자의 미리 저장된(또는 등록된) 생체 정보의 패턴(또는 패턴을 정의하는 특징점들) 또는 값을 비교하고, 그 유사도(예: 일치하거나 임계 값 이내의 차이를 갖는 특징점들의 수, 상기 수 또는 값의 비율(예: 전체 특징점들의 수에 대한 유사 특징점들의 수의 비 등) 등)를 결정할 수 있다. 상기 제1 전자 장치는 상기 획득된 제1 생체 정보의 제1 사용자가 상기 미리 등록된 적어도 하나의 사용자 중 상기 유사도가 미리 설정된 임계 값 이상인 등록된 사용자인 것(즉, 두 사용자들이 동일한 사람인 것)으로 결정할 수 있다.
한 실시예에서, 3220 동작은 생략될 수 있고, 상기 제1 전자 장치는 상기 제1 생체 정보를 상기 제3 전자 장치로 전송하고, 상기 제3 전자 장치는 상기 제1 생체 정보에 근거하여 상기 제1 사용자를 식별/인증할 수도 있다.
3230 동작에서, 상기 제1 생체 정보의 획득 또는 상기 제1 사용자의 식별/인증에 따라 제1 사용자 연관 정보가 상기 제3 전자 장치로 전송될 수 있다. 한 실시예에서, 상기 제1 전자 장치는 상기 제2 전자 장치를 통해 상기 제1 사용자 연관 정보를 상기 제3 전자 장치로 전송할 수 있다. 한 실시예에서, 상기 제1 전자 장치는 상기 제1 사용자 연관 정보를 상기 제2 전자 장치로 전송할 수 있다. 상기 제1 사용자 연관 정보는 상기 제1 생체 정보, 상기 제1 사용자의 식별 정보, 상기 제1 전자 장치의 식별 정보, 상기 제1 전자 장치에 대한 제1 페어링 정보 등의 적어도 하나를 포함할 수 있다. 상기 제1 사용자 연관 정보는 계정, ID, 이름, 주소, 이메일 주소, 전화번호, 개인정보 중의 적어도 하나를 포함할 수 있다. 상기 제1 페어링 정보는, 상기 제2 전자 장치의 ID, 전화번호, SIM 번호, 네트워크 주소, IP 주소, MAC 주소, BT 주소, AP 정보 중 적어도 하나를 포함할 수 있다. 상기 제1 전자 장치는 상기 생체 신호/정보를 측정 또는 획득하는 시점 및/또는 그 이전/이후의 상기 제1 사용자의 움직임, 위치, 현재 시간 등의 사용자 연관 정보를 획득할 수 있다. 상기 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등), 입력 장치(예: 입출력 인터페이스(140), 입력 장치(250), 디스플레이(150) 등), 센서 모듈(예: 센서 모듈(240), 생체 센서(240I) 등), 카메라 모듈(예: 카메라 모듈(291) 등), 메모리(예: 메모리(130, 230) 등) 등의 적어도 하나를 통해 상기 생체 신호/정보를 측정 또는 획득하는 시점 및/또는 그 이전/이후의 상기 사용자 연관 정보를 획득할 수 있다.
3240 동작에서, 상기 제1 및 제2 전자 장치들의 통신 연결을 위한 페어링 정보가 상기 제1 전자 장치에 의해 획득될 수 있다. 한 실시예에서, 상기 제1 전자 장치는 상기 제3 전자 장치로부터 상기 제2 전자 장치에 대한 제2 페어링 정보를 수신할 수 있다. 한 실시예에서, 상기 제1 전자 장치는 상기 제2 전자 장치를 통해 상기 제3 전자 장치로부터 상기 제2 전자 장치에 대한 제2 페어링 정보를 수신할 수 있다. 한 실시예에서, 상기 제1 전자 장치는 상기 제2 전자 장치로부터 상기 제2 페어링 정보를 수신할 수 있다.
3250 동작에서, 상기 페어링 정보에 근거하여 상기 제1 및 제2 전자 장치들의 통신 연결이 수립될 수 있다. 한 실시예에서, 상기 제1 전자 장치는 디스커버리 동작을 통해 획득한 주변 장치들의 리스트에서 상기 페어링 정보에 의해 특정되는 상기 제2 전자 장치와 자동으로 통신 연결을 수립할 수 있다. 한 실시예에서, 상기 제1 전자 장치는 적어도 하나의 주변 장치를 검색하고, 상기 검색된 적어도 하나의 주변 장치 중 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다. 한 실시예에서, 상기 제1 전자 장치는 상기 제1 전자 장치의 상태 또는 환경이 상기 페어링 정보에 의해 특정되는 조건을 만족하는지를 결정하고, 상기 제1 전자 장치의 상태 또는 환경이 상기 페어링 정보에 의해 특정되는 조건을 만족하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다. 예를 들어, 상기 제1 전자 장치는 센서 모듈(예: 센서 모듈(240) 등)을 통해 상기 제1 전자 장치의 상태 또는 환경(예: 위치, 시간 등)을 측정할 수 있다. 한 실시예에서, 상기 제1 전자 장치는, 상기 제1 전자 장치의 위치 정보를 획득하고, 상기 제1 전자 장치가 상기 페어링 정보에 의해 특정된 지역에 위치하는지를 결정하고, 상기 제1 전자 장치가 상기 페어링 정보에 의해 특정된 지역에 위치하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다.
한 실시예에서, 상기 제1 전자 장치는, 현재 시간 정보를 획득하고, 현재 시간이 상기 페어링 정보에 의해 특정되는 시간과 일치하는지를 결정하고, 상기 제1 전자 장치가 현재 시간이 상기 페어링 정보에 의해 특정되는 시간과 일치하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립할 수 있다.
도 83은 다양한 실시예에 따른 제3 전자 장치의 통신 연결 방법을 설명하기 위한 흐름도이다. 상기 방법은 제3 전자 장치(예: 전자 장치(101, 201)), 상기 제3 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 통신 연결 모듈(예: 통신 연결 모듈(3101), 추가 기능 모듈(170))에 의해 수행될 수 있다. 상기 방법은, 3310~3330 동작들의 전체 또는 그 일부를 포함할 수 있다.
3310 동작에서, 사용자 연관 정보가 수신될 수 있다. 상기 제3 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 인터페이스(270) 등)를 통해 상기 제1 전자 장치 및/또는 상기 제2 전자 장치로부터 사용자 연관 정보를 수신할 수 있다. 한 실시예에서, 상기 제3 전자 장치는 상기 제1 전자 장치로부터 제1 사용자 연관 정보를 수신하고, 상기 제2 전자 장치로부터 제2 사용자 연관 정보를 수신할 수 있다. 한 실시예에서, 상기 제3 전자 장치는 상기 제1 전자 장치로부터 제1 사용자의 제1 생체 정보를 수신하고, 상기 제2 전자 장치로부터 제2 사용자의 제2 생체 정보를 수신할 수 있다. 상기 제1 및 제2 사용자들은 서로 동일하거나 다를 수 있고, 상기 제1 및 제2 생체 정보들은 서로 동일하거나 다를 수 있고, 상기 제1 및 제2 생체 정보들은 동일한 사용자로부터 측정된 정보들이거나, 서로 다른 사용자들로부터 각각 측정된 정보들일 수 있다.
3320 동작에서, 수신된 사용자 연관 정보에 대응하는 사용자가 식별/인증될 수 있다. 상기 제3 전자 장치는 제1 사용자 연관 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 인증 또는 식별할 수 있다. 상기 제3 전자 장치는 제2 사용자 연관 정보에 근거하여 상기 제2 전자 장치의 제2 사용자를 인증 또는 식별할 수 있다.
3330 동작에서, 페어링 정보가 전송될 수 있다. 상기 제3 전자 장치는 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 위한 페어링 정보를 상기 제1 전자 장치 및 상기 제2 전자 장치 중 적어도 하나로 전송할 수 있다. 한 실시예에서, 상기 제3 전자 장치는 상기 제2 전자 장치에 대한 제2 페어링 정보를 상기 제1 전자 장치로 전송하고, 상기 제1 전자 장치에 대한 제1 페어링 정보를 상기 제2 전자 장치로 전송할 수 있다. 한 실시예에서, 상기 제3 전자 장치는 사용자 정보, 장치 정보, 통신 연결 정보 등의 상호 연관 관계를 나타내는 제9 데이터베이스에 근거하여 페어링 정보의 전송을 수행할 수 있다. 상기 제9 데이터베이스는 상기 제3 전자 장치 또는 외부 장치의 메모리에 저장되어 있을 수 있다.
한 실시예에서, 상기 제9 데이터베이스는 표 10과 같은 형태를 가질 수 있다.
표 10
| 사용자 정보 | 장치 정보 | 통신 연결 정보 |
| H101 | L101 | M101 |
| H101 | L102 | M102 |
| H102 | L103 | M103 |
| H102 | L104 | M104 |
| … | … | … |
표 10에서, 사용자 정보(예: H101, H102, …)는 사용자를 식별하기 위한 정보(예: 계정, ID, 이름, 주소, 이메일 주소, 전화번호, 개인정보, 생체 정보 등)를 나타낼 수 있다. 장치 정보(예: L101, L102, …)는 전자 장치를 식별하기 위한 정보(예: ID, 전화번호, SIM 번호, 네트워크 주소, IP 주소, MAC 주소, BT 주소 등), 페어링 정보(예: ID, 주소, AP 정보, 비밀번호 등) 등을 나타낼 수 있다. 통신 연결 정보(예: M101, M102, …)는 해당 전자 장치와 연결될 다른 전자 장치 또는 다른 전자 장치의 사용자를 식별하기 위한 정보(예: 다른 사용자/전자 장치의 ID, 주소, 계정 등), 해당 전자 장치 및 다른 전자 장치의 통신 연결을 개시하기 위한 해당 전자 장치 및/또는 다른 전자 장치의 상태 또는 환경에 대한 조건 등을 나타낼 수 있다.
도 84는 다양한 실시예에 따른 전자 장치들(3410, 3420, 3430) 간의 네트워크 환경(3400)을 도시한다. 상기 전자 장치들(3410, 3420, 3430)은 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다. 도 84를 참조하면, 다양한 실시예에 따르는 네트워크 환경(3400)은 전자 장치들(3410, 3420, 3430) 간의 무선 연결 및 데이터 통신 기능을 제공할 수 있다. 생체 센서가 내장된 전자 장치는 다른 전자 장치와 연결되어 운용될 수도 있다. 생체 센서(예: PPG 센서)가 내장된 손목시계 장치(3420)와 생체 센서(예: PPG 센서)가 내장된 이어폰(3430)은 서로 무선 통신을 통해 연결될 수 있고, 멀티미디어 재생의 경우에, 이어폰(3430)은 오디오를 출력하고, 손목시계 장치(3420)는 GUI를 표시할 수도 있다. 또한, 생체 센서(예: PPG 센서)가 내장된 스마트 폰(3410), 손목시계장치(3420), 이어폰(3430) 등 복수의 전자 장치들이 서로 연결될 수 있고, 복수의 전자 장치들은 컨텐츠를 분리하여 재생하거나, 통지(NOTIFICATION)를 서로 송수신하는 등 서로의 자원을 활용하는 운용이 가능하다.
장기간 정보 교환을 위해서, 각각의 전자 장치들이 서로 데이터를 송수신할 수 있도록 통신 채널이 수립될 수 있다. 각 전자 장치는 통신 채널의 수립을 위해 디스커버리 동작을 통해 주변 장치들을 검색하고, 상기 주변 장치와 서로의 주소나 ID를 교환함으로써 통신 채널을 수립하는 페어링 동작을 수행할 수 있다. 통상의 경우에, 이러한 통신 연결은 사용자가 여러 번의 동작, 예를 들어 주변 장치를 검색하기 위해 디스커버리 동작을 요구하는 동작, 검색된 주변 장치들 중의 하나를 지정하는 동작, 통신 연결을 위한 비밀번호 등을 입력하는 동작 등이 필요할 수 있다. 다양한 실시예에 따라서, 상기 전자 장치들은 사용자 식별/인증을 통해 자동으로 통신 연결을 수립할 수 있다.
사용자 식별/인증은 생체 정보를 인식하여 수행될 수 있다. 전자 장치는 사용자의 혈압, 혈류, 맥파, 심박수 (HRM, HRV), 체온, 호흡수, 산소포화도, 심폐음, 뇌파, 피부저항, 근전도, ECG, 걸음걸이 중 한 가지 이상의 생체 신호/정보를 분석하여 생체특성 정보가 미리 저장된 사용자의 생체 정보와 미리 결정된 기준 이상의 일치도를 갖는지를 판단할 수 있다. 전자 장치는 홍채, 지문, 성문, 얼굴, 족문, 장문, 손등정맥, 걸음걸이 패턴 정보 중 하나 이상의 생체 정보를 인식하고 미리 저장된 사용자의 생체 정보와 미리 결정된 기준 이상의 유사도를 갖는지를 판단함으로써 사용자 식별/인증을 수행할 수도 있다.
예를 들어, 스마트 시계와 스마트폰을 서로 무선연결하기 위해, 각각의 기기에서 생체특성 정보를 인식하는 동작이 사용자 입력이나 혹은 헬스(health) 센서 구동을 통해 수행될 수 있다. 생체특성 정보를 이용하여 인증이 수행되어 정당한 사용자임이 인증되면, 두 장치는 네트워크상의 서버에 사용자관련 정보를 각각 전송한다. 이러한 사용자 관련 정보는 계정 ID, 이름, 주소, 이메일주소, 전화번호, 개인정보 중 하나 이상을 포함할 수 있다. 전송된 정보들은 서로 연관관계가 있거나 동일한지 판단하고, 두 장치가 연결될 수 있도록 최소한 하나의 장치에 다른 장치에 접속을 위한 접속정보를 전달한다. 접속정보는 혹은 해당 장치의 근거리 통신에 관련된 정보, 예를 들어 가능한 통신종류, 근거리 통신 수단의 ID, 연결을 위한 비밀번호, SIM번호, MAC ADDRESS, BT주소, 장치식별자 중 하나 이상이 포함된다. 접속정보는 사용자 관련 정보와 동일할 수도 있고, 혹은 사용자관련 정보를 서버에 전송할 때 추가될 수도 있다. 또는 서버에서 두 사용자의 정보가 서로 연관관계가 있거나 동일한 경우, 서버가 추가적으로 요구할 수도 있다. 사용자관련 정보를 이용하는 경우에는 한 장치는 생체특성 정보, 다른 장치는 생체인증 정보를 인식하여 사용할 수 있다. 또는 서로 다른 종류의 health 센서를 사용하여 각자 인증한 후 연결할 수도 있다.
다른 실시예에 따르면, 두 장치에서 각각 생체신호나 생체특성 정보를 서버에 전달하고, 두 장치로부터 수신된 정보들간 유사도를 판별하는 경우에는 최소한 유사한 생체신호나 생체특성 정보를 수집할 수 있어야 한다. 즉, 스마트 폰과 스마트 워치를 서로 연결하는 경우, 두 장치 모두 PPG를 사용하면, 각각의 맥파 관련 정보를 서버에 전송하고 서버에서 이를 분석하여 유사도를 평가할 수 있다. 혹은 두 장치 모두 ECG를 측정하여 파형을 서버에 전달할 수도 있다. 똑같은 센서를 사용하지 않는 경우에도 최소한 유사도가 있는 센서들을 사용해야 한다. 예를 들어 스마트 폰은 ECG, 스마트 워치는 PPG를 사용하는 경우 ECG 파와 맥파로부터 유사한 HRV를 구할 수 있다. 이는 R-R 간격(RRI)와 PPI 값들이 각 파가 발생하는 시간차이를 제외하고 유사하기 때문이다.
해당 장치들이 서로 사용자 인증동작이 발생한 시간, 인증동작이 발생한 지역 중 하나 이상을 이용하면 보다 통신연결이 용이할 수 있다. 즉, 사용자 인증동작이 발생한 시간이 소정시간 이내이고 두 장치간 거리가 가까운 것으로 인식되면, 사용자관련 정보를 비교할 대상이 제한되므로 연결을 위한 전체적인 처리 시간도 단축된다.
도 85는 다양한 실시에에 따른 전자 장치들 간의 네트워크 환경(3500)(예: 광대역 네트워크)을 도시한다. 상기 전자 장치들(3510, 3520)은 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다. 도 85를 참조하면, 다양한 실시예에 따르면 서버(3550)에 의한 두 장치들(3510, 3520)의 접속처리가 가능하다. 하나의 예로 각각의 헬스(health) 센서를 가진 장치들(3510, 3520)이 각각 다른 장치와 연결할 수 있는 통신 수단뿐만 아니라 IP 네트워크(IP network)에 접속할 수 있는 통신 수단을 구비하는 경우를 생각할 수 있다.
헬스 센서를 가진 장치들(3510, 3520)은 각각 무선 모뎀을 통해 IP 네트워크 상에 있는 서버(3550)와 연결이 가능하다. 또한 IP 네트워크 상에 있는 서버(3550)는 각각의 장치들을 관리할 수 있다. 예를 들어, 헬스 센서를 가진 장치들(3510, 3520)은 각각 무선 AP(3530) 및 라우터(3540)를 통해 서버(3550)와 통신할 수 있다.
상기 서버(3550)는 고전적인 의미의 서버로 제한되는 것은 아니다. 예를 들어 통신하는 복수의 전자 장치들 중 하나가 서버 혹은 호스트, 또는 메인 전자 장치 역할을 하여 헬스 센서를 구비한 장치들을 관리하는 것도 가능하다. 헬스 센서를 가진 장치가 생체 정보에 의해 활성화가 되면 해당 장치는 서버(3550)에 자신이 활성화되었다는 정보 및 생체 정보를 알려 주게 된다. 이때 사용자의 생체 정보는 전체 원시(raw) 데이터일 수도 있고, 해당 데이터 중 개인임을 입증할 수 있는 특징점이 포함된 정보, 즉 1차적으로 연산 처리를 마친 데이터일 수도 있다. 또한 서버(3550)에 전송하는 데이터는 생체 정보에 더하여 추가적인 정보를 포함할 수 있다. 예를 들면, 서버(3550)에 전송하는 데이터는 사용자를 증명할 수 있는 정보(예: 계정 ID, 이름, 고유번호, 전화번호 등) 혹은 해당 장치의 위치 정보나 시간 정보 혹은 해당 장치의 근거리 통신에 관련된 정보(예: 어떤 종류의 근거리 통신수단을 가지고 있는지에 대한 정보, 해당 근거리 통신 수단의 ID, 연결을 위한 비밀번호, MAC 주소(address) 등)를 포함할 수 있다. 서버(3550)는 해당 정보를 통해 각각의 장치의 정보를 저장하고 관리하게 되며, 위 정보는 생체 정보가 활성화될 때마다 수신될 수도 있으나, 각 장치는 최초 1회에만 전송을 하고 그 후에는 서버에서 관리하게 하거나 혹은 변화가 있을 때만 재전송 혹은 주기적인 재전송 등을 수행할 수 있다.
도 86은 다양한 실시예에 따른 전자 장치의 동작 방법을 보여주는 순서도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 통신 연결 모듈(예: 통신 연결 모듈(3001))에 의해 수행될 수 있다. 상기 방법은, 3610~3660 동작들의 전체 또는 그 일부를 포함할 수 있다.
도 86을 참조하면, 전자 장치는 서버를 사용하여 사용자의 장치간 연결을 관리할 수 있다. 3610 동작에서 헬스 센서를 통해 사용자를 인증하게 되면, 3620 동작에서 전자 장치는 사용자의 생체 정보와 개인과 관련된 부가 정보를 서버로 전송한다. 3630 동작에서 전자 장치는 서버로부터 해당 사용자에게 등록된 상대 장치에 대한 정보를 수신한다. 상대 장치도 상기 전자 장치와 동일한 동작들을 수행함으로써, 상기 전자 장치의 정보를 서버로부터 수신할 수 있다. 3640 동작에서, 상기 전자 장치는 주변 장치를 검색하고, 3650 동작에서 상기 서버로부터 수신한 정보에 근거하여 검색 결과에 동일 사용자에게 등록된 다른 장치가 존재하는 것으로 결정되면, 3660 동작에서 상기 서버로부터 수신한 정보를 이용하여 상기 다른 장치와 연결할 수 있다.
서버는 개인 정보 관리뿐만 아니라 장치 연결에 필요한 정보 역시 관리할 수 있다. 예를 들면, 서버는 각 장치가 어떠한 통신 모듈을 가지고 있는지에 대한 추가 정보를 가지고 있다. 생체 인식이 진행되어 한 장치가 활성화되면 서버는 활성화된 장치가 보유한 통신 수단을 확인하고 또한 다른 장치들이 가지고 있는 통신 자원을 확인한다. 위 통신 자원에는 근거리 통신망을 통해 장치 대 장치 연결을 지원할 수 있는 여러 가지 통신 수단(예: ZIGBEE, BLUETOOTH, WIFI DIRECT, BLE)이 포함된다. 서버는 각 장치에게 사용 가능한 통신 수단을 활용하여 활성화된 다른 장치와의 연결을 요청할 수 있다. 위 실시예에서 각각의 장치는 각각의 통신 수단을 통해 다른 장치와의 연결을 위한 정보를 서버를 통해 전달받을 수 있다. 예를 들면, 활성화된 장치와 등록된 장치가 블루투스 모듈을 가지고 있다고 하면 페어링에 필요한 정보 (예: 핀코드. BT 주소(address) 등)을 서버를 통해 전달 받아서 사용자가 해당 정보를 입력할 필요 없이 복수의 장치들 사이의 연결이 가능하다.
도 87 내지 도 89는 다양한 실시예에 따른 전자 장치들 간의 네트워크 환경을 도시한다. 각 전자 장치는 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
도 87에 도시된 네트워크 환경(3700)에서는, 헬스 센서를 가진 복수의 전자 장치들(3710, 3720) 각각이 다수의 사용자를 관리하는 예를 보여준다. 예를 들어, 제2 전자 장치(3720)에 대한 서버로서 기능할 수 있는 제1 전자 장치(3710)에는 제1 내지 제3 사용자들(3741, 3742, 3743)이 등록될 수 있고, 상기 제2 전자 장치(3720)에는 제4 내지 제6 사용자들(3744, 3745, 3746)이 등록될 수 있다. 상기 제1 전자 장치(3710) 및 상기 제2 전자 장치(3720)는 서로 직접 통신할 수 있다. 예를 들어, 상기 제1 전자 장치(3710)는 상기 제2 전자 장치(3720)에 대한 정보를 저장하고 있거나 별도의 서버로부터 무선 AP(3730)를 통해 상기 정보를 수신할 수 있다.
다양한 실시예에 따르면 다수 사용자 구분을 위한 장치 접속 관리가 가능하다. 상기 실시예에서 사용자의 정의는 한 사람을 의미 할 수도 있지만 동일한 장치 사용 권한을 가진 사용자 그룹으로 구성될 수 있다. 예를 들면 가족 구성원이 공용으로 사용하는 타블렛이나 스마트 TV 같은 장치들 등은 다수의 사용자들에 의해 공용으로 사용될 수 있다.
사용자가 그룹일 경우 각 사용자가 가진 장치에 대한 권한은 사용자별로 차별적으로 적용될 수 있다. 즉 사용자 그룹은 복수의 허가 장치에 대해 공통되는 장치 혹은 개인 혼자에게만 허용되는 장치를 혼용하여 권한을 부여 받을 수 있으며 또한 동일 장치라 하더라도 사용자에 따라 사용할 수 있는 권한에 차이가 있을 수 있다. 예를 들면 개인적으로 쓰는 헬스 센서를 구비한 타블렛을 가족 구성원 전부가 공용으로 사용할 수 있다고 해도, 만약 딸이 타블렛을 사용하는 경우에 연결 가능 지역에 아빠가 사용하는 헬스 센서가 구비된 시계형 장치가 있다면 이 두 장치들의 연결을 서버에서 제어하고 관리할 수 있다.
도 88에 도시된 네트워크 환경(3800)에서는, 제1 전자 장치(3810) 및/또는 제2 전자 장치(3820)의 위치 정보(3840)를 이용하여 두 전자 장치들이 연결하는 예를 도시한다. 제2 전자 장치(3820)에 대한 서버로서 기능할 수 있는 제1 전자 장치(3810)는 상기 제2 전자 장치(3820)와 직접 통신할 수 있다. 예를 들어, 상기 제1 전자 장치(3810)는 상기 제2 전자 장치(3820)에 대한 정보를 저장하고 있거나 별도의 서버로부터 무선 AP(3730)를 통해 상기 정보를 수신할 수 있다.
도 89에 도시된 네트워크 환경(3900)에서는, 제1 전자 장치(3910) 및/또는 제2 전자 장치(3920)의 시간 정보(3940)를 이용하여 두 전자 장치들이 연결하는 예를 도시한다. 제2 전자 장치(3920)에 대한 서버로서 기능할 수 있는 제1 전자 장치(3910)는 상기 제2 전자 장치(3920)와 무선 AP(3930)를 통해 통신하거나 직접 통신할 수 있다. 예를 들어, 상기 제1 전자 장치(3910)는 상기 제2 전자 장치(3920)에 대한 정보를 저장하고 있거나 별도의 서버로부터 무선 AP(3930)를 통해 상기 정보를 수신할 수 있다.
다양한 실시예에 따르면, 시간 또는 위치 정보를 활용한 접속도 가능하다. 한 예로, 부가적인 정보로 위치 정보나 시간 정보 중 하나 이상이 포함되어 이를 활용 한 장치 간 연결 역시 가능하다. 각 장치의 위치 정보를 통해 하나의 장치가 활성화 되었을 때 등록된 모든 장치가 연결을 시도하는 것이 아니라 연결 가능한 위치에 있는 장치들만 연결 시도를 하는 등의 동작을 생각 할 수 있다. 혹은 특정 위치에 고정적으로 있는 장치들의 특성을 판단하여 특정 지역에서 활성화가 이루어졌을 경우 해당 지역에 속해 있는 장치들의 연결이 이루어 지도록 구성 가능하다.
서버는 각 장치들이 연결이 이루어지는 혹은 활성화된 시점 혹은 장치가 사용되는 위치에 대한 정보를 관리한다. 각각의 장치들은 지정된 이벤트가 있을 때 혹은 주기적으로 자신의 위치 정보를 업데이트 하고 서버는 해당 정보를 관리한다.
따라서 장치가 특정 지역에 진입하였을 때 자동으로 장치간 연결을 시도하거나 두 장치들이 동일 지역으로 진입함을 판단하였을 때 장치간 연결을 시도함으로써 자동 연결이 가능하게 한다. 또한 위 방법은 전력관리 기법과도 연동하여 모듈 자체의 전원관리 방법과 연동 될 수 있다. 즉 장치가 위 조건에 해당하지 않으면 장치간 통신 수단을 파워 세이브 모드로 하거나 SLEEP 상태로 유지 혹은 완전히 전원을 OFF하고 장치가 해당 조건에 해당하면 장치간 통신 수단을 활성화하여 연결을 진행하는 것이 가능하다. 또한 반대로 해당 장치가 조건을 진입하거나 벗어날 때 모두 전원 관리 기법을 적용 할 수 있다. 일 예로 해당 지역에 진입하면 블루투스 모듈이 ON이 되어 스캔(SCAN) 등의 페어링 동작을 수행하고 해당 지역에서 벗어나면 블루투스 모듈이 OFF로 진입하여 전원을 절약하는 동작 등을 생각할 수 있다.
시간 정보는 장치의 현재 사용 시간이나 장치의 평균 사용 시간을 토대로 활용 가능하다. 예를 들면 특정 시간에 늘 사용되는 장치들의 경우 동시에 사용될 가능성이 높기 때문에 특정 시간대에 연결을 시도할 수 있도록 설정 할 수 있으며 또한 장치를 켜고 끄는 정보를 이용하여 켜져 있는 장치를 판별하여 연결이 시도 될 수 있도록 구성할 수 있다. 서버는 각 장치의 연결이 이루어지는 혹은 활성화된 시점 혹은 장치가 사용되는 시간에 대한 정보를 관리한다. 각각의 장치들은 지정된 이벤트가 있을 때 혹은 주기적으로 장치가 사용되는 시간 정보를 업데이트하고 서버는 해당 정보를 관리한다. 따라서 장치는 특정 시간에 진입 하거나 특정 시간의 구간 동안 자동으로 장치간 연결을 시도함으로써 자동 연결이 가능하게 된다. 또한 위 방법은 전력관리 기법과도 연동하여 모듈 자체의 전원관리 방법과 연동 될 수 있다. 즉 장치가 위 조건에 해당하지 않으면 장치간 통신 수단을 파워 세이브 모드로 하거나 전원을 슬립(SLEEP) 상태로 유지 혹은 완전히 전원을 OFF하고 기기가 해당 조건에 해당하면 장치간 통신 수단을 활성화하여 연결을 진행하는 것이 가능하다. 또한 반대로 해당 장치가 조건을 진입하거나 벗어날 때 모두 전원 관리 기법을 적용 할 수 있다. 일 예로 특정 시간이 되면 블루투스 모듈이 ON이 되어 스캔 등의 페어링 동작을 수행하고 특정 시간대가 지나면 블루투스 모듈이 OFF로 진입하여 전원을 절약하는 동작 등을 생각할 수 있다.
도 90은 다양한 실시예에 따른 전자 장치들 간의 네트워크 환경(4000)을 도시한다. 예를 들면, 헬스 센서를 가진 전자 장치들이 각각 장치와 장치 사이를 연결할 수 있는 제1 통신 수단만 가지고 있거나, 상기 제1 통신 수단과 무선 AP(4030)를 통해 IP 네트워크에 접속할 수 있는 제2 통신 수단을 구비할 수 있다. 예를 들어, 제1 전자 장치(4010)는 제1 및 제2 통신 수단들을 모두 구비하고 있고, 제2 전자 장치(4020)는 제1 통신 수단만을 구비할 수 있다.
본 예는 상기 제1 및 제2 전자 장치(4010, 4020)이 각각 제1 및 제2 통신 수단들을 모두 구비하는 경우에도 적용 가능하다.
하나의 실시예로 두 장치를 사용자(들)이 장착한 시점부터 각 장치는 무선연결을 시도할 수 있다. 이때, 각 장치는 생체신호를 감지하고 생체 정보를 추출하고, 무선 연결을 시도하는 두 장치의 생체 정보를 서로 비교함으로써 생체 정보가 유사한 경우 무선연결을 완료할 수 있다. 생체 정보를 비교하는 동작은 제1 전자 장치에서 제2 전자 장치로 생체 정보 혹은 이와 관련한 정보를 보내고, 제2 전자 장치가 해당 정보와 제2 전자 장치가 추출한 정보를 비교할 수 있다. 또는, 제2 전자 장치는 제 3 전자 장치로 제1 및 제2 전자 장치들이 추출한 생체 정보 혹은 이와 관련한 정보들을 보내고, 제 3 전자 장치에서 상기 정보들의 유사도를 판별할 수도 있다.
도 91은 다양한 실시예에 따른 전자 장치의 동작을 보여주는 순서도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)), 전자 장치 내 프로세서(예: 프로세서(120, 210)) 또는 통신 연결 모듈(예: 통신 연결 모듈(3001), 추가 기능 모듈(170))에 의해 수행될 수 있다. 상기 방법은, 4110~4160 동작들의 전체 또는 그 일부를 포함할 수 있다.
한 실시예에 따르면, 전자 장치는 헬스 센서의 정보를 기반으로 사용자의 장치 간 연결 정보를 생성하여 장치 연결을 관리할 수 있다.
4110 동작에서 헬스 센서를 통해 사용자를 인증하게 되면, 4120 동작에서 전자 장치는 생체 정보를 이용하여 장치간 연결에 필요한 추가 정보를 생성할 수 있다. 예를 들어 한 사용자가 두 장치를 장착한 시점, 혹은 생체 신호를 측정하는 동작을 수행한 시점, 혹은 각각 무선 연결을 위한 사용자 입력(예: 메뉴 선택, 버튼 입력 등)을 수행한 시점부터 생체 신호를 수집하여 생체 정보 혹은 이를 통한 인증 정보(예: 사용자 ID, 이름, 고유번호 등 식별정보)를 하나 이상 얻을 수 있다.
4130 동작에서 전자 장치는 추가 정보를 이용하여 장치 정보를 설정할 수 있다. 4140 동작에서, 상기 전자 장치는 주변 장치를 검색할 수 있다. 예를 들어, 상기 전자 장치는 생체 정보를 이용하여 설정된 장치 정보를 주변 장치로 브로드 캐스팅하거나, 생체 정보를 이용하여 설정된 장치 정보를 갖는 주변 장치를 디스커버리할 수 있다. 4150 동작에서 상기 전자 장치는 상기 생체 정보에 근거하여 검색 결과에 동일 사용자가 소유한 다른 장치가 존재하는 것으로 결정되면, 4160 동작에서 상기 다른 장치와 연결할 수 있다.
도 92 및 도 93은 다양한 실시예에 따른 전자 장치 간의 네트워크 환경을 도시한다. 각 전자 장치는 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
도 92에 도시된 네트워크 환경(4200)에서는, 생체 정보를 기반으로 BT(Bluetooth)를 통하여 전자 장치들(4210, 4220) 간의 연결이 수행되는 것을 도시한다.
도 93에 도시된 네트워크 환경(4300)에서는, 생체 정보를 기반으로 와이파이(WiFi) 다이렉트를 통하여 전자 장치들(4310, 4320) 간의 연결이 수행되는 것을 도시한다.
다른 실시예에서 두 장치를 사용자가 장착한 시점부터 각 장치는 무선 연결을 시도할 수 있다. 이때, 각 장치는 생체 신호를 감지하고 생체 정보를 추출하여, 이를 기존에 존재하는 통신 수단의 인증에 활용 할 수 있다. 즉 헬스 센서를 통해 얻은 정보를 통해 연결에 필요한 장치의 이름과 장치간 연결 암호 등을 자동 생성 할 수 있다. 생체 정보는 각 개인마다 다른 특징을 가지고 있기 때문에 생체 특이점을 기반으로 고유한 값(4231, 4232)을 생성할 수 있도록 설정이 가능하다. 이렇게 생성 된 값(4231, 4232)은 장치 간 통신에서 각 장치의 ID값을 구성하는데 사용 할 수 있다. 예를 들면 생체 정보를 통해 생성된 값을 사용하여 ID 자체를 특정 문자열과 같은 값으로 생성할 수도 있고, ID 를 구성하는 데이터의 특정 부분에 해당 데이터를 추가하여 사용하는 것도 가능하다. 또한 해당 값을 표시 할 수 있는 별도의 데이터 부분을 생성하여 해당 값을 기존 장치 간 통신에 추가적으로 활용하는 것 역시 생각해 볼 수 있다.
현재 보편화된 장치간 통신 기술을 기준으로 좀 더 구체적인 예를 들어보도록 하겠다. 블루투스 기반의 통신 수단을 사용 한다고 하였을 때 블루투스 기반의 연결은 장치명과 핀 코드(Pin code) 등을 통해서 이루어진다. 상기 실시예에서 생체 신호를 한 장치에서 감지하게 되면 해당 생체 신호를 기반으로 블루투스 장치명과 핀 코드를 생성 할 수 있다. 해당 장치 명은 생체 정보 단독에서 추출된 정보일 수도 있고 계정 정보와 같은 해당 장치의 개인 정보와 연동되어 생성 할 수도 있다. 만약 다른 장치가 동일한 사용자에 의해 활성화된다면 해당 기기는 블루투스를 사용하여 주변에 동일한 생체 정보로 생성된 장치명이 있는지를 스캔하게 되고 스캔 결과에 동일 생체 정보로 생성된 기기명이 있으면 해당 장치와 연결을 시도한다. 또한 해당 장치와 연결에 필요한 보안 핀 코드 역시 생체 정보를 기반으로 생성할 수 있기 때문에 추가적인 사용자의 정보 입력이 없이도 두 장치간의 연결이 가능하다. 이는 또한 두 장치로 국한되는 것이 아니라 복수개의 장치 사이의 연결에도 사용이 가능하며, 여러 명의 사용자가 장치를 공유하는 경우에도 해당 사용자가 사용하고 있음을 인지가 가능함으로 실시간으로 해당 정보의 업데이트를 하여 사용자에 맞게 적용하는 것이 가능하다.
위 실시예와 같은 유사한 예를 와이파이 다이렉트와 같은 기존의 통신 장치에서도 사용 할 수 있다. 도 93은 와이파이 다이렉트 방식을 사용하여 장치 간 연결을 구성하는 예시이다. 와이파이 다이렉트 역시 유사한 방식으로 장치 간 연결이 진행되기 때문에 기본적인 동작은 유사하다. 한 장치가 생체 정보에 의해 활성화되면 해당 장치는 와이파이 다이렉트를 사용하여 주변에 있는 장치를 검색하게 된다. 검색이 된 와이파이 다이렉트를 사용하는 장치들 중 동일 사용자로 예측되는 장치에 접속을 시도하게 되고, 이 때 접속에 필요한 인증 방식 역시 생체 정보를 기반으로 생성된 값(4331, 4332)을 사용할 수 있다. 즉 사용자가 장치를 사용한다면 동일 사용자에 의해 사용되는 장치라는 것을 장치 상호간이 인지 할 수 있으며, 이에 따라서 연결 시도를 하게 된다. 연결 시도 후 연결을 위한 인증 역시 생체 정보를 기반으로 생성된 인증 정보로 대치 가능하기 때문에, 사용자의 추가적인 입력 없이도 장치 상호간에 서로의 장치가 동일 사용자에 의해 사용되고 있음을 인지하는 것이 가능하고, 또한 연결을 위한 보안 인증 절차 역시 생체 정보에 기반하여 추가 입력없이 가능하다.
하나의 실시예로 생체 정보를 기반으로 한 장치간의 연결은 생체 인식이 이루어진 후 특정 시간 동안만 가능하게 하는 활용도 가능하다. 즉 생체 정보를 이용하여 장치가 활성화 되게 되면 특정 시간 동안 주변에 생체 정보를 이용해 활성화 된 다른 장치가 있는지를 검색하고 검색을 중지하거나 검색 주기를 처음과 달리 하여 주변에 있는 장치를 검색하는 것이 가능하다.
다양한 실시예에 따르면, 제1 전자 장치의 통신 연결 방법은, 제1 생체 정보를 획득하는 동작; 상기 제1 생체 정보에 근거하여 제2 전자 장치와의 통신 연결을 위한 페어링 정보를 획득하는 동작; 및 상기 페어링 정보를 이용하여 상기 제2 전자 장치와의 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보를 획득하는 동작은, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하는 동작; 상기 제1 사용자에 대한 제1 사용자 연관 정보를 제3 전자 장치로 전송하는 동작; 및 상기 제3 전자 장치로부터 상기 페어링 정보를 수신하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보를 획득하는 동작은, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하는 동작; 상기 제1 사용자에 대한 제1 사용자 연관 정보를 제3 전자 장치로 전송하는 동작; 및 상기 제3 전자 장치로부터 상기 페어링 정보를 수신하는 동작을 포함하고, 상기 제1 사용자 연관 정보는 계정, ID, 이름, 주소, 이메일 주소, 전화번호, 개인정보 중의 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보를 획득하는 동작은, 상기 제1 생체 정보를 제3 전자 장치로 전송하는 동작; 및 상기 제3 전자 장치로부터 상기 페어링 정보를 수신하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보는, 상기 제2 전자 장치의 ID, 전화번호, SIM 번호, 네트워크 주소, IP 주소, MAC 주소, BT 주소, AP 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 제1 생체 정보는, 홍채 정보, 지문 정보, 장문 정보, 족문 정보, 손등정맥 정보, 음성 정보, 혈압, HRV, HRM, 산소포화도, 심전도, 근전도, 뇌파, 피부저항도 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 통신 연결을 수립하는 동작은, 적어도 하나의 주변 장치를 검색하는 동작; 및 상기 검색된 적어도 하나의 주변 장치 중 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 통신 연결을 수립하는 동작은, 상기 제1 전자 장치의 상태 또는 환경이 상기 페어링 정보에 의해 특정되는 조건을 만족하는지를 결정하는 동작; 및 상기 제1 전자 장치의 상태 또는 환경이 상기 페어링 정보에 의해 특정되는 조건을 만족하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 통신 연결을 수립하는 동작은, 상기 제1 전자 장치의 위치 정보를 획득하는 동작; 상기 제1 전자 장치가 상기 페어링 정보에 의해 특정된 지역에 위치하는지를 결정하는 동작; 상기 제1 전자 장치가 상기 페어링 정보에 의해 특정된 지역에 위치하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 통신 연결을 수립하는 동작은, 현재 시간 정보를 획득하는 동작; 현재 시간이 상기 페어링 정보에 의해 특정되는 시간과 일치하는지를 결정하는 동작; 상기 제1 전자 장치가 현재 시간이 상기 페어링 정보에 의해 특정되는 시간과 일치하는 것으로 결정되면, 상기 페어링 정보에 의해 식별되는 상기 제2 전자 장치와 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보를 획득하는 동작은, 상기 제1 생체 정보를 상기 제2 전자 장치로 전송하는 동작; 및 상기 제2 전자 장치로부터 상기 페어링 정보를 수신하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보를 획득하는 동작은, 상기 제1 생체 정보를 상기 제2 전자 장치로 전송하는 동작; 제2 생체 정보를 상기 제2 전자 장치로부터 수신하는 동작; 및 상기 페어링 정보를 획득하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보를 획득하는 동작은, 제2 생체 정보를 상기 제2 전자 장치로부터 수신하는 동작; 및 상기 페어링 정보를 획득하는 동작을 포함하고, 상기 통신 연결을 수립하는 동작은 상기 제1 생체 정보와 상기 제2 생체 정보가 동일 사용자와 연관된 경우에 개시될 수 있다.
다양한 실시예에 따르면, 전자 장치의 통신 연결 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체에 있어서, 상기 방법은, 제1 생체 정보를 획득하는 동작; 상기 제1 생체 정보에 근거하여 제2 전자 장치와의 통신 연결을 위한 페어링 정보를 획득하는 동작; 및 상기 페어링 정보를 이용하여 상기 제2 전자 장치와의 통신 연결을 수립하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 서버 장치의 통신 연결 방법은, 제1 전자 장치로부터 제1 생체 정보를 수신하는 동작; 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치와 통신 연결될 제2 전자 장치를 결정하는 동작; 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 위한 페어링 정보를 상기 제1 전자 장치 및 상기 제2 전자 장치 중 적어도 하나로 전송하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 전자 장치를 결정하는 동작은, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하는 동작; 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 전자 장치를 결정하는 동작은, 상기 제2 전자 장치로부터 제2 생체 정보를 수신하는 동작; 상기 제1 생체 정보 및 상기 제2 생체 정보에 근거하여 상기 제2 전자 장치를 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 전자 장치를 결정하는 동작은, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하는 동작; 상기 제2 전자 장치로부터 제2 생체 정보를 수신하는 동작; 상기 제2 생체 정보에 근거하여 상기 제2 전자 장치의 제2 사용자를 식별하는 동작; 및 상기 제1 사용자 및 상기 제2 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 전자 장치를 결정하는 동작은, 상기 제2 전자 장치로부터 제2 생체 정보를 수신하는 동작; 상기 제1 생체 정보 및 상기 제2 생체 정보를 비교하는 동작; 상기 비교의 결과에 근거하여, 상기 제1 전자 장치 및 상기 제2 전자 장치의 동일 사용자를 식별하는 동작; 상기 사용자와 연관된 적어도 하나의 전자 장치 중 하나를 상기 제2 전자 장치로 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보는 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 개시하기 위한 상기 제1 전자 장치 및 상기 제2 전자 장치 중 해당 전자 장치의 상태 또는 환경에 대한 조건을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보는 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 개시하기 위한 상기 제1 전자 장치 및 상기 제2 전자 장치 중 해당 전자 장치의 위치에 대한 조건을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 전자 장치를 결정하는 동작은, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하는 동작; 상기 제1 전자 장치의 위치 정보를 획득하는 동작; 및 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 미리 설정된 기준에 따라 상기 제1 전자 장치의 위치 정보와 연관된 위치 정보를 갖는 상기 제2 전자 장치를 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 페어링 정보는 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 개시하기 위한 시간에 대한 정보를 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 전자 장치를 결정하는 동작은, 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치의 제1 사용자를 식별하는 동작; 상기 제1 전자 장치에 대한 시간 정보를 획득하는 동작; 및 상기 제1 사용자와 연관된 적어도 하나의 전자 장치 중 미리 설정된 기준에 따라 상기 제1 전자 장치의 시간 정보와 연관된 시간 정보를 갖는 상기 제2 전자 장치를 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 서버 장치의 통신 연결 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체에 있어서, 상기 방법은, 제1 전자 장치로부터 제1 생체 정보를 수신하는 동작; 상기 제1 생체 정보에 근거하여 상기 제1 전자 장치와 통신 연결될 제2 전자 장치를 결정하는 동작; 및 상기 제1 전자 장치 및 상기 제2 전자 장치의 통신 연결을 위한 페어링 정보를 상기 제1 전자 장치 및 상기 제2 전자 장치 중 적어도 하나로 전송하는 동작을 포함할 수 있다.
도 94는 한 실시예에 따른 전자 모듈 외관을 도시한다.
도 94를 참조하면, 전자 모듈(4402)은 손목이나 손가락 발목이나 목 등 다양한 위치에 착용 가능한 환 형태로 마련될 수 있다. 전자 모듈(4402)은 착용되는 부위에 따라 그 크기와 형태가 적어도 일부 변형될 수 있다. 전자 모듈(4402)은 도시된 바와 같이 환 형태의 착용 바디(4405), 착용 바디(4405) 일측에 배치된 전자 장치(4400)(예: 전자 장치(101, 201))을 포함할 수 있다.
착용 바디(4405)는 일정 폭과 두께를 가지며 환 형태로 마련될 수 있다. 착용 바디(4405)의 적어도 일측에는 착용 시 환 반경을 확장하고, 착용 후 일정 부위에 고정되도록 환 반경을 축소시키는 조절 장치가 배치될 수 있다. 조절 장치는 밴딩 유닛, 고리 체결 유닛, 접철 유닛 중 적어도 하나를 포함할 수 있다. 착용 바디(4405)의 크기는 착용 부위 특징에 따라 다양한 형태로 변형될 수 있다. 착용 바디(4405)의 일측에는 전자 장치(4400)가 장착되는 장착부가 마련될 수 있다. 장착부는 전자 장치(4400)가 장착된 후 지지될 수 있는 홀 구조로 마련될 수 있다. 예컨대, 장착부는 전자 장치(4400)의 전면과 후면이 노출될 수 있도록 전자 장치(4400)의 외곽부를 감싸는 구조로 마련될 수 있다.
전자 장치(4400)는 착용 바디(4405)의 장착부에 장착될 수 있다. 또한 전자 장치(4400)는 착용 바디(4405)의 장착부로부터 이탈될 수도 있다. 전자 장치(4400)는 착용 바디(4405)에 장착된 상태에서 후면의 적어도 일부가 내측으로 노출될 수 있다. 전자 장치(4400)가 착용 바디(4405)에 장착된 상태에서 노출되는 영역에 센서 모듈(예: 센서 모듈(240))에 포함되는 HRM(Heart Rate Monitor) 센서(4471)(예: 생체 센서(240I))가 배치될 수 있다. 예컨대, HRM 센서(4471)는 전자 장치(4400)의 후면 중앙에 배치될 수 있다. 전자 장치(4400)는 HRM 센서(4471)이 수집하는 센서 신호를 분석하여 착용 상태 또는 착용 부위를 판단할 수 있다. 전자 장치(4400)의 전면에는 표시 모듈(4440)이 배치될 수 있다. 한 실시예에 따르면, 전자 장치(4400)의 표시 모듈(4440)은 전자 장치(4400)의 착용 상태에 따라 정보의 표시 방향을 다르게 출력할 수 있다. 한 실시예에 따르면, 전자 장치(4400)는 착용 부위에 따라 서로 다른 기능을 실행할 수 있다. 한 실시예에 따르면, 전자 장치(4400)는 동일 기능에 대한 정보 출력을 착용 부위에 따라 다르게 제공할 수 있다.
도 95는 한 실시예에 따른 모드 운용 모듈과 저장 모듈의 구성을 도시한다.
도 95를 참조하면, 저장 모듈(4550)(예: 메모리(130))은 생체 신호 데이터(4551) 및 모드별 기능 테이블(4553)을 포함할 수 있다.
생체 신호 데이터(4551)는 참조 정보를 포함할 수 있다. 참조 정보는 앞서 설명한 바와 같이 생체 신호의 비교 기준으로 이용될 수 있다. 한 실시예에 따르면, 참조 정보는 손목의 바깥측 착용 시(예: PPG 센서가 손목 바깥측에 접촉한 경우) 참조 생체 신호, 손목의 안쪽 착용 시(예: PPG 센서가 손목 안쪽에 접촉한 경우) 참조 생체 신호를 포함할 수 있다. 또한 참조 정보는 발목이나 손가락 목 등과 관련한 참조 생체 신호를 포함할 수 있다. 다양한 실시예에 따르면 참조 정보는 일정 범위 값 또는 기준 값을 포함할 수 있다. 예컨대 참조 정보는 손목 바깥측 착용으로 판단할 수 있는 범위 값이나 기준 값, 손목 안쪽 착용으로 판단할 수 있는 범위 값이나 기준 값을 포함할 수 있다. 생체 신호 데이터(4551)는 센서 모듈이 현재 수집한 생체 신호를 포함할 수 있다. 생체 신호는 맥파 검출 신호를 포함할 수 있다.
모드별 기능 테이블(4553)은 전자 장치(4400)의 착용 상태에 따라 수행할 적어도 하나의 기능 목록을 포함한 테이블일 수 있다. 예컨대, 모드별 기능 테이블(4553)은 착용 모드 기능 테이블, 착용 해제 모드 기능 테이블, 분실 모드 기능 테이블을 포함할 수 있다. 착용 모드 기능 테이블은 착용 부위별 기능 테이블을 포함할 수 있다. 한 실시예에 따르면, 착용 모드 기능 테이블에 포함된 특정 기능 항목은 착용 부위별로 실행되는 형태가 다르게 정의될 수 있다.
제어 모듈(4560)(예: 프로세서(120))에 포함되거나 그에 의해 제어되는 모드 운용 모듈(4580)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다.
모드 운용 모듈(4580)은 HRM 센서(4471)이 수집하는 근접도 정보를 판단하여 전자 장치(4400)의 착용 정보 또는 미착용 정보(또는 부착/탈착 정보)를 전자 장치(4400) 혹은 외부 전자 장치(예: 전자 장치(104) 등에 전송하도록 제어할 수 있다. 한 실시예에 따르면, 모드 운용 모듈(4580)은 자동으로 수면상태를 판단하기 위해 가속도 센서, 자이로 센서 중 적어도 하나의 센서를 활성화하도록 제어할 수 있다. 모드 운용 모듈(4580)은 수집된 가속도 정보와 자이로 센서 정보 및 HRM센서(4471)의 수집된 신호 분석에 기반하여 수면 진입 모드 상태 또는 수면 해제 모드 상태(Sleep In/Out)을 판단할 수 있다. 모드 운용 모듈(4580)은 수면 진입 또는 수면 해제 등의 상태에 대응하여 기 정의된 특정 기능 또는 전자 장치(4400)의 특정 동작 수행을 제어할 수 있다. 한 실시예에 따르면, 모드 운용 모듈(4580)은 손가락 움직임, 손가락 태핑, 주먹쥠/폄, 팔목 움직임 등 전자장치에 인접한 부분의 신체 변화에 의해 변화하는 혈류량, 혈압, 산소포화도 등의 생체 정보를 해당 센서 예컨대 HRM 센서(4471)을 이용하여 수집할 수 있다. 모드 운용 모듈(4580)은 수집된 생체 정보의 신호를 센싱하여 1차 정보(예: 심박 등 생체신호)뿐만 아니라 2차 정보(예: one tap, two tap, N tap, long tap 등 사용자 입력) 를 기반으로 특정 동작을 수행하도록 제어할 수 있다.
상술한 모드 운용 모듈(4580)은 생체 신호 처리 모듈(4581), 모드 전환 모듈(4583), 모드별 기능 처리 모듈(4585) 및 탈부착 처리 모듈(4587)을 포함할 수 있다.
생체 신호 처리 모듈(4581)은 설정된 스케줄 정보 또는 입출력 모듈에서 발생한 입력 신호 등의 특정 신호에 대응하여 센서 모듈을 활성화하도록 제어할 수 있다. 생체 신호 처리 모듈(4581)은 센서 모듈이 전달하는 센서 신호를 분석할 수 있다. 생체 신호 처리 모듈(4581)은 센서 모듈이 센서 신호를 전달하면, 저장 모듈(4550)에 저장된 참조 정보를 확인하여 착용 상태 여부, 착용 부위를 분석할 수 있다. 생체 신호 처리 모듈(4581)은 착용 상태 정보 및 착용 부위 정보를 모드 전환 모듈(4583), 모드별 기능 처리 모듈(4585)에 전달할 수 있다.
다양한 실시예에 따르면, 생체 신호 처리 모듈(4581)은 센서 모듈의 센서 주기를 변경할 수 있다. 예컨대, 생체 신호 처리 모듈(4581)은 착용으로 판단된 이후 센서 모듈의 센서 주기를 이전보다 길게 변경할 수 있다. 생체 신호 처리 모듈(4581)은 착용 해제로 판단된 이후 센서 모듈의 센서 주기를 이전보다 길게 변경하거나, 센서 모듈을 비활성화하도록 제어할 수 있다.
생체 신호 처리 모듈(4581)은 훈련 모드를 지원할 수 있다. 예컨대, 생체 신호 처리 모듈(4581)은 전자 장치(4400)를 착용할 부위에 대한 안내 메시지를 표시 모듈(4440) 또는 입출력 모듈(예: 입출력 인터페이스(140))을 통해 출력하도록 제어할 수 있다. 생체 신호 처리 모듈(4581)은 안내 메시지 출력 이후 센서 모듈을 활성화하여 수집되는 생체 신호를 해당 착용 부위에 대응하는 참조 정보로 저장하도록 제어할 수 있다. 생체 신호 처리 모듈(4581)은 상술한 동작 수행을 통하여 손목 안쪽 착용에 대한 참조 정보, 손목 바깥측 착용에 대한 참조 정보를 수집할 수 있다. 또한 생체 신호 처리 모듈(4581)은 목이나, 발목, 손가락, 팔의 하박이나 상박 등의 착용에 대한 참조 정보를 수집할 수도 있다.
모드 전환 모듈(4583)은 생체 신호 처리 모듈(4581)로부터 착용 상태 정보 또는 착용 부위 정보를 수신할 수 있다. 모드 전환 모듈(4583)은 착용 정보를 수신하면, 착용 부위 정보를 확인할 수 있다. 모드 전환 모듈(4583)은 착용 부위가 제1 부위(예: 손목 안쪽)인 경우 표시 모듈(4440)의 UI를 제1 UI 모드(가로 모드 또는 가로 쓰기 방식)로 전환할 수 있다. 모드 전환 모듈(4583)은 착용 부위가 제2 부위(예: 손목 바깥측)인 경우 표시 모듈(4440)의 UI를 제2 UI 모드(가로 쓰기 방식의 세로 모드 또는 세로 쓰기 방식)로 전환할 수 있다. 다양한 실시예에 따르면 모드 전환 모듈(4583)은 착용 해제 상태이면 표시 모듈(4440)을 슬립 모드로 전환하도록 제어할 수 있다.
모드별 기능 처리 모듈(4585)은 생체 신호 처리 모듈(4581)로부터 전달된 착용 상태 및 착용 부위 정보에 따라 정의된 기능을 처리할 수 있다. 예컨대, 모드별 기능 처리 모듈(4585)은 착용 여부, 착용 부위, 착용 정상 해제 등에 따라 각각 설정된 기능 처리를 제어할 수 있다.
한 실시예에 따르면, 모드별 기능 처리 모듈(4585)은 전자 장치(4400) 보관 시 전자 장치(4400)에 포함된 센서 모듈의 전원 공급 차단, 표시 모듈(4440)의 전원 공급 차단 등을 제어할 수 있다. 또는 모드별 기능 처리 모듈(4585)은 전자 장치(4400) 보관 시 전자 장치(4400)를 턴-오프 상태로 자동 전환할 수 있다. 이 과정에서, 모드별 기능 처리 모듈(4585)은 전자 장치(4400)가 손목 등으로부터 정상 해제된 이후 HRM 센서(4471)을 제어하여 센서 신호를 검출하고, 센서 신호가 설정된 신호 형태(맥파 검출 신호가 없고, 일정 조도에 해당하는 노이즈 신호가 검출되는 상태)이면 전자 장치(4400) 보관으로 판단할 수 있다.
한 실시예에 따르면, 모드별 기능 처리 모듈(4585)은 전자 장치(4400)가 충전 상태이면 통신 인터페이스(예: 통신 인터페이스(160))을 제외한 나머지 구성들을 비활성화하도록 제어할 수 있다. 모드별 기능 처리 모듈(4585)은 전자 장치(4400) 충전이 완료되면 전자 장치(4400)를 슬립 모드로 천이되도록 제어하거나 턴-오프 상태로 천이되도록 제어할 수 있다. 모드별 기능 처리 모듈(4585)은 충전 상태가 해제되면 자동으로 센서 모듈을 활성화하여 착용 상태 여부를 검출하도록 제어할 수 있다.
한 실시예에 따르면, 모드별 기능 처리 모듈(4585)은 제1 부위 또는 제2 부위(예: 손목 안쪽이나 바깥측)에 전자 장치(4400)가 착용되면 공용 모드(Public mode)로 기능 처리를 수행할 수 있다. 예컨대, 모드별 기능 처리 모듈(4585)은 공용 모드 수행 시 수신된 메시지의 적어도 일부 내용을 표시 모듈(4440)에 출력하도록 제어할 수 있다. 또한, 모드별 기능 처리 모듈(4585)은 메시지 수신 알람을 출력하도록 제어할 수 있다. 모드별 기능 처리 모듈(4585)은 제2 부위 또는 제1 부위(예: 손목 바깥측이나 안쪽)에 전자 장치(4400)가 착용되면 개인 모드(Privacy Mode)로 기능 처리를 수행할 수 있다. 예컨대, 모드별 기능 처리 모듈(4585)은 개인 모드 수행 시, 수신된 메시지에 대한 표시 알람 또는 진동 알람만을 수행할 수 있다. 상기 모드별 기능 처리 모듈(4585)은 이메일, 통신 메시지 등에 대해서도 착용 형태에 따라 다른 기능 처리를 제어할 수 있다.
탈부착 처리 모듈(4587)은 HRM 센서(4471)을 조도 센서 및 근접 센서 중 적어도 하나로 활용하여 분실 여부 확인 및 분실 방지를 처리할 수 있다. 예컨대, 탈부착 처리 모듈(4587)은 HRM 센서(4471)이 검출하는 생체 신호(예: 맥파 검출 신호)의 검출이 중지되면, 가속도 센서 또는 자이로 센서를 활성화하거나 이미 활성화된 가속도 센서 또는 자이로 센서가 제공하는 센서 신호를 분석할 수 있다. 탈부착 처리 모듈(4587)은 분석된 센서 신호를 기반으로 전자 장치(4400)가 착용 부위에서 이탈한 상태를 결정할 수 있다. 예컨대, 탈부착 처리 모듈(4587)은 전자 장치(4400)가 착용 부위에서 일정 거리 이상 일정 가속도를 가지며 이탈되는 경우 분실 해제로 판단할 수 있다. 탈부착 처리 모듈(4587)은 전자 장치(4400)가 착용 부위에서 일정 거리 이내로 이탈되데 가속도 또는 속도 등이 불규칙하게 변경되는 경우 분실 해제로 판단할 수 있다.
다양한 실시예에 따르면, 탈부착 처리 모듈(4587)은 착용 부위로부터 전자 장치(4400)가 해제되면(예: HRM 센서(4471)의 생체로부터 맥파 검출 신호 검출이 중지되면) 상기 HRM 센서(4471)이 수집하는 센서 신호를 조도 센서 처리 방식 및 근접 센서 처리 방식 중 적어도 하나의 방식에 따라 처리할 수 있다. 탈부착 처리 모듈(4587)은 예컨대, HRM 센서(4471)이 수집하는 센서 신호의 변화를 통해 근접도 변화 및 조도 변화 중 적어도 하나를 판단할 수 있다. 탈부착 처리 모듈(4587)은 근접도 변화 및 조도 변화 중 적어도 하나가 정해진 분실 해제에 대응하는 변화를 보일 경우 분실 해제로 판단할 수 있다.
탈부착 처리 모듈(4587)은 전자 장치(4400)가 분실 해제로 판단되면, 외부 전자 장치에 정해진 메시지 전송을 제어할 수 있다. 탈부착 처리 모듈(4587)은 전자 장치(4400)가 분실 해제로 판단되면, 전자 장치(4400)의 진동 모듈, 표시 모듈(4440), 입출력 모듈 중 적어도 하나가 설정된 데이터를 출력하도록 제어할 수 있다. 다양한 실시예에 따르면, 전자 장치(4400)는 신호를 수집하는 센서 모듈, 적어도 상기 수집된 신호의 일부를 기반하여 생체 정보를 생성하는 모듈, 적어도 상기 수집된 신호의 일부를 기반하여 근접도 정보를 생성하는 모듈, 적어도 상기 수집된 신호의 일부를 기반하여 조도 정보를 생성하는 모듈, 적어도 상기 생체 정보, 상기 근접도 정보, 또는 상기 조도 정보를 기반하여 전자장치의 상태를 판단하는 모듈을 포함할 수 있다.
다양한 실시예에 따르면, 상기 생체 정보는 심박수일 수 있다.
다양한 실시예에 따르면, 상기 전자장치의 상태는 전자장치의 착용상태를 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 생체 정보, 상기 근접도 정보 또는 상기 조도 정보 중 적어도 하나를 이용하여 전자장치를 제어하는 제어모듈을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 생체 신호의 주파수 도메인 특성 및 시간 도메인 특성 중 적어도 하나를 기반으로 상기 전자 장치의 착용 부위를 판단할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 근접도 정보 분석을 기반으로 상기 전자 장치의 착용 여부를 판단하고, 착용 시 상기 생체 신호 분석 정보를 기반으로 상기 전자 장치의 착용 부위를 판단할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 전자 장치가 착용자의 특정 부위에 착용된 상태에서의 생체 신호를 상기 특정 부위별 생체 신호를 참조 정보로 저장하는 저장 모듈을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 참조 정보와 수집된 정보 간의 유사도 비교를 수행하여 착용 상태 및 착용 부위를 판단할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 착용 상태에 대응하여 상기 전자 장치의 정보 출력 형태를 다르게 하는 출력할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 착용 상태에 대응하여 상기 정보를 가로 배열 가로 쓰기 방식, 상기 착용 상태에 대응하여 상기 정보를 가로 배열 세로 쓰기 방식, 상기 착용 상태에 대응하여 상기 정보를 세로 배열 가로 쓰기 방식, 상기 착용 상태에 대응하여 상기 정보를 세로 배열 세로 쓰기 방식, 상기 착용 상태에 대응하여 상기 정보를 상하 방향이 반전된 방식, 상기 착용 상태에 대응하여 특정 기능 실행과 관련한 소프트 버튼의 출력 위치 변경, 상기 착용 상태에 대응하여 표시 모듈에 출력되는 소프트 버튼의 실행 기능 종류 변경 중 적어도 하나를 제어할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 착용 상태에 대응하여 상기 전자 장치의 기능 처리를 다르게 적용할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 착용 상태에 대응하여 상기 전자 장치의 이벤트 발생을 알람하거나, 상기 착용 상태에 대응하여 상기 전자 장치의 발생된 이벤트의 내용 정보 중 적어도 일부를 출력할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 전자 장치 미착용 시 인증 확인을 수행할 수 있다.
다양한 실시예에 따르면, 한 실시예에 따른 전자 장치(4400)는 생체 신호 수집이 가능한 센서 모듈, 상기 센서 모듈이 수집한 센서 신호의 생체 신호 분석 정보, 상기 센서 신호를 기반으로 분석되는 근접도 정보, 상기 센서 신호를 기반으로 분석되는 조도 정보 중 적어도 하나를 기반으로 착용 상태를 판단하는 제어 모듈을 포함할 수 있다.
다양한 실시예에 따르면, 제어 모듈은 상기 근접도 정보를 판단하여 착용/미착용(부착/탈착) 상태 정보를 전자 장치 혹은 외부 전자 장치에서 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 생체 정보와 가속도 정보 및 자이로 정보를 기반으로 수면 상태 진입 여부를 자동으로 판단할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 전자 장치를 통해 신체정보를 센싱하여 상기 전자장치 또는 외부전자장치의 적어도 하나의 특정 동작을 수행하도록 제어할 수 있다. 다양한 실시예에 따르면, 상기 제어 모듈은 상기 전자 장치를 착용한 부위의 신체 변화에 대응하여 변화되는 혈류량, 혈압, 산소포화도 중 적어도 하나의 변화된 생체 정보를 센싱하여 생체 정보 및 신체 변화에 따라 유추된 신체 동작을 기반으로 상기 전자 장치의 특정 동작을 수행하도록 제어할 수 있다.
도 96은 한 실시예에 따른 착용 상태별 전자 장치의 UI 운용 방법을 도시한다.
도 96을 참조하면, 착용 상태별 전자 장치 UI 운용 방법은 제어 모듈(4560)이 과정 4601에서 기능 운용 또는 대기를 제어할 수 있다. 예컨대 제어 모듈(4560)은 전자 장치(4400)를 저전력 모드로 운용하거나 또는 슬립 모드로 운용하도록 제어할 수 있다. 여기서 저전력 모드 또는 슬립 모드는 표시 모듈(4440) 등의 전원 공급을 차단하고 특정 장치 요소의 전원만을 유지하는 모드일 수 있다. 예컨대, 제어 모듈(4560)은 HRM 센서(4471)에 전원을 공급하고 다른 장치 요소들(예: 표시 모듈, 통신 인터페이스 등)의 전원을 차단하도록 제어할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 과정 4601에서 전자 장치(4400)를 턴-온시키기 위한 입력 신호 발생에 대응하여 전자 장치(4400)의 전원 공급을 제어하고, 초기화 과정을 수행할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 과정 4601에서 전자 장치(4400)의 특정 기능 예컨대 음원 재생 기능에 대응하여 오디오 데이터를 출력하도록 제어할 수 있다.
과정 4603에서 제어 모듈(4560)은 전자 장치(4400)의 착용 상태 확인을 수행할 수 있다. 예컨대, 제어 모듈(4560)은 HRM 센서(4471)이 수집하는 센서 신호에 생체 신호가 포함되어 있는지 여부를 확인할 수 있다. 제어 모듈(4560)은 생체 신호가 포함되어 있지 않은 센서 신호를 수신하면 전자 장치(4400) 미착용 상태로 판단할 수 있다. 제어 모듈(4560)은 생체 신호가 포함되어 있는 것으로 판단되면, 전자 장치(4400)가 사용자의 일정 부위에 착용된 상태로 판단할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 수집된 생체 신호의 특성에 따라 전자 장치(4400)의 착용 부위를 판단할 수 있다. 예컨대, 제어 모듈(4560)은 수집된 생체 신호가 정해진 제1 참조 정보에 대응되는 경우 전자 장치(4400)가 손목 안쪽에 착용된 상태로 판단할 수 있다. 제어 모듈(4560)은 수집된 생체 신호가 정해진 제2 참조 정보에 대응되는 경우 전자 장치(4400)가 손목 바깥측에 착용된 상태로 판단할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 사전 정의된 참조 정보와 현재 수집된 센서 신호 비교를 통하여 특정 부위 예컨대 손가락, 발목, 목, 팔의 상박부나 하박부 등의 착용 상태를 판단할 수도 있다. 이와 관련하여, 제어 모듈(4560)은 각 부위별 참조 정보를 훈련 모드를 통해 획득하도록 제어할 수 있다.
과정 4605에서 제어 모듈(4560)은 착용 상태별 UI 제공을 수행할 수 있다. 예컨대, 제어 모듈(4560)은 전자 장치(4400) 미착용 상태에 따른 UI, 전자 장치(4400) 착용 상태에 따른 UI를 제공할 수 있다. 전자 장치(4400) 미착용 상태에 따른 UI는 예컨대 표시 모듈(4440)이 턴-오프 상태 또는 락 스크린 상태 등의 UI를 포함할 수 있다. 착용 상태에 따른 UI는 착용 부위별로 다를 수 있다. 예컨대, 착용 상태에 따른 UI는 손목 안쪽 착용 시에 제공되는 가로모드 UI, 손목 바깥측 착용 시에 제공되는 세로모드 UI를 포함할 수 있다.
과정 4607에서 제어 모듈(4560)은 착용 상태 변경이 발생하는지 확인할 수 있다. 제어 모듈(4560)은 착용 상태 변경 확인과 관련하여 HRM 센서(4471)을 일정 주기로 활성화하여, 착용 상태 변경을 판단할 수 있다. 또는 제어 모듈(4560)은 HRM 센서(4471)을 실시간으로 운용하여 착용 상태 변경을 확인할 수 있다. 과정 4607에서 착용 상태 변경이 없는 경우 제어 모듈(4560)은 4609 과정으로 분기하여 이전 상태 유지를 제어할 수 있다. 이전 상태를 유지하면서, 제어 모듈(4560)은 전자 장치(4400)의 착용 상태 변경이 발생하는지 확인하는 과정 4607을 재수행할 수 있다. 또한, 제어 모듈(4560)은 이전 상태를 유지하면서 전자 장치(4400)의 기능 종료와 관련한 이벤트 발생이 있는 경우 기능 종료를 제어할 수 있다. 제어 모듈(4560)은 과정 4607에서 착용 상태 변경이 발생하면 과정 4603 이전으로 분기하여 이하 과정을 재수행할 수 있다.
도 97은 한 실시예에 따른 착용 상태별 전자 장치 운용 방법을 도시한다.
도 97을 참조하면, 착용 상태별 전자 장치 운용 방법은 제어 모듈(4560)이 과정 4701에서 기능 운용 또는 대기를 수행할 수 있다. 제어 모듈(4560)은 정해진 스케줄 정보에 따라 특정 기능 수행 예컨대 대기 화면 출력 기능, 메뉴 화면 출력 기능, 락 스크린 기능 등을 수행할 수 있다. 또는 제어 모듈(4560)은 센서 모듈의 HRM 센서(4471)의 전원 공급만을 유지하고 기타 장치 요소들의 전원 공급은 차단하는 슬립 모드 상태를 유지하도록 제어할 수 있다.
과정 4703에서 제어 모듈(4560)은 착용 상태 여부를 확인할 수 있다. 제어 모듈(4560)은 HRM 센서(4471)로부터 전달되는 센서 신호를 기준으로 착용 상태 여부를 확인할 수 있다. 과정 4703에서 전자 장치(4400)가 착용 상태로 판단되면 제어 모듈(4560)은 과정 4705에서 제1 착용 상태(예: 손목 안쪽 착용 상태)인지 여부를 확인할 수 있다. 과정 4705에서 전자 장치(4400)가 제1 착용 상태이면 제어 모듈(4560)은 과정 4707에서 제1 모드 기반 장치 제어를 수행할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 특정 기능 수행과 관련한 정보 전체 또는 일부를 출력하도록 제어할 수 있다. 예컨대, 제어 모듈(4560)은 메시지 수신 시, 수신된 메시지 내용 전체 또는 일부를 출력하도록 제어할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 제1 착용 상태이면 비보안 모드 운용을 제어할 수 있다. 예컨대, 제어 모듈(4560)은 전자 장치(4400) 운용 시 별도의 인증 과정 수행 없이 메뉴 진입이나 정보 표시를 지원할 수 있다.
과정 4705에서 제1 착용 상태가 아니면, 제어 모듈(4560)은 과정 4709에서 제2 착용 상태(예: 손목 바깥측 착용 상태)인지 확인할 수 있다. 제어 모듈(4560)은 과정 4709에서 제2 착용 상태로 판단되면, 과정 4711에서 제2 모드 기반 장치 제어를 수행할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 특정 기능 수행과 관련하여 출력할 정보에 대한 알림을 출력하도록 제어할 수 있다. 예컨대, 제어 모듈(4560)은 메시지 수신 시, 메시지 수신 알림을 출력하도록 제어할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 제1 착용 상태이면 보안 모드 운용을 제어할 수 있다. 예컨대, 제어 모듈(4560)은 전자 장치(4400) 운용 시 인증 과정을 거쳐 메뉴 진입이나 정보 표시를 지원할 수 있다. 이와 관련하여, 제어 모듈(4560)은 인증 정보 입력을 위한 입력창 출력 및 입력된 인증 정보의 확인 과정을 수행할 수 있다.
과정 4709에서 제2 착용 상태가 아니면, 제어 모듈(4560)은 과정 4713에서 제3 모드 기반 장치 제어를 수행할 수 있다. 예컨대, 제어 모듈(4560)은 전자 장치(4400)가 팔의 상박부에 착용된 경우, 기능 수행과 관련한 정보를 TTS(Text to Speech)로 변경하여 출력하도록 제어할 수 있다. 예컨대, 제어 모듈(4560)은 메시지 수신 시 메시지 내용을 TTS로 변환하여 출력하도록 제어할 수 있다.
과정 4703에서 착용 상태가 아니면, 제어 모듈(4560)은 과정 4715에서 미착용 상태에 따른 장치 제어를 수행할 수 있다. 예컨대, 제어 모듈(4560)은 표시 모듈(4440)의 전원을 턴-오프하거나, 특정 기능 예컨대 음원 재생 기능을 수행할 수 있다. 이 과정에서 제어 모듈(4560)은 HRM 센서(4471)의 센서 주기를 착용 상태에 비하여 길게 조정하여 전원 소모를 줄일 수 있다.
제어 모듈(4560)은 과정 4717에서 착용 상태 변경이 있는지 확인할 수 있다. 제어 모듈(4560)은 과정 4717에서 착용 상태가 변경되면 과정 4703으로 분기하여 이하 과정을 재수행할 수 있다. 제어 모듈(4560)은 과정 4717에서 착용 상태 변경이 없으면 과정 4719에서 이전 상태 유지를 제어할 수 있다. 이전 상태를 유지하면서, 제어 모듈(4560)은 과정 4717을 재수행하고 상태 변경 발생 시 그에 따른 기능 변경을 제어할 수 있다.
도 98은 한 실시예에 따른 분실 방지 관련 전자 장치 운용 방법을 도시한다.
도 98을 참조하면, 분실 방지 관련 전자 장치 운용 방법은 제어 모듈(4560)은 과정 4801에서 착용 상태에 따른 기능 운용을 수행할 수 있다. 예컨대, 제어 모듈(4560)은 HRM 센서(4471)이 제공하는 생체 신호 분석을 통하여 착용자의 건강 상태 검사를 수행할 수 있다. 또는 제어 모듈(4560)은 통신 메시지 수신 알림 등의 통신 대기 기능 및 릴레이 기능을 지원하는 상태를 유지할 수 있다. 또는 제어 모듈(4560)은 스케줄링된 정보에 대응하여 만보기 기능을 지원하거나 시계 표시 기능을 지원할 수 있다.
과정 4803에서 제어 모듈(4560)은 착용 해제 여부를 확인할 수 있다. 이와 관련하여 제어 모듈(4560)은 HRM 센서(4471)의 센서 신호 변경이 발생하는지 확인할 수 있다. 제어 모듈(4560)은 HRM 센서(4471)의 센서 신호 변경이 발생하면 착용 해제와 관련한 이벤트 발생으로 판단할 수 있다. 제어 모듈(4560)은 HRM 센서(4471)의 센서 신호 변경이 없으면 과정 4801 이전으로 분기하여 이하 과정을 재수행할 수 있다.
과정 4803에서 전자 장치(4400)가 착용 해제되는 센서 신호 변화가 발생하면, 제어 모듈(4560)은 과정 605에서 정상 해제인지 여부를 확인할 수 있다. 이와 관련하여, 제어 모듈(4560)은 정상 해제와 관련한 센서 신호의 변화 값 및 비정상 해제와 관련한 센서 신호의 변화 값 중 적어도 하나를 저장 및 운용할 수 있다. 저장 모듈(4550)은 정상 해제 관련 참조 정보 및 비정상 해제 관련 참조 정보를 저장할 수 있다. 저장 모듈(4550)은 제어 모듈(4560) 요청에 대응하여 상기 참조 정보를 제공할 수 있다. 제어 모듈(4560)은 정상 해제 관련 참조 정보 및 비정상 해제 관련 참조 정보를 훈련 모드를 통해 수집하거나, 전자 장치(4400) 사용 이력을 통해 수집할 수 있다.
과정 4805에서 정상 해제가 아닌 것으로 판단되면, 제어 모듈(4560)은 과정 4807에서 분실 해제에 따른 알람을 수행할 수 있다. 제어 모듈(4560)은 정해진 비프음이나 특정 오디오 데이터를 입출력 모듈을 통해 출력하도록 제어할 수 있다. 제어 모듈(4560)은 표시 모듈(4440)의 턴-온 또는 턴-오프 상태를 정해진 분실 해제 상태로 변경하도록 제어할 수 있다. 제어 모듈(4560)은 전자 장치(4400)를 보안 모드로 변경하여 제어 요청 시 인증 과정 수행을 선행하도록 제어할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 분실 해제 시, 정해진 외부 전자 장치에 분실 알람 메시지를 전송하도록 통신 인터페이스를 제어할 수 있다.
한 실시예에 따르면, 제어 모듈(4560)은 HRM 센서(4471)이 제공하는 센서 신호의 변화가 비정상 해제 관련 참조 정보에 대응되는 경우 분실 해제로 판단할 수 있다. 이 과정에서 제어 모듈(4560)은 HRM 센서(4471)의 센서 신호 변화가 발생하면 HRM 센서(4471)이 수집하는 센서 신호를 조도 센서 신호 및 근접 센서 신호 중 적어도 하나로 변환하고, 그에 따라 조도 변화 및 근접 거리 변화 중 적어도 하나를 판단할 수 있다. 제어 모듈(4560)은 조도 변화 및 근접 거리 변화 중 적어도 하나가 사전 정의된 비정상 해제 관련 참조 정보와 유사하면 비정상 해제로 판단할 수 있다. 또한, 제어 모듈(4560)은 조도 변환 및 근접 거리 변화 중 적어도 하나가 사전 정의된 정상 해제 관련 참조 정보와 유사하면 정상 해제로 판단할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 정상 해제 관련 참조 정보만을 이용하거나 또는 비정상 해제 관련 참조 정보만을 이용할 수도 있다. 예컨대, 제어 모듈(4560)은 센서 신호가 정상 해제 관련 참조 정보에 부합하지 않는 경우 비정상 해제로 판단할 수 있다. 또는 제어 모듈(4560)은 센서 신호가 비정상 해제 관련 참조 정보에 부합하지 않는 경우 정상 해제로 판단할 수 있다.
과정 4805에서 정상 해제로 판단되면, 제어 모듈(4560)은 과정 4809에서 정상 해제에 따른 기능 수행 예컨대 슬립 모드 진입을 제어할 수 있다. 슬립 모드는 표시 모듈(4440)의 전원 공급을 차단하는 모드일 수 있다. 슬립 모드는 센서 모듈의 운용 주기를 길게 하는 모드일 수 있다.
도 99는 한 실시예에 따른 훈련 모드 관련 전자 장치 운용 방법을 도시한다.
도 99를 참조하면, 훈련 모드 관련 전자 장치 운용 방법은 제어 모듈(4560)이 과정 4901에서 기능 운용 또는 대기를 수행할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 전자 장치(4400)가 지원하는 적어도 하나의 기능 또는 앱 실행과 관련한 오브젝트 또는 아이콘, 또는 아이템이나 메뉴 항목을 출력하도록 제어할 수 있다. 예컨대, 제어 모듈(4560)은 훈련 모드 기능(전자 장치(4400)의 착용 상태별 참조 정보를 수집하는 기능) 실행과 관련한 오브젝트를 출력하도록 제어할 수 있다.
과정 4903 에서 제어 모듈(4560)은 훈련 모드 실행과 관련한 이벤트 발생을 확인할 수 있다. 예컨대, 제어 모듈(4560)은 훈련 모드 기능 관련 오브젝트를 선택하는 이벤트가 발생하는지 확인할 수 있다. 또는 제어 모듈(4560)은 전자 장치(4400)가 최초 전원이 공급되면 자동으로 훈련 모드를 활성화하도록 하는 스케줄링 이벤트를 확인할 수 있다. 또는 제어 모듈(4560)은 타 전자 장치(예: 전자 장치(101 또는 102))로부터 훈련 모드 진입과 관련한 메시지를 수신하는지 확인할 수 있다.
과정 4903에서 훈련 모드 실행과 관련한 이벤트 발생이 없으면, 제어 모듈(4560)은 과정 4905에서 이벤트 종류에 대응하는 해당 기능 수행을 제어할 수 있다. 예컨대, 제어 모듈(4560)은 발생한 이벤트 종류에 대응하여 음원 재생 기능을 수행하거나, 헬스 코칭 기능(예: 만보기 기능, 심혈관계 상태 정보 제공 기능 등)을 수행하거나, 슬립 모드(표시 모듈이 턴-오프된 상태)로 천이하는 등의 기능 제어를 수행할 수 있다.
과정 4903에서 훈련 모드 실행과 관련한 이벤트 발생이 있으면, 제어 모듈(4560)은 과정 4907에서 제1 착용 방향 안내를 수행할 수 있다. 예컨대, 제어 모듈(4560)은 전자 장치(4400)를 왼손 손목, 왼쪽 발목, 왼손 손가락, 왼팔 상박부, 왼팔 하박부, 목 중 적어도 하나에 착용하되 해당 착용 부위에 삽입되는 방향을 안내하는 가이드 장보(예: 화살표 정보 등)를 출력할 수 있다. 제어 모듈(4560)은 과정 4909에서 제1 기준 범위를 수집할 수 있다.
예컨대, 제어 모듈(4560)은 사용자의 왼쪽 신체 특정 부위에 착용된 상태에서 생체 신호 정보(예: 적어도 한번의 맥파 신호, 혈관의 혈류 흐름 정보 등)를 수집할 수 있다. 제어 모듈(4560)은 수집된 생체 신호 정보를 기준으로 특정 부위 착용 상태에서 제1 기준 범위에 해당하는 참조 정보를 생성할 수 있다. 제어 모듈(4560)은 참조 정보로 이용될 수 있는 제1 기준 범위의 생체 신호 정보가 수집되면, 제1 착용 방향 안내 및 제1 기준 범위 수집 과정 완료를 안내할 수 있다.
제어 모듈(4560)은 과정 4911에서 제2 착용 방향 안내를 수행할 수 있다. 제2 착용 방향 안내 정보는 오른손 손목, 오른쪽 발목, 오른손 손가락, 오른팔 상박부, 오른팔 하박부 중 적어도 하나에 착용하되 해당 착용 부위에 삽입되는 방향을 안내하는 가이드 장보(예: 화살표 정보 등)를 출력할 수 있다. 제어 모듈(4560)은 과정 4913에서 제2 기준 범위를 수집할 수 있다. 제어 모듈(4560)은 제2 기준 범위를 기반으로 특정 착용 부위와 착용 방향에 대한 참조 정보를 생성할 수 있다.
제어 모듈(4560)은 과정 4915에서 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 제어 모듈(4560)은 과정 4915에서 기능 종료 관련 이벤트 발생이 없으면, 과정 4903 이전으로 분기하여 이하 과정을 재수행할 수 있다. 제어 모듈(4560)은 과정 4915에서 기능 종료 관련 이벤트가 발생하면 훈련 모드 기능을 중지하도록 제어할 수 있다.
다양한 실시예에 따르면, 제어 모듈(4560)은 훈련 모드 과정에서 미착용 상태에 대한 참조 정보 및 클립 모드 상태에 대한 참조 정보를 수집하여 저장할 수 도 있다. 예컨대, 제어 모듈(4560)은 훈련 모드 과정에서 미착용 상태에 대한 안내 정보 출력 후 일정 시간 동안 HRM 센서(4471)을 이용한 센서 신호를 수집할 수 있다. 이 과정에서 제어 모듈(4560)은 HRM 센서(4471)에 의한 생체 신호가 없고 HRM 센서(4471)의 센서 신호 분석에 따라 근접 물체가 없는 경우에 해당하는 정보를 미착용 상태의 참조 정보로 수집할 수 있다. 제어 모듈(4560)은 HRM 센서(4471)에 의해 생체 신호는 없고, HRM 센서의 센서 신호 분석에 따라 근접 물체가 있는 경우의 센서 신호를 클립 모드 상태에 대한 참조 정보로 수집할 수 있다.
다양한 실시예에 따르면, 한 실시예에 따른 전자 장치 운용 방법은 센서 모듈 기반의 신호를 수집하는 과정, 적어도 상기 수집된 신호의 일부를 기반으로 하는 생체 정보, 적어도 상기 수집된 신호의 일부를 기반으로 하는 근접도 정보, 적어도 상기 수집된 신호의 일부를 기반으로 하는 조도 정보 중 적어도 하나를 이용하여 전자장치의 상태를 판단하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 생체 정보는 심박수일 수 있다.
다양한 실시예에 따르면, 상기 전자장치의 상태는 전자장치의 착용상태를 포함할 수 있다.
다양한 실시예에 따르면, 상기 생체 정보, 상기 근접도 정보 또는 상기 조도 정보 중 적어도 하나를 이용하여 전자장치를 제어하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 판단하는 과정은 상기 생체 신호의 주파수 도메인 특성 및 시간 도메인 특성 중 적어도 하나를 기반으로 상기 전자 장치의 착용 부위를 판단하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 판단하는 과정은 상기 근접도 정보 분석을 기반으로 상기 전자 장치의 착용 여부를 판단하는 과정, 상기 생체 신호 분석 정보를 기반으로 상기 전자 장치의 착용 부위를 판단하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 전자 장치가 착용자의 특정 부위에 착용된 상태에서의 생체 신호를 수집하는 과정, 상기 특정 부위별 생체 신호를 참조 정보로 저장하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 판단하는 과정은 상기 참조 정보와 수집된 정보 간의 유사도 비교를 수행하여 착용 상태 및 착용 부위를 판단하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 착용 상태에 대응하여 상기 전자 장치의 정보 출력 형태를 다르게 하는 출력 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 출력 과정은 상기 착용 상태에 대응하여 상기 정보를 가로 배열 가로 쓰기 방식로 출력하는 과정, 상기 착용 상태에 대응하여 상기 정보를 가로 배열 세로 쓰기 방식로 출력하는 과정, 상기 착용 상태에 대응하여 상기 정보를 세로 배열 가로 쓰기 방식로 출력하는 과정, 상기 착용 상태에 대응하여 상기 정보를 세로 배열 세로 쓰기 방식로 출력하는 과정, 상기 착용 상태에 대응하여 상기 정보를 상하 방향이 반전된 방식로 출력하는 과정, 상기 착용 상태에 대응하여 특정 기능 실행과 관련한 소프트 버튼의 출력 위치를 다르게 하거나 변경하는 과정, 상기 착용 상태에 대응하여 표시 모듈에 출력되는 소프트 버튼의 실행 기능 종류를 다르게 하거나 변경하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 착용 상태에 대응하여 상기 전자 장치의 기능 처리를 다르게 적용하는 적용 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 적용 과정은 상기 착용 상태에 대응하여 상기 전자 장치의 이벤트 발생을 알람하는 과정, 상기 착용 상태에 대응하여 상기 전자 장치의 발생된 이벤트의 내용 정보 중 적어도 일부를 출력하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 적용 과정은 상기 전자 장치 미착용 시 인증 확인을 수행하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 한 실시예에 따른 전자 장치 운용 방법은 특정 센서의 센서 신호를 수집하는 과정, 수집된 센서 신호의 생체 신호 분석 정보, 상기 센서 신호를 기반으로 분석되는 근접도 정보, 상기 센서 신호를 기반으로 분석되는 조도 정보 중 적어도 하나를 기반으로 상기 센서를 포함하는 전자 장치의 착용 상태를 판단하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어 하는 과정은 상기 근접도 정보를 판단하여 착용/미착용 상태 정보를 전자 장치 혹은 외부 전자 장치에서 출력하도록 제어하는 과정, 상기 생체 정보와 가속도 정보 및 자이로 정보를 기반으로 수면 상태 진입 여부를 자동으로 판단하는 과정, 상기 전자 장치를 통해 신체정보를 센싱하여 상기 전자장치 또는 외부전자장치의 적어도 하나의 특정 동작을 수행하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어 하는 과정은 상기 전자 장치를 착용한 부위의 신체 변화에 대응하여 변화되는 혈류량, 혈압, 산소포화도 중 적어도 하나의 변화된 생체 정보를 센싱하여 생체 정보 및 신체 변화에 따라 유추된 신체 동작을 기반으로 상기 전자 장치의 특정 동작을 수행하도록 제어하는 과정을 포함할 수 있다.
도 100은 한 실시예에 따른 전자 장치의 착용 상태에 따른 모드 제어를 도시한다.
도 100을 참조하면, 5001 상태에서와 같이 사용자의 왼손 손목 바깥측(5010)에 전자 장치(4400)가 배치되도록 전자 모듈(4002)이 장착될 수 있다. 전자 장치(4400)에 배치된 HRM 센서(4471)는 사용자의 왼손 손목 중 바깥측(5010) 부분에 배치되어 센서 신호를 검출할 수 있다. 전자 장치(4400)의 제어 모듈(4560)은 HRM 센서(4471)로부터 전달된 센서 신호를 분석하여 어떠한 형태의 생체 신호인지를 판단할 수 있다. 예컨대, 제어 모듈(4560)은 사전 저장된 왼손 손목 바깥측(5010)과 관련한 참조 정보를 토대로 전자 장치(4400)가 왼손 손목 바깥측(5010)에 배치된 것으로 판단할 수 있다. 왼손 손목 바깥측(5010)에서의 생체 신호 측정 정보와, 왼손 손목 내측(5020)에서의 생체 신호 측정 정보는 서로 상이할 수 있다. 또한 오른손과 왼손에서의 생체 신호 측정 정보는 서로 차이를 가질 수 있다. 참조 정보는 각 부위별로 서로 다른 특성을 보이는 생체 신호 측정 정보로부터 추출된 특징점들에 대한 정보를 포함할 수 있다.
제어 모듈(4560)은 왼손 손목 바깥측(5010)에 전자 장치(4400)가 배치된 것으로 판단되면, 개인 모드(Privacy mode)(예: 발생한 이벤트 종류 정보에 대한 알람 또는 안내 정보 출력 기능 또는 모드)로 정보가 출력되도록 제어할 수 있다. 예컨대, 제어 모듈(4560)은 통신 메시지가 수신되면, 메시지 수신 알림만을 표시 모듈(4440)에 출력하도록 처리할 수 있다.
5003 상태에서와 같이 전자 모듈(4002)은 전자 장치(4400)가 왼손 손목 내측(5020)에 배치되도록 장착될 수 있다. 전자 장치(4400)에 배치된 HRM 센서(4471)는 왼손 손목 중 내측(5020)에 배치되어 센서 신호를 검출할 수 있다. 제어 모듈(4560)은 저장 모듈(4550)에 저장된 참조 정보를 이용하여 왼손 손목 중 내측(5020)에 전자 장치(4400)가 배치되어 있는 상태임을 확인할 수 있다. 제어 모듈(4560)은 전자 장치(4400)가 왼손 손목 내측(5020)에 배치된 것으로 판단되면, 공개 모드(Public mode)(예: 이벤트 내용 중 적어도 일부를 출력하는 기능 또는 모드)로 정보가 출력되도록 제어할 수 있다. 예커대, 제어 모듈(4560)은 통신 메시지가 수신되면, 메시지 내용 중 적어도 일부를 표시 모듈(4440)에 출력하도록 제어할 수 있다.
5005 상태에서와 같이 전자 모듈(4402)이 사용자의 신체 부위에 장착되지 않은 상태에서 전원 켜기가 실행될 수 있다. 또는 전자 모듈(4402)은 사용자의 신체 부위에 장착된 상태에서 장착 해제된 상태에 따라 5005 상태를 가질 수 있다. 제어 모듈(4560)은 HRM 센서(4471)이 수집한 센서 신호를 분석하여 센서 신호에 생체 신호가 포함되어 있는지 여부를 확인할 수 있다. 제어 모듈(4560)은 5005 상태인 경우 생체 신호가 포함되지 않은 센서 신호를 확인할 수 있다. 제어 모듈(4560)은 5005 상태의 전자 장치(4400)에 대하여 보안 모드(Guest mode)(예: 이벤트 발생에 대한 알람이나 안내 정보를 출력하지 않는 기능 또는 모드)를 적용할 수 있다. 예컨대, 제어 모듈(4560)은 표시 모듈(4440)이 입출력 모듈 등으로부터 입력 이벤트가 발생하거나 통신 메시지 수신 또는 스케줄 정보 도래, 특정 앱 실행에 따른 이벤트 발생이 있으면 인증 정보 확인 과정을 수행하도록 제어할 수 있다. 이와 관련하여 제어 모듈(4560)은 인증 정보 확인 화면을 표시 모듈(4440)에 출력할 수 있다. 제어 모듈(4560)은 인증 정보 확인이 완료되면, 발생된 이벤트 관련 내용을 표시 모듈(4440) 및 입출력 모듈(예: 입출력 인터페이스 140) 중 적어도 하나를 통해 출력하도록 제어할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 HRM 센서(4471)에 의핸 생체 인식 실패 또는 생체 인증 실패가 발생하면, 정해진 간단한 메시지를 출력하거나 알림 화면 출력을 제한할 수 있다. 제어 모듈(4560)은 생체 인식, 생체 인증, 패스워드 인증 등을 수행 후 공개 모드 또는 개인 모드 중 어느 하나의 모드로 동작하도록 제어할 수 있다.
5007 상태에서와 같이 전자 장치(4400)는 전자 모듈(4402)로부터 이탈된 후, 특정 위치에 거치될 수 있다. 예컨대, 전자 장치(4400)는 사용자의 호주머니나 특정 위치 5070(예: 사용자의 신체에 직접적인 접촉이 발생하지 않는 위치)에 배치되거나 장착될 수 있다. 제어 모듈(4560)은 HRM 센서(4471)로부터 수집되는 센서 신호를 분석하여 생체 신호가 없는 경우, 수신된 센서 신호에 대한 근접도 분석을 수행할 수 있다. 예컨대, 제어 모듈(4560)은 근접도가 정해진 값 이하인 경우 전자 장치(4400)가 클립 모드(Clip mode)(예: 만보기나 헤드셋 기능 등 정해진 특정 기능을 수행하는 모드 또는 기능)로 동작하도록 제어할 수 있다.
도 101은 한 실시예에 따른 전자 장치의 착용 상태에 따른 UI 제어를 도시한다.
도 101을 참조하면, 전자 모듈(4402)은 사용자의 다양한 부위에 장착될 수 있다. 예컨대, 전자 모듈(4402)은 5009 상태에서와 같이 사용자의 왼손 손목 바깥측(5010)에 장착되는 상태, 5011 상태에서와 같이 사용자의 왼손 손목 내측(5020)에 장착되는 상태, 5013 상태에서와 같이 사용자의 오른손 손목 바깥측(5030)에 장착되는 상태, 5015 상태에서와 같이 사용자의 오른손 손목 내측(5050) 등에 장착되는 상태를 가질 수 있다. 또한 전자 모듈(4402)은 왼손 또는 오른손에 장착되는 과정에서 5017 상태에서와 같이 사용자의 표시 모듈(4440)의 일측이 손가락쪽으로 배치되는 상측 방향 또는 5019 상태에서와 같이 사용자의 표시 모듈(4440)이 일측이 팔 안쪽으로 배치되는 하측 방향으로 장착될 수 있다.
한 실시예에 따르면, 전자 장치(4400)의 제어 모듈(4560)은 장착되는 위치에 대응하여 다양한 UI 모드를 제공할 수 있다. 예컨대, 제어 모듈(4560)은 5009 상태에서와 같이 사용자의 왼손 손목 바깥측(5010)에 장착되는 상태이면 표시 모듈(4440)의 정보가 좌측에서 우측으로 표시되는 세로 쓰기 형태의 정보 출력을 지원할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 5011 상태에서와 같이 사용자의 왼손 손목 내측(5020)에 장착되는 상태이면 표시 모듈(4440)의 정보가 좌측에서 우측으로 표시되는 가로 쓰기 형태의 정보 출력을 지원할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 5013 상태에서와 같이 사용자의 오른손 손목 바깥측(5030)에 장착되는 상태이면 표시 모듈(4440)의 정보가 우측에서 좌측으로 표시되는 세로 쓰기 형태의 정보 출력을 지원할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 5015 상태에서와 같이 사용자의 오른손 손목 내측(5050)에 장착되는 상태이면 표시 모듈(4440)의 정보가 좌측에서 우측으로 표시되는 가로 쓰기 형태의 정보 출력을 지원할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 5017 상태에서와 같이 표시 모듈(4440) 일측이 상측으로 배치되고 사용자의 왼손 손목 바깥측(5010)에 장착되는 상태이면 표시 모듈(4440)의 정보가 좌측에서 우측으로 표시되는 가로 쓰기 형태의 정보 출력을 지원할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 5019 상태에서와 같이 표시 모듈(4440) 일측이 하측으로 배치되고 사용자의 왼손 손목 바깥측(5010)에 장착되는 상태이면 표시 모듈(4440)의 정보가 좌측에서 우측으로 표시되는 가로 쓰기 형태이되 정보 출력이 상하가 반전되어 출력되도록 제어할 수 있다.
한편, 다양한 실시예에 따르면, 전자 장치(4400)의 UI 모드는 훈련 모드에서 사용자 입력에 대응하여 설정되거나 설정 변경될 수 있다. 예컨대, 제어 모듈(4560)은 훈련 모드에서 착용 상태에 대한 참조 정보를 수집하는 과정에서, UI 출력 방향에 대한 정보를 수집할 수 있다. 이와 관련하여, 제어 모듈(4560)은 훈련 모드와 관련한 화면 인터페이스 제공 시 UI 출력 방향과 관련한 화면 인터페이스를 제공하고, 특정 착용 상태나 미착용 상태, 착용 부위 등에 따라 UI 출력 상태, UI 출력 방향 등을 설정할 수 있도록 지원할 수 있다.
다양한 실시예에 따르면, 전자 장치(4400)의 제어 모듈(4560)은 HRM 센서(4471)이 수집하는 센서 신호를 이용하여 수면 상태 확인을 수행할 수 있다. 예컨대, 제어 모듈(4560)은 충전 이외의 시간 동안 사전 정의된 일정 시간 간격(예: 5분 간격마다 1초 동안)으로 착용 여부를 검사할 수 있다. 이 과정에서 제어 모듈(4560)은 HRM 센서(4471)이 수집한 센서 신호를 기반으로 근접도만을 체크한 후 근접 여부에 따라 생체 신호 분석을 수행하여 착용여부 및 수면 여부를 검사할 수 있다. 제어 모듈(4560)은 수면 상태에 대한 생체 신호를 참조 정보로 저장 관리할 수있다.
다양한 실시예에 따르면, 제어 모듈(4560)은 근접도 검사 및 가속도 센서 신호 검사를 통하여 수면 상태 여부를 판단할 수 있다. 이 과정에서 제어 모듈(4560)은 RSF(Remote Sensor Framework)를 기반으로 HRM 센서(4471)이 수집한 센서 신호를 착용 유무를 판단하는 근접 센서 신호로서 외부 전자 장치에 전송할 수 있다. 제어 모듈(4560)은 착용자가 수면 모드인 경우, 그에 대응하는 UI 모드(예: 표시 모듈(4440)이 턴-오프된 슬립 모드)를 적용할 수 있다.
다양한 실시예에 따르면, 제어 모듈(4560)은 자이로 센서와 가속도 센서 및 HRM 센서의 수집된 신호를 분석하여 자동으로 수면 상태를 판단할 수 있다. 제어 모듈(4560)은 수면 상태가 판단되면 전자 장치(4400)의 특정 기능 예컨대 수면 진입 모드와 수면 해제 모드 중 어느 하나를 수행하도록 제어할 수 있다. 수면 진입 모드는 예컨대 표시 모듈(4440)을 턴-오프하거나 전자 장치(4400)의 딥 슬립 모드 진입 상태로 천이시키는 모드일 수 있다. 수면 해제 모드는 사전 정의된 특정 기능을 수행하는 모드로서 예컨대 시계 기능을 자동으로 출력하는 기능, 날씨 정보를 자동으로 수집하여 출력하는 기능, 설정된 음원을 자동으로 실행하는 기능 중 적어도 하나의 기능을 포함하는 모드일 수 있다.
다양한 실시예에 따르면, 전자 장치의 표시 모듈(4440)은 소프트 버튼(4441)을 제공할 수 있다. 소프트 버튼(4441)은 전자 장치(4400)의 특정 기능으로 바로 진입하는 숏컷 기능(헬스 케어 기능)을 제공하거나 특정 메뉴를 제공할 수 있다. 또는 설정에 따라 소프트 버튼(4441)은 수신 저장된 메시지나 저장 모듈(4550)에 저장된 특정 데이터 검색 기능을 제공할 수 있다. 또는 소프트 버튼(4441)은 외부 장치와의 자동 동기화 기능(예: 블루투스 오토 페어링 기능 등)을 지원할 수 있다. 상술한 소프트 버튼(4441)은 앞서 설명한 착용 상태에 따라 그 위치가 변경될 수 있다. 한 실시예에 따르면, 소프트 버튼(4441)은 왼손 착용 상태와 오른손 착용 상태에 따라 그 위치가 표시 모듈(4440)의 중심을 기준으로 좌측으로 치우쳐 배치되거나 우측으로 치우쳐 배치될 수 있다. 한 실시예에 따르면, 소프트 버튼(4441)은 손목 바깥측 착용 상태와 손목 내측 착용 상태에 따라 표시 모듈(4440)에서 표시되는 위치가 변경될 수 있다.
다양한 실시예에 따르면, 제어 모듈(4560)은 착용 상태에 따라 소프트 버튼(4441)에 의해 실행되는 기능을 변경할 수 있다. 예컨대, 제어 모듈(4560)은 왼손 손목 바깥측 착용 상태에서 소프트 버튼(4441)이 선택되면, 제1 기능(예: 시계 표시 기능)을 기본으로 실행하도록 제어할 수 있다. 또한 제어 모듈(4560)은 왼손 손목 내측 착용 상태에서 소프트 버튼(4441)이 선택되면, 제2 기능(예: 메시지 검색 기능)을 기본으로 실행하도록 제어할 수 있다. 또한 제어 모듈(4560)은 오른손 손목 내측 착용 상태에서 소프트 버튼(4441)이 선택되면, 제3 기능(예: 메뉴 출력 기능)을 기본으로 실행하도록 제어할 수 있다. 제어 모듈(4560)은 제1 기능 또는 제2 기능이 실행 중인 상태에서 소프트 버튼(4441)이 추가로 선택되면 메뉴 기능 전환을 제어할 수 있다.
다양한 실시예에 따르면, 소프트 버튼(4441)은 위치 변경에 따라 실행되는 기능이 다르게 설정될 수 있다. 예컨대, 소프트 버튼(4441)이 표시 모듈(4440)의 제1 위치(예: 표시 모듈(4440)이 가로 방향으로 놓여진 상태에서 좌측 가장자리로부터 일정 거리 이내의 위치)에 배치된 경우, 소프트 버튼(4441) 선택에 따라 제어 모듈(4560)은 제1 기능(예: 메뉴 출력 기능 등)을 실행할 수 있다. 또는 소프트 버튼(4441)이 표시 모듈(4440)의 제2 위치(예: 표시 모듈(4440)이 가로 방향으로 놓여진 상태에서 우측 가장자리로부터 일정 거리 이내의 위치 또는 중앙 위치 등)에 배치된 경우, 소프트 버튼(4441) 선택에 따라 제어 모듈(4560)은 제2 기능(예: 헬스 케어 기능, 메시지 검색 기능, 시계 기능 등)을 실행할 수 있다.
도 102는 한 실시예에 따른 전자 장치의 착용 상태에 따른 모드 제어를 도시한다.
도 102를 참조하면, 제어 모듈(4560)은 HRM 센서(4471)이 수집하는 센서 신호에 대한 시계열적 분석을 수행할 수 있다. 예컨대, 제어 모듈(4560)은 타임 도메인(Time domain)에서 신호의 피크(Peak) 크기(amplitude) 및 피크간 거리(RRI)를 분석하여 착용 여부, 착용 부위 등을 판단할 수 있다. 제어 모듈(4560)은 주파수 도메인(Frequency domain)에서 주성분 주파수 및 주성분 주파수 크기(Power spectrum density), 주변 성분의 크기 및 상호 비율을 분석하여 수집된 신호에 따른 착용 상태 및 착용 부위를 판단할 수 있다. 이 과정에서, 제어 모듈(4560)은 주파수의 주성분 또는 주변성분 크기와 상호 비율로 신호 간 구분을 수행하거나, 저장된 참조 정보와의 유사도 비교를 통해 신호 구분을 수행할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 혈관 분포량 차이를 기반으로 착용 위치(예: 왼손, 오른손, 손목의 안쪽 또는 바깥측, 손목의 위 또는 아래 등)에 따라 맥파 신호의 차이를 구분할 수 있다. 또한 제어 모듈(4560)은 전자 모듈(4402)의 부착 시 밀착도에 의한 노이즈(SNR: 주성분이 차지하는 퍼센트)를 이용하여 신호 분석을 수행할 수도 있다.
한 실시예에 따르면, 5021 상태에서와 같이 전자 모듈(4402)은 사용자의 왼손 손목 바깥측(5010)에 장착될 수 있다. 스케줄링 정보에 대응하여 또는 사용자 입력에 대응하여 제어 모듈(4560)은 HRM 센서(4471)을 활성화하고 센서 신호를 수집하도록 제어할 수 있다. HRM 센서(4471)이 제공하는 센서 신호는 5022 그래프와 같이 나타날 수 있다. 예컨대 HRM 센서(4471)이 수집한 센서 신호는 특정 범위(Range) 이내에서의 파동(wave) 신호일 수 있다. 제어 모듈(4560)은 HRM 센서(4471)이 5022 그래프와 같은 센서 신호를 수집하면, 파동 신호의 형태(예: 파동 신호의 패턴 등)를 기준으로 해당 센서 신호를 왼손 손목 생체 신호로 판단하고, 크기를 기준으로 왼손 손목 바깥측(5010)에 장착된 상태를 판단할 수 있다.
한 실시예에 따르면, 5023 상태에서와 같이 전자 모듈(4402)은 사용자의 왼손 손목 내측(5020)에 장착될 수 있다. 제어 모듈(4560) 제어에 따라 활성화된 HRM 센서(4471)이 제공하는 센서 신호는 5024 그래프와 같이 나타날 수 있다. 예컨대 HRM 센서(4471)이 수집한 센서 신호는 진폭이 특정 범위(Range) 이상을 넘는 파동(wave) 신호일 수 있다. 제어 모듈(4560)은 HRM 센서(4471)이 5024 그래프와 같은 센서 신호를 수집하면, 파동 신호의 특성 분석으로 왼손 손목 생체 신호를 포함하는 것으로 판단하고, 크기를 기준으로 왼손 손목 내측(5020)에 장착된 상태를 판단할 수 있다.
한 실시예에 따르면, 5025 상태에서와 같이 전자 모듈(4402)은 사용자의 왼손 손목 바깥측(5010)에 장착될 수 있다. 제어 모듈(4560) 제어에 따라 활성화된 HRM 센서(4471)이 제공하는 센서 신호에 대하여 주파수 분석을 수행한 데이터는 5026 그래프와 같이 나타날 수 있다. 예컨대 HRM 센서(4471)이 수집한 센서 신호는 특정 주파수의 크기 값이 제1 크기 값을 가지는 신호일 수 있다. 제어 모듈(4560)은 HRM 센서(4471)이 5026 그래프와 같이 분석되는 센서 신호를 수집하면, 제1 크기 값의 특정 주파수를 기준으로 전자 모듈(4402)이 사용자의 왼손 손목 바깥측(5010)에 상측 방향으로 배치된 형태임을 판단할 수 있다.
한 실시예에 따르면, 5027 상태에서와 같이 전자 모듈(4402)은 사용자의 왼손 손목 바깥측(5010)에 장착될 수 있다. 제어 모듈(4560) 제어에 따라 활성화된 HRM 센서(4471)이 제공하는 센서 신호에 대하여 주파수 분석을 수행한 데이터는 5028 그래프와 같이 나타날 수 있다. 예컨대 HRM 센서(4471)이 수집한 센서 신호는 특정 주파수의 크기 값이 제2 크기 값을 가지는 신호일 수 있다. 제어 모듈(4560)은 HRM 센서(4471)이 5028 그래프와 같이 분석되는 센서 신호를 수집하면, 제2 크기 값의 특정 주파수를 기준으로 전자 모듈(4402)이 사용자의 왼손 손목 바깥측(5010)에 하측 방향으로 배치된 형태임을 판단할 수 있다. 제어 모듈(4560)은 전자 모듈(4402)의 배치 형태에 따라 기능 실행 모드를 다르게 적용하거나 UI 모드를 다르게 적용할 수 있다.
도 103은 한 실시예에 따른 전자 장치의 기능 실행 제어와 관련한 그래프를 도시한다.
도 103을 참조하면, 전자 장치(4400)를 특정 부위(예: 손목 등)에 착용한 상태에서 사용자의 특정 부위(예: 손가락 등)가 운동하는 경우, 생체 신호가 변경될 수 있다. 예컨대, 전자 장치(4400)가 손목 등에 착용된 상태이면 5301 상태에서와 같은 HRM 센서(4471)의 센서 신호가 검출될 수 있다. 한 실시예에 따르면, 5301 상태에서와 같이 손목에 착용된 상태에서 신체 변화가 특정 동작 상태(예: 신체 변화가 없는 상태 또는 손을 편 상태 등)에서 HRM 센서(4471)는 도시된 형태의 센서 신호를 검출할 수 있다. 예컨대, HRM 센서(4471)는 별도의 신체 변화가 없는 상태에 대한 센서 신호를 검출할 수 있다.
여기서, HRM 센서(4471)이 모니터링을 수행하는 중에 손가락 등의 운동이 발생하면, 제어 모듈(4560)은 5303상태에서와 같은 센서 신호를 검출할 수 있다. 예컨대, 제어 모듈(4560)은 손을 편 상태에서 엄지와 검지를 이용하여 태핑(Tapping)을 수행하는 동작에 대응하여 신체 변화가 발생하면 그에 따른 센서 신호 변화를 HRM 센서(4471)로부터 수신할 수 있다. 예컨대, HRM 센서(4471)는 도시된 같이 신체 변화(예: 엄지와 검지를 이용한 태핑)가 발생한 시점에 변화를 가지는 센서 신호를 검출할 수 있다. 다양한 실시예에 따르면, 제어 모듈(4560)은 손이나 손가락 등의 움직임이 발생한 시점에 특정 센서 변화 값을 검출할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 손가락 움직임에 대응하여 특정 기능 제어를 처리할 수 있다. 한 실시예에 따르면, 5301상태에서와 같은 신체 변화가 없는 상태 또는 설정된 범위 값 이하의 신체 변화가 발생하는 상태이면 제어 모듈(4560)은 제1 기능(예: 시간 표시 기능)을 수행하도록 제어할 수 있다. 5303상태에서와 같은 신체 변화가 발생하여 특정 동작 상태(예: 엄지와 검지를 이용한 태핑)로 판단되면, 제어 모듈(4560)은 제2 기능(예: 날씨 표시 기능)을 수행하도록 제어할 수 있다. 여기서 제어 모듈(4560)은 신체 변화에 따른 동작 상태별로 다양한 기능(예: 개인 모드 진입, 공개 모드 진입, 보안 모드 진입 등)을 실행하도록 제어할 수 있다.
다양한 실시예에 따르면, 제어 모듈(4560)은 손의 움직임, 손가락의 종류, 손가락의 움직임 형태 등을 기반으로 손가락 동작을 다양한 형태로 구분할 수 있다. 제어 모듈(4560)은 구분된 각 형태별로 특정 기능 실행을 매핑할 수 있다. 제어 모듈(4560)은 특정 동작이 발생하면, 매핑된 특정 기능 실행을 처리할 수 있다. 제어 모듈(4560)은 전자 장치(4400)의 직접적인 제어 없이도 전자 장치(4400)를 착용한 착용 부위의 동작에 따라 전자 장치(4400)의 기능 제어를 할 수 있도록 지원한다.
한 실시예에 따르면, 제어 모듈(4560)은 손가락 움직임, 손가락 태핑, 주먹쥠/폄, 팔목 움직임 등 전자 장치(4400)에 인접한 부분의 신체 변화에 의해 혈류량, 혈압, 산소포화도 등의 변화된 생체 정보를 센서가 센싱하여 수집하도록 제어할 수 있다. 제어 모듈(4560)은 수집된 센서 신호를 기반으로 1차 정보(예: 심박)뿐만 아니라 2차 정보(예: one tap, two tap, N tap, long tap 등) 를 추출하고, 이를 기반으로 상술한 다양한 특정 동작을 수행하도록 제어할 수 있다.
한 실시예에 따르면, 제어 모듈(4560)은 검지 손가락의 태핑(Tapping) 동작 발생, 동작 횟수에 따라 동작을 분류할 수 있다. 예컨대, 제어 모듈(4560)은 손가락끼리 부딪히는 동작 또는 특정 손가락을 테이블 등에 한번 두드리는 탭 동작, 일정 시간 간격(예: 100ms < Evnet < 200ms)으로 태핑이 수회 발생하는 반복 탭 동작, 두드림 동작에 의한 생체 변화 신호가 일정 시간(예: 1000ms 이상 등) 지속되는 롱 탭 동작 등을 구분 및 분류할 수 있다.
제어 모듈(4560)은 분류된 동작을 전자 장치(4400)의 특정 앱 실행에 적용하여 다양한 처리를 수행할 수 있다. 한 실시예에 따르면, 제어 모듈(4560)은 통화 호 수신(콜 메시지 수신, 알람 세시지 수신, VOIP 연결 요청 수신 등)이 발생한 상태에서 반복 탭 동작 발생 시 통화 호 연결 또는 확인(예: OK)에 해당하는 입력 이벤트 발생으로 판단할 수 있다. 제어 모듈(4560)은 통화 호 수신 상태에서 롱 탭 동작이 발생하면 통화 호 연결 거절 또는 채널 형성 취소 등의 입력 이벤트 발생으로 판단할 수 있다.
한 실시예에 따르면, 제어 모듈(4560)은 메시지나 이메일 등의 알림(Notification)을 수신한 상태에서 반복 탭 동작이 발생하면, 수신된 메시지나 이메일의 내용 확인 기능을 처리할 수 있다. 예컨대, 제어 모듈(4560)은 수신된 메시지 또는 이메일의 내용을 포함한 화면을 표시 모듈(4440)에 출력하도록 제어할 수 있다.
한 실시예에 따르면, 제어 모듈(4560)은 미디어 제어 기능을 수행하는 상태에서 반복 탭 동작이 발생하면 컨텐츠 리스트에서 현재 재생 중인 컨텐츠의 다음 순서에 배치된 컨텐츠로 이동하도록 제어할 수 있다. 또한 제어 모듈(4560)은 미디어 제어 기능을 수행하는 상태에서 롱 탭 동작이 발생하면 컨텐츠 리스트에서 이전 순서에 배치된 컨텐츠를 재생하도록 제어할 수 있다.
한 실시예에 따르면, 제어 모듈(4560)은 특정 화면이 표시 모듈(4440)에 출력된 상태 또는 대기 화면이나 메뉴 화면 또는 특정 기능 실행 화면이 출력된 상태에서 특정 동작에 해당하는 센서 신호가 검출되면 화면 전환을 제어할 수 있다. 예컨대, 제어 모듈(4560)은 탭 동작 발생 시 현재 화면을 표시 모듈(4440)에서 제거하면서 다른 화면을 표시 모듈(4440)의 가장자리 우측에서 좌측으로 또는 가장자리 좌측에서 우측으로 표시되도록 제어할 수 있다. 제어 모듈(4560)은 반복 탭 동작 발생 시 현재 화면을 표시 모듈(4440)에서 제거하면서 다른 화면을 표시 모듈(4440)의 가장자리 좌측에서 우측으로 또는 가장자리 우측에서 좌측으로 표시되도록 제어할 수 있다. 제어 모듈(4560)은 롱 탭 동작 발생 시 화면 검색 기능을 종료하고 롱 탭 동작에 의해 지시되는 화면으로 진입(예: 지시된 화면을 표시 모듈(4440) 전체 화면으로 출력)하도록 제어할 수 있다. 상술한 제어 모듈(4560)은 전자 장치(4400)의 입력 오동작 방지와 관련하여, 사전 정의된 특정 이벤트가 발생한 시점부터 일정 시간 이내에 발생하는 특정 동작(예: 탭 동작 등)에 대한 입력 이벤트 처리를 수행할 수 있다.
도 104는 다양한 실시예에 따른 네트워크 환경(5400)을 설명하기 위한 도면이다. 상기 네트워크 환경(5400)은 제1 전자 장치(5410), 제2 전자 장치(5420) 및 제3 전자 장치(5430)를 포함할 수 있다. 상기 제1 내지 제3 전자 장치들(5410~5430)은 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다. 상기 제1 전자 장치(5410)와 상기 제2 전자 장치(5420)는 사용자의 장치들에 해당할 수 있고, 상기 제3 전자 장치(5430)는 서버 장치에 해당할 수 있다.
상기 제1 전자 장치(5410) 및 상기 제2 전자 장치(5420)는 각각 센서 장치(예: 센서 모듈(240), 생체 센서(240I))를 포함할 수 있다.
다양한 실시예에 따르면, 상기 제1 전자 장치(5410)는, 메모리(예: 메모리(130, 230)), 프로세서(예: 프로세서(120, 210)) 및 통신 모듈(예: 통신 인터페이스(160), 통신 모듈(220))를 포함할 수 있다.
상기 프로세서는, 사용자에 대한 복수의 생체 정보들을 획득하고, 상기 획득된 복수의 생체 정보들을 상기 메모리에 저장하고, 상기 저장된 복수의 생체 정보들의 각각에 대한 업데이트 주기들 또는 대상들을 결정하고, 상기 결정된 업데이트 주기들 또는 대상들에 따라서, 상기 통신 모듈을 통해 상기 획득된 복수의 생체 정보들을 서로 다른 시점들에 상기 제2 전자 장치(5420) 및 제3 전자 장치(5430)에게 각각 전송하도록 구성될 수 있다.
상기 획득된 복수의 생체 정보들을 서로 다른 시점들에 적어도 하나의 외부 장치에게 각각 전송하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 획득된 복수의 생체 정보들을 미리 설정된 중요도들에 따라 분류하고, 상기 분류된 복수의 생체 정보들에 상기 중요도들의 순위에 따라 점차 증가하는 업데이트 주기를 할당하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 획득된 복수의 생체 정보들을 상기 사용자의 건강 정보에 근거하여 미리 설정된 중요도들에 따라 분류하고, 상기 분류된 복수의 생체 정보들에 상기 중요도들의 순위에 따라 점차 증가하는 업데이트 주기를 할당하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 획득된 복수의 생체 정보들을 미리 설정된 제1 및 제2 중요도들에 따라 분류하고, 상기 통신 모듈을 통해 상기 분류된 복수의 생체 정보들 중 제1 중요도의 생체 정보들을 상기 사용자의 제2 전자 장치(5420)로 전송하고, 상기 통신 모듈을 통해 상기 분류된 복수의 생체 정보들 중 제2 중요도의 생체 정보들을 공용 장치에 해당하는 상기 제3 전자 장치(5430)로 전송하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 메모리에 저장된 복수의 생체 정보들의 각각에 대한 우선 순위들을 결정하고, 상기 결정된 우선 순위들에 따라서, 상기 복수의 생체 정보들을 순차적으로 삭제하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 메모리에 저장된 저장된 복수의 생체 정보들의 각각에 대하여 획득 시간, 획득 기간 또는 정보의 종류에 근거한 우선 순위들을 결정하고, 상기 결정된 우선 순위들에 따라서, 상기 복수의 생체 정보들을 순차적으로 삭제하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 통신 모듈을 통해 상기 획득된 복수의 생체 정보들을 서로 다른 주기들로 상기 제2 전자 장치(5420) 및 제3 전자 장치(5430)에게 각각 전송하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 획득된 복수의 생체 정보들에 근거하여 상기 사용자가 상기 제1 전자 장치(5410)에 미리 등록된 사용자인지를 결정하고, 상기 획득된 복수의 생체 정보들을 상기 미리 등록된 사용자의 다른 전자 장치에 해당하는 상기 제2 전자 장치(5420)로 전송하도록 구성될 수 있다.
도 105는 다양한 실시예에 따른 제1 전자 장치의 동기화 방법을 설명하기 위한 흐름도이다. 상기 방법은 제1 전자 장치(예: 전자 장치(101, 201)) 또는 상기 제1 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 5510~5550 동작들의 전체 또는 그 일부를 포함할 수 있다.
5510 동작에서, 상기 제1 전자 장치는 사용자에 대한 복수의 생체 정보들을 획득할 수 있다. 예를 들어, 상기 제1 전자 장치는 센서 장치, 생체 센서 또는 헬스 센서(예: 센서 모듈(240), 생체 센서(240I))를 포함할 수 있고, 상기 제1 전자 장치는 상기 센서 장치를 통해 생체 정보를 획득하거나, 제1 전자 장치로부터 생체 정보를 수신할 수 있다.
5520 동작에서, 상기 제1 전자 장치는 상기 획득된 복수의 생체 정보들에 근거하여 상기 사용자가 상기 전자 장치에 미리 등록된 사용자인지를 결정할 수 있다. 생체 정보의 동기화는 상기 미리 등록된 사용자의 전자 장치에 대해 수행될 수 있다.
5530 동작에서, 상기 제1 전자 장치는 상기 획득된 복수의 생체 정보들을 미리 설정된 중요도들에 따라 분류할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 획득된 복수의 생체 정보들을 상기 사용자의 건강 정보에 근거하여 미리 설정된 중요도들에 따라 분류할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 획득된 복수의 생체 정보들을 미리 설정된 제1 및 제2 중요도들에 따라 분류할 수 있다.
5540 동작에서, 상기 제1 전자 장치는 상기 획득된 복수의 생체 정보들의 각각에 대한 업데이트 주기들 또는 대상들을 결정할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 분류된 복수의 생체 정보들에 상기 중요도들의 순위에 따라 점차 증가하는 업데이트 주기를 할당할 수 있다.
5550 동작에서, 상기 제1 전자 장치는 상기 결정된 업데이트 주기들 또는 대상들에 따라서, 상기 획득된 복수의 생체 정보들을 서로 다른 시점들에 적어도 하나의 외부 장치에게 각각 전송할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 분류된 복수의 생체 정보들 중 제1 중요도의 생체 정보들을 상기 사용자의 다른 전자 장치로 전송하고, 상기 분류된 복수의 생체 정보들 중 제2 중요도의 생체 정보들을 공용 장치(예: 서버)로 전송할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 전자 장치에 저장된 복수의 생체 정보들의 각각에 대한 우선 순위들을 결정하고, 상기 결정된 우선 순위들에 따라서, 상기 복수의 생체 정보들을 순차적으로 삭제할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 제1 전자 장치에 저장된 복수의 생체 정보들의 각각에 대하여 획득 시간, 획득 기간 또는 정보의 종류에 근거한 우선 순위들을 결정하고, 상기 결정된 우선 순위들에 따라서, 상기 복수의 생체 정보들을 순차적으로 삭제할 수 있다.
한 실시예에서, 상기 제1 전자 장치는 상기 획득된 복수의 생체 정보들을 서로 다른 주기들로 복수의 외부 장치들에게 각각 전송할 수 있다.
한 실시예에서, 상기 제1 전자 장치의 생체 정보 동기화 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체가 제공될 수 있고, 상기 방법은, 사용자에 대한 복수의 생체 정보들을 획득하는 동작; 상기 획득된 복수의 생체 정보들의 각각에 대한 업데이트 주기들 또는 대상들을 결정하는 동작; 및 상기 결정된 업데이트 주기들 또는 대상들에 따라서, 상기 획득된 복수의 생체 정보들을 서로 다른 시점들에 적어도 하나의 외부 장치에게 각각 전송하는 동작을 포함할 수 있다.
사용자의 생체정보/감성정보는 개인정보이며, 센서를 통해 감지된 생체신호는, 감지/센싱된 순간부터 저장, 변환 또는 타기기로 전달되고 저장매체에 저장되고(logging), 또는 추후 저장된 정보를 활용시 보호될 수 있다.
웨어러블 장치나 모바일 장치에서 센서 장치를 통해 수집한 사용자의 운동 정보 및 생체정보는 통신수단을 이용해 연결된 다른 장치나 서버에 저장된 정보와 상호 최신으로 업데이트되거나 서로 동기화될 수 있다. 예를 들어, 사용자의 걸음 수와 이동거리, 그리고 소모한 에너지량(소모 열량, 소모 칼로리량)을 포함한 운동이력정보는, 사용자 입력을 통해 수동으로 다른 장치나 서버에 업데이트될 수도 있고, 자동적으로 업데이트(예: 일정 주기 혹은 일정 시각 등)될 수도 있다.
도 106은 다양한 실시예에 따른 전자 장치(예: 전자 장치(101, 201))의 어플리케이션 화면을 도시한다. 예를 들면, 도 106은 사용자의 선택에 의해 어플리케이션이 수동으로 업데이트되는 것을 일 예로서 도시한다. 예를 들어, 어플리케이션 화면(5600)은 사용자의 걸음 수(5610), 이동거리(5620), 소모한 에너지량(5630)(소모 열량, 소모 칼로리량), 동기화를 위한 버튼(5640) 등을 포함할 수 있다. 예를 들어, 사용자가 상기 버튼(5640)을 선택한 경우, 상기 전자 장치는 사용자의 걸음 수, 이동거리, 소모한 에너지량 등을 포함하는 운동이력정보를 다른 장치나 서버로 전송할 수 있다.
헬스(health) 센서에 의해 수집된 생체정보나 사용자의 운동이력, 다이어트 활동, 섭취한 음식물 정보 등은 시간의 흐름에 따라 데이터가 누적될 수 있다. 따라서, 모니터링 주기시간이 길수록 원시(raw) 데이터 자체의 용량이 커지므로 일정 단위 및 주기로 서버(클라우드 장치)나 웹 및 연결된 다른 장치로 업데이트를 할 필요가 있다. 또한 다른 장치에서나 인터넷을 통해서 웨어러블 장치의 헬스, 바이오(bio) 정보 등을 확인할 수 있도록 업데이트 및 동기화 작업이 수행될 수 있다. 그러나 웨어러블 장치는 배터리 소모 이슈가 있고, 다른 장치와 통신수단으로 항상 연결되어 있는 것은 아니다. 따라서 일 실시예에 따르면, 불필요한 운동정보 동기화를 없애고, 사용자가 필요할 때를 대비해 적절한 순간에 동기화 하도록 할 수 있다.
동기화나 업데이트를 위한 정보로는, 사용자 인증을 위한 정보(홍채(망막), 지문), 생체신호 정보(ECG, EMG, EEG, EOG, EGG 등(passive measurement), PPG, 산소포화도(SpO2), 혈당, 콜레스트롤, 혈류량), 생체 임피던스 신호(예: GSR, 체지방, 피부 수화도, 호흡 등(Active measurement)), 생체 역학 신호(예: 호흡, 맥파, 심음, 칼로리 소비량, ADL(activities of daily living) 등), 생화학 신호(예: 혈액 분석, 요 분석등) 등 센서를 통해 감지할 수 있는 정보들이 있다.
도 107은 본 발명의 다양한 실시예에 따른 전자 장치의 어플리케이션의 제어 환경을 도시한다. 예를 들면, 전자 장치는 사용자의 활동내역, 운동이력정보 중 하나 이상을 이용하여 전자 장치를 제어할 수 있다. 웨어러블장치(5710)(예: 스마트 와치) 및 모바일 장치(5720)(예: 스마트폰)에는 HR, EMG, ECG, HRV, PPG 센서등 생체신호 센서 및 pedo meter, 가속도, 자이로, 지자계, 온도, 습도등의 운동정보 측정 센서가 포함될수 있다. 이러한 센서로 모니터링된 데이터는 유선 혹은 무선 통신수단을 이용하여 연결되고, 웨어러블장치(5710)와 모바일 장치(5720), 그리고 서버(5730)간에 동기화가 이루어질수 있다.
하나의 실시예에 따르면, 어떠한 센서가 내장된 제1 전자 장치(예: 스마트 와치, 이어클립)가 생체정보 및 운동정보를 축적하여 다른 장치와 서버(클라우드 장치)에 업데이트를 할 경우에 우선 데이터의 중요도를 평가할 수 있다. 예를 들어 제 2 전자 장치(자신의 스마트 폰이나 웨어러블 장치)에 정보를 전송할때는 중요도가 높은 데이터를 전송하고, 중요도가 낮은 데이터는 제 3 전자 장치(예: 서버, 클라우드 혹은 웹 서비스 관리자 등)에 전송할 수도 있다. 예를 들어 PPG 센서에 의해 측정된 HRV 생체신호는 이를 분석하면 사용자의 건강정보(스트레스 지수, 혈관탄성도 등)를 알 수 있으므로 타인에게 노출시에는 상대적으로 위험도가 높다. 따라서 상기 HRV 생체신호나 건강정보는 중요도가 높은 것으로 판단한다. 다른 예로, PPG 센서에 의해 측정된 생체신호를 측정하여 하루 동안 평균 심박수를 측정했다면, 이는 타인에게 노출되어도 상대적인 위험도가 낮다. 또한 전송시에는 모두 암호화하여 전송하는 동작을 더 포함할 수도 있다. 또한 업데이트 및 동기화시에는 최종 동기화(업데이트)시간을 먼저 판단하는 동작을 수행하여, 최종 동기화 시간 이후에 수정된 정보가 있을 경우에만 업데이트할 수도 있다.
웨어러블 장치의 경우에는, 메모리 용량이 다른 기기에 비해 상대적으로 작은 크기로 제약될 수도 있다. 일 실시예에 따르면, 효율적인 메모리 관리를 위하여, 가용 메모리의 일정용량 이상을 사용하고 있거나, 사용할 수 있는 메모리가 일정 수준 이하로 낮아지게 되면 타기기 및 서버에 정보를 업데이트 할 수 있다. 메모리에 축적된 생체정보와 헬스정보는 우선순위(시간순, 특정기간, 기록종류)에 따라서 자동적으로 삭제 될수 있다. 하루의 운동정보 측정을 위해 health 관련된 센싱을 동작시키는 경우 웨어러블 장치 및 기기에 해당 헬스 데이터(health data)는 상당히 많은 용량이 되므로 가용 메모리 확보를 위해서 메모리 관리 동작을 수행할 수도 있다.
도 108은 본 발명의 다양한 실시예에 따른 어플리케이션 화면의 일 예를 도시한다. 도 108의 (a)는 요일별 칼로리 소모량을 막대 그래프로 나타내고, 도 108의 (b)는 이동 동선을 맵 상에 나타낸다.
예를 들면, 운동정보 등은 시간, 일, 월 등의 세부단위로 총 걸은 거리, 운동한 이동동선 및 위치의 기록, 칼로리 소모량, 운동종류, 운동량, 운동시간 등을 모두 기록할 수 있다. 이런 기록들을 모두 전자 장치의 내부에 보관할 수 있겠지만, 이러한 데이터는 웹, 서버 혹은 외부장치(어플)로 동기화 및 업데이트 하고, 사용자가 더 이상 확인을 잘 하지 않는 오래된 기록, 사용자 설정 데이터, 특정 운동종목 기록등을 삭제 하여 저장 공간을 차지하는 데이터 크기(data size)를 줄일수 있는 것이다. 만약 사용자가 오래된 과거의 데이터를 확인하고자 하는 경우에는 서버 및 외부 장치에서 일시적으로 필요한 데이터를 로딩하여 보여줄 수도 있다.
예를 들면, 2013년 12월 3일에 업데이트를 한경우, 2013년 10월 1일부터 30일까지의 일일 운동기록은 삭제될 수 있다. 물론 그 기간의 전체적인 운동량의 총거리, 운동시간, 총 칼로리 소모량등은 업데이트되어 전체적인 평균값, 총합 등은 전자 장치의 내부에 보관될 수 있다.
생체정보의 경우에도 시간순으로 데이터가 업데이트 되고, 삭제될 수 있다. 하지만 생체 정보는 다양한 신호 데이터를 모니터링 및 센싱하여 저장할수 있는데, 이 정보들은 사람의 건강에 중요도가 각각 다르게 판단될 수 있다. 예를 들면 고혈압 환자에게는 협압 데이터는 매우 중요하지만, 혈압문제가 없는 건강한 사람에게는 중요한 데이터라고 볼 수 없다. 따라서 다양한 생체 신호를 센싱하는 경우에는 모두 일괄적으로 업데이트/동기화 및 오래된 데이터의 삭제가 이루어질수있지만, 또한 생체 신호별로 다르게 동기화등이 진행될 수 있다.
예를 들면 당뇨병 환자나 혈당조절에 관심있는 사용자의 경우에는 혈당관련 정보는 감지 주기 혹은 업데이트 주기를 매우 빈번하게 하고, 정보의 저장기간도 상대적으로 오래 유지되도록 설정할 수 있다. 반면 다른 생체정보는 감지 주기나 업데이트 주기를 상대적으로 빈도 수가 적게할 수도 있다.
장치의 이러한 데이터 동기화 방법 및 주기의 차이는 사용자가 설정할 수도 있고, 각 센서별로 측정한 데이터를 판단해서 자동(일정 범위를 벗어나는 등으로 판단)으로 센서를 포함한 장치 및 어플에서 설정하는 동작을 수행할 수도 있다. 예로 혈압수치가 160이상으로 측정되는 빈도나 비율이 소정 기준 이상이라면 고혈압 환자로 판단하고, 자동으로 업데이트방법 및 주기를 변경할 수 있다. 또 다른 예로는 폐가 안좋은 사람은 호흡율과 호흡량 관련된 호흡 데이터(respiration data)는 매시간 단위로 업데이트/동기화를 진행하고 내부적으로 저장된 데이터도 삭제를 하지 않지만, EGG 데이터는 일주일 단위로 동기화를 진행할 수 있다.
한 실시예에 따르면 게스트 모드(guest mode)와 같이 전자 장치를 임시로 다른 사용자가 잠시 빌려서 사용하는 경우에는 다른 장치와 페어링 및 서버와 연결된 상태라 하더라도 동기화되지 않을 수 있다. 게스트 모드 동작시는 다른 장치의 어플과 연동되어 동작될수도 있지만, 단독으로 사용될 가능성이 높다. 운동/생체 센서 장치를 사용자가 잠깐 착용한 경우 이를 다른 사용자 및 게스트로 자동/수동으로 판단후에 동기화를 하지 않거나 별도의 DB를 새로 구성할 수 있다. 일 실시예에 따르면 여러 생체신호를 센싱한 값들이 기존의 사용자와 전혀 다른 값들로 판단될 시에는 다른 사용자로 판단을 할 수 있다.
일 실시예에 따르면, 다른 장치나 서버에 대한 업데이트 및 동기화 작업은 자동으로 하지 않고, 필요한 경우에만 수동으로 할 수 있다. 예를 들어 센서가 내장된 웨어러블 장치가 독립적으로(stand alone) 동작하고 생체정보와 운동정보는 상기 웨어러블 장치의 내부에만 보관할 수 있다.
도 109는 본 발명의 다양한 실시예에 따른 전자 장치들 간의 동기화를 위한 네트워크 환경을 도시한다. 일 실시예에 따르면 운동관련 정보와 생체정보 측정이 가능한 여러 개의 웨어러블 장치가 연결되어 있는 경우 하나의 장치가 마스터(master)가 되어 각각의 정보를 수집 또는 믹싱(mixing)하여 서버로 업데이트를 할수도 있고, 각각의 장치가 별개로 업데이트를 할 수도 있다. 예를 들면, 제1 전자 장치(5910)는 블루투스(Bluetooth), BLE 와 같은 근거리 통신 기능만 있는 장치여서 멀리떨어져있는 외부 장치와 동기화가 어렵다면 제2 전자 장치(5920)를 거쳐서 서버(5940)와 업데이트 및 동기화가 가능하다. 이때 제2 전자 장치(5920)는 제1 전자 장치(5910)의 데이터를 포워딩할 수도 있고, 제1 전자 장치(5910)의 데이터와 제2 전자 장치(5920)의 데이터를 믹싱한 후에 서버(5940)에 업데이트 및 동기화를 진행할수 있다. 제3 전자 장치(5930)는 서버(5940)와 직접 업데이트 및 동기화를 수행할 수 있다.
도 110은 본 발명의 다양한 실시예에 따른 전자 장치들 간의 정보 제공을 위한 네트워크 환경을 도시한다. 다른 실시예에 따르면, 하나의 전자 장치가 두 개 이상의 외부장치에 연결되는 경우 각 외부장치에 업데이트 하는 데이터 종류를 다르게 분류하여 전송할 수도 있다. 예를 들어, 웨어러블 장치(6030)의 계보기(pedo meter) 데이터는 서버(6020)(예: 클라우드 서버)에만 업데이트하고 모바일 단말(6010)에는 HRM 신호, EMG 데이터를 업데이트할 수 있다.
하나의 실시예에 따르면, 센서가 내장된 웨어러블 장치(6030)가 생체정보 및 운동정보를 수동으로 동기화하지 않더라도 자동으로 업데이트나 동기화 할 경우, 정보전송 회수를 최소한으로 줄이면서, 유저가 필요할때는 항상 바로 사용할수 있도록 업데이트 및 동기화를 진행하도록 할 수 있다.
한 예로 운동 또는 생체 센서 장치를 장시간 미사용하는 경우 혹은 배터리(battery) 충전 혹은 교체시에 이를 감지하고, 업데이트 혹은 동기화를 할 수 있다. 이를 위해 로우 배터리(low battery) 상태에 진입하거나 일정 레벨(level) 이하의 파워(power)가 되었을 때는 전자 장치가 곧 꺼질수 있으므로 미리 업데이트할 수 있다. 또한 전자장치의 배터리 및 전원상태에 따라 동기화 주기단위와 동기화하는 데이터의 범위를 변경할수 있다. 한 예로 운동이나 생체 정보의 감지가 가능한 웨어러블 장치와 메인 전자 장치가 페어링(pairing)된 상태이고 메인 전자 장치에서 운동이나 생체정보와 관련한 어플리케이션이나 기능이 구동되면, 이를 감지하고 자동으로 업데이트할 수도 있다. 다른 예로 배터리가 일정수준 이상인경우에는 동기화/업데이트 주기를 자주 진행하고, 배터리가 일정수준 이하로 낮은 경우에는 동기화/업데이트 주기기간을 늘릴수 있다. 다른 예로, 웨어러블 장치가 독립적으로(stand alone) 동작하다가 나중에 다른 전자 장치와 연결 또는 페어링될 때 자동으로 페어링된 장치로 업데이트/동기화할 수 있다. 한 실시예로, 설정한 운동목표를 달성 완료한 후에 업데이트 할 수 있다. 예를 들면 사용자가 조깅 5km를 목표로 헬스 어플에 등록을 하면 그 목표를 완료한 경우에 두 전자 장치간 업데이트 및 동기화를 할 수 있다.
일 실시예에 따르면, 일정 주기 혹은 일정 시각 단위(시간, 일, 주, 월, 계절, 년)로 업데이트/동기화를 진행할 수 있다. 소정의 단위의 마지막에는 자동적으로 소정 기간 동안의 정보를 요약하여 제공할 수도 있다. 한 예로 분기(봄, 여름, 가을, 겨울)당 성취한 운동량이나 다이어트 관련 정보를 보여줄 수 있다.
도 111은 다양한 실시예에 따른 전자 장치의 어플리케이션 화면의 일 예를 도시한다. 예를 들면, 상기 어플리케이션 화면은 주간단위 운동 성취량을 표시할 수 있다. 목표로 한 운동을 충족/미충족시에 해당 정보를 업데이트 혹은 동기화를 진행 할 수도 있다.
도 112는 다양한 실시예에 따른 전자 장치의 유저 인터페이스를 도시한다. 일 실시예에 따르면. 정보 표시 영역 또는 아이템은 디스플레이의 전체 화면 중 일부분에만 표시될 수도 있다. 상기 전자 장치(6200)(예: 웨어러블 전자 장치)는, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
상기 전자 장치(6200)는 플렉서블 디스플레이(6210)(예: 디스플레이(150))를 포함할 수 있다.
도 112의 (a)는 상기 디스플레이(6210)의 일부 영역에 표시된 정보 표시 아이템(6220)(예: 시간 표시 아이템)의 초기 위치를 나타낸다.
도 112의 (b)는 사용자에 의하여 상기 전자 장치(6200)가 상측으로 이동된 경우, 정보 표시 아이템(6220)이 하측으로 이동하는 것을 나타낸다. 예를 들어, 상기 전자 장치(6200)가 지면에 수직으로 세워지고, 상기 디스플레이(6210)의 상단이 중력반대 방향, 상기 디스플레이(6210)의 하단이 중력방향을 향하도록 한 상태에서, 사용자가 상기 전자 장치(6200)를 지면에 수직으로 상측 방향으로 이동시키면, 상기 전자 장치(6200)는 움직임 센서 또는 가속도 센서(예: 가속도 센서(240E))를 이용하여 그 움직임을 감지하고, 정보 표시 아이템(6220)은 이동 방향의 반대 방향으로 이동하여 표시된다.
도 112의 (c)를 참조하면, 상기 전자 장치(6200)는 움직임을 감지한 후 일정 시간이 도래하면, 상기 정보 표시 아이템(6220)을 이동 전의 초기 위치 위치 또는 움직임의 변화 값에 따라 디스플레이 해 줄 수 있다.
도 113은 다양한 실시예에 따른 전자 장치의 동기화 방법을 설명하기 위한 흐름도이다. 상기 방법은 전자 장치(예: 전자 장치(101, 201)) 또는 상기 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 6310~6360 동작들의 전체 또는 그 일부를 포함할 수 있다.
6310 동작에서, 상기 전자 장치는 디스플레이(예: 디스플레이(150))의 적어도 일부 영역에 아이템을 표시할 수 있다. 예를 들어, 상기 아이템은 텍스트, 심볼, 이미지, 아이콘 중 적어도 하나를 포함할 수 있다.
6320 동작에서, 상기 전자 장치는 센서 모듈(예: 센서 모듈(240))을 이용하여 상기 전자 장치의 움직임을 검출할 수 있다. 상기 전자 장치는 상기 움직임의 종류(예: 회전, 틸트, 이동 등), 크기, 방향 등의 정보를 획득할 수 있다.
6330 동작에서, 상기 전자 장치는 상기 움직임의 종류 및/또는 사용자가 상기 전자 장치를 착용한 위치를 결정할 수 있다. 예를 들어, 상기 전자 장치는 사용자로부터 착용 위치에 대한 정보를 수신하거나, 메모리(예: 메모리(130, 230))에 저장된 환경설정 정보로부터 상기 착용 위치에 대한 정보를 획득하거나, 상기 센서 모듈을 통한 생체 정보에 근거하여 상기 착용 위치에 대한 정보를 획득할 수 있다.
6340 동작에서, 상기 전자 장치는 상기 움직임의 크기가 미리 결정된 임계 값 이상인지의 여부를 결정할 수 있다. 상기 전자 장치는, 상기 움직임의 크기가 미리 결정된 임계 값 이상인 경우 6350 동작을 수행하고, 상기 움직임의 크기가 미리 결정된 임계 값 미만인 경우 6360 동작을 수행할 수 있다. 6340 동작은 선택적으로 수행될 수 있다. 이와 반대로, 상기 전자 장치는, 상기 움직임의 크기가 미리 결정된 임계 값 이상인 경우 6360 동작을 수행하고, 상기 움직임의 크기가 미리 결정된 임계 값 미만인 경우 6350 동작을 수행할 수도 있다.
6350 동작에서, 상기 전자 장치는 아이템의 표시를 중단하거나, 아이템의 이동 또는 변형 동작을 수행하지 않을 수 있다. 예를 들어, 상기 전자 장치는 상기 디스플레이의 전원을 차단(즉, 슬립 모드로 진입)할 수 있다.
6360 동작에서, 상기 전자 장치는 아이템을 이동 또는 변형할 수 있다. 한 실시예에서, 상기 전자 장치는 상기 전자 장치의 움직임의 크기 또는 방향과 상기 전자 장치의 움직임의 종류에 근거하여 상기 아이템을 이동 또는 변형할 수 있다.
한 실시예에서, 상기 전자 장치는 상기 전자 장치의 움직임의 크기 또는 방향과, 상기 전자 장치의 움직임의 종류와, 상기 전자 장치의 착용 위치에 근거하여 상기 아이템을 이동 또는 변형할 수 있다.
한 실시예에서, 상기 아이템을 이동 또는 변형하는 동작은 상기 전자 장치의 움직임의 방향과 반대 방향으로 상기 아이템을 이동 또는 확장하는 동작을 포함할 수 있다.
한 실시예에서, 상기 전자 장치의 움직임은 상기 전자 장치의 회전을 포함하고, 상기 아이템을 이동 또는 변형하는 동작은 상기 전자 장치의 회전 방향과 반대 방향으로 상기 아이템을 회전 또는 확장하는 동작을 포함할 수 있다.
한 실시예에서, 상기 아이템이 이동 또는 변형된 이후 미리 결정된 조건이 만족되는 경우, 상기 전자 장치는 상기 아이템을 원래의 위치 또는 형태로 복원할 수 있다. 예를 들어, 상기 조건은 미리 결정된 시간의 만료, 사용자의 입력 검출 등을 포함할 수 있다.
한 실시예에서, 전자 장치의 표시 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체가 제공될 수 있고, 상기 방법은, 상기 전자 장치의 디스플레이의 적어도 일부 영역에 아이템을 표시하는 동작, 상기 전자 장치의 움직임을 검출하는 동작, 및 상기 전자 장치의 움직임의 크기 또는 방향에 근거하여 상기 아이템을 이동 또는 변형하는 동작을 포함할 수 있다.
한 실시예에서, 전자 장치는, 디스플레이; 및 상기 디스플레이의 적어도 일부 영역에 아이템을 표시하고, 상기 전자 장치의 센서를 통해 움직임을 검출하고, 상기 전자 장치의 움직임의 크기 또는 방향에 근거하여 상기 디스플레이 상에 상기 아이템을 이동 또는 변형하여 표시하도록 구성된 프로세서를 포함할 수 있다.
한 실시예에서, 상기 프로세서는, 상기 전자 장치의 움직임의 종류를 결정하고, 상기 전자 장치의 움직임의 크기 또는 방향과 상기 전자 장치의 움직임의 종류에 근거하여 상기 디스플레이 상에 상기 아이템을 이동 또는 변형하여 표시하도록 구성될 수 있다.
한 실시예에서, 상기 프로세서는, 상기 전자 장치의 움직임의 종류와 상기 전자 장치의 착용 위치를 결정하고, 상기 전자 장치의 움직임의 크기 또는 방향과, 상기 전자 장치의 움직임의 종류와, 상기 전자 장치의 착용 위치에 근거하여 상기 디스플레이 상에 상기 아이템을 이동 또는 변형하여 표시하도록 구성될 수 있다.
한 실시예에서, 상기 아이템은 텍스트, 심볼, 이미지, 아이콘 중 적어도 하나를 포함할 수 있다.
한 실시예에서, 상기 프로세서는, 상기 전자 장치의 움직임의 크기를 미리 설정된 값과 비교하고, 상기 전자 장치의 움직임의 크기가 미리 설정된 값 이상인 경우, 상기 아이템의 표시를 중단하도록 상기 디스플레이를 제어하도록 구성될 수 있다.
한 실시예에서, 상기 프로세서는, 상기 전자 장치의 움직임의 크기를 미리 설정된 값과 비교하고, 상기 전자 장치의 움직임의 크기가 미리 설정된 값 이상인 경우, 상기 디스플레이의 전원을 차단하도록 구성될 수 있다.
한 실시예에서, 상기 프로세서는, 상기 전자 장치의 움직임의 방향과 반대 방향으로 상기 디스플레이 상에 상기 아이템을 이동 또는 확장하여 표시하도록 구성될 수 있다.
한 실시예에서, 상기 전자 장치의 움직임은 상기 전자 장치의 회전을 포함하고, 상기 프로세서는 상기 전자 장치의 회전 방향과 반대 방향으로 상기 디스플레이 상에 상기 아이템을 회전 또는 확장하여 표시하도록 구성될 수 있다.
한 실시예에서, 상기 프로세서는, 상기 아이템이 이동 또는 변형된 이후, 상기 디스플레이 상에 상기 아이템을 원래의 위치 또는 형태로 복원하여 표시하도록 구성될 수 있다.
도 114는 다양한 실시예에 따른 전자 장치의 유저 인터페이스를 도시한다. 상기 전자 장치(6400)(예: 웨어러블 전자 장치)는, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다. 상기 전자 장치(6400)는 플렉서블 디스플레이(6410)(예: 디스플레이(150))를 포함할 수 있다.
도 114의 (a)는 상기 디스플레이(6410)의 일부 영역에 표시된 정보 표시 아이템(6420)(예: 시간 표시 아이템)의 초기 형태를 나타낸다.
도 114의 (b)를 참고하면, 상기 전자 장치(6400)는 카메라 모듈(예: 카메라 모듈(291))을 이용하여 사용자의 시선을 검출할 수 있으며, 사용자의 시선이 상측으로 이동된 경우, 상기 전자 장치(6400)는 상기 정보 표시 아이템(6420)의 상단 위치를 고정하고, 상기 사용자의 시선의 움직인 방향의 반대 방향으로 상기 정보 표시 아이템(6420)을 확장할 수 있다. 예컨대, 사용자의 시선이 상기 정보 표시 아이템(6420) 표시 영역 또는 소정 거리 이내로 이동하거나 이동 후 일정 시간 이상 시선을 유지하면, 상기 정보 표시 아이템(6420)의 표시 영역을 확대할 수 있다.
도 114의 (c)를 참조하면, 상기 전자 장치(6400)는 상기 사용자의 시선이 고정되면, 상기 정보 표시 아이템(6420)을 변형/확장 전의 형태로 다시 복원시킬 수도 있다.
도 115a 및 도 115b는 다양한 실시예에 따른 웨어러블 전자 장치의 일 예를 도시한다. 상기 전자 장치(6500)(예: 손목시계형/팔찌형 웨어러블 전자 장치)는, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
예를 들면, 도 115a 및 도 115b는 플렉서블 디스플레이(6510)를 포함하는 웨어러블 전자 장치(6500)를 손목시계나 팔찌 형태로 배치한 경우, 상기 전자 장치(6500)의 움직임에 따른 정보 디스플레이의 일례를 보여준다.
도 115a는 상기 디스플레이(6510)의 일부 영역에 표시된 정보 표시 아이템(6520)(예: 시간 표시 아이템)의 초기 위치를 나타낸다.
도 115a에서 사용자가 손목을 시계 반대 방향으로 돌리는 모션(틸트, 손목회전)을 취하였을 때, 도 115b와 같이 기존의 중심축에서 시계반대 방향으로 정보 표시 아이템(6520)을 이동하여, 사용자에게 자연스럽게 정보를 제공할 수 있다.
도 116은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다. 예를 들면, 도 116은 부분 디스플레이가 가능한 플렉시블 디스플레이(예: 디스플레이(150))를 포함하는 전자 장치(예: 전자 장치(101, 201))에서 디스플레이 영역을 판단하는 것에 대한 흐름도이다. 상기 방법은 상기 전자 장치 또는 상기 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 6610~6660 동작들의 전체 또는 그 일부를 포함할 수 있다.
6610 동작에서, 상기 전자 장치는 센서 모듈(예: 센서 모듈(240)) 또는 메모리(예: 메모리(130, 230))로부터 센서 정보를 획득할 수 있다. 상기 전자 장치는 상기 전자 장치의 움직임, 상기 움직임의 종류(예: 회전, 틸트, 이동 등), 크기, 방향, 상기 전자 장치의 착용 위치 등의 정보를 획득할 수 있다.
6620 동작에서, 상기 전자 장치는 상기 센서 정보에 근거하여 상기 디스플레이 상에 상기 아이템을 표시할 위치 및/또는 상기 아이템의 형태를 결정할 수 있다.
6630 동작에서, 상기 전자 장치는 상기 결정된 위치/형태에 따라 상기 아이템을 상기 디스플레이 상에 표시할 수 있다.
6640 동작에서, 상기 전자 장치는 주기적으로 센서 정보를 모니터링할 수 있으며, 상기 센서 정보가 변경되었는지의 여부를 결정할 수 있다. 상기 전자 장치는, 상기 센서 정보가 변경된 경우 6650 동작을 수행하고, 상기 센서 정보가 변경되지 않은 경우 6630 동작을 유지할 수 있다.
6650 동작에서, 상기 전자 장치는 상기 변경된 센서 정보에 근거하여 상기 디스플레이 상에 상기 아이템을 표시할 위치 및/또는 상기 아이템의 형태를 결정할 수 있다.
6660 동작에서, 상기 전자 장치는 상기 결정된 위치/형태에 따라 상기 아이템을 상기 디스플레이 상에 표시할 수 있다.
도 117은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다. 예를 들면, 도 117은 사용자가 착용하는 부위에 따라, 디스플레이에 제공하는 정보를 그에 맞게 가공하여 표시하는 방법에 대한 것이다. 상기 방법은 상기 전자 장치(예: 전자 장치(101, 201)) 또는 상기 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 6710~6740 동작들의 전체 또는 그 일부를 포함할 수 있다.
6710 동작에서, 상기 전자 장치는 센서 모듈(예: 센서 모듈(240)) 또는 메모리(예: 메모리(130))로부터 센서 정보를 획득할 수 있다. 상기 전자 장치는 상기 전자 장치의 움직임, 상기 움직임의 종류(예: 회전, 틸트, 이동 등), 크기, 방향, 상기 전자 장치의 착용 위치 등의 정보를 획득할 수 있다.
6720 동작에서, 상기 전자 장치는 상기 전자 장치의 착용 위치에 따른 알고리즘을 선택할 수 있다.
6730 동작에서, 상기 전자 장치는 상기 선택된 알고리즘에 따라 아이템의 위치/형태를 결정할 수 있다.
6740 동작에서, 상기 전자 장치는 상기 결정된 위치/형태에 따라 상기 아이템을 상기 디스플레이 상에 표시할 수 있다.
예를 들어, 사용자가 제1 위치에 상기 전자 장치를 착용하였을 때, 상기 제1 위치에 알맞는 표시 방법이 제공될 수 있다. 예를 들어, 사용자가 오른쪽 팔에 상기 전자 장치를 착용한 경우, 미리 설정된 제1 알고리즘에 따라 상기 아이템을 표시할 수 있다. 예를 들어, 상기 전자 장치는 센서 정보를 활용해 세로보기, 가로보기 등으로 사용자 인터페이스를 변경할 수 있고, 웨어러블 전자 장치에서는 움직임이 빈번한 곳에 착용 되기 때문에, 센서 정보 이외에도 착용 위치에 적합한 알고리즘에 따라 표시 방법을 선택할 수 있다. 예를 들어, 상기 전자 장치의 장착 부위가 왼쪽 손목인 경우와 오른쪽 손목인 경우는 틸트 방향이 감지되었을 때, 세로 UI와 가로 UI의 기준 방향이 달라질 수 있다. 예를 들어, 상기 전자 장치의 장착 부위가 오른쪽 손목인 경우, 상기 전자 장치는 오른팔의 관절이 움직일 수 없는 각도나 움직임 범위의 움직임이 감지될 때에는 노이즈로 판단하여, 이러한 센서 정보의 변경을 무시할 수도 있다.
도 118은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다. 상기 방법은 상기 전자 장치(예: 전자 장치(101, 201)) 또는 상기 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 6810~6870 동작들의 전체 또는 그 일부를 포함할 수 있다.
6810 동작에서, 상기 전자 장치는 알람 조건을 수신할 수 있다. 예를 들어, 상기 전자 장치는 사용자 또는 외부 장치로부터 상기 알람 조건을 수신할 수 있다. 예를 들어, 상기 알람 조건은 알람 일자, 알람 시각, 사용자의 스케쥴, 상기 사용자의 상태 변경, 상기 전자 장치의 상태 변경, 상기 전자 장치의 주변 환경의 상태 변경 중의 적어도 하나를 포함할 수 있다.
6820 동작에서, 상기 전자 장치는 메모리(예: 메모리(130))에 미리 저장된 사용자 연관 정보들 중에서 상기 알람 조건과 연관된 사용자 연관 정보를 결정할 수 있다. 예를 들어, 상기 사용자 연관 정보는 수면 정보일 수 있다.
6830 동작에서, 상기 전자 장치는 상기 사용자 연관 정보에 근거하여 상기 예비적인 조건을 결정할 수 있다. 한 실시예에서, 상기 전자 장치는 통신 장치(예: 통신 인터페이스(160), 통신 모듈(220), 입출력 인터페이스(140), 인터페이스(270) 등)를 통해 상기 메모리에 미리 저장된 사용자 연관 정보들 중에서 상기 알람 조건과 연관된 사용자 연관 정보를 외부 장치로 전송하고, 상기 외부 장치로부터 상기 예비적인 조건을 수신할 수 있다. 예를 들어, 상기 예비적인 조건은 사용자의 수면 시간일 수 있다.
6840 동작에서, 상기 전자 장치는 상기 예비적인 조건의 충족 여부를 결정할 수 있다. 상기 전자 장치는, 상기 예비적인 조건이 충족되지 않은 경우 6850 동작을 수행하고, 상기 예비적인 조건이 충족된 경우 6860 동작을 수행할 수 있다.
한 실시예에서, 상기 전자 장치는, 센서 모듈(예: 센서 모듈(240))을 통해 상기 예비적인 조건과 연관된 사용자의 상태, 상기 전자 장치의 상태, 상기 전자 장치의 주변 환경의 상태 중의 적어도 하나를 검출할 수 있다. 상기 전자 장치는 상기 검출된 상태에 근거하여 상기 예비적인 조건의 충족 여부를 결정할 수 있다.
한 실시예에서, 상기 알람 조건은 알람 시각이며, 상기 예비적인 조건은 사용자의 수면 시간일 수 있다. 상기 전자 장치는, 상기 알람 시각으로부터 적어도 상기 수면 시간 이전에, 상기 센서 모듈을 통해 상기 사용자의 상태를 검출할 수 있다. 상기 전자 장치는, 상기 사용자의 상태가 비수면 상태인 경우, 상기 예비적인 조건이 충족되지 않는 것으로 결정할 수 있다.
6850 동작에서, 상기 전자 장치는 상기 예비적인 조건이 충족되지 않은 경우 제1 알람 신호를 출력할 수 있다. 상기 제1 알람 신호는 시각적, 청각적 및/또는 촉각적 통지(예: 알람음, 알람 메시지, 진동 등)를 포함할 수 있다.
6860 동작에서, 상기 전자 장치는 상기 알람 조건의 충족 여부를 결정할 수 있다. 상기 전자 장치는, 상기 알람 조건이 충족되지 않은 경우 6840 동작을 반복하고, 상기 알람 조건이 충족된 경우 6870 동작을 수행할 수 있다.
6870 동작에서, 상기 전자 장치는 상기 알람 조건이 충족된 경우 제2 알람 신호를 출력할 수 있다. 상기 제2 알람 신호는 시각적, 청각적 및/또는 촉각적 통지(예: 알람음, 알람 메시지, 진동 등)를 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치의 알람 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체가 제공될 수 있고, 상기 방법은, 알람 조건을 수신하는 동작, 상기 알람 조건에 대응하는 예비적인 조건을 결정하는 동작, 상기 예비적인 조건의 충족 여부를 결정하는 동작, 및 상기 예비적인 조건의 충족 여부에 따라, 상기 알람 조건이 충족되기 이전에, 제1 알람 신호를 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는, 메모리 및 프로세서를 포함할 수 있고, 상기 프로세서는, 알람 조건을 수신하고, 상기 수신된 알람 조건을 상기 메모리에 저장하고, 상기 알람 조건에 대응하는 예비적인 조건을 결정하고, 상기 결정된 예비적인 조건을 상기 메모리에 저장하고, 상기 예비적인 조건의 충족 여부를 결정하고, 상기 예비적인 조건의 충족 여부에 따라, 상기 알람 조건이 충족되기 이전에, 제1 알람 신호를 출력하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 사용자 또는 외부 장치로부터 상기 알람 조건을 수신할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 사용자 또는 외부 장치로부터 상기 예비적인 조건을 수신할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 메모리에 미리 저장된 사용자 연관 정보들 중에서 상기 알람 조건과 연관된 사용자 연관 정보를 결정하고, 상기 사용자 연관 정보에 근거하여 상기 예비적인 조건을 결정하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 메모리에 미리 저장된 사용자 연관 정보들 중에서 상기 알람 조건과 연관된 사용자 연관 정보를 상기 전자 장치의 통신 모듈을 통해 외부 장치로 전송하고, 상기 통신 모듈을 통해 상기 외부 장치로부터 상기 예비적인 조건을 수신하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 예비적인 조건과 연관되고 상기 전자 장치와 기능적으로 연결된 적어도 하나의 센서를 통해 사용자의 상태, 상기 전자 장치의 상태, 상기 전자 장치의 주변 환경의 상태 중의 적어도 하나를 검출하고, 상기 검출된 상태에 근거하여 상기 예비적인 조건의 충족 여부를 결정하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 알람 조건의 충족 여부에 따라, 제2 알람 신호를 출력하도록 구성될 수 있다.
한 실시예에 따르면, 상기 전자 장치는, 센서 정보와 사용자 패턴의 분석에 기반하여, 만약 사용자가 알람이 설정되어 있음에도 불구하고 늦게까지 수면을 취하지 않고 있을 경우에 기상 알람이 있음을 다시 한 번 상기시켜줌으로써 사용자가 자연스럽게 수면에 들 수 있도록 유도할 수 있다.
한 실시예에 따르면, 상기 전자 장치는 알람 시간 및 사용자가 원하는 수면 시간을 입력받고, 해당된 알람 및 사용자가 비수면 상태일 때 경고를 전달해줄 수 있는 입출력 인터페이스(예: 입출력 인터페이스(140)), 수면 시간 및 알람 시간을 보여 주는 디스플레이(예: 디스플레이(150)), 알람 시간 및 최저 수면 시간을 저장하는 메모리 (예: 메모리(130)), 사용자가 수면에 들었는지 확인하는 센서 모듈(예; 센서 모듈(240)), 리얼 타임 정보, 센서 정보 등의 각종 정보를 이용하여 사용자가 수면 상태인지 판단하고 알람을 울릴지 결정하는 프로세서(예: 프로세서(120))를 포함할 수 있다.
한 실시예에 따르면, 사용자가 모닝 알람을 설정하면서 수면 경고(Sleep Warning) 모드을 UI에서 활성화시킬 수 있다. 예를 들어, 설정 메뉴에는 사용자가 생각하는 적정 수면 시간에 대한 항목이 같이 존재하는데, 해당 알람은 상기 적정 수면 시간을 기반으로 동작할 수 있다. 상기 수면 시간은 사용자가 알람 동작이 있기 최소한 얼마 정도 수면을 취하겠다는 희망 수면 시간을 나타낼 수 있다.
도 119는 다양한 실시예에 따른 전자 장치의 유저 인터페이스를 도시한다. 도 119를 참조하면, 전자 장치(예: 전자 장치(101, 201))의 알람 설정 UI(6910)에서 사용자가 지정하는 수면 시간(Sleep Time)(6940)은 사용자 입력에 의해 수동으로 설정될 수도 있고, 사용자의 활동이력 정보를 이용하여 자동으로 설정할 수도 있다. 예를 들어, 만약 자동으로 설정이 된다면 평상시 상기 전자 장치에서 사용자의 패턴을 수집하여 일상적인 수면 시간의 평균으로 계산하고, 상기 알람 설정 UI(6910)에서 기본값(default value)로 설정되어 보여질 수도 있다. 상기 알람 설정 UI(6910)에서 사용자가 지정하는 수면시간(Sleep time)(6940)은 알람 하나하나와 연동되는 것뿐 아니라 기능 자체가 전체 알람에 적용될 수도 있다. 예를 들어 알람 어플리케이션에서 알람 반복 메뉴(6920)를 통해 여러 개의 알람을 설정할 수 있는데, 월요일-금요일의 모닝알람 시간은 06:00 A.M., 토요일-일요일은 09:00 A.M.으로 설정할 수도 있다. 이러한 경우, 수면 시간을 8시간으로 설정할 때, 두 개의 알람 설정 모두에 적용될 수도 있고, 원하는 알람(월-금 알람)마다 다른 수면 시간을 설정할 수도 있다.
상기 알람 설정 UI(6910)에서 사용자가 지정하는 수면시간(6940)은 스케쥴러와 연동되어 항상 고정되는 것이 아니라 지능적으로 동작의 변경 혹은 제한이 가능하다. 예를 들면 다음 스케쥴을 고려하였을 때 수면 시간 자체가 스케쥴로 인해 보장되지 않을 경우 사용자에게 이를 알려 주거나 알림 동작을 하지 않는 등 변형 동작이 가능하다. 상기 알람 설정 UI(6910)에서 수면시간(6940)은 몇 가지 제시되는 메뉴 중에서 선택할 수도 있고 사용자가 직접 입력하는 형식으로 설정될 수도 있다.
상기 수면 경고 기능(6930)이 ON인 상태에서, 사용자가 희망하는 수면 시간(6940)이 A시간이라 하고 알람 시간이 오전 B시이라 하면, 상기 전자 장치는 알림이 일어나기 A시간 전에 센서 모듈을 이용하여 주위 환경을 체크하게 되고 사용자가 깨어 있다고 판단하게 되면 사용자의 적정 수면 시간이 부족해 질 것을 고려하여 사용자에게 수면을 권유하는 알림 메시지를 보여 줄 수 있다.
도 120은 다양한 실시예에 따른 전자 장치의 동작에 대한 순서도를 도시한다. 상기 방법은 상기 전자 장치(예: 전자 장치(101, 201)) 또는 상기 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 7010~7040 동작들의 전체 또는 그 일부를 포함할 수 있다.
7010 동작에서, 상기 전자 장치는 입출력 인터페이스(예: 입출력 인터페이스(140))를 통해 사용자로부터 알람 시간 및 희망 수면 시간을 수신할 수 있다. 상기 전자 장치는 외부 네트워크를 통해 현재 시각을 수신할 수도 있고, 상기 전자 장치의 내부에 독자적으로 동작하는 시계를 포함할 수도 있다.
7020 동작에서, 상기 전자 장치는 수면 알람 시간에 도달한 것을 검출할 수 있다. 상기 수면 알람 시간은 알람 시간에서 희망 수면 시간을 뺀 시간일 수 있다.
7030 동작에서, 상기 전자 장치는 사용자가 수면 상태인지를 결정할 수 있다. 상기 전자 장치는, 상기 사용자가 수면 상태인 경우 7040 동작을 수행하고, 상기 사용자가 비수면 상태(즉, 각성 상태)인 경우 7040 동작을 수행하지 않을 수 있다.
7040 동작에서, 상기 전자 장치는 사용자가 수면 상태인 경우 수면 권유 알람(예: 시각적, 청각적 및/또는 촉각적 알람)을 출력할 수 있다.
상기 전자 장치는 센서 정보를 이용하여 사용자가 각성 상태인지를 결정할 수 있다. 상기 전자 장치는 상기 전자 장치의 백라이트 상태, 현재 실행되고 있는 어플리케이션의 존재 유무, 센서 모듈에 의한 동작/움직임 감지, 헬스 센서에 의한 생체 신호나 생체 정보 중 하나 이상을 이용하여 사용자가 각성 상태인지를 결정할 수 있다.
한 실시예에 따르면, 사용자가 상기 전자 장치를 사용하고 있지 않더라도, 사용자가 각성 상태인지를 결정하기 위해, 조도 센서의 입력값, 마이크로 들어오는 소음의 유무, 카메라 모듈을 이용한 움직임 감지 등을 종합적으로 고려할 수 있다. 이는 사용자가 상기 전자 장치를 사용하고 있지 않거나 착용하지 않더라도 상기 전자 장치의 센서를 이용하여 사용자의 수면 여부를 파악하기 위함이다.
한 실시예에서, 사용자가 상기 전자 장치의 센서의 범위 외부에 있더라도, 상기 전자 장치는 가정에 비치된 움직임 센서나 카메라 등의 홈 네트워크에 위치하는 다른 전자 장치의 센서 정보를 연동하여 사용자의 수면 여부를 판단할 수도 있다.
여러 전자 장치들이 유선 혹은 무선 통신을 이용하여 연결되는 경우, 사용자의 수면 여부를 판단하는 전자 장치는 센서를 구동하여 감지하는 전자 장치와 서로 다를 수도 있다. 예를 들어, 메인 전자 장치(예: 스마트 폰, 웨어러블 장치)는 통신 모듈을 이용하여 연결된 스마트 와치가 수집하거나 측정한 센서 정보를 통신 모듈을 이용하여 수신하고, 상기 센서 정보로부터 수면여부를 판단할 수 있다.
한 실시예에서 사용자 수면 시간을 설정하는 전자 장치와 센서를 구동하여 감지하는 전자 장치는 서로 다를 수도 있다. 즉, 스마트 폰으로 수면시간을 설정하고, 사용자의 수면 상태는 스마트 와치로 측정할 수도 있다.
도 121은 다양한 실시예에 따른 제1 전자 장치의 동작에 대한 순서도를 도시한다. 상기 방법은 상기 제1 전자 장치(예: 전자 장치(101, 201)) 또는 상기 제1 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 7110~7150 동작들의 전체 또는 그 일부를 포함할 수 있다.
7110 동작에서, 상기 제1 전자 장치는 카메라 모듈(예: 카메라 모듈(291))을 이용하여 촬영된 이미지(예: 라이브 프리뷰 이미지)를 디스플레이(예: 디스플레이(150)) 상에 표시할 수 있다. 상기 표시된 이미지는 정지 영상 또는 동영상이거나, 라이브 프리뷰 이미지일 수 있다.
7120 동작에서, 상기 제1 전자 장치는 통신 모듈(예: 통신 인터페이스(160), 통신 모듈(220))을 통해 제2 전자 장치와 근거리 통신 연결을 수행할 수 있다. 한 실시예에서, 7120 동작은 7110 동작 이전에 수행될 수 있다.
7130 동작에서, 상기 제1 전자 장치는 통신 모듈을 통해 촬영 연관 정보를 상기 제2 전자 장치로 전송할 수 있다.
한 실시예에서, 상기 촬영 연관 정보는 상기 표시된 이미지 내 피사체에 대한 정보, 촬영 품질에 대한 정보, 촬영 모드에 대한 정보, 촬영 설정, 촬영 메뉴에 대한 정보 중의 적어도 하나를 포함할 수 있다.
한 실시예에서, 상기 촬영 연관 정보는 상기 표시된 이미지 내 피사체에 대한 정보 또는 상기 표시된 이미지 내 피사체의 구도 정보를 포함할 수 있다.
한 실시예에서, 상기 촬영 연관 정보는 밝기, 노출, 초점, 촬영 모드, 효과, 해상도, 화이트 밸런스, ISO 감도 중의 적어도 하나와, 상기 표시된 이미지 내 피사체에 대한 정보 또는 상기 표시된 이미지 내 피사체의 구도 정보를 포함할 수 있다.
7140 동작에서, 상기 제1 전자 장치는 통신 모듈을 통해 상기 제2 전자 장치로부터 촬영 제어 정보를 수신할 수 있다.
한 실시예에서, 상기 촬영 제어 정보는 상기 표시된 이미지 내 피사체의 촬영에 대한 제어 정보 또는 상기 표시된 이미지 내 피사체의 구도 변경 정보를 포함할 수 있다.
한 실시예에서, 상기 촬영 제어 정보는 촬영 품질의 제어에 대한 정보, 촬영 모드의 제어에 대한 정보, 촬영 설정의 변경에 대한 정보, 촬영 메뉴의 선택에 대한 정보 중의 적어도 하나와, 상기 표시된 이미지 내 피사체의 촬영에 대한 제어 정보 또는 상기 표시된 이미지 내 피사체의 구도 변경 정보를 포함할 수 있다.
7150 동작에서, 상기 제1 전자 장치는 상기 촬영 제어 정보에 따른 동작을 수행할 수 있다. 상기 제1 전자 장치는 상기 촬영 제어 정보의 처리 결과를 출력할 수 있다. 예를 들어, 상기 제1 전자 장치는, 상기 촬영 제어 정보에 따라, 촬영 품질의 변경, 촬영 모드의 변경, 촬영 설정의 변경, 촬영 메뉴의 선택, 상기 표시된 이미지 내 피사체의 촬영에 대한 제어 정보의 전송/처리, 상기 표시된 이미지 내 피사체의 구도 변경 정보의 전송/처리, 이미지의 전송 등을 수행할 수 있다.
한 실시예에서, 상기 제어 정보는 상기 이미지 내 피사체에 대한 선택 정보를 포함하고, 상기 제1 전자 장치는 상기 선택된 피사체에 대응하는 제3 전자 장치로 촬영 연관 정보를 전송할 수 있다.
한 실시예에서, 상기 제어 정보는 상기 이미지 내 피사체에 대한 선택 정보를 포함하고, 상기 제1 전자 장치는 상기 선택된 피사체에 대응하는 제3 전자 장치로 촬영된 이미지를 전송할 수 있다.
다양한 실시예에 따르면, 전자 장치의 촬영 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체가 제공될 수 있고, 상기 방법은, 이미지를 표시하는 동작, 촬영과 연관된 정보를 외부 장치로 전송하는 동작, 상기 외부 장치로부터 촬영과 연관된 제어 정보를 수신하는 동작, 및 상기 제어 정보를 처리하는 동작을 포함하는 저장 매체.
다양한 실시예에 따르면, 전자 장치는 통신 모듈, 이미지를 표시하는 디스플레이 및 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 통신 모듈을 통해 상기 촬영과 연관된 정보를 외부 장치로 전송하고, 상기 통신 모듈을 통해 상기 외부 장치로부터 촬영과 연관된 제어 정보를 수신하고, 상기 제어 정보의 처리 결과를 출력하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 통신 모듈을 통해 상기 외부 장치와 근거리 통신 연결을 수행하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는 상기 통신 모듈을 통해 상기 선택된 피사체에 대응하는 장치로 촬영과 연관된 정보를 전송하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는 상기 통신 모듈을 통해 상기 선택된 피사체에 대응하는 장치로 촬영된 이미지를 전송하도록 구성될 수 있다.
사진 촬영 시, 제1 전자 장치는 원격으로 페어링되어 있는 제2 전자 장치로부터 사진촬영에 대한 정보를 입력받을 수 있다. 예를 들어, 촬영 명령을 카메라가 구동되는 제1 전자 장치가 아닌, 그와 연결되어 있는 제2 전자 장치에서 생성할 수 있다. 무선이나 유선 통신을 통해 연결되는 제2 전자 장치는, 호스트 장치로서 기능하는 제1 전자 장치(예: 카메라, 스마트 폰, 캠코더 중 하나 이상)에 비하여, 작은 디스플레이를 제공하며, 제한적인 기능을 제공할 수 있다. 제2 전자 장치는 영상 촬영을 위한 리모트 컨트롤러의 역할을 할 수 있으며, 단순한 촬영, 모드 변경 등의 명령을 제공할 수 있다.
일 실시예에 따르면, 제한적인 입력장치 또는 출력장치를 포함하는 제2 전자 장치에서 제1 전자 장치에서 촬영되고 있는 정보를 확인할 수 있으며, 제2 전자 장치는 사용자 UX/UI 를 제공함으로써 원격촬영이 용이하도록 하는 기능을 제공할 수 있다.
도 122는 다양한 실시예에 따른 전자 장치들의 블록도를 도시한다. 예를 들면, 도 122는 카메라가 구비된 제 1 전자 장치(7210)와 입력 모듈과 디스플레이를 포함하는 제 2 전자 장치(7220)의 개략적인 모습을 나타낸 것이다. 상기 제 1 전자 장치(7210) 및 상기 제 2 전자 장치(7220)는 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
상기 제 1 전자 장치(7210)에서 촬영이 시작되면, 카메라 모듈에 구비된 이미지 센서(7211)를 통하여 피사체의 이미지가 입력이 되고, 이미지 처리 모듈(7212)는 입력된 이미지를 가공할 수 있다. 이미지 판단 모듈(7213)은 현재 입력되고 있는 이미지에서 추출할 수 있는 영상에 대한 정보를 상기 제 2 전자 장치(7220)에서 지원할 수 있는 형태/포맷으로 가공하여, 제1 통신 모듈(7214)로 전달할 수 있다. 상기 제1 통신 모듈(7214)은 가공된 정보를 받아 상기 제 2 전자 장치(7220)로 전송할 수 있다. 상기 이미지 처리 모듈(7212) 및 상기 이미지 판단 모듈(7213)은 제1 프로세서(예: 프로세서(120, 210))에 통합될 수 있다.
상기 이미지 판단 모듈(7213)은 이미지 센서(7211)로부터 입력된 이미지를 바탕으로 적어도 하나 이상의 특징을 분석할 수 있다. 상기 이미지 판단 모듈(7213)은 상기 제 1 전자 장치(7210)에서 프리뷰로 제공되고 있는 이미지를 분석하여 상기 제 2 전자 장치(7220)에서 지원하는 형태/포맷에 맞게 정보를 제공하기 위하여, 처리 가능한 모든 파라미터들을 분석하여 분석 결과를 가공할 수 있다. 상기 이미지 판단 모듈(7213)은 이미지 내 피사체들의 구도를 분석할 수 있다. 상기 제 1 전자 장치(7210)를 거치한 상태에서 원격으로 촬영을 하기 위하여, 사용자는 제 2 전자 장치(7220)를 통하여 상기 제 1 전자 장치(7210)의 프리뷰 이미지에 대한 정보를 제공받을 수 있다. 상기 제 1 전자 장치(7210)는 피사체의 구도를 분석하여 현재 구도에 대한 정보를 텍스트, 사운드 혹은 심볼 형태로 상기 제 2 전자 장치(7220)에 제공할 수 있다. 상기 제 2 전자 장치(7220)는 상기 제 1 전자 장치(7210)로부터 수신한 정보에 대한 피드백을 상기 제 1 전자 장치(7210)로 전송할 수 있다.
상기 제 2 전자 장치(7220)의 제2 통신 모듈(7221)은 수신한 상기 가공된 정보를 상기 제 2 전자 장치(7220) 내 제2 프로세서(예: 프로세서(120, 210))로 전달하고, 상기 제2 프로세서는 상기 가공된 정보의 전체/일부를 디스플레이 모듈(7222)(예: 디스플레이(150)) 상에 표시할 수 있다. 상기 제 2 전자 장치(7220)는 입력 모듈(7223)(예: 입출력 인터페이스(140))을 통해 촬영 제어 정보를 수신할 수 있고, 상기 제2 통신 모듈(7221)을 통해 상기 제 1 전자 장치(7210)로 촬영 제어 정보를 전송할 수 있다. 상기 제 2 전자 장치(7220)는 사용자 신체에 적어도 일부분에 장착하는 웨어러블 전자 장치일 수 있으며, 편의상 주요 모듈만 표시한 것이므로, 추가 모듈을 더 포함할 수도 있다.
도 123은 다양한 실시예에 따른 제1 전자 장치의 동작의 순서도를 도시한다. 예를 들면, 도 123은 제 2 전자 장치와의 연결 여부에 따라서 촬영 흐름을 나타낸 흐름도이다. 상기 방법은 상기 제1 전자 장치(예: 전자 장치(101, 201)) 또는 상기 제1 전자 장치 내 프로세서(예: 프로세서(120, 210))에 의해 수행될 수 있다. 상기 방법은, 7310~7370 동작들의 전체 또는 그 일부를 포함할 수 있다.
7310 동작에서, 상기 제 1 전자 장치는 카메라 모듈(예: 카메라 모듈(291))을 구동하고, 이미지 촬영 어플리케이션을 실행함으로써, 카메라 촬영을 개시할 수 있다.
7320 동작에서, 상기 제 1 전자 장치는 연결되어 있는 제 2 전자 장치가 존재 하는지의 여부를 결정할 수 있다. 상기 제 1 전자 장치는 상기 제 2 전자 장치가 존재하지 않는 경우 7330 동작을 수행하고, 상기 제 2 전자 장치가 존재하는 경우 리모트 컨트롤을 위한 7340 동작을 수행할 수 있다.
7330 동작에서, 상기 제 1 전자 장치는 종래의 일반적인 촬영 프로세스에 따른 동작을 수행할 수 있다.
한 실시예에서, 이미지 촬영 어플리케이션을 상에 별도로 제 2 전자 장치에 의한 리모트 컨트롤을 선택하기 위한 메뉴가 제공될 수도 있다.
7340 동작에서, 상기 제 1 전자 장치는 현재 입력되고 있는 프리뷰 이미지를 분석할 수 있다.
7350 동작에서, 상기 제 1 전자 장치는 프리뷰 이미지로부터 얻어지는 정보를 수집하고, 연결되어 있는 제 2 전자 장치의 형태에 맞게 해당 분석 결과를 가공할 수 있다.
7360 동작에서, 상기 제 1 전자 장치는 상기 제 2 전자 장치로 분석 결과를 전송할 수 있다. 상기 제 1 전자 장치는 제 2 전자 장치의 종류에 따라 그 형태를 변형하여 분석 결과를 전달할 수도 있다.
7370 동작에서, 상기 제 1 전자 장치는 상기 제 2 전자 장치로부터 제어 정보를 수신하고, 수신한 제어 정보를 처리할 수 있다.
도 124는 본 발명의 다양한 실시예에 따른 복수의 전자 장치들 간에 대한 연동 환경을 도시한다. 도 124는 제 1 전자 장치(7410)(예: 카메라, 캠코더, 스마트폰)에서 피사체를 촬영하고 있는것에 대한 정보를 제 2 전자 장치(7430)(예: 스마트 와치, 리모컨 장치)에서 나타나는 하나의 실시예를 나타낸 것이다. 상기 제 1 전자 장치(7410) 및 상기 제 2 전자 장치(7430)는 각각, 예를 들면, 도 51에 도시된 전자 장치(101) 또는 도 52에 도시된 전자 장치(201)의 전체 또는 일부 구성과 동일 또는 유사한 구성을 가질 수 있다.
예를 들어, 상기 제 1 전자 장치(7410)는 3명의 사람(7400)을 촬영하고 있다. 상기 제 1 전자 장치(7410)는 디스플레이(7411)에 상기 3명의 사람(7400)을 촬영한 프리뷰 이미지(7420)를 표시할 수 있다.
이때 상기 제 1 전자 장치(7410)는 얼굴 인식을 통하여, 현재 피사체가 3명의 사람임을 판단할 수 있고, 이를 수치화하여 상기 제 2 전자 장치(7430)로 전달할 수 있다. 또한 현재 사진의 주인이 되는 피사체의 구도를 판단하여, 사진의 어느 부분에 존재하는지를 판단하여, 그 위치를 문서화 혹은 심볼릭하게 사용자에게 제공할 수 있다. 그리고 사진 촬영을 위한 버튼을 제공할 수도 있다. 상기 제 2 전자 장치(7430)는 상기 제 1 전자 장치(7410)로부터 수신한 촬영 연관 정보에 근거하여 디스플레이(7431)에 피사체의 인원수에 대한 정보(7441), 구도 조정 명령을 입력하기 위한 버튼(7442), 촬영 개시를 위한 버튼(7443) 등을 표시할 수 있다.
한 실시예에 따르면, 제1 전자 장치(예: 웨어러블 전자 장치)는 피사체(예: 사람)에 대한 수와 구도의 적합성을 판단할 수 있다. 또한, 제1 전자 장치는 구도 분석 피드백에 따라 피사체가 이동하였을 때 그 결과를 수정할 수 있다. 제 2 전자 장치를 통하여 제 1 전자 장치의 프리뷰를 판단한 결과는 구도, 밝기, 초점 등 사진 품질에 영향을 미칠 수 있는 모든 요소들 중 적어도 하나 이상의 요소와 관련되거나, 그 판단/평가/수정명령을 포함할 수 있다.
도 125는 다양한 실시예에 따른 웨어러블 전자 장치의 제어 방법을 보여주는 환경을 도시한다. 한 실시예에 따르면, 제 1 전자 장치(7410)의 이미지 판단모듈에서 이미지 품질을 분석한 결과, 현재 프리뷰의 이미지가 어두울때 제 2 전자 장치(7430)를 통하여 해당 정보(7444)를 제공할 수 있다. 사용자는 상기 종류의 정보를 제공받았을 때, 상기 제 2 전자 장치(7430)에 구비된 입력 장치를 통하여 모드 변경을 위한 피드백을 전달할 수 있다.
한 실시예에 따르면, 상기 제 1 전자 장치(7410)는 카메라를 통하여 획득된 영상의 분석을 통하여, 촬영될 사진이 어두운 경우, 피사체에 대한 촬영 모드를 변경할 수 있는 모드 변경 정보(예: 유저 인터페이스로 구현되는 다양한 모드 설정 화면)를 상기 제 2 전자 장치(7430)를 통하여 사용자에게 모드 변경 여부에 대한 피드백을 요청할 수 있다. 이때 사용자에 의하여 상기 제 2 전자 장치(7430)로 입력되면, 상기 제 2 전자 장치(7430)는 해당 모드 변경 명령을 상기 제 1 전자 장치(7410)로 전달하며, 상기 제 1 전자 장치(7410)에서는 해당 모드변경을 실시할 수 있다.
한 실시예에 따르면, 상기 제 1 전자 장치(7410)의 얼굴인식 모듈을 통하여, 피사체가 인식되어 있는 경우, 상기 제 2 전자 장치(7430)는 사용자에 의해 선택된 해당 정보(예: 선택된 해동 정보에 대응하는 피드백)을 상기 제 1 전자 장치(7410)로 제공할 수 있다. 사용자는 상기 제 2 전자 장치(7430) 상에 제공된 프리뷰에 대한 정보 중 인원 수에 대한 정보(7441)를 선택할 수 있다. 이때 카운팅되어 제공하는 정보는 숫자 형태가 될 수도 있고, 신원이 파악된 사람의 경우 기 저장되어 있는 연락처로 촬영의 결과물을 상기 제 1 전자 장치(7410)를 통하여 전달하라는 명령을 할 수도 있다.
한 실시예에 따르면, 사용자에 의하여 상기 제 2 전자 장치(7430)로 제공된 피사체의 얼굴 정보를 통하여 촬영의 결과물을 모두 상기 제 1 전자 장치(7410)를 통하여 전달하도록 설정할 수도 있다.
한 실시예에 따르면, 상기 제 2 전자 장치(7430)로 제공된 인원에 대한 정보를 통하여, 각각 인식된 사람 별로 선택적으로 촬영의 결과물을 전달할 수 있다. 또한 공유할 인원은 사진 촬영된 사람 이외에 상기 제 1 전자 장치(7410)의 주소록에 저장되어 있는 사람에서 추가할 수도 있다.
다양한 실시예를 통하여, 디스플레이의 제약이 있는 제 2 전자 장치를 활용하여, 영상 촬영 시, 제 1 전자 장치에 디스플레이 되고 있는 프리뷰에서 추출한 정보를 제공하며, 일부 피드백이 가능케 함으로써, 그 활용성을 증진시킬 수 있다.
도 126은 다양한 실시예에 따른 전자 장치(예: 전자 장치(101, 201))의 햅틱 지원 모듈 모듈(7670)의 블록도를 도시한다. 상기 햅틱 지원 모듈 모듈(7670)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다.
도 126를 참조하면, 메모리(7630)는 화면 정보 데이터베이스(7631), 입력 정보 데이터베이스(7633), 실행 정보 데이터베이스(7635), 오디오 정보 데이터베이스(7637) 또는 햅틱 정보 데이터베이스(7639) 중 적어도 하나를 포함할 수 있다.
화면 정보 데이터베이스(7631)은 전자 장치의 디스플레이에 출력될 또는 출력되는 화면에 포함된 적어도 하나의 오브젝트를 포함하는 화면 정보, 상기 화면 정보에 할당된 적어도 하나의 햅틱 정보를 포함할 수 있다. 화면 정보는 특정 어플리케이션과 관련하여 디스플레이에 포함되도록 지정된 적어도 하나의 오브젝트를 포함할 수 있다. 다양한 실시예에 따르면, 상기 오브젝트는 예컨대, 배경 오브젝트, 배경 오브젝트 상에 배치되는 사물 오브젝트, 또는 사람 오브젝트 등을 포함할 수 있다. 또는, 상기 오브젝트는 예컨대, 적어도 하나의 가상 키 버튼 또는 복수의 가상 키 버튼을 포함하는 가상 키 버튼 그룹을 포함할 수 있다. 또는, 화면 정보는 파노라마 오브젝트, 3D 오브젝트, 증강 현실 오브젝트 등을 포함할 수 있다. 또는, 오브젝트는 점, 선, 면 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 오브젝트는 폐곡선으로 형성된 면(2차원 면 또는 3차원 면)을 포함할 수 있다. 폐곡선은 경계 영역으로 이용될 수 있다. 경계 영역은 햅틱 정보가 다르게 할당되는 기준 정보로 이용될 수 있다.
다양한 실시예에 따르면, 화면 정보 데이터베이스(7631)은 예컨대, 점, 선, 또는 면 중 적어도 하나로 구성된 특정 오브젝트별로 할당된 동일한 또는 적어도 일부가 서로 다른 햅틱 정보를 포함할 수 있다. 화면 정보 데이터베이스(7631)은 선 또는 면 중 적어도 하나로 구성된 특정 오브젝트의 경계 영역에 할당된 햅틱 정보, 면으로 구성된 특정 오브젝트의 외부 및 내부에 할당된 서로 다른 또는 동일한 햅틱 정보를 포함할 수 있다. 화면 정보 데이터베이스(7631)은 면으로 구성된 특정 오브젝트의 외부 위치별 또는 내부 위치 위치별 할당된 동일한 또는 서로 다른 햅틱 정보를 포함할 수 있다.
입력 정보 데이터베이스(7633)은 입출력 인터페이스를 통해 입력되는 다양한 입력 신호들에 해당하는 기준 입력 정보를 포함할 수 있다. 예컨대, 입력 정보 데이터베이스는 입력 신호를 발생시키는 입력 물체의 종류(예: 손가락, 전자 펜, 일반 펜 등의 물체) 구분에 관한 기준 입력 정보, 입력 신호의 종류(예: 터치 다운 입력, 터치 드래그 입력, 터치 해제 입력, 또는 터치 홀딩 입력 등) 구분을 위한 기준 입력 정보, 입력 신호의 상태(예: 터치 위치, 속도, 강도, 면적, 유지 시간, 또는 시간 중 적어도 하나)를 통해 입력 형태를 구분하기 위한 기준 입력 정보 등을 포함할 수 있다.
입력 정보 데이터베이스(7633)은 상술한 적어도 하나의 기준 입력 정보들에 할당된 동일한 또는 서로 다른 햅틱 정보를 포함할 수 있다. 한 실시예에 따르면, 입력 정보 데이터베이스(7633)은 입력 물체의 종류별로 서로 다르게 매핑된 햅틱 정보를 포함할 수 있다. 또한 입력 정보 데이터베이스(7633)은 각 입력 물체의 종류에 따라 발생하는 입력 신호의 종류 또는 입력 신호의 상태 중 적어도 하나에 동일하게 또는 서로 다르게 매핑된 햅틱 정보를 포함할 수 있다.
실행 정보 데이터베이스(7635)는 어플리케이션 실행에 따라 수집된 실행 정보 또는 타 전자 장치(예: 전자 장치(104), 서버(106) 등)가 전송한 실행 정보(예: 타 전자 장치에서 어플리케이션 실행에 따라 발생한 정보)를 포함할 수 있다. 실행 정보 데이터베이스(7635)는 실행 정보를 시간별, 어플리케이션별, 또는 전송 장치별로 구분된 실행 정보를 포함할 수 있다.
실행 정보 데이터베이스(7635)는 적어도 하나의 실행 정보들에 매핑된 적어도 하나의 햅틱 정보를 포함할 수 있다. 한 실시예에 따르면, 실행 정보 데이터베이스(7635)는 시간별, 어플리케이션별 또는 전송 장치별로 각기 다르게 할당된 햅틱 정보를 포함할 수 있다. 실행 정보 데이터베이스(7635)는 실행 정보별로 할당된 적어도 하나의 햅틱 정보를 포함할 수 있다. 실행 정보 데이터베이스(7635)는 실행 정보에 할당된 적어도 하나의 햅틱 정보가 출력되는 조건 정보를 포함할 수 있다. 조건 정보는 예컨대, 동일한 종류의 실행 정보가 수집된 횟수, 실행 정보의 크기, 또는 실행 정보가 수집된 시점 중 적어도 하나를 포함할 수 있다.
오디오 정보 데이터베이스(7637)은 화면 정보, 입력 정보, 실행 정보 또는 햅틱 정보 중 적어도 하나에 매핑된 오디오 정보를 포함할 수 있다. 예컨대, 오디오 정보 데이터베이스(7637)은 각기 다른 햅틱 정보별로 할당된 적어도 하나의 오디오 정보를 포함할 수 있다. 또는 오디오 정보 데이터베이스(7637)은 특정 화면 정보가 디스플레이에 출력된 상태에서 각기 다른 햅틱 정보별로 할당된 적어도 하나의 오디오 정보를 포함할 수 있다. 또는 오디오 정보 데이터베이스(7637)은 특정 실행 정보에 매핑된 햅틱 정보가 출력되는 경우 함께 출력되도록 설정된 적어도 하나의 오디오 정보를 포함할 수 있다.
햅틱 정보 데이터베이스(7639)는 햅틱 요소(7639a) 또는 햅틱 모델링(7639b) 중 적어도 하나를 포함할 수 있다. 햅틱 요소(7639a)는 햅틱 모듈을 기반으로 제공되는 적어도 하나의 촉감 또는 질감과 관련한 설정 정보를 포함할 수 있다. 예컨대, 햅틱 요소(7639a)는 촉감이나 질감 종류(예: 부드러움, 거침, 끈적임, 저항감, 마찰감, 피부 당김 또는 매끈함 중 적어도 하나 등)들의 단일 형태 또는 복합 형태 중 적어도 하나의 구현과 관련한 햅틱 모듈 제어 정보를 포함할 수 있다. 한 실시예에 따르면, 햅틱 모듈이 마찰력 햅틱 디스플레이를 포함하는 경우, 햅틱 요소(7639a)는 마찰력 햅틱 디스플레이를 통해 구현되는 마찰감, 저항감 또는 반발력 등의 크기별 또는 방향별 구현과 관련한 햅틱 모듈의 전원 제어와 관련한 햅틱 모듈 제어 정보를 포함할 수 있다.
햅틱 모델링(7639b)는 햅틱 모듈 제어 정보를 기반으로 모델링되는 촉감이나 질감 관련 햅틱 정보를 포함할 수 있다. 예컨대, 햅틱 모델링(7639b)는 강한 부드러움, 약한 부드러움 등을 정의하는 적어도 하나의 햅틱 모듈 제어와 관련한 햅틱 정보를 포함할 수 있다. 또는 햅틱 모델링(7639b)는 다양한 크기의 거칠기 정도를 햅틱 모듈을 통해 구현하는데 정의되는 햅틱 정보를 포함할 수 있다. 한 실시예에 따르면, 햅틱 모델링(7639b)는 특정 오브젝트의 경계 영역, 경계 영역의 외부 영역 또는 경계 영역의 내부 영역 중 적어도 하나에서 발생하도록 설정된 햅틱 피드백(또는 촉감이나 질감)을 햅틱 모듈을 통해 구현하는데 적용되는 햅틱 정보를 포함할 수 있다. 상기 햅틱 정보는 예를 들어, 오브젝트의 경계 영역에서 일정 크기의 거친 느낌을 가지도록 햅틱 모듈을 구동시키는 전원 제어 정보를 포함할 수 있다. 햅틱 정보는 오브젝트의 경계 영역 바깥 일정 위치에 터치 또는 호버링 발생 시 제공되도록 설정된 질감 표현과 관련한 햅틱 모듈의 전원 제어 정보를 포함할 수 있다. 햅틱 정보는 터치나 호버링 속도에 대응하여 제공되도록 설정된 특정 촉감의 크기와 위치 및 유지 시간에 관련한 햅틱 모듈의 전원 제어 정보를 포함할 수 있다.
햅틱 지원 모듈(7670)은 화면 정보 분석 모듈(7671), 입력 정보 분석 모듈(7673), 실행 정보 분석 모듈(7675) 또는 햅틱 정보 할당 모듈(7677) 중 적어도 하나를 포함할 수 있다.
화면 정보 분석 모듈(7671)은 디스플레이에 출력될 또는 출력된 화면을 분석하여, 화면 정보를 추출할 수 있다. 화면 정보 분석 모듈(7671)은 화면 정보 데이터베이스(7631)에 저장된 화면 정보별 햅틱 정보가 존재하는지 확인할 수 있다. 화면 정보 분석 모듈(7671)은 햅틱 정보가 존재하는 경우, 해당 햅틱 정보를 디스플레이에 출력 중인 화면 정보에 적용하도록 제어할 수 있다. 화면 정보 분석 모듈(7671)은 화면 정보에 포함된 적어도 하나의 오브젝트를 터치 또는 호버링하는 이벤트가 발생하면 할당된 햅틱 정보를 햅틱 모듈에 제공하여 햅틱 정보 출력을 제어할 수 있다. 이 동작에서 화면 정보 분석 모듈(7671)은 화면 정보에 포함된 오브젝트별 햅틱 정보를 각 오브젝트별로 할당하고, 특정 오브젝트를 선택하는 이벤트(예: 오브젝트 터치 이벤트 또는 오브젝트를 지시하는 호버링 이벤트 중 적어도 하나) 발생에 대응하여 해당 햅틱 정보를 출력하도록 제어할 수 있다.
화면 정보 분석 모듈(7671)은 추출된 화면 정보가 화면 정보 데이터베이스(7631)에 존재하지 않는 경우 해당 화면 정보를 햅틱 정보 할당 모듈(7677)에 제공할 수 있다. 한 실시예에 따르면, 화면 정보 분석 모듈(7671)은 특정 화면 정보에 포함된 적어도 하나의 오브젝트들을 추출하고, 추출된 오브젝트들을 햅틱 정보 할당 모듈(7677)에 전달할 수 있다. 이 동작에서 화면 정보 분석 모듈(7671)은 화면 관련 정보(예: 화면 관련 어플리케이션의 종류, 화면과 관련한 식별 정보, 화면에서의 오브젝트의 위치, 오브젝트의 형상 등의 정보)를 햅틱 정보 할당 모듈(7677)에 전달할 수 있다. 햅틱 정보 할당 모듈(7677)로부터 특정 오브젝트별 햅틱 정보를 수신하면 화면 정보 분석 모듈(7671)은 해당 햅틱 정보를 해당 화면 정보에 적용할 수 있다. 화면 정보 분석 모듈(7671)은 현재 디스플레이에서 발생하는 이벤트에 대응하여 할당된 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 화면 정보 분석 모듈(7671)은 새로 생성된 화면 정보 및 그에 매핑된 햅틱 정보를 포함하는 햅틱 갱신 정보를 메모리(7630)에 전달하여 화면 정보 데이터베이스(7631) 갱신을 제어할 수 있다.
입력 정보 분석 모듈(7673)은 입출력 인터페이스를 통해 입력 신호가 발생한 경우, 입력 물체의 종류를 분석할 수 있다. 이 동작에서 입력 정보 분석 모듈(7673)은 저장된 입력 물체별 신호 형태 정보를 기반으로, 발생한 입력 신호의 형태에 매핑된 입력 물체 종류를 확인할 수 있다. 예컨대, 입력 정보 분석 모듈(7673)은 발생한 입력 신호의 형태가 손가락에 의한 것인지, 전자 펜에 의한 것인지 또는 일반 펜에 의한 것인지 등을 저장된 입력 물체별 신호 형태 정보를 기반으로 분석할 수 있다. 입력 정보 분석 모듈(7673)은 입력 물체의 종류가 확인되면, 입력 물체에 매핑된 햅틱 정보가 존재하는지 입력 정보 데이터베이스(7633)을 확인할 수 있다. 입력 정보 분석 모듈(7673)은 입력 정보 데이터베이스(7633)에서 확인된 햅틱 정보를 기반으로 발생한 이벤트에 대응하는 햅틱 정보 출력을 제어할 수 있다.
실행 정보 분석 모듈(7675)는 특정 어플리케이션 실행에 대응하여 발생하는 실행 정보, 타 전자 장치(예: 전자 장치(104), 서버(106) 등)가 전송할 실행 정보 중 적어도 하나를 수집할 수 있다. 실행 정보 분석 모듈(7675)는 수집된 실행 정보에 매핑된 햅틱 정보가 실행 정보 데이터베이스(7635)에 존재하는지 확인할 수 있다. 실행 정보 분석 모듈(7675)는 실행 정보에 매핑된 햅틱 정보가 존재하면, 해당 실행 정보 수집에 대응하여 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 실행 정보 분석 모듈(7675)는 실행 정보와 관련하여 지정된 조건을 확인하고, 실행 정보가 지정된 조건을 만족하는 경우 관련 햅틱 정보 출력을 제어할 수 있다.
햅틱 정보 할당 모듈(7677)은 화면 정보, 입력 정보, 또는 실행 정보 중 적어도 하나에 햅틱 정보를 제공할 수 있다. 예컨대, 햅틱 정보 할당 모듈(7677)은 화면 정보 분석 모듈(7671)은 특정 화면 정보에 포함된 적어도 하나의 오브젝트에 관한 정보를 수신하면, 해당 오브젝트에 할당된 햅틱 정보가 존재하는지 확인할 수 있다. 햅틱 정보 할당 모듈(7677)은 해당 햅틱 정보가 존재하면 이를 화면 정보 분석 모듈(7671)에 제공할 수 있다. 또한 햅틱 정보 할당 모듈(7677)은 입력 정보 분석 모듈(7673)이 제공하는 입력 신호 정보에 대응하는 햅틱 정보를 입력 정보 분석 모듈(7673)에 제공할 수 있다. 또한 햅틱 정보 할당 모듈(7677)은 실행 정보 분석 모듈(7675)가 제공하는 실행 정보에 매핑된 햅틱 정보를 실행 정보 분석 모듈(7675)에 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 정보 할당 모듈(7677)은 화면 정보 분석 모듈(7671)로부터 수신된 화면 정보에 매핑된 햅틱 정보가 존재하지 않는 경우, 다양한 조건에 대응하여 해당 화면 정보에 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 정보 할당 모듈(7677)은 화면 정보에 포함된 적어도 하나의 오브젝트별로 제공할 햅틱 정보를 선택할 수 있는 화면을 제공할 수 있다. 햅틱 정보 할당 모듈(7677)은 사용자 선택에 대응하여 적어도 하나의 오브젝트에 햅틱 정보 매핑을 수행하고 그 결과를 화면 정보 데이터베이스(7631)에 저장하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 정보 할당 모듈(7677)은 입력 정보 또는 실행 정보 중 적어도 하나에 대응하여 햅틱 정보 할당과 관련한 화면을 제공하고, 사용자 입력에 의해 선택된 햅틱 정보를 할당할 수 있다. 이와 관련하여, 햅틱 정보 할당 모듈(7677)은 화면 정보, 입력 정보, 실행 정보 중 적어도 하나에 관한 정보 출력 영역과, 적어도 하나의 햅틱 정보(예: 부드러움, 거침, 끈적임, 저항감, 마찰감, 피부 당김 또는 매끈함 등)를 선택할 수 있는 영역을 포함하는 선택 화면 출력을 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 정보 할당 모듈(7677)은 특정 오브젝트 분석에 대응하여 동일 또는 유사한 특정 햅틱 정보가 매핑된 오브젝트를 검출하고, 해당 오브젝트에 할당된 햅틱 정보를 특정 오브젝트에 자동 매핑하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 정보 할당 모듈(7677)은 특정 입력 물체에 의한 입력 신호가 발생한 경우, 해당 입력 신호와 유사한 햅틱 정보가 매핑된 입력 물체를 검출하고, 해당 입력 물체에 할당된 햅틱 정보를 상기 특정 입력 물체에 매핑할 수 있다. 다양한 실시예에 따르면, 햅틱 정보 할당 모듈(7677)은 특정 실행 정보와 관련하여, 해당 실행 정보와 관련된 어플리케이션에 할당된 햅틱 정보를 상기 특정 실행 정보에 자동으로 매핑하도록 제어할 수 있다. 이 동작에서 햅틱 정보 할당 모듈(7677)은 화면 정보 데이터베이스(7631), 입력 정보 데이터베이스(7633), 실행 정보 데이터베이스(7635) 중 적어도 하나를 갱신할 수 있다.
햅틱 정보 할당 모듈(7677)은 사용자 제어에 대응하여 오디오 정보 데이터베이스(7637) 갱신을 제어할 수 있다. 이와 관련하여, 햅틱 정보 할당 모듈(7677)은 적어도 하나의 화면 정보, 입력 정보, 실행 정보 또는 햅틱 정보를 선택할 수 있는 영역과, 적어도 하나의 오디오 정보를 선택하는 있는 영역을 포함하는 화면을 제공할 수 있다. 햅틱 정보 할당 모듈(7677)은 사용자 선택에 따라 특정 햅틱 정보 또는 특정 화면 정보, 입력 정보 또는 실행 정보를 특정 오디오 정보에 매핑하도록 제어할 수 있다. 햅틱 정보 할당 모듈(7677)은 매핑된 오디오 정보를 오디오 정보 데이터베이스(7637)에 저장하도록 제어할 수 있다. 햅틱 정보 할당 모듈(7677)은 특정 햅틱 정보가 특정 화면 상에서 출력되거나 또는 특정 입력 정보와 관련하여 특정 햅틱 정보가 출력되거나 또는 실행 정보 발생에 대응하여 특정 햅틱 정보가 출력되는 경우, 매핑된 오디오 정보를 함께 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 한 실시예에 따른 전자 장치는 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석하고, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 햅틱 지원 모듈, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 햅틱 모듈을 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트를 검출하고, 상기 오브젝트별로 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트의 경계 영역과, 상기 경계 영역 이외의 영역에 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트의 경계 영역에 제1 햅틱 정보를 설정하고, 상기 오브젝트의 내측에 제2 햅틱 정보를 설정 하고, 상기 오브젝트의 외측에 제3 햅틱 정보를 설정할 수 있다. 추가적으로 또는 대체적으로 상기 오브젝트의 외측에는 별도의 햅틱 정보를 할당하지 않도록 수행할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 디스플레이에 표시된 상기 오브젝트들 중 특정 오브젝트가 선택되면, 상기 디스플레이 표시된 오브젝트들에 할당된 햅틱 정보를 다른 종류의 햅틱 정보로 변경할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 화면에 출력된 또는 화면에 출력될 오브젝트의 형상, 오브젝트가 표시되는 이미지와 관련한 재질, 오브젝트와 관련한 설명 정보 중 적어도 하나에 대응하는 햅틱 정보를 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 입력 물체의 종류, 상기 입력 물체에 의해 발생하는 입력 신호의 종류, 상기 입력 신호의 상태 중 적어도 하나에 따라 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 특정 기능 실행에 따라 수집된 실행 정보별로 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 헬스 케어 기능과 관련한 실행 정보를 수신하고, 수신된 실행 정보의 종류별로 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 이벤트 발생 시 전자 장치의 배치 상태를 확인하고, 상기 전자 장치의 배치 상태에 따라 상기 이벤트 발생과 관련한 터치 영역에서의 상기 햅틱 정보에 대응하는 햅틱 피드백 출력 지점을 다르게 설정할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트 내에서의 이벤트 발생 위치, 이벤트 신호의 강도(예: 터치 압력 크기, 터치 감지와 관련한 또는 호버링 감지와 관련한 capacitance값 크기, 입력된 소리나 진동의 크기, 또는 이벤트 발생시 지정된 크기 이상의 신호가 감지되는 영역의 크기 중 적어도 하나), 이벤트 발생 지점과 오브젝트 간의 근접도(예: 오브젝트와 이벤트 발생지점간 거리 혹은 오브젝트 표면과 입력물체간 근접도 중 하나 이상), 또는 이벤트 유지시간 중 적어도 하나에 대응하여 서로 다른 햅틱 이벤트가 출력되도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 디스플레이 상에 표시되는 상기 오브젝트의 영역과 상기 오브젝트의 경계 영역에서 출력되는 햅틱 피드백을 서로 다르게 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트에 가해지는 신호 강도가 지정된 제1 크기(예: 감지 가능한 최대 신호 강도의 40% 이하이거나 지정된 제1 범위 내의 신호) 인 경우 지정된 햅틱 피드백 출력을 억제하도록 설정하거나, 상기 오브젝트에 가해지는 압력이 지정된 상기 제1 크기와 다른경우 지정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트에 가해지는 압력이 지정된 제2 크기(예: 감지 가능한 최대 신호 강도의 70% 이상이거나 지정된 제2 범위(예: 제1 범위와 다른 크기의 범위) 내의 신호) 인 경우 상기 오브젝트에 설정된 기능을 실행하도록 설정될 수 있다. 상기 제1 크기와 제2 크기 또는 제1 범위와 제2 범위는 신호를 감지하는 센서의 종류에 따라 다양한 종류와 최대 값을 가질 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 지정된 참조 햅틱 피드백을 출력하도록 설정된 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트가 배치된 영역을 지시하는 방향성 햅틱 피드백 또는 지정된 크기 이하의 햅틱 피드백 중 적어도 하나를 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 제1 이벤트의 이동 속도가 지정된 속도 이상인 경우 상기 제1 이벤트의 현재 위치와 상기 오브젝트와의 거리 또는 상기 이동 속도 중 적어도 하나에 대응하여 상기 오브젝트에 대응하는 햅틱 피드백을 출력 시점을 조절하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 햅틱 피드백 출력을 억제하도록 설정하고, 상기 오브젝트 상에서 제1 이벤트가 수신되면 상기 지정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 상에서 상기 제1 이벤트 또는 상기 제1 이벤트와 다른 제2 이벤트가 수신되면, 상기 오브젝트에 대응하는 기능을 실행하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 전자 장치의 움직임 방향 또는 파지 위치 중 적어도 하나에 대응하여 디스플레이의 일정 위치에 적어도 하나의 오브젝트가 표시되면, 상기 오브젝트의 출력 위치에 대응하여 다른 햅틱 피드백이 출력되도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 내에 포함된 복수의 영역들에 서로 다른 햅틱 피드백이 출력되도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 이외의 영역에서 이벤트가 발생할 경우, 상기 이벤트 위치에서 상기 오브젝트가 위치한 방향을 지시하는 방향 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 햅틱 피드백에 대응하는 정보를 타 전자 장치에 전송하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 햅틱 피드백을 출력과 관련하여 디스플레이를 턴-오프 상태로 전환하거나 턴-오프 상태를 유지하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 전자 장치의 착용이 감지되면 착용 감지된 영역(예: 신체와 접촉된 전자 장치의 하우징 부분) 또는 상기 전자 장치 적어도 일부 영역(예: 전자 장치 전체)에서 지정된 햅틱 피드백을 출력하도록 설정되며, 지정된 위치(GPS 혹은 Wifi 신호에 기반하여 지정된 실내외의 위치영역 범위)에 전자 장치가 진입한 것을 감지하는 경우 지정된 햅틱 피드백이 전자 장치의 적어도 일부에서 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 전자 장치가 지정된 위치를 벗어나거나 상기 전자 장치 착용이 해제되면 상기 햅틱 피드백 출력을 종료하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 수집된 센서 신호를 기반으로 수집된 정보와 설정된 목표치의 비교에 따라 적어도 하나의 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 전자 장치의 디스플레이 영역 또는 베젤 영역 중 적어도 한 곳에서 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 형태 또는 위치 중 적어도 하나가 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 현재 수집된 센서 신호 또는 일정 기간 누적된 센서 신호에 대응하여 지정된 특정 형태의 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 센서 신호 기반으로 검출된 속도를 조정하도록 가이드하는 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 속도를 높이거나 또는 낮추도록 하는 안내에 대응하여 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 실행 정보 분석 결과에 대응하여 획득된 시간 정보와 관련한 적어도 하나의 방향성을 가진 햅틱 피드백, 상기 실행 정보 분석 결과에 대응하여 획득된 숙면도 크기에 대응하는 햅틱 피드백, 상기 실행 정보 분석 결과에 대응하여 획득된 스트레스 지수 크기에 대응하는 햅틱 피드백 중 적어도 하나를 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 키워드 입력 빈도에 대응하여 키워드별로 서로 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 선택하는 이벤트의 지속 시간, 압력 크기, 터치 면적, 또는 전하량 크기 중 적어도 하나에 대응하여 키워드와 관련한 기능 또는 상기 오브젝트와 관련한 기능을 실행하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 키워드 관련 문자 입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작에 대응하여 상기 키워드와 관련한 햅틱 피드백을 다르게 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트가 복수개인 경우 키워드와 상기 오브젝트 간의 유사도 또는 신뢰도에 대응하여 서로 다른 햅틱 피드백을 상기 오브젝트에 할당하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 전체 화면 영역 중 현재 디스플레이 표시되지 않은 영역에 배치된 목표 오브젝트를 지시하는 방향성 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 디스플레이에 표시된 적어도 하나의 오브젝트에 상기 방향성 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 분석 결과에 대응하여 상기 목표 오브젝트 종류에 따라 서로 다른 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 목표 오브젝트가 다른 오브젝트에 의해 가려진 경우, 상기 목표 오브젝트가 노출된 경우, 상기 목표 오브젝트의 크기, 상기 목표 오브젝트의 위치 중 적어도 하나에 대응하여 서로 다른 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 이벤트 발생 위치와 상기 목표 오브젝트 간의 거리에 대응하여 서로 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 전체 화면 영역 중 검색과 관련한 목표 오브젝트가 포함된 화면 영역을 디폴트로 디스플레이에 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 햅틱 지원 모듈은 상기 디스플레이 표시된 화면 영역 변경과 관련한 이벤트 종류에 대응하여 서로 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
도 127은 다양한 실시예에 따른 햅틱 정보 운용 방법을 도시한다.
도 127을 참조하면, 동작 7701에서 햅틱 지원 모듈(7670)은 터치 기능 활성화 여부를 확인할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 특정 입력 이벤트가 발생하면, 해당 이벤트가 슬립 모드 해제와 관련한 입력 이벤트인지 여부, 특정 기능(예: 통화 기능, 스케줄 기능, 알람 기능 등) 실행과 관련한 입력 이벤트인지 여부 등의 확인을 수행할 수 있다. 동작 7701에서 발생한 특정 이벤트가 터치 기능 활성화와 관련한 이벤트가 아닌 경우, 동작 7703에서 햅틱 지원 모듈(7670)은 해당 이벤트에 대응하는 기능 수행을 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 입력 이벤트의 종류에 대응하여 음량 조절을 수행할 수 있다. 또는 햅틱 지원 모듈(7670)은 입력 이벤트의 종류에 대응하여 음성 검색 기능 수행을 제어할 수 있다. 또는 별도의 이벤트 발생이 없으면, 동작 7703에서 예컨대, 햅틱 지원 모듈(7670)은 이전 상태(슬립 모드 상태 등)를 유지하도록 제어할 수 있다.
터치 기능 활성화와 관련한 이벤트가 발생하면, 동작 7705에서 햅틱 지원 모듈(7670)은 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 이벤트 발생에 대응하여 터치 패널을 활성화하도록 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 이벤트 발생과 관련하여 디스플레이에 출력되는 화면 정보를 수집할 수 있다. 햅틱 지원 모듈(7670)은 수집된 화면 정보 분석을 기반으로 햅틱 정보 매핑과 관련한 적어도 하나의 오브젝트를 추출할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 터치 기능 활성화와 관련한 이벤트에 대응하는 입력 정보를 수집할 수 있다. 햅틱 지원 모듈(7670)은 수집된 입력 정보 분석을 수행하여, 입력 물체의 종류(예: 손가락, 전자 펜, 일반 펜 등의 물체), 입력 신호의 종류(예: 터치 다운 입력, 터치 드래그 입력, 터치 해제 입력, 또는 터치 홀딩 입력 등), 입력 신호의 상태(예: 터치 위치, 터치 위치 변경에 따른 이동 속도, 터치 강도, 터치 면적, 터치 영역의 형태, 터치 영역 내 터치관련 신호의 분포(예: capacitance, resistance), 터치 유지 시간, 또는 시간에 따른 터치 입력신호의 변화 중 적어도 하나) 중 적어도 하나를 구분할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 이벤트 발생에 대응하여 실행된 기능의 실행 정보를 수집할 수 있다. 햅틱 지원 모듈(7670)은 실행 정보와 관련한 어플리케이션의 종류, 실행 정보 발생 시점 등의 분석을 수행할 수 있다.
동작 7707에서, 햅틱 지원 모듈(7670)은 분석에 따른 햅틱 정보 할당(또는 설정)을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 화면 정보에 포함된 적어도 하나의 오브젝트에 매핑된 햅틱 정보를 확인할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력 물체의 종류별로 매핑된 햅틱 정보, 입력 신호의 종류별로 매핑된 햅틱 정보, 입력 신호 상태별로 매핑된 햅틱 정보를 확인할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 실행 정보의 종류별로 매핑된 햅틱 정보를 확인할 수 있다.
동작 7709에서, 햅틱 지원 모듈(7670)은 이벤트 발생에 따른 햅틱 정보 출력을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 화면 정보에 포함된 특정 오브젝트를 선택하는 이벤트(예: 터치 이벤트 또는 호버링 이벤트 중 적어도 하나) 혹은 특정 오브젝트가 출력되는 영역을 포함하는 영역에서 이벤트가 발생하면, 해당 오브젝트에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 구동을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 확인된 종류의 입력 물체에 의한 입력 이벤트가 발생하면, 해당 입력 물체에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 구동을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 실행 정보에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 구동을 제어할 수 있다.
동작 7711에서 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생(예: 어플리케이션의 종료, 터치 입력 신호 미감지, 저전력 모드 진입, 햅틱 피드백 비지원 모드 설정, 사용자의 생체신호 미감지, 지정된 특정 제스처 이벤트 수신, 지정된 특정 센서 신호(예: 근접 센서의 센서 신호 또는 조도 센서의 센서 신호 등)의 수신 중 적어도 하나를 포함하는 이벤트)이 있는지 확인할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 없으면 동작 7705 이전으로 분기하여 이하 과정을 재수행할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트가 발생하면 동작 7703으로 분기하여 이벤트 발생에 따른 기능 수행 또는 스케줄 정보에 대응하는 기능 수행을 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 화면 정보, 입력 정보 또는 실행 정보 중 적어도 하나를 기반으로 하는 햅틱 모듈 구동을 종료할 수 있다. 햅틱 지원 모듈(7670)은 특정 이벤트(고정된 피드백을 출력하도록 요청하는 이벤트)가 발생하면 이에 대응하는 특정 햅틱 정보(수신된 정보의 종류에 관계없이 동일한 피드백을 제공하도록 설정된 정보)에 따른 햅틱 피드백을 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈(7670)은 특정 이벤트가 발생하면 화면 표시 변경 제어를 수행할 수 있다. 또는 햅틱 지원 모듈(7670)은 이벤트 발생에 대응하여 별도의 햅틱 모듈 구동을 중지하도록 제어할 수 있다.
도 128은 다양한 실시예에 따른 화면 정보 중 오브젝트 기반 햅틱 정보 운용 방법을 도시한다.
도 128을 참조하면, 동작 7801에서 햅틱 지원 모듈(7670)은 화면 정보 분석을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 디스플레이에 출력 중인 화면에 포함된 적어도 하나의 오브젝트 또는 디스플레이에 출력될 화면에 포함된 적어도 하나의 오브젝트 추출을 수행할 수 있다.
동작 7803에서 햅틱 지원 모듈(7670)은 예컨대 적어도 하나의 오브젝트 경계 영역 검출을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 일정 면이나 두께를 가지는 오브젝트의 가장자리 일정 영역 또는 오브젝트의 가장자리를 기준으로 일정 범위를 포함하는 경계 영역을 검출할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 소정의 두께나 면을 가지는 선(예: 직선, 곡선, 자유 곡선 등) 또는 선을 포함하는 일정 범위(예: 선을 기준으로 선에 인접된 일정 영역)를 경계 영역으로 검출할 수 있다. 햅틱 지원 모듈(7670)은 복수개의 영역을 구분하는 소정 두께나 면적을 가진 구획선(또는 구획선에 인접된 일정 영역)을 경계 영역으로 검출할 수 있다.
동작 7805에서 햅틱 지원 모듈(7670)은 검출된 경계 영역을 기준으로 영역별 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 경계선 영역에 제1 햅틱 정보, 경계선 영역의 바깥쪽 영역에 제2 햅틱 정보(예: 제1 햅틱 정보에 의해 구현되는 촉감과 다르게 정의된 정보), 경계선 영역의 안쪽 영역에 제3 햅틱 정보(예: 제2 햅틱 정보에 의해 구현되는 촉감과 다르게 정의된 정보 또는 제1 햅틱 정보에 의해 구현되는 촉감과 다르게 정의된 정보 중 적어도 하나)를 할당할 수 있다. 또 다른 실시예에서, 제1 햅틱 정보, 제2 햅틱 정보 또는 제3 햅틱 정보 중 적어도 하나를 서로 다른 형태의 촉감을 제공하는 햅틱 정보일 수 있다.
다양한 실시예에 따르면, 또는 햅틱 지원 모듈(7670)은 해당 경계 영역 기준으로 할당된 햅틱 정보를 화면 정보 데이터베이스(7631)에서 확인할 수 있다. 햅틱 지원 모듈(7670)은 화면 정보 데이터베이스(7631)로부터 경계선 영역에 할당된 제1 햅틱 정보, 경계 영역의 바깥쪽 영역에 할당된 제2 햅틱 정보, 경계 영역의 안쪽 영역에 할당된 제3햅틱 정보를 검출할 수 있다.
동작 7807에서 햅틱 지원 모듈(7670)은 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 디스플레이에 출력된 적어도 하나의 오브젝트를 선택하는 또는 지시하는 이벤트(예: 터치 이벤트 또는 호버링 이벤트)가 발생하는지 확인할 수 있다.
이벤트 발생이 있으면, 동작 7809에서 햅틱 지원 모듈(7670)은 이벤트 발생에 따른 해당 영역(예: 해당 오브젝트)에 매핑된 햅틱 정보 출력을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 오브젝트의 경계 영역을 기준으로 구분된 햅틱 정보 출력을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 오브젝트의 경계 영역의 바깥에서 발생한 이벤트에 대응하여 제1 햅틱 정보 출력을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 오브젝트 경계 영역에서 발생한 이벤트에 대응하여 제2 햅틱 정보 출력을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 오브젝트 경계 영역의 내측에서 발생한 이벤트에 대응하여 제3 햅틱 정보 출력을 제어할 수 있다. 또 다른 실시예에 따르면, 이벤트가 발생한 영역이 하나 이상일 수 있다. 예를 들어 손가락에 의해 터치 이벤트가 발생한 경우, 손가락이 접촉한 영역(예: 터치 신호가 발생하는 영역)은 오브젝트 경계 영역, 경계 영역의 바깥 영역, 또는 경계 영역 안쪽 영역 중 적어도 하나가 포함될 수 있다. 복수의 영역에서 이벤트가 발생한 경우, 햅틱 지원 모듈(7670)은 복수의 영역들의 중심점에서 이벤트가 발생한 것으로 판단할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 복수의 영역들에 가중치를 부여할 수 있다. 햅틱 지원 모듈(7670)은 복수의 영역들 중에 가중치가 높은 영역에서 이벤트가 발생한 것으로 판단할 수 있다. 예를 들면, 햅틱 지원 모듈(7670)은 이벤트가 발생한 복수의 영역들에 경계선 영역이 일부 포함될 경우, 경계영역이 선택된 것으로 판별할 수도 있다. 또는 햅틱 지원 모듈(7670)은 복수의 영역들에 할당된 가중치를 고려하여 이벤트가 발생한 지점을 판별할 수 있다. 예를 들어, 햅틱 지원 모듈(7670)은 경계 영역과, 경계 영역 내측 영역을 포함하는 복수의 영역들에서 이벤트가 발생하는 경우, 경계 영역의 가중치(예: 이벤트가 발생한 지점과 경계영역 간의 거리, 또는 이벤트(예: 터치) 면적 중 경계 영역에서 발생한 면적과 경계 영역 이외의 영역에서 발생한 면적 간의 차이)를 고려하여, 이벤트가 발생한 위치가 어떤 것인지 판단할 수 있다. 다양한 실시예에 따르면, 하나의 실시예에 따르면, 햅틱 지원 모듈(7670)은 이벤트가 발생한 영역 중 소정의 기준(예: 손가락 터치 시 손가락이 터치된 영역 중 일부 지점이나 일부 영역, 손가락 터치된 영역의 중심점이나 중심점 기준의 일부 영역, 손가락 터치된 영역의 가장자리 일부 지점이나 일부 영역, 혹은 손가락 터치 후 드래그되는 방향쪽의 가장자리 일부 지점이나 일부 영역)에 따라 소정의 지점이나 포인트를 해당 이벤트가 발생한 곳으로 판단할 수도 있다.
이벤트 발생이 없으면, 햅틱 지원 모듈(7670)은 동작 7809를 스킵할 수 있다.
동작 7811에서 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 없으면, 동작 7801 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료 관련 이벤트가 발생하면, 햅틱 지원 모듈(7670)은 화면 정보 분석에 따른 햅틱 정보 출력 기능을 종료할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 어플리케이션 실행에 따른 화면 출력을 제어하거나, 슬립 모드 상태(예: 디스플레이가 턴-오프되는 상태)로 천이되도록 제어할 수 있다.
도 129는 다양한 실시예에 따른 입력 물체 종류를 기반으로 하는 햅틱 정보 운용 방법을 도시한다.
도 129를 참조하면, 동작 7901에서 햅틱 지원 모듈(7670)은 입력 정보 분석을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력 물체의 종류를 분석할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 터치 기능을 지원하는 디스플레이에서 입력 물체에 의해 발생한 터치 이벤트를 수집할 수 있다. 햅틱 지원 모듈(7670)은 발생한 터치 이벤트에 의한 터치 이벤트가 발생한 영역의 크기를 기준으로 입력 물체의 종류를 판단할 수 있다. 햅틱 지원 모듈(7670)은 터치 이벤트가 발생한 영역의 크기가 지정된 크기 이하인 경우 입력 물체를 펜으로 판단할 수 있다. 햅틱 지원 모듈(7670)은 터치 이벤트가 발생한 영역의 크기가 지정된 크기 이상인 경우 입력 물체를 손가락으로 판단할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 전자 펜 인식과 관련한 장치(예: 전자 펜 탈착을 인식할 수 있는 스위치 장치, 전자 펜 인식과 관련한 통신 장치 등)를 기반으로 전자 펜 또는 손가락 구분을 수행할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 전자 펜에 배치된 다양한 전자 소자를 이용하여 전자 펜의 종류를 구분할 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 터치에 의해 발생한 오디오 신호나 진동 신호의 특성을 기반으로 입력 물체의 종류를 구분할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 입력 물체(예: 손톱, 손가락 관절, 손가락 끝, 손바닥)에 의해 터치가 발생하면, 마이크나 모션센서(예: 자이로센서, 가속도센서)를 통해 감지한 충격음이나 진동을 인식하여 입력 물체를 판별할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력 물체의 종류에 따라 다르게 발생하는 충격음이나 진동 신호의 특정 패턴이나 특징(예: 주파수, tone을 분석하여 어떠한 입력 물체에 의해 신호가 발생하였는지 판별할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 손톱 터치 또는 손가락 패드 터치 중 적어도 하나에 의해 발생하는 충격음이나 진동을 구분할 수 있다. 또한, 햅틱 지원 모듈(7670)은 펜의 펜 팁(pen tip) 또는 펜 뒷부분에 의한 터치의 충격음이나 진동을 구분할 수 있다. 햅틱 지원 모듈(7670)은 상술한 충격음이나 진동 신호 중 적어도 하나를 구분하여 입력 물체를 구분하고, 그에 따른 적어도 하나의 입력 정보 할당 및 출력을 설정할 수 있다. 다양한 실시예에 따르면 햅틱 지원 모듈(7670)은 상기 충격음, 상기 진동, 이벤트 발생 위치, 발생 면적, 발생 면의 형태 중 적어도 하나를 기반으로 입력 물체의 종류를 판별할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 이벤트 신호가 발생하는 면적의 모양과 형태 중 적어도 하나를 기반으로 터치스크린을 터치하는 정전식 스타일러스 펜 또는손가락 패드를 구분할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력 신호의 상태를 기반으로 입력 수단에 의해 발생한 입력 이벤트의 종류를 구분할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 터치 다운 이벤트, 터치 홀드 이벤트, 터치 드래그 이벤트, 터치 해제 이벤트, 호버링 이벤트(예: 비접촉 상태에서 발생하는 capacitance 변화에 따라 감지되는 이벤트, 혹은 터치 이벤트와 구분하기 위하여 정의한 신호 세기와 다른(지정된 신호 세기 이하 또는 이상) 크기의 capacitance 변화나 전압값 변화를 감지하는 이벤트)를 구분할 수 있다. 햅틱 지원 모듈(7670)은 터치 홀드 이벤트의 경우 홀딩된 시간에 따라 서로 다른 이벤트로 구분할 수도 있다. 햅틱 지원 모듈(7670)은 터치 드래그 이벤트의 경우 드래그 속도 또는 거리 중 적어도 하나를 기반으로 터치 드래그 이벤트를 다양한 이벤트 종류로 구분할 수 있다.
동작 7903에서 햅틱 지원 모듈(7670)은 예컨대 입력 수단 또는 입력 상태 중 적어도 하나에 따른 햅틱 정보 할당을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 전자 펜에 의해 발생한 입력 신호에 대응하여 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 펜의 종류에 대응하여 각기 다른 햅틱 정보 할당(예: 제1 특성의 전자 펜에 제1 햅틱 정보 할당, 제2 특성의 전자 펜에 제2 햅틱 정보 할당 등)을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 손가락에 의해 발생한 입력 신호에 대응하여 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 손가락의 종류에 따라 다양한 햅틱 정보 할당(예: 엄지손가락에 제3 햅틱 정보 할당, 검지에 제4 햅틱 정보(예: 3 햅틱 정보에 의해 구현되는 촉감과 다른 촉감을 정의한 정보) 할당)을 수행할 수 있다. 이 동작에서 엄지와 검지의 구분은 터치된 영역의 크기를 기반으로 구분될 수 있다.
동작 7905에서 햅틱 지원 모듈(7670)은 이벤트 발생이 있는지 확인할 수 있다. 이벤트 발생이 있으면, 동작 7907에서 이벤트 발생에 따라 햅틱 지원 모듈(7670)은 할당된 햅틱 정보 출력을 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 전자 펜 입력에 해당하는 이벤트 발생 시 그에 대응하는 제1 햅틱 정보 출력을 제어할 수 있다. 햅틱 지원 모듈(7670)은 손가락 입력에 대응하는 이벤트 발생 시 그에 대응하는 제3 햅틱 정보 출력을 제어할 수 있다.
이벤트 발생이 없으면, 햅틱 지원 모듈(7670)은 동작 7907을 스킵할 수 있다.
동작 7909에서 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 없으면, 동작 78301 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료 관련 이벤트가 발생하면, 햅틱 지원 모듈(7670)은 입력 정보 분석에 따른 햅틱 정보 출력 기능을 종료할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 어플리케이션 실행에 따른 화면 출력을 제어하거나, 슬립 모드 상태(예: 디스플레이가 턴-오프되는 상태)로 천이되도록 제어할 수 있다.
다양한 실시예에 따르면, 입력 신호의 종류에는 터치 입력, 호버링 감지, 근접 감지, 제스처 입력, 힘 입력, 진동 입력, 오디오 입력 중 적어도 하나를 포함할 수 있다. 입력 신호의 상태는 입력 신호의 종류에 따라 입력된 신호의 특성을 의미할 수 있다. 예컨대, 입력 신호 상태는 신호의 위치, 신호의 패턴, 신호 주파수, 신호의 지속 시간, 신호의 강도(amplitude), 신호의 크기, 신호의 분포 형태, 신호가 입력된 면적의 크기, 신호가 입력된 면적의 모양, 상기 면적에 해당하는 세부 신호 집합들의 분포, 상기 신호 또는 상기 세부 신호들의 시간에 따른 변화 중 적어도 하나를 포함할 수 있다. 입력 물체의 종류는 스타일러스 펜, 손가락과 같은 입력 수단 이외에도, 손톱, 손가락 관절, 고무, 나무 등과 같은 입력 물체를 포함할 수 있다. 입력 장치의 종류는 정전압방식, 저항막방식, 광학식, 전자기 유도방식, 초음파 감지, 진동 감지, 오디오(음파) 감지 중 적어도 하나를 적용한 입력 장치를 포함할 수 있으며, 키보드, 마우스, 3D 마우스, 조이스틱, 데이터글러브, HMD, HUD, 스마트 시계 등을 포함할 수 있다.
도 130은 다양한 실시예에 따른 실행 정보 조건 기반 햅틱 정보 운용 방법을 도시한다.
도 130을 참조하면, 동작 8001에서 햅틱 지원 모듈(7670)은 실행 정보 분석을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 특정 어플리케이션이 실행되어 특정 기능이 실행되면, 해당 기능 실행에 대응하여 발생한 실행 정보를 수집할 수 있다. 햅틱 지원 모듈(7670)은 수집된 실행 정보의 종류를 확인하고, 확인된 실행 정보가 특정 햅틱 정보를 출력하도록 지정된 정보인지 확인할 수 있다. 햅틱 지원 모듈(7670)은 이와 관련하여 실행 정보 데이터베이스(7635)를 확인하고, 실행 정보에 매핑된 햅틱 정보가 존재하는지 확인할 수 있다.
동작 8003에서 햅틱 지원 모듈(7670)은 예컨대 실행 정보별 햅틱 정보 할당을 수행할 수 있다. 햅틱 지원 모듈(7670)은 수집된 실행 정보가 실행 정보 데이터베이스(7635)에 존재하면, 매핑된 햅틱 정보를 확인할 수 있다.
동작 8005에서 햅틱 지원 모듈(7670)은 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 실행 정보가 지정된 조건을 만족하는 이벤트가 발생하는지 확인할 수 있다. 이벤트 발생이 있으면, 동작 8007에서 이벤트 발생에 따라 햅틱 지원 모듈(7670)은 할당된 햅틱 정보 출력을 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 실행 정보의 조건 만족에 대응하여 해당 실행 정보에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 구동을 제어할 수 있다. 한 실시예에 따르면, 전자 장치는 헬스 케어 기능을 실행할 수 있다. 햅틱 지원 모듈(7670)은 헬스 케어 기능 실행에 따라 심박 정보를 실행 정보로서 수집할 수 있다. 햅틱 지원 모듈(7670)은 수집된 심박 정보가 지정된 값 이상이 되거나 또는 지정된 값 이하가 되는 이벤트가 발생하는 경우 실행 정보에 할당된 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 만보기 기능 실행에 대응하여 운동 횟수 값을 실행 정보로서 수집할 수 있다. 햅틱 지원 모듈(7670)은 운동 횟수 값이 지정된 값 이상이 되는 이벤트가 발생하는 경우 할당된 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 특정 화면 정보 상에서 사용자가 검색하고자 하는 일정 영역을 안내하는 방향성 햅틱 정보를 출력할 수 있다. 햅틱 지원 모듈(7670)은 검색 영역 상에서 특정 이벤트가 발생하면, 지정된 햅틱 정보 출력을 제어할 수 있다.
이벤트 발생이 없으면, 햅틱 지원 모듈(7670)은 동작 8007을 스킵할 수 있다.
동작 8009에서 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트 발생이 없으면, 동작 8001 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료 관련 이벤트가 발생하면, 햅틱 지원 모듈(7670)은 입력 정보 분석에 따른 햅틱 정보 출력 기능을 종료할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 어플리케이션 실행에 따른 화면 출력을 제어하거나, 슬립 모드 상태(예: 디스플레이가 턴-오프되는 상태 혹은 센서들의 동작여부를 판단하여 관리하는 센서허브(또는 저전력 프로세싱 모듈)만 동작하는 상태 또는 저전력모드 상태)로 천이되도록 제어할 수 있다.
다양한 실시예에 따르면, 한 실시예에 따른 햅틱 정보 운용 방법은 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석 동작, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 동작, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 화면 정보 분석 동작은 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트를 검출하는 동작, 상기 오브젝트별로 서로 다른 햅틱 정보를 할당하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 오브젝트의 경계 영역을 검출하는 동작, 상기 경계 영역과, 상기 경계 영역 이외의 영역에 서로 다른 햅틱 정보를 할당하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 오브젝트의 경계 영역에 제1 햅틱 정보를 할당하는 동작, 상기 오브젝트의 내측에 제2 햅틱 정보를 할당하는 동작, 상기 오브젝트의 외측에 제3 햅틱 정보를 할당하거나 또는 햅틱 정보를 미할당하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 오브젝트들 중 특정 오브젝트 선택에 대응하여 다른 오브젝트들에 할당된 햅틱 정보를 변경하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트 형상에 대응하는 햅틱 정보를 할당하는 동작, 상기 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트의 내용을 분석하여 상기 오브젝트의 재질에 따른 햅틱 정보를 할당하는 동작, 상기 오브젝트와 관련한 설명 정보에 대응하는 햅틱 정보를 할당하는 동작 중 적어도 하나를 설정할 수 있다.
다양한 실시예에 따르면, 상기 입력 정보 분석 동작은 입력 물체의 종류를 분석하는 동작, 상기 입력 물체에 의해 발생하는 입력 신호의 종류를 분석하는 동작, 상기 입력 신호의 상태를 분석하는 동작 중 적어도 하나를 설정할 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 입력 물체별로 서로 다른 햅틱 정보를 할당하는 동작, 상기 입력 신호의 종류에 따라 서로 다른 햅틱 정보를 할당하는 동작, 상기 입력 신호의 상태에 따라 서로 다른 햅틱 정보를 할당하는 동작 중 적어도 하나를 설정할 수 있다.
다양한 실시예에 따르면, 상기 실행 정보 분석 동작은 특정 기능 실행에 따라 수집된 실행 정보를 확인하는 동작, 상기 실행 정보별로 서로 다른 햅틱 정보를 할당하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 이벤트 발생 시 전자 장치의 배치 상태(예: 3차원 공간상의 전자 장치의 포즈 상태 혹은 모션 변화 상태, 지면(또는 수평선)을 기준으로 전자 장치의 기울어진 각도, 지면에 수직한 축을 기준으로 전자 장치의 기울어진 각도 또는 회전된 각도 등)를 확인하는 동작, 상기 전자 장치의 배치 상태에 따라 상기 이벤트 발생과 관련한 터치 영역에서의 상기 햅틱 피드백 출력 지점을 다르게 설정하는 동작을 설정할 수 있다.다양한 실시예에 따르면, 상기 출력하는 동작은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트 내에서의 이벤트 발생 위치, 이벤트 신호 강도(예: 감지된 압력크기, 전압값 크기, 터치 또는 호버링에의한 capcacitance값 크기, 입력 영역 크기(예: 터치 면적) 중 적어도 하나), 이벤트 발생 지점과 오브젝트 간의 근접도(예: 오브젝트와 이벤트 발생 지점간 거리 혹은 오브젝트 표면과 입력물체간 근접도 중 적어도 하나) 중 적어도 하나에 대응하여 서로 다른 햅틱 이벤트가 출력되는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 오브젝트의 중심부와 상기 오브젝트의 경계 영역에서 출력되는 햅틱 피드백을 서로 다르게 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 오브젝트에 가해지는 압력이 지정된 값과 다른 경우(예: 미만인 경우) 햅틱 피드백 출력을 억제하는 동작, 상기 오브젝트에 가해지는 신호 강도가 지정된 값과 다른 경우(예: 이상인 경우) 지정된 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 오브젝트에 가해지는 신호 강도가 지정된 값과 다른 경우(예: 이상인 경우) 상기 오브젝트에 설정된 기능을 실행하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 지정된 참조 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 참조 햅틱 피드백을 출력하는 동작은 상기 오브젝트가 배치된 영역을 지시하는 방향성 햅틱 피드백을 출력하는 동작, 지정된 크기 이하의 햅틱 피드백을 출력하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 제1 이벤트의 이동 속도가 지정된 속도 이상인 경우 상기 제1 이벤트의 현재 위치와 상기 오브젝트와의 거리 및 상기 이동 속도에 대응하여 상기 오브젝트에 대응하는 햅틱 피드백을 출력 시점을 조절하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 햅틱 피드백 출력을 억제하는 동작, 상기 오브젝트 상에서 제1 이벤트가 수신되면 상기 지정된 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 오브젝트 상에서 상기 제1 이벤트 또는 상기 제1 이벤트와 다른 제2 이벤트가 수신되면, 상기 오브젝트에 대응하는 기능을 실행하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 전자 장치의 움직임 방향 또는 파지 위치 중 적어도 하나에 대응하여 디스플레이의 일정 위치에 적어도 하나의 오브젝트가 표시되면, 상기 오브젝트의 출력 위치에 대응하여 다른 햅틱 피드백이 출력되도록 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 오브젝트 내에 포함된 복수의 영역들에 서로 다른 햅틱 피드백이 출력되도록 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 오브젝트 이외의 영역에서 이벤트가 발생할 경우, 상기 이벤트 위치에서 상기 오브젝트가 위치한 방향을 지시하는 방향 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 햅틱 피드백에 대응하는 정보를 타 전자 장치에 전송하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 햅틱 피드백을 출력과 관련하여 디스플레이를 턴-오프 상태로 전환하거나 턴-오프 상태를 유지하는 동작이 설정될 수 있다. 다양한 실시예에 따르면, 상기 출력하는 동작은 전자 장치의 착용이 감지되면 착용 감지된 영역(예: 신체와 접촉된 전자 장치의 하우징 부분, 햅틱 모듈이 배치된 영역 중 일부 영역, 햅틱 모듈에 의해 )에 지정된 햅틱 피드백을 출력하는 동작, 지정된 위치(GPS 혹은 Wifi 신호에 기반하여 지정된 실내외의 일정 위치 또는 일정 위치영역 범위)에 전자 장치가 진입하는 경우 지정된 햅틱 피드백을 출력하는 동작, 전자 장치의 착용이 감지되면 착용된 전자 장치 전체(예: 전자 장치에 배치된 햅틱 모듈 전체 또는 전자 장치 전체에서 햅틱 피드백을 느낄 수 있도록 설정된 적어도 일부 햅틱 모듈)에 지정된 햅틱 피드백이 전달되도록 출력하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 전자 장치가 지정된 위치를 벗어나거나 상기 전자 장치 착용이 해제되면 상기 햅틱 피드백 출력을 종료하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 수집된 센서 신호를 기반으로 수집된 정보와 설정된 목표치의 비교에 따라 적어도 하나의 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 전자 장치의 디스플레이 영역 또는 베젤 영역 중 적어도 한 곳에서 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 서로 다른 형태의 햅틱 피드백을 출력하는 동작, 상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 햅틱 피드백의 출력 위치를 다르게 하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 현재 수집된 센서 신호 또는 일정 기간 누적된 센서 신호에 대응하여 지정된 특정 형태의 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 센서 신호 기반으로 검출된 속도를 조정하도록 가이드하는 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 속도를 높이도록 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하는 동작, 상기 속도를 낮추도록 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 실행 정보 분석 결과에 대응하여 획득된 시간 정보와 관련한 적어도 하나의 방향성을 가진 햅틱 피드백을 출력하는 동작, 상기 실행 정보 분석 결과에 대응하여 획득된 숙면도 크기에 대응하는 햅틱 피드백을 출력하는 동작, 상기 실행 정보 분석 결과에 대응하여 획득된 스트레스 지수 크기에 대응하는 햅틱 피드백을 출력하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정된 정보를 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 키워드 입력 빈도에 대응하여 키워드별로 서로 다른 햅틱 피드백을 출력하도록 설정된 정보를 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 오브젝트 선택하는 이벤트의 지속 시간, 압력 크기, 터치 면적, 또는 전하량 크기 중 적어도 하나에 대응하여 키워드와 관련한 기능 또는 상기 오브젝트와 관련한 기능을 실행하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 키워드 관련 문자 입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작에 대응하여 상기 키워드와 관련한 햅틱 피드백을 다르게 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 오브젝트가 복수개인 경우 키워드와 상기 오브젝트 간의 유사도 또는 신뢰도에 대응하여 서로 다른 햅틱 피드백을 상기 오브젝트에 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 전체 화면 영역 중 현재 디스플레이 표시되지 않은 영역에 배치된 목표 오브젝트를 지시하는 방향성 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 디스플레이에 표시된 적어도 하나의 오브젝트에 상기 방향성 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 분석 결과에 대응하여 상기 목표 오브젝트 종류에 따라 서로 다른 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 할당하는 동작은 상기 목표 오브젝트가 다른 오브젝트에 의해 가려진 경우, 상기 목표 오브젝트가 노출된 경우, 상기 목표 오브젝트의 크기, 상기 목표 오브젝트의 위치 중 적어도 하나에 대응하여 서로 다른 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 이벤트 발생 위치와 상기 목표 오브젝트 간의 거리에 대응하여 서로 다른 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 방법은 전체 화면 영역 중 검색과 관련한 목표 오브젝트가 포함된 화면 영역을 디폴트로 디스플레이에 표시하는 동작이 설정될 수 있다.
다양한 실시예에 따르면, 상기 출력하는 동작은 상기 디스플레이 표시된 화면 영역 변경과 관련한 이벤트 종류에 대응하여 서로 다른 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
도 131은 다양한 실시예에 따른 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다. 도 131에 나타낸 햅틱 정보 운용은 화면 정보 분석 기반의 햅틱 정보 운용이 될 수 있다.
도 131을 참조하면, 한 실시예에 따른 전자 장치(8100)의 디스플레이(8105)는 상태 8110에서와 같이 가상 입력 오브젝트(8111)을 출력할 수 있다. 가상 입력 오브젝트(8111)은 문자 입력과 관련한 적어도 하나의 오브젝트들을 포함할 수 있다. 예컨대, 가상 입력 오브젝트(8111)은 적어도 하나의 가상 숫자 키 관련 오브젝트, 적어도 하나의 가상 문자 키 관련 오브젝트, 적어도 하나의 가상 기능 키 관련 오브젝트를 포함할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8111)에 포함된 적어도 하나의 오브젝트들에 제1 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8111)에 포함된 전체 오브젝트들에 동일한 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8111)에 포함된 특정 오브젝트 예컨대 가상 숫자 키 관련 오브젝트, 가상 문자 키 관련 오브젝트, 가상 기능 키 관련 오브젝트 중 적어도 하나를 선택하는 이벤트가 발생하면 제1 햅틱 정보 기반의 햅틱 모듈 제어를 수행할 수 있다.
상술한 가상 입력 오브젝트(8111)은 가상 키보드의 예를 보여주는데, 소프트웨어적인 GUI 레이아웃에 의해 여러 키들이 배치된 형태일 수 있다. 각 키들이 배치된 영역에서 터치나 호버링에 의한 입력 이벤트가 감지되면, 햅틱 지원 모듈(7670)은 이벤트가 감지된 키에 입력이 있음을 알려 주는 오디오나 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 키의 영역이 아닌 영역에서 입력 이벤트가 발생하는 경우 햅틱 피드백을 발생시키지 않도록 제어할 수 있다. 가상 키보드는 디스플레이의 형태, 어플리케이션에 따라 다양한 변형을 가질 수 있다. 따라서 가상 키보드를 통해 입력하는 도중 GUI 레이아웃과 키들의 배치가 달라질 수 있다. 예를 들어 가로모드와 세로모드를 모션센서(예: 가속도 센서, 자이로 센서, 틸트 센서 혹은 중력센서)를 통해 감지할 수 있는 전자 장치(8100)를 가로모드에서 QWERTY방식의 가상 키보드를 이용하여 문자를 입력하다가 도중에, 상기 전자 장치(8100)를 회전시키는 동작을 감지하여 세로모드로 전환되면, 가상 키보드의 위치가 이에 따라 바뀌는 동시에 가상키보드 자체도 T9이나 특정 전자 장치(8100)에서 사용되던 숫자키 매핑 방식의 레이아웃으로 바뀔 수 있다. 햅틱 지원 모듈(7670)은 각 키들 간 상대적인 방향이나 거리에 따라서 서로 다른 햅틱 피드백을 제공하여 현재 입력하는 키와 다른 키의 구분을 지원할 수 있다. 이와 관련하여, 햅틱 지원 모듈(7670)은 GUI 레이아웃(예: 디스플레이에 표시된 오브젝트들의 배치)에 대응하는 햅틱 피드백용 햅틱 레이아웃을 설정할 수 있다. 여기서, GUI 레이아웃과 햅틱 레이아웃은 서로 상이할 수 있다.
다양한 실시예에 따르면, 디스플레이는 상태 8120에서와 같이 가상 입력 오브젝트(8112)를 출력할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8112)에 대하여 행 단위 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8112)에 포함된 가상 키 관련 오브젝트들에 대하여 각각의 행 단위로 서로 다른 햅틱 정보를 할당할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 제1 행 오브젝트들(8121)에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제2 행 오브젝트들(8122)에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제3 행 오브젝트들(8123)에 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제4 행 오브젝트들(8124)에 제4 햅틱 정보를 할당할 수 있다. 제1 행 오브젝트들(8121)에 포함된 특정 오브젝트를 선택 또는 지시하는 이벤트가 발생하면, 햅틱 지원 모듈(7670)은 제1 햅틱 정보를 기반으로 햅틱 모듈의 출력을 제어할 수 있다. 제2 행 오브젝트들(8122)에 포함된 특정 오브젝트와 관련한 이벤트가 발생하면, 햅틱 지원 모듈(7670)은 제2 햅틱 정보(예: 제1 햅틱 정보에 설정된 촉감, 질감, 진동 강도(또는 세기), 진동 패턴, 진동 주기 중 적어도 하나를 다르게 구현하도록 정의한 정보)를 기반으로 햅틱 모듈의 출력을 제어할 수 있다.
다양한 실시예에 따르면, 디스플레이는 상태 8130에서와 같이 가상 입력 오브젝트(8113)을 출력할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8113)에 대하여 열 단위 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8113)에 포함된 가상 키 관련 오브젝트들에 대하여 각각의 열 단위로 서로 다른 햅틱 정보를 할당할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 제1 열 오브젝트들(8131)에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제2 열 오브젝트들(8132)에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제3 열 오브젝트들(8133)에 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제4 열 오브젝트들(8134)에 제4 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제5 열 오브젝트들(8135)에 제5 햅틱 정보 할당, 제6 열 오브젝트들(8136)에 제6 햅틱 정보 할당, 제7 열 오브젝트들(8137)에 제7 햅틱 정보 할당, 제8 열 오브젝트들(8138)에 제8 햅틱 정보 할당을 수행할 수 있다. 상술한 제1 내지 제8 햅틱 정보는 서로 다른 촉감이나 질감을 표현하도록 정의된 정보를 포함할 수 있다. 다양한 실시예에 따르면, 제1 내지 제8 햅틱 정보는 서로 이웃하지 않는 열에서는 동일한 햅틱 정보를 가질 수도 있다. 예컨대, 제3 햅틱 정보는 제1 햅틱 정보 또는 제5 햅틱 정보와 동일한 정보를 가지도록 설정될 수 있다.
상술한 바와 같이, 햅틱 지원 모듈(7670)은 각 행별 또는 열별로 다른 강도, 패턴, 방향성, 질감 등을 주어서 사용자가 현재 입력하는 키의 상대적 위치를 파악할 수 있도록 지원할 수 있다. 예를 들어 상태 8130의 경우에는 각 손가락마다 입력하는 키들은 동일한 햅틱 피드백을 제공할 수 있어 자판 입력 훈련이나 자판 입력 습관 교정 시 활용할 수 있다.
다양한 실시예에 따르면, 디스플레이는 상태 8140에서와 같이 가상 입력 오브젝트(8114)를 출력할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8114)에 대하여 일정 가상 키 그룹별 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8114)에 포함된 가상 키 관련 오브젝트들에 대하여 각각의 가상 키 그룹별로 서로 다른 햅틱 정보를 할당할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 제1 그룹 오브젝트들(8141)에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제2 그룹 오브젝트들(8142)에 제2 햅틱 정보를 할당할 수 있다. 제1 햅틱 정보 및 제2 햅틱 정보는 서로 다른 촉감이나 질감을 표현하도록 정의된 정보를 포함할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 키 그룹에 포함된 적어도 하나의 키를 참조 영역으로 설정하고, 참조 햅틱 피드백을 제공할 수도 있다. 한 실시예에 따르면, 상태 8140에서 제1 그룹 오브젝트(8141)에 포함된 S는 하향 화살표에 대응하도록 설정될 수 있으며, 왼손 중지가 위치할 수 있다. 제1 그룹 오브젝트(8141)에 포함된 다른 키들은 상기 S를 중심으로 각각 특정 방향의 화살표 역할을 수행할 수 있다. 여기서 햅틱 지원 모듈(7670)은 S에 제공하는 햅틱 정보를 제1 그룹 오브젝트(8141)에 포함된 다른 키들에 비하여 특성(예: 햅틱 강도, 거친 정도, 주파수, 진동 주기, 진동 유지 시간 중 적어도 하나)이 다르게 설정된 햅틱 정보를 할당하여, S를 참조 영역으로 정의할 수 있다.
다양한 실시예에 따르면, 참조 햅틱 피드백은 해당하는 키나 키 그룹의 위치를 판별하는 탐색 동작에 대응할 수도 있다. 예를 들어 키가 배치된 키보드의 표면이나 터치스크린 표면에 터치를 위치한 채 드래깅할 경우, 혹은 호버링 상태에서 모션을 취할 경우 햅틱 지원 모듈(7670)은 참조 영역의 위치를 알 수 있도록 참조 햅틱 피드백을 제공한다. 햅틱 지원 모듈(7670)은 해당 터치 또는 호버링 관련 신호가 탐색 동작으로 판단되면, 입력이 감지되는 영역에 따라서 다양한 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 지정된 특정 키(예: 특정 기능 실행이 할당된 키) 예컨대 S 키 영역에서 탐색 동작이 발생한 경우 일시적으로 강한 진동이나 특정한 패턴의 햅틱 피드백을 제공할 수 있다. 혹은 햅틱 지원 모듈(7670)은 S 키 영역이 아닌 외부 영역, 예를 들어 S에 인접한 F키 영역에서 탐색 동작이 감지되면, S 방향으로 방향성을 가진 햅틱 패턴을 발생시키도록 제어할 수도 있다.
또는 햅틱 지원 모듈(7670)은 탐색 동작으로 판단되면, 상기 참조 영역만 지정된 햅틱 정보를 할당할 수 있다. 이에 대응하여, 햅틱 지원 모듈(7670)은 참조 영역 이외의 영역에서 발생하는 입력 신호에서는 별도의 햅틱 피드백을 출력하지 않도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 참조 영역에서 발생하는 입력 신호에 대응하여 지정된 햅틱 정보에 대응하는 소정의 햅틱 피드백을 제공할 수 있다. 상술한 햅틱 지원 모듈(7670)은 참조 영역에서만 지정된 햅틱 피드백을 출력함으로써 사용자가 참조 영역을 찾는데 보다 집중할 수 있도록 지원할 수 있고, 디스플레이를 보지 않고 손가락을 이동하는 것만으로도 사용자가 쉽게 참조 영역 또는 선택을 희망하는 영역을 인지할 수 있도록 지원할 수 있다. 일실시예에 따르면, 햅틱 지원 모듈(7670)은 참조 영역에서 발생하는 입력 신호가 소정 시간 이상 발생하면 지정된 햅틱 정보에 대응하는 소정의 햅틱 피드백을 제공을 중지하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 가상 키입력 오브젝트에서 터치스크린 상에 입력이 발생했을 때, 지정된 값보다 작은 크기의 입력 신호가 입력될 경우 지정된 제1 햅틱 정보에 따른 햅틱 피드백을 발생시킬 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 지정된 기준보다 터치 입력의 접촉 면적이 좁거나, 터치 입력의 힘(force)이 작거나 혹은 전하량, 입력된 음량이 낮은 경우에는 지정된 제1 햅틱 정보에 따른 햅틱 피드백을 접촉이 발생한 터치스크린 영역에 발생시키거나 일정 진동을 발생시키도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 제1 햅틱 정보와 관련한 입력을 적용하지 않도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 지정된 값보다 큰 입력(예: 지정된 압력보다 큰 압력, 또는 지정된 터치 유지 시간보다 긴 터치 등)이 발생하면, 해당 입력에 대응하는 실제 기능 수행을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 제2 햅틱 정보에 따른 햅틱 피드백을 발생시키도록 제어할 수도 있다.
상술한 키 그룹은 손가락 위치에 따라 구분하고, 서로 다른 햅틱 피드백을 가지도록 설정될 수 있다. 예컨대, 왼손 새끼손가락은 1, q, a, z를 입력할 때 사용하고, 왼손 약지는 2, w, s, x를 입력할 때 사용할 수 있다. 따라서 햅틱 지원 모듈(7670)은 각 손가락별 키들의 그룹을 나누고 각각의 그룹에 서로 다른 햅틱 피드백을 제공하도록 설정할 수 있다. 손가락별 키 영역 그룹은 동적으로 변화할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 디스플레이에서 입력신호의 발생 위치 이동이 지정된 기준보다 빠른 경우, 입력 신호에 대응하는 지정된 햅틱 정보 기반의 햅틱 피드백만 제공할 수 있다. 햅틱 지원 모듈(7670)은 해당 입력 신호에 의해 선택되거나 지시되는 오브젝트와 관련한 기능 실행은 억제하도록 제어할 수 있다. 추가적으로 특정 오브젝트와 관련한 영역에 진입하기 이전에 일정 거리만큼 접근하면, 햅틱 지원 모듈(7670)은 지정된 시간 이전에 지정된 햅틱 정보 기반의 햅틱 피드백을 발생시키도록 제어할 수 있다. 예를 들어 터치스크린 상에서 일정 속도의 터치 드래그 이벤트 또는 호버링 위치 이동 이벤트(예: 호버링을 유지한 채 위치가 이동하는 이벤트)가 발생하면, 햅틱 지원 모듈(7670)은 터치 드래그 이벤트 또는 호버링 위치 이동 이벤트의 방향과 속도를 예측하여 일정 영역에 지정된 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈(7670)은 터치 드래그 이벤트 또는 호버링 위치이동 이벤트가 일정 영역에 진입하기 이전의 일정 거리나 영역에서 지정된 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다. 상술한 동작을 통하여, 햅틱 지원 모듈(7670)은 터치 드래그의 이동 속도 또는 호버링 위치 이동의 이동 속도가 지정된 속도 이상으로 빠른 경우, 지정된 영역에서 발생하는 햅틱 피드백이 정상적으로 사용자에게 제공되지 않는 상황(예: 손가락 등의 터치 물체가 지정된 영역을 지나고 난 후 햅틱 피드백이 지정된 영역에 제공되어 사용자가 햅틱 피드백을 제공받지 못하는 상황)을 보상할 수 있다.
또는 햅틱 지원 모듈(7670)은 터치 이벤트 또는 호버링 이벤트가 일정 영역을 지나간 이후 일정 시간 이내에 지정된 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 터치 이벤트 또는 호버링 이벤트가 디스플레이에 출력된 오브젝트와 관련한 정점을 지난 후 최대 마찰력을 느끼도록 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 사용자 입력 위치(예: 터치 이벤트가 입력되는 위치나 터치 드래그 이벤트에 의해 터치 신호가 감지 되는 위치 혹은 호버링 이벤트 발생 위치)가 특정 오브젝트의 경계 영역을 지나갈 때에 해당 오브젝트와, 해당 오브젝트의 경계 영역을 이루는 가상적인 높이 정보를 기반으로 형성된 정점이나 각도 차가 일정 크기 이상으로 변하는 위치를 지난 후 소정의 시간 이내에 일정 크기 이상의 마찰력이나 저항감을 제공하도록 설정된 제1 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 일정 크기 이상의 마찰력이나 저항감을 느끼도록 하기 위해 제1 햅틱 정보 기반의 햅틱 피드백 제공 직전에 일정 크기의 부드러운 느낌을 주는 제2 햅틱 정보 기반의 햅틱 피드백을 제공하도록 제어할 수 있다. 추가로 햅틱 지원 모듈(7670)은 사용자 입력에 따른 이벤트 이동이 지정된 크기 이하 속도인 경우 지정된 제1 햅틱 정보 기반의 햅틱 피드백을 제공하도록 제어할 수 있다.
다양한 실시예에 따르면, 특정 햅틱 피드백이 제공되는 복수의 오브젝트 영역들에서 연속적으로 터치 이벤트가 발생하면 햅틱 지원 모듈(7670)은 복수의 오브젝트 영역들의 경계 영역에서 사용자 입력(예: 터치 이벤트)이 이전 오브젝트 영역을 나가는 느낌과, 이후 오브젝트 영역의 진입하는 느낌을 가지도록 특정 햅틱 정보 기반의 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 특정 오브젝트의 중심에서 오브젝트의 경계 영역으로 사용자 입력이 이동할 때, 지정된 경계 영역 이전까지는 상대적으로 약한 햅틱 강도나 상대적으로 부드러운 거칠음(roughness)의 정도를 유지하도록 설정된 햅틱 정보 기반의 햅틱 피드백 출력이 되도록 제어할 수 있다. 또는 오브젝트 내부에서 오브젝트의 경계 영역 방향으로 사용자 입력이 이동할수록 점진적으로 햅틱 강도나 거침 정도를 증가시키도록 설정된 햅틱 정보 기반의 햅틱 피드백 출력을 제어할 수 있다. 그리고 햅틱 지원 모듈(7670)은 경계 영역에서 일정 크기 이상 혹은 상대적으로 가장 강한 정도의 햅틱 강도 또는 거침을 표현하도록 설정된 햅틱 정보에 따른 햅틱 피드백 출력을 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 특정 오브젝트의 바깥 영역에서 경계 영역으로 진입하는 사용자 입력에 대응하여 오브젝트 내부에서 바깥쪽으로 이동하는 사용자 입력에 비해 상대적으로 강한 햅틱 강도 또는 거친 정도를 가지는 햅틱 정보 기반의 햅틱 피드백 출력을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 가상 햅틱 모델링의 높이 혹은 깊이 정도에 대응하도록 강도 또는 거침(roughness) 중 적어도 하나를 운용할 수 있다.
상술한 동작 지원을 기반으로, 햅틱 지원 모듈(7670)은 예컨대, 디스플레이에 표시된 가상 키보드에서 물리적인 키보드에서 느낄 수 있는 촉감을 시뮬레이션하기 위하여, 키 오브젝트의 안쪽에서 바깥쪽으로 키 오브젝트 표면을 따라 손가락을 문지르는 동작에 대응하는 햅틱 피드백, 키 오브젝트의 바깥쪽에서 키 오브젝트의 안쪽으로 이동하는 손가락 동작에 대응하는 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 물리 키 경계 영역에서 느껴지는 피부 당김이나 마찰력에 대응하는 햅틱 피드백을 가상 키 경계 영역에서 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 손가락의 움직임 방향과 오브젝트의 형상에 따라 구분되는 다양한 햅틱 피드백을 다르게 표현할 수 있다. 예를 들어 햅틱 지원 모듈(7670)은 오브젝트의 경계 영역 형상을 따라서 손가락으로 터치하여 움직이는 경우에는, 경계 영역의 배치방향과 직교방향으로 움직이는 경우에 비해 보다 부드러운 촉각을 제공하도록 설정된 햅틱 정보 기반의 햅틱 피드백 출력을 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력 물체(예: 손가락, 펜, 손톱, 공, 지우개 등)의 형상에 대한 모델링을 통해 햅틱 피드백을 제공할 햅틱 레이아웃을 설정할 수 있다. 한 실시예에 따르면, 일정 크기나 면적의 터치 영역을 가지는 입력 물체가 각 키 경계 영역들 사이가 좁은 물리적 키보드의 경계 영역을 터치하는 상황에 대응하도록, 햅틱 지원 모듈(7670)은 상기 입력 물체에 의한 터치 이벤트 발생 시 해당 키들의 경계 영역들에는 햅틱 피드백을 제공하지 않거나 상대적으로 약하거나 부드러운 피드백을 제공하는 햅틱 레이아웃을 설정할 수 있다.
물리적 키보드의 경우 각 키들 사이 영역은 움푹 패어있어서, 펜이나 손톱처럼 작은 물체만 해당 키 사이의 영역을 접촉할 수 있으며, 손가락과 같이 큰 물체는 접촉할 수 없다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 이러한 물리적 키보드와 입력 물체간의 상황을 가상 키보드에서 시뮬레이션 할 수 있다. 예를 들어, 오브젝트들 사이에 형성된 중간 영역(예: 각 오브젝트들의 경계 영역들 사이 영역) 중 적어도 일부 영역 상에서 발생하는 터치 신호나 터치 드래그 신호, 혹은 호버링 신호가 감지되고, 해당 신호가 감지되는 면적이나 길이(터치 궤적이나 호버링 궤적에 의한 신호의 길이)가 소정 크기 이하(예: 상기 중간 영역보다 좁거나 짧음)인 경우, 햅틱 지원 모듈(7670)은 상기 중간 영역에 대응하는 미리 지정된 햅틱 피드백을 출력하도록 햅틱 레이아웃을 설정할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 오브젝트들 사이에 형성된 중간 영역, 예컨대, 각 오브젝트들의 경계 영역들 사이 영역을 적어도 일부 포함하는 터치 신호나 터치 드래그 신호, 혹은 호버링 신호가 감지되고, 해당 신호가 발생하는 면적이나 길이가 소정 크기(예: 상기 중간 영역의 면적이나 길이) 보다 큰 경우, 햅틱 지원 모듈(7670)은 미리 지정된 특정 햅틱 정보 기반의 햅틱 피드백을 출력하지 않도록 햅틱 레이아웃을 설정할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력장치를 통해 입력되는 입력 물체의 접촉 시 발생하는 음파나 진동 패턴을 인식하여, 해당 입력 물체의 종류를 판별할 수 있다. 햅틱 지원 모듈(7670)은 판별된 입력 물체 종류에 대응하여 경계 영역들 사이에서의 햅틱 피드백 on/off여부, 햅틱 피드백 종류 설정 등을 제어할 수 있다. 예컨대 디스플레이에 입력 물체를 접촉시키면, 햅틱 지원 모듈(7670)은 이 때 입력장치(예: 마이크, 초음파센서, 가속도 센서, 진동감지 센서)에 의해 발생하는 음파나 진동을 수집하고, 인식함으로써 입력 물체의 종류를 판별할 수 있다. 다양한 실시예에 따르면 햅틱 지원 모듈(7670)은 상기 음파, 상기 진동, 이벤트 발생 위치, 발생 면적, 발생 영역의 형상 중 적어도 하나를 인식하여 입력물체의 종류를 판별할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 이벤트 신호가 발생하는 면적의 모양과 형태를 기반으로 터치스크린을 터치하는 정전식 스타일러스 펜과 손가락 패드를 구분할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 예컨대, 상대적으로 작은 이벤트 발생 면적 또는 상대적으로 특정 형상(예: 원형)에 가까운 형태 중 적어도 하나를 기반으로 이벤트를 발생시킨 입력 물체를 펜 또는 손가락으로 인식할 수 있다.
도 132는 다양한 실시예에 따른 복합 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다.
도 132를 참조하면, 다양한 실시예에 따르면, 디스플레이는 가상 기능키(예: shift key(8151)) 동작 여부에 따라 상태 8130에서와 같이 오브젝트(8113) (예: 소문자 및 숫자 입력용 가상 키보드)을 출력할 수도 있고, 상태 8150에서와 같이 가상 입력 오브젝트(8115)(예: 대문자 및 특수문자 입력용 가상 키보드)를 출력할 수 있다. 또한, 상기 가상 기능키의 토글 상태를 디스플레이에서 기호나, 색상, 크기, 형상 변화 중 하나 이상을 통해 표시할 수도 있다. 일 실시예에 따르면, 상태 8130일 경우 햅틱 지원 모듈(7670)은 제1 햅틱 피드백을 가상 키 8131부터 8138까지 중 적어도 하나의 선택에 대응하여 출력되도록 할당할 수 있다. 또한 햅틱 지원 모듈(7670)은 상태 8150인 경우에 상기 가상 키들 중 적어도 하나의 선택에 대응하여 제2 햅틱 피드백이 출력되도록 할당할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8115)에 대하여 열 단위 햅틱 정보 할당을 수행하되, 특정 가상 기능 키 선택과 관련하여 이전과 다른 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8115)에 포함된 가상 키 관련 오브젝트들 중 제1 기능 키 오브젝트(8151)이 선택된 상태일 경우(예: 터치 이벤트가 발생하여 유지되는 경우이거나, 토글 기능을 통해 선택이 유지된 경우) 제1 열 오브젝트들(8152)에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 기능 키 오브젝트(8151)가 선택된 상태일 경우, 제2 열 오브젝트들(8153)에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 기능 키 오브젝트(8151)가 선택된 상태일 경우, 제3 열 오브젝트들(8154)에 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 기능 키 오브젝트(8151)가 선택된 상태일 경우, 제4 열 오브젝트들(8155)에 제4 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 기능 키 오브젝트(8151)가 선택된 상태일 경우, 제5 열 오브젝트들(8156)에 제5 햅틱 정보 할당, 기능 키 오브젝트(8151)가 선택된 상태일 경우, 제6 열 오브젝트들(8157)에 제6 햅틱 정보 할당, 기능 키 오브젝트(8151)이 선택된 상태일 경우, 제7 열 오브젝트들(8158)에 제7 햅틱 정보 할당을 수행할 수 있다. 상술한 제1 내지 제7 햅틱 정보는 도 131의 상태 8130에서 설명한 햅틱 정보들과는 서로 다른 촉감이나 질감을 표현하도록 정의된 정보를 포함할 수 있다.
한 실시예에 따르면, 상술한 상태 8150은 시프트 키를 누른 채 키를 누를 경우의 가상 키 입력 오브젝트와 관련된 실시예일 수 있다. 햅틱 지원 모듈(7670)은 시프트 키 눌림과 함께 선택되는 가상 키 오브젝트에 관한 햅틱 정보와 시프트 키가 눌리지 않은 상태에서 선택되는 가상 키 오브젝트에 관한 햅틱 정보를 다르게 할당할 수 있다.
다양한 실시예에 따르면, 디스플레이는 상태 8160에서와 같이 기능 키 오브젝트(8161) 선택에 대응하여 가상 입력 오브젝트(8116)을 출력할 수 있다. 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8116) 중 일부 키들의 그룹에 특정 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 가상 입력 오브젝트(8116)에 포함된 가상 키 관련 오브젝트들 중 기능 키 오브젝트(8161) 선택에 대응하여 변환된 키 그룹(8162)에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 나머지 키들에 제2 햅틱 정보를 할당할 수 있다.
한 실시예에 따르면, 상술한 상태 8160은 기능 키 오브젝트(8161)을 눌렀을 때 키들의 일부가 숫자 입력키 기능을 제공하는 실시예를 나타낼 수 있다. 햅틱 지원 모듈(7670)은 function 키 영역, 숫자 키 영역, 문자 키 영역에 각기 다른 햅틱 피드백을 제공할 수 있다. 이에 대응하여 사용자는 특정 서비스 모드를 유발하는 키가 눌려져 있음을 알 수 있고, 각 입력되는 정보의 종류가 다름을 영역에 따라 촉각적으로 쉽게 판단할 수 있다.
상술한 햅틱 피드백 차이를 발생시키는 서비스 모드는 ctrl 키나 alt키, shift 키, function키(F1-F12, windows 시작키), 언어 설정 변환키(예: 한영 모드 변환키, 중국어 모드키, 일본어 입력키, IME 설정키 중 하나 이상), caps lock, pause, number lock, scroll lock 중 하나 이상의 키 선택을 포함할 수 있다. 서비스 모드는 특정한 어플리케이션의 실행에 의해서 이뤄질 수도 있다. 예를 들어 앞서 도 131의 상태 8140에서와 같이 게임 실행에 따라 게임모드가 설정된 경우 햅틱 지원 모듈(7670)은 사용되는 키 그룹들에 서로 다른 햅틱 피드백이 출력되도록 설정할 수 있다. 이러한 햅틱 피드백 기능은 현재 장치의 상태를 나타낼 수 있다. 예를 들어 가상 키보드에서 caps lock 영역이 눌러져 있는지 여부를 알기 위해 사용자가 해당 키 위에 사용자 입력을 수행하면, 입력된 신호가 탐색동작(예: 소정의 크기보다 약한 터치 신호나 터치 드래그 신호 혹은 소정 시간 이하의 터치 신호 유지 시간, 호버링 신호 중 하나 이상)에 해당하는 입력인지 판별하여, 햅틱 지원 모듈(7670)은 상태에 따라 햅틱 피드백을 on/off, 혹은 서로 다른 두 개의 햅틱 피드백 등을 출력하여 장치 상태를 인지하도록 지원할 수 있다.
다양한 실시예에서 설명한 가상 키보드에서 각 키의 영역은 고정되지 않을 수 있다. 예컨대, 사용자 설정이나 습관에 따라, 각 키의 위치가 조정될 수 있으며, 키 영역의 중심 위치나 키의 크기가 상이할 수도 있다. 예를 들어 사용자가 왼손 새끼손가락으로 'a' 키를 누를 때, 해당 키의 좌측 경계 영역을 누르는 습관이 누적 및 분석된다면, 전자 장치(8100)는 특정 입력 이벤트 발생이 소정의 회수 이상인 경우, 해당 입력 위치의 분포도를 계산하여, 해당 키의 위치를 입력 이벤트 발생 지점에 대응하도록 일정 부분 이동시키거나 해당 키의 영역을 일정 방향 쪽으로 더 늘이도록 처리할 수 있다. 이 경우 햅틱 피드백들도 변형된 키의 영역에 대응하여 변경될 수 있다. 또한 전자 장치(8100)는 입력 위치들의 분포 데이터를 분석하여 현재 입력하고 있는 사용자가 누구인지 판별할 수도 있다. 예를 들어 전자 장치(8100)는 사용하는 사람의 로그인 정보나 얼굴인식 정보, 생체정보(예: 홍채, 지문, 심박패턴, 손등정맥 패턴) 중 적어도 하나를 이용하여 사용자를 인식하고, 입력 이벤트(예: 특정 위치의 가상 키 누름 또는 터치 패널에서의 특정 위치 터치에 의한 이벤트)의 발생시 해당 입력 위치 정보를 사용자 정보와 연관하여 저장할 수 있다. 이를 기반으로, 전자 장치(8100)는 입력 이벤트가 발생하면, 발생한 입력 이벤트의 입력 위치 정보를 저장된 입력 위치 정보와 비교하여 현재 전자 장치(8100)를 사용하는 사용자 판별을 수행할 수 있다. 습관 교정과 관련하여, 햅틱 지원 모듈(7670)은 경계 영역에 입력이 가해지는 경우 이의 입력영역 분포 및 빈도 등을 조사하여 보다 사용자가 느끼기 쉽도록 거칠거나 강한 느낌을 주는 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 햅틱 피드백을 주는 사용자 입력을 여러 가지 상황으로 나누어 처리할 수도 있다. 예컨대, 햅틱 지원 모듈(7670)은 입력장치 표면에 손가락이나 입력도구에 의해 접촉이나 호버링에 의한 신호가 발생하되, 해당 키의 정보나 기능이 실행되지는 않고, 적어도 하나의 기본 햅틱 피드백을 제공하는 제1 입력 모드를 제공할 수 있다. 이러한 제1 입력 모드는 저항막방식 터치감지 장치에서 입력 신호 값이 소정의 값 이하로 발생하는 경우, 정전압(capacity) 방식 센서 장치에서 호버링 신호가 발생하는 경우 혹은 터치 시 소정의 값 이하 신호가 발생하는 경우, 힘 입력 방식에서 shear force가 소정 이하 값이 발생한 경우, 정전압 혹은 광학 방식인 경우 접촉이나 입력이 발생한 영역의 면적이 소정 넓이 이하인 경우, 손톱이나 손가락 관절 등과 같은 소정의 제1 입력 수단에 의해 입력이 발생한 경우에 적용될 수 있다. 햅틱 지원 모듈(7670)은 제1 입력 모드와 달리 실제 키에 대응하는 정보가 입력되는 제2 입력 모드를 제공할 수 있다. 햅틱 지원 모듈(7670)은 제1 입력 모드에서 소정 시간이상 혹은 이하의 시간이 유지된 경우, 제1 입력 모드에서 입력 신호 값이 소정 값 이상 입력된 경우 (전압, capacitance, 유도전류, shear force 등), 제1 입력 모드에서 소정의 면적 이상의 넓이 이상 신호가 발생한 경우 혹은 손가락 혹은 스타일러스 펜 등과 같이 제2 입력 수단을 통해 정보 입력 경우 제2 입력 모드를 제공할 수 있다.
햅틱 지원 모듈(7670)은 터치스크린의 가상 키보드에 적어도 하나의 손가락이 접촉되어 소정 미만의 세기의 신호(예: 지정된 크기의 이하의 압력이나 전기적 변화 등)가 감지되면 해당 손가락들의 위치에 놓인 키들은 제1 입력 모드 상태에 해당하는 것으로 평가하고 소정의 햅틱 피드백(예: 디폴트로 제공되도록 설정된 햅틱 피드백 또는 지정된 특정 햅틱 피드백)을 제공할 수 있다. 그 상태에서 일정 크기 이상의 변화 이벤트(예: 압력을 가지는 접촉 면적이 지정된 크기보다 커지거나, capacity값이 지정된 크기보다 커지거나, 힘의 강도가 지정된 크기보다 세지거나, 키 다운 또는 업 속도가 지정된 크기 이상인 경우)가 발생하는 경우 햅틱 지원 모듈(7670)은 제2 입력모드 전환으로 평가할 수 있다. 이에 대응하여, 햅틱 지원 모듈(7670)은 입력된 키의 값에 해당하는 문자나 텍스트 등을 입력되도록 제어하거나 입력된 키에 대응하는 기능 동작을 제어할 수 있다. 햅틱 지원 모듈(7670)은 제1 입력모드에서 손가락을 터치상태를 유지한 채로 이동시키면 해당 터치신호가 발생하는 위치가 소정의 참조영역에 부합하는 경우에만 소정의 햅틱 피드백을 지원하되, 입력이 발생하지 않는 탐색모드로 전환할 수 있다. 햅틱 지원 모듈(7670)은 탐색모드에서 손가락의 이동에 따라 발생하는 터치 신호의 변화량이 소정 기준값(예: 지정된 이동 속도 혹은 단위 시간당 지정된 이동 거리 중 적어도 하나) 이하로 감지되면 또는 손가락의 이동 위치가 일정 시간 이상 일정 영역 이내 변화량을 보이면, 제1 입력 모드로 전환할 수 있다. 햅틱 지원 모듈(7670)은 탐색 모드에서 상기 제2 입력모드의 조건에 해당하는 이벤트가 발생하면 탐색 모드를 해제하고 해당 제2 입력 모드로 전환할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력 신호가 드래깅이나 플릭, 호버링에 의한 수평이동과 같이 지속적인 움직임이나 모션, 제스처와 같은 움직임에 의해 감지되면 탐색모드를 활성화할 수 있다. 예를 들어 물리적 키보드의 F 키, J 키의 요철에 대응하도록 햅틱 지원 모듈(7670)은 가상 키보드에서 F키, K키와 같이 손가락들이 놓일 기본 위치에 대응하여 F키, K 키 영역을 참조 영역으로 설정하고, 해당 참조 영역 내 혹은 소정 거리내의 인접지역에서 입력 신호가 발생할 경우에 특정 햅틱 피드백을 제공할 수 있다. 따라서 사용자는 터치감지 장치에 접촉하거나 호버링을 통해 적어도 하나의 손가락이나 손바닥, 펜 등을 이동시 F키, K 키의 영역에서 발생하는 햅틱 피드백을 통해 해당 키들의 위치를 쉽게 식별 가능하다.
다양한 실시예에 따르면 참조 영역이 아닌 경우에는 참조 영역용 햅틱 피드백이 아닌 또 다른 햅틱 피드백(예: 참조영역을 둘러싼 경계 영역에 사용자 입력이 감지될 경우 제공하는 또 다른 햅틱 피드백)을 추가적으로 제공할 수도 있다.
다양한 실시예에 따르면, friction display에서 가상적인 높이 정보(height profile)를 가진 가상 오브젝트(virtual object)에서 터치 드래깅(dragging) 이벤트가 발생하였을 때, 햅틱 지원 모듈(7670)은 이벤트 발생 위치에 따라 마찰력의 정도를 달리하여 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 오브젝트의 가상적인 정점을 지나친 직후(일정 시간 또는 일정 거리 경과 후) 가장 큰 마찰력을 느끼도록 하는 햅틱 정보에 대응하는 햅틱 피드백을 제공하여, 사용자의 인지적 경험에 부합하는 햅틱 피드백을 제공할 수 있다. 또한, 햅틱 지원 모듈(7670)은 터치 물체 예컨대 손가락의 위치가 오브젝트의 가상적인 정점에 해당하는 위치에 이르기 직전(일정 시간 또는 일정 거리 경과 이전)에 부드러운 질감에 해당하는 햅틱 정보 기반의 햅틱 피드백을 출력하고, 정점을 지난 직후에 거친 질감에 해당하는 햅틱 정보 기반의 햅틱 피드백을 제공하여, 질감 차이를 더 크게 느낄 수도 있도록 지원할 수 있다.
다른 실시예에 따르면, 햅틱 지원 모듈(7670)은 터치 드래그 이벤트 또는 호버링 위치이동 이벤트의 이동 속도에 따라 두 개 이상의 그룹으로 나누고, 그룹별로 햅틱 피드백의 특성을 다르게 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 터치 물체의 이동 속도가 지정된 속도 이하인 경우에는 가상 오브젝트의 경계 영역에서 마찰력을 상대적으로 크게 느끼도록 햅틱 피드백을 제공할 수 있고, 속도가 지정된 속도 이상인 경우에는 마찰력을 약하게 느끼도록 햅틱 피드백을 제공할 수도 있다. 반대로 경계영역의 질감을 강조하기 위해 햅틱 지원 모듈(7670)은 이동 속도가 지정된 속도 이상인 경우에 상대적으로 더 강한 마찰력이나 더 거친 질감에 대응하는 햅틱 피드백을 제공할 수도 있다.
도 133은 다양한 실시예에 따른 한 손 입력 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 133을 참조하면, 한 손 모드 UI는 특정 영역에 고정되어 있지 않고, 전자 장치(8100)의 움직임, 전자 장치(8100)에 접촉한 손가락 위치 중 한 가지 이상의 상황(context)에 따라 제공되는 위치가 변동될 수 있다. 예를 들어 햅틱 지원 모듈(7670)은 자이로 센서(gyro sensor), 지자기 센서, 혹은 가속도 측정 센서(accelerometer)에 의해 전자 장치(8100)의 기울임이나 회전 상태, 모션을 인지하고, 이에 따른 설정되는 가로 UI 모드, 세로 UI 모드 등에 대응하는 UI의 위치 및 크기, 혹은 비율 등을 변경할 수 있다. 또 다른 예로 햅틱 지원 모듈(7670)은 그립센서, 터치센서, 압력센서에 의해 감지되는 손가락 혹은 손바닥 위치를 감지하여 장치를 쥐고 있는 손이 왼손인지 오른 손인지 판별할 수도 있다. 예컨대, 왼손으로 전자 장치(8100)를 쥐고 있는 경우 햅틱 지원 모듈(7670)은 가상 키보드를 디스플레이 상의 왼쪽영역에 가깝게(예: 디스플레이의 왼쪽 가장자리로부터 지정된 거리 이내) 배치되도록 제어하고, 오른손으로 쥐고 있는 경우 디스플레이 상의 오른쪽 영역에 가깝게(디스플레이의 오른쪽 가장자리로부터 지정된 거리 이내) 가상키보드가 배치되도록 제어할 수 있다. 다른 실시예에 따르면, 전자 장치(8100)의 상단이나 하단을 쥐고 있는 경우에는 엄지 손가락으로 입력이 용이하도록 해당하는 손과 가까운 상단이나 하단에 근접하도록 배치할 수도 있다. 예컨데, 도 133의 상태 8310은 상대적으로 왼손이 단말의 하단에 가까운 위치를 쥐고 있을 경우 표시되는 카상 키보드일 수 있다. 햅틱 지원 모듈(7670)은 입력이 발생하는 위치와 UI 위치, 방향, 기능 등에 대응하여 특정 햅틱 피드백을 제공할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 특정 어플리케이션이 실행되면 제1 키 그룹 오브젝트(8301)을 상태 8310에서 디스플레이에 출력하도록 제어할 수 있다. 여기서 햅틱 지원 모듈(7670)은 제1 키 그룹 오브젝트(8301)과 관련하여 키 영역(8312)와, 키 영역(8312)를 둘러 싼 경계 영역(8313) 및 경계 영역(8313)의 바깥에 해당하는 테두리 영역(8311)로 구분할 수 있다. 또한 햅틱 지원 모듈(7670)은 추가적으로 또는 대체적으로 테두리 영역(8311)과, 테두 영역(8311)의 외부에 해당하는 바깥 영역을 구분할 수 있다. 햅틱 지원 모듈(7670)은 키 영역(8312)와 경계 영역(8313)에 각기 다른 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 테두리 영역(8311) 또는 바깥 영역 중 적어도 하나에는 키 영역(8312)와 경계 영역(8313)에 할당된 햅틱 정보와 다른 햅틱 정보를 할당하거나 별도의 햅틱 정보 할당을 수행하지 않을 수 있다. 또 다른 실시예에 따르면 키 영역들을 둘러싼 또 테두리 영역(8311)에 키 영역(8312)에 대응하는 햅틱 정보와 다른 햅틱 정보를 할당할 수 있다. 상기 테두리 영역(8311)은 제1 키 그룹 오브젝트(8301)을 둘러싼 일정 두께의 경계선 형태일 수도 있고, 제1 키 그룹 오브젝트(8301) 영역에서 각각의 키 영역들을 제외한 나머지 영역일 수도 있다.
다양한 실시예에 따르면, 사용자는 변경된 가상 키보드 영역을 인지하기 위하여 호버링이나 드래깅, 혹은 탭 및 홀딩(tap and hold) 입력을 통해 키보드 영역을 탐색할 수 있다. 이러한 탐색모드에서 제1 키 그룹 오브젝트(8301)이 배치된 영역의 인접 영역에 사용자 입력이 발생하면, 햅틱 지원 모듈(7670)은 사용자에게 사용자 입력 위치로부터 제1 키 그룹 오브젝트(8301)가 위치한 방향이나 거리를 알릴 수 있는 참조 햅틱 피드백을 제공할 수 있다. 참조 햅틱 피드백은 키 영역(8312)에서 발생하는 햅틱 피드백 및 경계 영역(8313) 또는 테두리 영역(8311)에서 발생하는 햅틱 피드백과는 다른 촉감이나 질감을 제공할 수 있다.
물리적인 키보드는 대개의 경우 키나 키로 구성된 입력 영역이 키보드의 주변부에 비해 돌출되어 있으므로 사용자는 손끝으로 키보드를 더듬거나 만지면, 키나 키입력 영역의 경계 영역(edge)과 그 외 영역의 차이로부터 경계 영역(8313) 또는 테두리 영역(8311)의 존재를 인지할 수 있다. 터치스크린이나 터치패드에서 경계 영역(8313)의 촉감을 제공하기 위하여, 햅틱 지원 모듈(7670)은 경계 영역(8313) 또는 테두리 영역(8311) 중 적어도 하나에 제1 햅틱 정보(예: 마이스너 소체(Meissner corpuscle)에 자극을 줄 수 있도록 설정된 정보)를 할당할 수 있다. 예컨대, 제1 햅틱 정보는 약 3~100Hz 범위 또는 25~40Hz의 자극을 햅틱 모듈을 통해 출력하도록 설정된 정보일 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 햅틱 모듈에 포함된 어레이 핀 또는 피에조 소자 제어와 관련한 햅틱 정보를 할당함으로써 사용자의 손가락이 디스플레이의 일정 영역에 위치하거나 해당 영역을 지날 때 경계 영역에 대해 인지할 수 있다. 예컨대, 스크린시트(elastic screen sheet)나 플렉서블한 터치패널(예: 터치스크린패널 TSP) 아래에 복수개의 피에조 소자 레이어나 복수 개의 어레이 핀들에 해당하는 햅틱 모듈이 장착된 경우, 햅틱 지원 모듈(7670)은 햅틱 정보에 따라 피에조 소자들의 적어도 일부의 형상변화나 어레이핀의 2차원 혹은 3차원 적인 움직임을 제어할 수 있다. 이에 따라 전자 장치는 스크린시트나 터치패널 위에 터치된 물체에 해당하는 햅틱 피드백을 제공할 수 있다. 다른 예에 따르면 피에조 소자로 이뤄진 밴드형태의 햅틱 모듈이 터치스크린이나 터치패드에 장착되어 햅틱 지원 모듈(7670)의 제어에 따라 특정 햅틱 피드백을 디스플레이에 제공할 수도 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 터치입력 신호 감지가 가능한 터치스크린이나 터치패드의 경우 터치 입력 신호가 발생한 영역에 대해서만 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 오브젝트의 경계 영역(8313)이나 테두리 영역(8311)에서 사용자 입력이 발생하는 경우 지정된 일정 강도의 진동을 해당 영역에서 출력되도록 제어하거나, 파치니언 소체(Pacinian corpuscle)에 자극을 주는 250~300Hz 주파수의 햅틱 피드백이 해당 영역에서 출력되도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 전극과 손가락 사이의 전기장을 제어하여 다양한 햅틱을 제공할 수도 있다.
일 실시예에 따르면 햅틱 지원 모듈(7670)은 키 영역(8312)에 제1 햅틱 정보를 할당하고, 경계 영역(8313)이나 테두리 영역(8311)에는 제2 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 일정 크기의 주파수 햅틱 피드백과 관련한 제1 햅틱 정보 또는 제2 햅틱 정보를 할당하여, 매끄러운 재질을 가진 물체를 만진 것과 같은 느낌을 주도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 미세 압력을 감지하는 메르켈 디스크(Merkel's disk)를 자극하는 0.4~3Hz의 주파수의 햅틱 피드백을 제1 햅틱 정보 또는 제2 햅틱 정보로 설정할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 속도가 빠른 주파수를 가진 햅틱 피드백을 제1 햅틱 정보 또는 제2 햅틱 정보로 할당하여 사용자에게 매끄러운 질감을 제공할 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 냉온감의 변화를 감지하는 신경말단에 일정 온도를 느낄 수 있도록 하는 햅틱 정보를 제1 햅틱 정보 또는 제2 햅틱 정보로 할당할 수 있다.
또 다른 실시예에 따르면 햅틱 지원 모듈(7670)은 키 영역(8312)에 제1 햅틱 정보를 할당하고, 경계 영역(8313)에 제2 햅틱정보, 그리고 테두리 영역(8311)에는 제3 햅틱 정보를 할당할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 8320에서와 같이 제1 키 그룹 오브젝트(8301)이 출력되던 디스플레이 상에서 한 손 모드 UI에 해당하는 제2 키 그룹 오브젝트(8302)가 출력되는 경우 키 영역(8322)이나 경계 영역(8321)이 아닌 영역(예: 테두리 영역(8313))에 정상적인 입력 영역이 아님을 알려 주는 햅틱 피드백과 관련한 제3 햅틱 정보를 할당할 수 있다. 제2 키 그룹 오브젝트(8302)는 키 영역(8322) 및 경계 영역(8321)을 포함할 수 있다. 예컨대, 제3 햅틱 정보는 느리고 강한 진동 형태의 햅틱 피드백을 제공하는 정보일 수 있다. 또는 제3 햅틱 정보는 일정 크기 이하의 약한 진동(제2 햅틱 정보와 차이를 가지는 촉감)일 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 진동이나 주파수 외에도 공기압력, 냉온감 변화를 기반으로 서로 다른 햅틱 정보를 생성하고 할당할 수 있다. 햅틱 지원 모듈(7670)은 어레이 핀 등을 이용하여 햅틱 피드백마다 다른 운동 방향, 예를 들어 수직, 좌우방향의 수평왕복 운동, 전후방향의 수평왕복 운동을 이용하며, 추가적으로 시간차나 운동방향의 변화를 주어 다양한 형태(원, 타원, 직선, 곡선, 파도 모양)의 햅틱 정보 할당을 제어할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 8330에서와 같이 제3 키 그룹 오브젝트(8303)을 디스플레이에 출력하도록 제어할 수 있다. 제3 키 그룹 오브젝트(8303)은 경계 영역이 없고, 제1 키열(8331), 제2 키열(8333), 제3 키열(8335)를 포함할 수 있다. 햅틱 지원 모듈(7670)은 제3 키 그룹 오브젝트(8303)에서 제1 키열(8331)에 제1 햅틱 정보를 할당하고, 제2 키열(8333)에 제2 햅틱 정보를 할당하면, 제3 키열(8335)에 제3 햅틱 정보를 할당하도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 8340에서와 같이 제4 키 그룹 오브젝트(8304)를 디스플레이에 출력하도록 제어할 수 있다. 제4 키 그룹 오브젝트(8304)는 경계 영역이 없고, 제1 키행(8341), 제2 키행(8343), 제3 키행(8345) 또는 제4 키행(8347) 중 적어도 하나를 포함할 수 있다. 햅틱 지원 모듈(7670)은 제4 키 그룹 오브젝트(8304)에서 제1 키행(8341)에 제1 햅틱 정보를 할당하고, 제2 키행(8343)에 제2 햅틱 정보를 할당하면, 제3 키행(8345)에 제3 햅틱 정보를 할당하고, 제4 키행(8347)에 제4 햅틱 정보를 할당하도록 제어할 수 있다. 추가로, 햅틱 지원 모듈(7670)은 제4 키 그룹 오브젝트(8304) 이외의 영역(8349)를 터치하는 경우, 그에 대응하여 제4 키 그룹 오브젝트(8304) 방향으로 안내하는 제5 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다.
도 134는 다양한 실시예에 따른 방향 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 134를 참조하면, 햅틱 지원 모듈(7670)은 숫자 키 그룹 오브젝트(8430)를 출력할 수 있다. 숫자 키 그룹 오브젝트(8430)는 복수의 키 오브젝트들을 포함할 수 있다. 햅틱 지원 모듈(7670)은 숫자 키 그룹 오브젝트(8430)의 바깥 영역(8410)에서 입력이 발생했을 경우 도시된 바와 같이 참조 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 터치된 바깥 영역(8410)에서 우상 방향에 숫자 키 그룹 오브젝트(8430)가 존재함을 알 수 있도록 알려주는 지향성 햅틱 피드백을 발생시키도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 어레이 핀이나 피에조 소자, 미세 진동소자를 포함하는 햅틱 모듈을 이용하여 물리적인 형태 변형의 햅틱 정보를 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈(7670)은 여러 개의 진동 소자들을 일정 간격이나 소정의 위치들에 배치한 후, 필요한 방향의 진동은 남기고 나머지는 상쇄시키는 등의 방법으로 방향성 햅틱 피드백 출력을 지원할 수 있다. 또는 햅틱 지원 모듈(7670)은 정전압 방식으로 위치한 손가락상의 자극 위치를 조금씩 변경하는 햅틱 피드백을 제공하여 방향성 촉감을 제공할 수 있다. 도 134의 상태 8401부터 상태 8404는 가상적인 햅틱 피드백의 패턴을 표시하기 위한 것이다. 한 예로 피에조 소자나 어레이핀의 경우 햅틱 지원 모듈(7670)은 각 소자나 핀의 배열 위치를 기반으로 물리적인 높이 변화를 통해 방향성과 강도를 표현할 수 있다. 다른 예로 정전압 방식은 자극위치와 자극 강도를 통해 표현할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 참조 햅틱 피드백을 제공할 수 있다. 예컨대, 숫자 키 5가 참조 영역이라고 하면, 햅틱 지원 모듈(7670)은 해당 숫자 키 위에서 호버링이나 터치 입력이 감지되었을 때, 참조 햅틱 피드백을 제공할 수 있다. 이 경우 햅틱 지원 모듈(7670)은 참조 영역에서 사용자 입력이 발생할 때까지 다른 햅틱 피드백을 제공하지 않도록 제어할 수도 있다. 예컨대, 햅틱 지원 모듈(7670)은 일정 속도 이상의 드래깅이나 호버링에 의한 사용자 입력이 감지되면, 별도의 햅틱 피드백을 제공하지 않고, 해당 키(예: 숫자 키 5) 위에 사용자 입력이 위치하였을 때 소정의 참조 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 지향성 햅틱 피드백을 이용하여 참조 영역이나 키 영역을 찾을 수 있도록 지원할 수 있다. 예컨대, 터치가 발생한 경우, 햅틱 지원 모듈(7670)은 도시된 바와 같이 일정 면적의 터치 영역(8420)을 확인할 수 있다. 햅틱 지원 모듈(7670)은 해당 터치 영역(8420)에서 참조 영역이나 키 영역 방향에 인접한 일부 영역(8421)에 햅틱 피드백이 출력되도록 제공할 수 있다. 이와 관련하여, 햅틱 모듈은 디스플레이 전체에 매트릭스 형태로 햅틱 피드백을 출력할 수 있는 형태로 마련될 수 있다.
상술한 바와 같이, 다양한 실시예에 따른 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치는 서비스 모드 설정 동작, 상기 서비스 모드에 따라 소정의 레이아웃을 구성하고 레이아웃에 따라 구성요소를 배치하는 동작, 상기 서비스 모드에 따라 둘 이상의 그룹으로 구성요소들을 구분하는 동작, 각 그룹에 대해 서로 다른 햅틱 피드백을 설정하는 햅틱 레이아웃 설정 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃에 의해 배치된 구성요소의 영역에서 입력 이벤트가 발생하였음을 감지하는 동작, 해당 입력 이벤트 발생 위치에 대응하는 햅틱 레이아웃에 따라 해당하는 소정의 햅틱 피드백을 발생시키는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법에서 상기 서비스 모드 설정은 특정한 키의 입력이나 어플리케이션 구동, 혹은 상기 전자기기 내 특정 이벤트 중 적어도 하나에 의해 이루어지는 동작이 될 수 있다. 상기 서비스 모드 설정 동작은 행별 위치 알림 모드, 손가락별 피드백지원 모드, function 키에 의한 숫자 키 모드, 대문자 모드, 소문자 모드, 기호입력 모드, QWERTY 모드, T9 모드, 3x4 키 모드, 게임모드, 한 손 UI모드, 언어모드, 토글 모드, 페이지 넘김 모드, 3D 인터렉션 모드, 리모컨 모드, 시간 알림 모드, 날씨 알림 모드, 생체정보 알림 모드, 데이터글로브 모드 중 적어도 하나를 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 서비스 모드에 의해서 적어도 하나의 구성요소의 적어도 하나의 재질정보를 판별하는 동작 및 상기 재질정보에 대응하는 햅틱 피드백을 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 구성요소들의 속성, 또는 내용에 따라 구성 요소들을 구분하는 동작을 포함할 수 있다. 상기 구성요소의 속성은 가상의 질감, 경도, 재질, 온도, 또는 패턴 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 구성요소의 내용을 판별하는 동작 및 판별된 내용에 부합하는 속성을 부여하는 동작을 더 포함할 수 있다. 다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃에 따라 배치된 구성요소들을 디스플레이상에 그래픽적으로 표현하는 동작, 상기 전자 장치의 모션을 인지하고 이에 대응하는 레이아웃 및 햅틱 레이아웃으로 변경하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 레이아웃에서 경계 영역을 설정하는 동작 및 경계 영역에서 입력 이벤트가 발생하였을 때 또 다른 햅틱 피드백을 발생시키는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 드래깅, 플릭, 호버링의 평면 이동과 같이 이동이 지속적으로 발생하는 경우, 상기 경계 영역을 통과하는 경우와 경계 영역을 따라 움직이는 경우 서로 다른 햅틱 피드백을 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 드래깅, 플릭, 호버링의 평면 이동과 같은 이동에 의해 발생하고, 이동에 의해 상기 경계 영역을 통과하는 경우, 경계 영역 내부에서 외부로 이동하는 동작일 경우와 외부에서 내부로 이동하는 동작일 경우를 분리하여 서로 다른 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 레이아웃에서 참조 영역을 설정하는 동작 및 입력 이벤트가 발생한 경우, 입력 이벤트가 발생한 위치로부터 참조 영역까지의 방향 혹은 거리 중 적어도 하나를 안내하는 지향성 햅틱 피드백으로 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 지향성 햅틱 피드백은 참조 영역과 입력 이벤트 발생 위치간 거리 혹은 방향에 따라 햅틱 피드백의 강도, 패턴, 주파수, 속도, 유지 시간, 방향 표시 중 적어도 하나가 다르게 설정될 수 있다.
다양한 실시예에 따르면, 상기 레이아웃 구성 동작은 상기 서비스 모드에서 입력 정보를 수집하는 동작, 수집한 입력 정보를 분석하는 동작을 포함하고, 분석한 입력 정보에 따라 레이아웃을 수정하는 동작 또는 지정된 햅틱 피드백을 변경하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 구성요소는 키, 버튼, 선분, 메뉴, 이미지, 도형, 문자, 문자열, 기호, 배경(background), 전경(foreground) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 피드백은 주파수, 진동유지시간, 진동 패턴, 진동 강도, 진동 방향성, 수직운동 높이, 반발력, 온도변화, 공압, 정전압 세기 중 적어도 하나가 다르게 정의될 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 피드백은 마이스너 소체, 파치니언 소체, 메르켈 디스크, 루피니 말단 중 적어도 하나를 자극하는 진동, 주파수, 정전기력, 흡열, 발열, 흡입력, 분사력, 기계적 수직방향 운동, 기계적 수평방향 운동, 전자기력, 피에조 소자의 변형 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 레이아웃 설정 동작은 상기 레이아웃의 구성 요소를 햅틱 구성 요소로 분할하는 동작, 분할된 햅틱 구성요소 별로 서로 다른 햅틱 피드백을 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 구성요소의 넓이나 폭, 크기, 부피 중 적어도 하나가 지정된 값 이하인 경우, 일정 기준 이상의 폭, 크기, 넓이, 부피 중 적어도 하나를 재설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 이벤트의 입력 모드를 감지하는 동작, 상기 입력 이벤트가 제1 입력 모드인 경우, 제1 햅틱 피드백이 발생하는 동작, 상기 입력 이벤트가 제2 입력 모드인 경우, 해당 구성요소에 해당하는 정보 입력, 혹은 해당 기능 실행 중 적어도 하나를 수행하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 이벤트가 제2입력 모드인 경우, 제2 햅틱 피드백을 출력하는 동작을 포함할 수 있다. 제 1햅틱 피드백과 제 2 햅틱 피드백은 서로 다를 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 이벤트가 입력 신호 값이 소정 영역 내(터치 스크린, 터치 패드와 같은 입력장치의 일부 영역)에서 일정시간 이상 유지되는 조건, 입력 장치를 기반으로 입력된 shear force, 압력, 공압, 정전압, 온도차이, 유도전류 중 적어도 하나가 지정된 값 이하인 조건, 입력 신호에 대응하는 면적이 소정 넓이 이하인 조건, 입력 수단(예: 손가락, 펜, 손톱, 관절, 손바닥, 고무, 나무, 금속 중 하나 이상)이 특정 종류(예: 입력 수단에 따른 소리 신호나 진동 신호의 패턴, 주파수 중 하나 이상을 이용하여 판별한 경우)인 조건, 호버링 혹은 근접 이벤트가 발생하는 조건, 소정 개수 이상의 멀티터치 입력이 발생하는 조건, 입력신호가 드래깅, 플릭 등과 같이 지속적으로 이동하는 조건 중 적어도 하나에 따라, 특정 입력 모드를 설정할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 특정 입력 모드가 종료되고 일정 시간 이내에 일정 입력이 감지된 경우, 상기 햅틱 레이아웃에서 참조 영역을 식별하는 동작 및 상기 입력신호 발생 위치를 식별하는 동작, 참조영역에서 상기 입력신호가 발생할 경우 특정 햅틱 피드백이 발생하는 동작, 상기 입력신호 발생 위치가 참조 영역이 아닌 경우에는 햅틱 레이아웃에서 설정한 햅틱 피드백이 발생하지 않도록 비활성화하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 참조영역에서 햅틱 피드백이 발생한 후, 일정 시간 이상 해당 참조 영역 내에서 입력신호가 유지되면, 참조모드가 해지되는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 피드백과 함께 사운드, 오디오, 음성 피드백 중 적어도 하나를 동시에 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃, 구성요소, 햅틱 레이아웃은 2차원 혹은 3차원 객체일 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃과 상기 햅틱 레이아웃을 토대로 상기 입력신호가 발생한 영역의 면적을 감지하는 동작, 면적에 기반하여 입력물체의 종류를 판단하는 동작, 입력 물체의 형상을 모델링하는 동작, 입력 신호가 발생한 영역의 상기 레이아웃을 토대로 가상의 물리적 공간상에서 입력물체와 레이아웃의 구성요소 간 가상의 접촉 가능 여부를 판단하는 동작, 가상의 접촉이 발생하는 영역과 그렇지 않은 영역을 판별하는 동작, 상기 판별 동작의 결과에 의해 가상의 접촉이 발생하는 영역과 그렇지 않은 영역에 대한 햅틱 레이아웃을 설정하는 동작이 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 레이아웃 설정 동작은 상기 가상의 접촉이 발생하지 않는 영역에 대해 햅틱 피드백을 제공하지 않거나, 혹은 또 다른 햅틱 피드백을 제공하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 플릭, 호버링, 드래깅 등에 의해 입력위치 변화가 소정의 속도 이상으로 디스플레이 상에서 발생하는 경우, 진입이 예상되는 경로상의 구성요소에 소정 거리 이내에서 입력신호가 근접하여 발생하면, 상기 구성요소에 대응하는 햅틱 레이아웃에 따라 미리 소정의 햅틱 피드백을 발생시키는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 플릭, 호버링, 드래깅 등에 의해 입력위치 변화가 소정의 속도 이상으로 발생하는 경우, 어떠한 구성요소와 관련한 사용자 입력신호에 의해 발생한 햅틱 피드백을 유지하되, 사용자 입력신호가 구성요소 영역으로부터 소정 거리 이상 벗어났을 때에 상기 햅틱 피드백을 종료하는 동작을 포함할 수 있다. 상기 구성요소는 가상의 깊이 혹은 높이 정보를 가지며, 다양한 실시예에 따르면, 상기 장치 및 방법은 해당 깊이나 높이에 의거하여 구성된 햅틱 레이아웃에 의거하여 햅틱 피드백의 강도, 마찰력, 저항감 중 적어도 하나의 햅틱 피드백 속성을 조절하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 플릭, 호버링, 드래깅 등에 의해 입력위치 변화가 소정의 속도 이상으로 발생하는 경우, 상기 구성요소의 가상의 정점 혹은 최저점으로부터 소정의 시간 혹은 소정의 거리를 지난 이후에 상기 햅틱 피드백 속성을 최대 혹은 최소로 조절하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 피드백은 상기 햅틱 피드백을 최대 혹은 최소로 조절하는 동작을 수행하기 직전에, 햅틱 피드백 속성을 반대로 적용하여 햅틱 피드백을 적용하는 동작을 포함할 수 있다.
도 135는 다양한 실시예에 따른 원격 제어 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 135을 참조하면, 전자 장치 8100의 햅틱 지원 모듈(7670)은 특정 기능 실행에 대응하여 도시된 바와 같이 제어 오브젝트(8510)을 디스플레이(8105)에 출력하도록 제어할 수 있다. 제어 오브젝트(8510)은 적어도 하나의 오브젝트를 포함할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 제어 오브젝트(8510)의 바깥 영역과 내부 영역에 서로 다른 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 제어 오브젝트(8510)의 내부 영역(8511)에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 제어 오브젝트(8510)에 포함된 전원 오브젝트 경계 영역(8512)에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 전원 오브젝트 내부 영역(8513)에 제3 햅틱 정보를 할당할 수 있다. 제3 햅틱 정보는 예컨대 무방향성 햅틱 피드백일 수 있다.
다양한 실시예에 따르면, 제어 오브젝트(8510)은 방향 오브젝트(8515)를 포함할 수 있다. 햅틱 지원 모듈(7670)은 방향 오브젝트(8515)를 선택하는 이벤트 발생 시, 방향 오브젝트(8515)가 도시된 바와 같이 우측 방향성을 표시하기 위하여 방향 오브젝트 영역에서 8501, 8503, 8505, 8507과 같은 순서로 햅틱 피드백 패턴을 출력하도록 제어할 수 있다. 예컨대, 방향 오브젝트(8515) 영역에서 선택 이벤트(예: 터치 신호, 호버링 신호, 혹은 터치 드래그 신호 중 하나 이상의 입력 신호)가 감지되면, 해당 신호가 발생하는 영역(예: 터치 신호를 발생시키는 입력 물체와 방향 오브젝트 영역의 접촉 영역)에 상기 우측 방향성을 나타내는 햅틱 피드백을 출력할 수 있다. 한 예로, 햅틱 지원 모듈(7670)은 다른 방향 오브젝트에 해당하는 입력장치의 영역(터치 스크린 혹은 터치 패드)에서 입력 신호가 발생하면, 해당 오브젝트의 방향 지시에 대응하는 방향성 햅틱 피드백을 출력하도록 제어할 수도 있다.
다양한 실시예에 따르면, 도 135에 도시된 제어 오브젝트(8510)은 TV 리모컨에 대응하는 오브젝트일 수 있다. 이에 따라 햅틱 지원 모듈(7670)은 리모컨 UI를 구성하는 여러 버튼이나 키 영역에 서로 다른 햅틱 피드백을 지원할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 전원이나 OK 버튼 등의 영역에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 키들이 배치되지 않은 영역에 제2 햅틱 정보를 할당하거나 별도의 햅틱 정보를 할당하지 않을 수 있다. 햅틱 지원 모듈(7670)은 방향성 제시가 필요한 오브젝트 예컨대, 채널 변경이나 볼륨 변경과 관련한 오브젝트들에 대하여 방향 햅틱 피드백을 가지는 햅틱 정보를 할당할 수 있다.
다양한 실시예에 따르면, 방향 오브젝트(8515) 영역에 손가락이 닿으면, 햅틱 지원 모듈(7670)은 제1 입력모드 구동에 따른 햅틱 피드백을 제공하며, 터치를 유지하고 일정 시간이 경과하면, 제2 입력모드 구동에 따라 채널이나 볼륨 변경을 제어할 수 있다. 여기서 햅틱 지원 모듈(7670)은 제1 입력모드나 제2 입력모드에서 이동이 발생하면 탐색모드로 변경되어 햅틱 피드백을 통해 각 키 오브젝트의 위치를 판별하도록 지원할 수 있다.
또 다른 실시예에 따르면, 방향 오브젝트(8515) 영역에 소정 크기 미만의 입력 신호(예: 지정된 크기 미만의 세기를 가지는 터치 신호 혹은 호버링 신호)가 감지되면, 햅틱 지원 모듈(7670)은 제1 입력모드 구동에 따른 햅틱 피드백을 제공하며, 소정 입력 신호 세기 이상의 신호(지정된 크기 이상의 세기를 가지는 입력 신호)가 감지되면, 제2 입력모드 구동에 따라 채널이나 볼륨 변경을 제어할 수 있다. 여기서 햅틱 지원 모듈(7670)은 제1 입력모드나 제2 입력모드에서 입력신호 위치의 이동(예: 터치 드래그 신호 혹은 호버링이 유지되면서 이동하는 호버링 이동 신호)이 감지되면 탐색모드로 변경되어 햅틱 피드백을 통해 각 키 오브젝트의 위치를 판별하도록 지원할 수 있다.
상술한 바와 같이, 다양한 실시예에 따른 장치 및 방법은 외부 장치와 유선 혹은 무선을 통해 연결되어 원격제어를 위한 신호를 주고 받는 동작을 수행할 수 있으며, 여기서 전자 장치는 햅틱 모듈을 포함하는 터치스크린 형태의 디스플레이를 구비하고, 터치스크린 상에 멀티미디어를 제어하기 위한 그래픽 사용자 인터페이스를 표시할 수 있다. 상기 그래픽 사용자 인터페이스는 방향성을 표시하는 적어도 하나의 그래픽 요소를 가지고 있으며, 특정 방향성을 가진 제1 햅틱 정보를 해당 그래픽 요소가 표시되는 영역에 설정하는 동작, 해당 그래픽 요소가 표시된 영역에서 제1 사용자 입력이 감지되면 제1 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따른 장치 및 방법은 해당 그래픽 요소가 표시된 영역에서 제2 사용자 입력이 감지되면 제어신호를 유선 혹은 무선(예: IrDA, Wifi, Bluetooth, LiFi, LTE, 2G, 3G 중 하나 이상)을 통해 외부 장치(예: TV, 스마트 폰, 오디오 기기, AV 기기 중 하나 이상)에 전달하는 동작을 포함할 수 있다.
다양한 실시예에 따른 장치 및 방법은 상기 멀티미디어를 제어하는 기능은 채널 업/다운, 볼륨 업/다운, Rewind/Fast forward 중 적어도 하나를 포함할 수 있다. 예를 들어 도 135에 도시된 제어 오브젝트(8520)은 멀티미디어 기능을 제어하기 위한 오브젝트일 수 있다. 이에 따라 햅틱 지원 모듈(7670)은 멀티미디어 제어 UI를 구성하는 적어도 하나의 버튼이나 키 영역에 서로 다른 햅틱 피드백을 지원할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 재생 및 일시 정지 아이콘 영역(8523)에 제1 햅틱 정보를 할당할 수 있다. 한 예에 따르면 햅틱 지원 모듈(7670)은 재생 및 일시 정비 아이콘 영역(8523)의 경계 영역(8522)에 제 2 햅틱 정보를 할당할 수 있다. 이 때, 필요한 경우 제 1 햅틱 정보와 제 2 햅틱 정보는 서로 상이한 햅틱 피드백을 출력하도록 할당될 수도 있다. 다른 예에서 햅틱 지원 모듈(7670)은 Rewind 아이콘 영역(8524) 에 좌측 방향성을 알리는 제 3 햅틱 정보, Fast forward 아이콘 영역(8525) 에는 우측 방향성을 알리는 제 4 햅틱 정보를 할당할 수도 있다. 다양한 실시예에서 제어 오브젝트(8520)은 각 아이콘 영역을 제외한 배경영역(8521)에 제 5 햅틱 정보를 부여할 수도 있다. 일 실시예에 따르면 배경영역(8521)에 콘텐츠 표시 정보(예: 오디오 콘텐츠 정보 혹은 비디오 재생 화면, 혹은 이미지 조회 화면 중 적어도 하나)를 표시할 수도 있다.
다양한 실시예에 따르면 햅틱 지원 모듈(7670)은 배경영역(8521)에 표시되는 콘텐츠를 분석하고, 해당 콘텐츠와 관련된 제5 햅틱 정보를 할당할 수도 있다. 예컨대, 햅틱 지원 모듈(7670)은 배경영역(8521)에 표시된 노래 제목 "Under the sea"를 파싱한 후 문자인식을 통해, 파싱된 문자가 물과 관련한 단어임을 인식할 수 있다. 햅틱 지원 모듈(7670)은 물과 관련한 햅틱 정보를 선택하여 제5 햅틱 정보로 할당할 수 있다. 예컨대, 상기 제 5 햅틱 정보는 끈적끈적한 질감(sticky) 또는 촉촉한 질감(moisture)를 제공하기 위한 햅틱 정보가 될 수 수 있다.
햅틱 지원 모듈(7670)은 상기 콘텐츠 분석을 위해 문자인식, 필기인식, 이미지 인식기법 중 적어도 하나를 사용할 수 있고, 콘텐츠와 관련한 메타데이터(예: 음악콘텐츠의 ID3Tag, JPEG 파일의 EXIF, 비디오의 caption 정보, 음악의 가사 정보 중 하나 이상) 분석을 통해 콘텐츠 분석을 수행할 수 있다.
다양한 실시예에 따르면 상기 콘텐츠 분석은 햅틱 지원 모듈(7670)에서 처리할 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 원격 장치(예: 서버, 스마트 폰, 웨어러블 장치, 노트북, PC 중 적어도 하나)에 유선 혹은 무선으로 해당 콘텐츠 혹은 키워드나 문장을 전달하고, 상기 원격 장치에서 분석한 결과를 수신함으로써 콘텐츠 분석에 따른 햅틱 정보를 설정할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 콘텐츠 분석 결과와 이에 대응하는 햅틱 정보를 연관지어 메모리에 저장할 수 있다. 햅틱 지원 모듈(7670)은 새로운 콘텐츠 분석에 대한 결과가 수집되면 메모리에 저장된 연관 햅틱 정보를 기반으로 콘텐츠 분석 결과에 따른 햅틱 정보 할당을 설정할 수도 있다.
다양한 실시예에 따른 장치 및 방법은 상기 해당 그래픽 요소가 표시된 영역을 둘러싸고 있는 소정의 면적을 가진 경계 영역에서 사용자 입력이 감지되면 제2 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따른 장치 및 방법은 상기 해당 그래픽 요소가 표시된 영역 이외에 영역에서 사용자 입력이 감지되면 제1 햅틱 정보와 다른 햅틱 피드백을 제공하는 동작을 포함할 수 있다.
도 136은 다양한 실시예에 따른 가상 키 버튼 관련 햅틱 정보 운용과 관련한 도면이다.
도 136을 참조하면, 다양한 실시예에 따른 전자 장치는 가상 키보드를 운용하는 동작에서 물리 키보드의 표면 질감을 제공할 수 있다. 예컨대, 도 136의 8610에 나타낸 바와 같이 물리적인 키보드의 키의 횡단면은 키 상단의 손가락 접촉면이 평평하거나 오목할 수 있다. 또한 도 136의 8620은 물리 키보드의 종단면의 형태를 보여준다. 이러한 구조는 손가락의 운동 방향 및 접촉 위치를 고려할 때 보다 오타를 줄이기 위한 것이다.
전자 장치는 가상 키보드에서 물리적인 키보드와 유사한 질감을 모사(시뮬레이트)하여 도 136의 8630에 나타낸 바와 같이 가상 키보드의 특정 가상 키(8634)를 구성하는 키 경계 영역(8631)과 키 내부 영역(8632)에 각기 다른 햅틱 피드백을 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 경계 영역에 손가락이 놓이거나 혹은 호버링되는 경우 등과 같이 입력이 감지되는 경우 제1 햅틱 정보에 대응하는 제1 햅틱 피드백을 제공하고, 그렇지 않은 경우에는 제2 햅틱 정보에 대응하는 제2 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 경계선 감지와 관련하여 햅틱 피드백을 제공할 수 있다.
일 실시예에서는, 입력이 감지된 영역에 경계 영역이 포함되면, 제 1 햅틱 피드백을 제공할 수 있다. 다른 일 실시예에서는, 입력이 감지된 영역의 면적에서 키 경계 영역(8631)의 비율이 소정의 기준 이상 또는 이하인 경우, 혹은 입력이 감지된 영역의 중앙점으로부터 키 경계 영역(8631) 위치까지의 거리가 소정 거리 이내인 경우에 경계 영역이 감지되는 경우로 판단할 수 있다. 햅틱 지원 모듈(7670)은 입력이 감지된 영역 내에 키 경계 영역(8631)과 키 내부 영역(8632) 모두에 대해 각기 다른 햅틱 피드백들을 동시에 제공할 수도 있으며, 소정의 기준에 따라 키 경계 영역(8631) 감지 여부를 판별하고, 이에 따라 하나의 피드백만 제공할 수도 있다.
제1 햅틱 피드백은 제2 햅틱 피드백과 주파수, 진동길이, 진동 패턴, 진동 강도, 진동 방향성, 높이, 반발력, 온도, 공압, 정전압 세기 중 적어도 하나가 다를 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 키 경계 영역(8631)에서 일정 크기 이상의 강도를 가지거나 거친 재질을 느낄 수 있는 제1 햅틱 피드백을 제공하고, 키 내부 영역(8632)에서 매끄러운 재질이나 강도가 일정 크기 이하인 제2 햅틱 피드백을 제공할 수 있다. 또 다른 예로 햅틱 지원 모듈(7670)은 마이스너 소체나 파치니언 소체를 자극하는 주파수를 제1 햅틱 피드백 구현에 사용하고, 메르켈 디스크 (Merkel's disk)를 자극하는 주파수를 제2 햅틱 피드백 구현에 사용할 수도 있다. 이 경우 햅틱 지원 모듈(7670)은 제1 햅틱 피드백을 기반으로 표면상의 돌출 부분이 미세한 모양의 가장 자리를 지나는 느낌 혹은 진동을 사용자가 상대적으로 용이하게 획득하도록 지원할 수 있다. 햅틱 지원 모듈(7670)은 제2 햅틱 피드백을 기반으로 터치하는 표면의 미세한 압력 분포를 사용자가 느끼도록 지원할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 루피니 말단(Ruffini's Ending)에 05~400Hz주파수를 제공하여 표면을 문지르는 등 피부가 늘어나거나 당김의 느낌을 가지도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 키 경계 영역(8631)에 이벤트 발생 시 제1 햅틱 피드백을 제공하고, 키 내부 영역(8632)에 이벤트 발생 시 제2 햅틱 피드백을 제공하며, 키 바깥 영역(8633)에 이벤트 발생 시 제3 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 바깥 영역(8633)은 강도가 일정 값 이하인 제3 햅틱 피드백을 출력하고, 제1 햅틱 피드백은 강도가 일정 값 이상인 피드백을 가지도록 제어하며, 제2 햅틱 피드백은 중간 강도의 피드백이 출력되도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 구분된 영역별로 일정 크기 햅틱 피드백을 제공하는 방식 이외에, 연속적으로 햅틱의 강도나 주파수 변화를 제공할 수도 있다. 키 내부 영역(8632)에서 햅틱 지원 모듈(7670)은 굴곡 느낌과 관련하여 연속적으로 변하는 주파수나 진동 강도에 따른 햅틱 피드백을 출력하도록 제어할 수 있다.
각 변에 위치한 바깥 영역(8633)에 대한 제3 햅틱 피드백은 제공하는 면적과 피드백의 주파수, 강도 등의 증감 등이 각각 달리 구성될 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 햅틱 피드백과 관련한 키 경계 영역(8631)은 표시된 GUI 영역보다 넓게 설정될 수 있다.
가상 키보드를 위한 레이아웃은 키, 키보드 배경 이미지, 문자, 가상 키보드 경계선, 각 키의 경계선, 각 키 위에 있는 문자, 숫자, 기호, 도형 등 다양한 구성요소를 포함할 수 있다. 이에 대응하는 햅틱 레이아웃은 상기 레이아웃의 구성요소와 동일한 영역을 가지는 햅틱 구성요소일 수도 있으나, 서로 다를 수 있다. 여기서 햅틱 지원 모듈(7670)은 하나의 키를 키 내부 영역(8632), 키 경계 영역(8631), 바깥 영역(8633)으로 구분하고, 서로 다른 햅틱 구성요소로 나눌 수 있다. 한 실시예에 따르면, 키 내부영역(8632)에 함께 표시된 상기 다양한 구성요소 에 해당하는 영역을 위해 또 다른 햅틱 구성요소로서 지정할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 손가락의 초기 위치로 자주 사용되는 특정 키들, 예를 들어 F와 J키의 영역에 또 제4 햅틱 정보를 설정할 수 있다. 제4 햅틱 정보는 돌기나 홈의 모양을 느낄 수 있도록 하거나 특정한 진동 패턴, 진동의 방향성, 온도차, 공압, 어레이 핀의 높이나 운동 방향 등을 이용하여 표현되는 햅틱 피드백에 대응하는 정보일 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 피아노 건반의 흑백 건반들에 대응하여 다양한 햅틱 정보 할당 및 햅틱 피드백 출력을 제공할 수도 있다. 또한, 햅틱 지원 모듈(7670)은 현악기의 현들의 위치 및 진동하는 모양 등을 표현하는 방법과 관련하여 햅틱 정보 할당 및 햅틱 피드백 제공을 지원할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 기타의 6번 줄에 대응하는 제1 햅틱 정보를 1번 줄에 할당된 제2 햅틱 정보보다 강한 햅틱 피드백을 제공하는 형태로 설정할 수 있다.
다양한 실시예에 따르면, force feedback이 가능한 햅틱 모듈 (예: 복수개 피에조 소자에 의한 높낮이 변형 및 진동 피드백이 가능한 방식, 전자석 방식, 어레이 핀 방식 중 하나 이상)이 제공되는 경우, 햅틱 지원 모듈(7670)은 반발력 관련 햅틱 피드백을 제공할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 기계식, 멤브레인식, 팬터그래프 방식 등 물리적 키보드의 반발력 계수에 맞추어 force feedback을 제공할 수 있다. 추가로 또는 대체로 햅틱 지원 모듈(7670)은 주파수나 진동수 조정을 수행하여 매끄러운 느낌, 거친 느낌 등의 촉각적인 질감을 제공하여 force feedback과 결합한 형태로 제공할 수도 있다.
도 137은 다양한 실시예에 따른 페이지 전환 관련 햅틱 정보 운용을 설명하는 도면이다.
도 137을 참조하면, 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 PTE(page turning effects)를 통해 자연스러운 책 페이지 넘기는 UI 효과를 제공할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 GUI에 의한 페이지를 넘기는 모양에 대응하여 특정 햅틱 피드백을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(8100)의 디스플레이(8105)는 상태 8710에서와 같이 페이지가 넘어가기 이전의 페이지 형태를 나타내는 레이아웃 오브젝트(8701)을 출력할 수 있다. 또한 전자 장치의 디스플레이는 상태 8720에서와 같이 페이지가 넘어가는 과정의 페이지 형태를 나타내는 레이아웃 오브젝트(8702)를 출력할 수 있다.
물리적인 종이책의 페이지를 넘길 경우 우선 페이지의 바깥 변을 손가락으로 당긴 후 넘김 동작을 하게 된다. 이때에는 종이가 안쪽으로 굽혀지면서 손가락은 해당 페이지의 뒷면을 접촉하게 된다. 이러한 동작에서 페이지의 바깥 변을 손가락으로 접촉할 경우에는 페이지의 변을 접촉하게 되므로 거친 느낌을 받게 되며, 이후 페이지를 넘기면서 페이지의 면에 접촉하면 종이의 부드러운 느낌을 감지하게 된다. 이에 대응하도록, 햅틱 지원 모듈(7670)은 책의 모서리나 꼭짓점 부분을 터치나 터치 드래그 이벤트를 통해 접촉하는 제1 이벤트(8711)에 대응하여 상대적으로 거칠거나 강한 느낌을 주는 제1 햅틱 피드백 출력을 제어할 수 있다. 상태 8720 및 상태 8730에서와 같이 페이지가 안쪽으로 말리면서 손가락이 페이지의 뒷면에서 미끄러지면서 접촉함에 대응하여, 햅틱 지원 모듈(7670)은 제2 이벤트(8721)에 대응하여 상대적으로 약하거나 부드럽거나 매끄러운 느낌을 주는 진동, 주파수, 전자기적 움직임, 메커니컬(Mechanical)한 움직임, 공압 중 하나 이상을 가지는 제2 햅틱 피드백 출력을 제어할 수 있다. 햅틱 지원 모듈(7670)은 상태 8740에서와 같이 페이지가 완전히 넘어가면 별도의 햅틱 피드백을 제공하지 않을 수 있다.
다양한 실시예에 따르면, 제 1 이벤트(8711)에 해당하는 사용자의 입력 (예: 터치 드래그 이벤트)에 의해 페이지가 굽혀지는 동안, 상기 사용자 입력의 이동 거리 혹은 페이지 상의 위치 혹은 제 1 이벤트 유지 시간 중 적어도 하나를 기반으로 제 1 햅틱 피드백의 강도나 거친 질감의 크기 또는 출력 시간 중 적어도 하나를 다르게(예: 이전보다 크게 또는 이전보다 작게) 출력할 수도 있다. 이를 기반으로 햅틱 지원 모듈(7670)은 종이가 굽혀지는 동안 점진적으로 반탄력(또는 반발력, 탄성력 등)이 강해지는 물리적 현상을 표현할 수 있다. 예컨대, 사용자의 터치 드래그 이벤트에 의해 페이지가 접히는 동안, 햅틱 지원 모듈(7670)은 제 1 이벤트(8711)에서 제 2 이벤트(8721)로 변경되기 직전에 제 1 햅틱 피드백의 강도나 거친 질감을 최대치가 되도록 점차 증가하도록 설정할 수 있다. 상기 증가정도는 1차 선형적으로 혹은 로그함수적, 혹은 지수함수적으로 증가하도록 설정할 수도 있다.
도 138은 다양한 실시예에 따른 페이지 모서리 접힘 관련 햅틱 정보 운용을 설명하는 도면이다.
도 138을 참조하면 사용자 입력에 의해 발생한 제1 이벤트(예: 표시된 페이지의 모서리 영역에서 발생한 이벤트)가 터치 패널 상에서 이동(예: 페이지의 내측 방향으로 이동)하는 경우, 햅틱 지원 모듈(7670)은 페이지의 적어도 일부(예: 페이지의 우측 모서리 등)가 상태 8751 내지 상태 8758까지 접히는 형태로 출력되도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 상태 8751 내지 상태 8758까지에서와 같이 접히는 정도에 대응하여 출력되는 햅틱 피드백이 다르도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 8751에서 접히면서 상태 8757까지 페이지의 적어도 일부가 접히는 동안 제 1 햅틱 피드백의 강도 또는 거칠기 정도 중 적어도 하나를 증가되도록 제어하고, 페이지의 꼭짓점과 변이 사용자 입력 위치에 포함되지 않는 상태 8758에서는 입력 이벤트 변화로 판단하여 제 2 햅틱 피드백을 제공할 수 있다. 상태 8757은 꼭짓점이나 변이 사용자 입력 이벤트가 발생한 위치나 영역에 포함되며, 상대 8758로 벗어나기 직전이므로 햅틱 지원 모듈(7670)은 거친 질감 또는 강도 중 적어도 하나가 최대가 되는 햅틱 피드백을 출력하도록 제어할 수도 있다.
상술한 도 137 또는 도 138에서는 넘겨지는 페이지의 뒷면이 보이도록 페이지의 모서리가 안쪽으로 굽혀지면서 넘어가는 형태를 예시하였으나, 페이지의 모서리가 반대로 넘겨지면서 페이지가 볼록하게 굽혀진 후, 굽혀진 탄력에 의해서 페이지가 넘어가도록 표현될 수도 있다.
한 실시예에 따르면, 도 137에서 햅틱 지원 모듈(7670)은 최초에 넘겨지는 페이지의 변 위치에 제1 이벤트(8711)이 발생할 때 소정의 제 1 햅틱 피드백을 주되, 페이지 끝을 잡고 드래깅하는 제2 이벤트(8721)이 발생하는 동안 탄성을 모사하기 위해 점점 거친 느낌의 강도를 증가시키고, 페이지가 최종적으로 튕길 때(예: 제 1 이벤트에서 제 2 이벤트로 변화하는 시점) 일정 크기 이상의 거치고 강한 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 여러 페이지를 한꺼번에 넘기는 동작과 햅틱 피드백을 지원할 수도 있다. 예를 들어 햅틱 지원 모듈(7670)은 도 137의 한 페이지의 변에서 제 1 사용자 입력에 의해 제1 이벤트(8711)가 발생하고, 상기 제1 이벤트(8711)의 유지 시간에 따라 넘길 페이지 수를 점차 증가시키며, 이에 따라 다양한 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은, 한 페이지의 변에서 터치 홀드 이벤트가 발생하면 제 1 햅틱 피드백을 출력하고, 최초 이벤트 발생지점부터 소정의 거리 이내 영역에서 상기 터치 홀드 이벤트가 유지되면, 터치 홀드 이벤트 발생 시각(T)부터 이후 발생한 하나 이상의 터치 홀드 이벤트들 중 마지막 터치 홀드 이벤트 발생 시각(Tn)의 터치 유지시간(Td = Tn - T)을 측정하여 소정의 유지 시간(예: 지정된 시간 Tm)보다 같거나 크면 제 2 햅틱 피드백을 출력하고, T = Tn으로 초기화할 수 있다. 만약 Td가 Tm보다 작다면, T를 갱신하지 않고, Tn이후에 발생한 새로운 터치 홀드 이벤트 발생 시각을 Tn으로 갱신하여 Td를 측정한다. 이때, 제 2 햅틱 피드백은 제 1 햅틱 피드백과 동일할 수도 있고, 제 1 햅틱 피드백의 속성 (예: 강도, 진동 유지시간 중 하나 이상)을 변화시킨 것일 수도 있다.
다른 예로, 한 페이지 변을 포함하는 소정 범위의 영역내에서 터치 신호가 연달아서 발생할 때마다 제 2 햅틱 피드백을 출력할 수도 있다. 이후 햅틱 지원 모듈(7670)은 페이지 넘김 동작(예: 터치 드래깅 혹은 플릭(flick) 동작)이 발생했을 때, 넘겨지는 페이지 수를 증가시키도록 제어할 수 있으며, 증가한 페이지 수에 대응하여 제 3 햅틱 피드백(예: 페이지 수에 따라 질감의 거칠기나 진동 강도의 증가)을 출력할 수도 있다. 상기 예에 따르면, 페이지 한 변에서 터치 홀드를 유지할 때마다, 제 2 햅틱 피드백에 의해 넘길 페이지의 수나 페이지 증가 상황을 사용자가 감지할 수 있고, 터치 드래깅에 의해 한꺼번에 페이지를 넘기는 동작을 수행시 햅틱 지원 모듈(7670)은 한 페이지를 넘기는 경우와 다른 제 3 햅틱 피드백을 출력하여, 사용자가 다양한 햅틱 피드백을 경험할 수 있도록 지원한다.
상기 사용자 입력(예: 제1 이벤트(8711) 또는 제2이벤트(8721))이 감지된 구성 요소의 영역 판단은, 사용자 입력 신호가 감지된 입력 장치(예: 터치스크린) 영역상의 소정의 한 점 식별, 혹은 입력 신호가 감지된 영역의 면적에서 가장 큰 비율을 차지하는 구성요소 식별, 혹은 사용자 입력 신호가 감지된 입력 장치 영역상의 소정의 한 점에서 근접한 구성요소 식별, 또는 사용자 입력 신호가 감지된 입력감지 장치 영역상의 소정의 한 점을 포함하는 임의의 영역에서 가장 큰 비율을 차지하는 구성요소 식별, 특정한 구성요소의 적어도 일부가 입력신호가 감지된 영역 상에 존재하는 경우 중 적어도 하나를 기반으로 수행될 수 있다. 경계 영역이 단순히 하나의 선분인 경우라고 하더라도, 그 선분의 일부가 손가락에 의해 덮여서 입력 신호를 감지하는 영역에 존재하는 경우 햅틱 지원 모듈(7670)은 경계 영역을 위한 햅틱 피드백을 발생시킬 수 있다.
도 139는 다양한 실시예에 따른 페이지 넘김 관련 햅틱 정보 운용을 설명하는 도면이다.
도 139를 참조하면, 햅틱 지원 모듈(7670)은 상태 8771에서 상태 8777까지에 나타낸 바와 같이 넘겨지는 페이지의 꼭짓점이나 변을 누른 채로 뒷 페이지 위를 미끄러지다가 손가락에 의한 터치 이벤트(8711)이 넘겨지는 페이지의 꼭짓점이나 변을 벗어나는 경우, 페이지의 굽혀졌던 탄력으로 페이지가 튕기면서 넘겨지도록 표시할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 터치 이벤트(8711)을 발생시키는 터치 물체에 뒷 페이지의 표면에 대응하는 질감에 대응하는 햅틱 피드백을 제공할 수 있다. 또한 햅틱 지원 모듈(7670)은 넘겨지는 페이지의 굽힘의 정도 변화에 대응하여 터치 이벤트(8711)을 발생시키는 터치 물체에 제공되는 저항감의 크기를 조절할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 넘겨지는 페이지가 상태 1375에서 최대 저항감에 대응하는 햅틱 정보를 터치 이벤트(8711) 지점에서 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 상태 8777에서 저항감 관련 햅틱 요소를 제거할 수 있다.
또 다른 실시예에 따르면, 터치 물체를 이용하여 디스플레이에 표시된 우측 페이지의 우측 부분을 누르고, 좌측 페이지 영역까지 손가락을 누른 채 이동(예: 터치 드래그 이벤트)시키는 터치 이벤트(8711)이 발생하면, 햅틱 지원 모듈(7670)은 상기 우측 페이지가 볼록하게 말리면서, 우측 페이지의 우측 변이 좌측 페이지 영역 위에 위치하는 형태로 표시할 수 있다. 이러한 상황에서 이동을 멈추고, 터치 물체를 떼거나 혹은 이전에 이동하던 방향과 다른 방향(예: 우측 방향)으로 소정 속도 이상으로 빠르게 이동하는 터치 이벤트(8711)이 발생하면, 햅틱 지원 모듈(7670)은 말려있던 페이지가 좌측으로 넘어가는 형태로 표시할 수 있다.
또 다른 실시예에 따르면, 터치 물체가 디스플레이 상에서 페이지를 선택하여 이동하다가 이동을 멈춘 상태에서 이전에 이동하던 방향과 다른 방향으로 소정 속도 미만(지정된 속도 이하)으로 느리게 이동하는 터치 이벤트(또는 호버링 이벤트)(8711)이 수신되면, 햅틱 지원 모듈(7670)은 말려있던 페이지를 원래대로 우측으로 복원되는 형태로 표시하도록 제어할 수도 있다. 다양한 실시예에 따르면, 사용자 입력에 의한 페이지 넘김 동작 중 이동을 멈추고 손을 떼거나 이전과 다른 방향으로 이동하는 터치 이벤트(8711)이 수신되면, 햅틱 지원 모듈(7670)은 이벤트의 이전 이동 동작에 따른 이동 거리 혹은 페이지 영역에서 터치 이벤트(8711)의 위치에 따라 페이지가 넘어가거나 원래 상태로 복귀하는 형태로 표시할 수도 있다. 예컨대, 손가락으로 우측 페이지의 우측 변 영역을 선택하여 좌측으로 이동하다가 우측 페이지의 너비의 1/2을 넘지 않은 상태에서 손가락을 떼는 형태의 터치 이벤트(8711)이 발생하면, 햅틱 지원 모듈(7670)은 원래 상태로 페이지가 복귀하는 형태로 표시할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상기 1/2이상 거리를 좌측으로 이동한 후 손가락을 떼는 형태의 터치 이벤트(8711)이 발생하면, 햅틱 지원 모듈(7670)은 페이지를 좌측으로 넘어가는 형태로 표시할 수도 있다. 상술한 표시 동작에 대응하여, 햅틱 지원 모듈(7670)은 적어도 하나의 햅틱 피드백 또는 점진적으로 크기나 강도가 변하는 햅틱 피드백 등을 터치 이벤트(8711)이 발생한 지점 또는 해당 지점을 기준으로 일정 범위에 제공할 수 있다. 상술한 바와 같이 다양한 실시예에 따른 장치 및 방법은 페이지의 시각적인 구성요소들이 배치되는 제1 레이아웃을 설정하는 동작, 페이지의 제1 레이아웃을 구성하는 시각적인 구성요소들의 영역에 따라 적어도 하나의 햅틱 피드백을 설정하는 제1 햅틱 레이아웃을 설정하는 동작, 제1 사용자 입력을 감지하는 동작 및 제1 사용자 입력이 감지된 구성요소의 영역에 따라 상기 소정의 제1 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 제1 사용자 입력이 발생한 위치로부터 소정의 거리 이상 이동하는 제2 사용자 입력을 감지하는 동작, 이에 따른 위치의 변화를 감지하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 제2 사용자 입력에 따라 페이지 모양이 변함을 표현하기 위해 제1 레이아웃이 변형되는 제2 레이아웃을 설정하는 동작, 상기 제2 레이아웃에 따른 제2 햅틱 레이아웃을 설정하는 동작, 상기 제2 사용자 입력이 감지된 구성요소의 영역에 따라 상기 소정의 제2 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 제1 레이아웃에서 페이지의 상, 하, 좌, 우변, 혹은 꼭짓점 영역 중 적어도 하나의 영역을 적어도 일부 포함하는 경계 영역을 제1 햅틱 레이아웃의 햅틱 구성요소로서 해당 영역에 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제1 사용자 입력이 감지되고, 소정의 유지시간이 경과함에 따라 상기 제1 햅틱 피드백의 속성을 변경하거나, 제 2 햅틱 피드백 혹은 제 3 햅틱 피드백 중 하나 이상을 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제1 사용자 입력이 감지되고, 소정의 유지시간이 경과함에 따라 페이지 넘김 효과의 넘겨지는 페이지 수가 증가하도록 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 제2 레이아웃에서 페이지의 상, 하, 좌, 우변, 혹은 꼭짓점 영역 중 적어도 하나의 영역을 적어도 일부 포함하는 경계 영역을 제2 햅틱 레이아웃의 햅틱 구성요소로서 해당 영역에 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제2 사용자 입력이 감지되는지 판단하는 동작 및 경계 영역인 경우와 아닌 경우에 따라 서로 다른 제2 햅틱 피드백을 발생하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 제2 햅틱 피드백은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제2 사용자 입력이 감지되고, 소정의 유지시간이 경과함에 따라 페이지 넘김 효과의 넘겨지는 페이지 수가 증가하도록 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 페이지 수에 따라 제2 햅틱 피드백의 주파수, 진동유지시간, 진동 패턴, 진동 강도, 진동 방향성, 수직운동 높이, 반발력, 온도변화, 공압, 정전압 세기 중 적어도 한 가지 이상을 포함하여 변경하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 전자 장치는 터치스크린이 장착된 전자책 리더일 수 있다.
도 140은 다양한 실시예에 따른 입력 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 140을 참조하면, 다양한 실시예에 따르면, 제1 외부 장치(9001)는 제1 전자 장치(9000)와 블루투스(Bluetooth)나 와이파이(wifi)와 같은 로컬 네트워크를 통해 연결되고, 제1 전자 장치(9000)는 제2 전자 장치(9004)와 GSM, CDMA, 4G, 5G 등과 같은 광대역 네트워크(9062)를 통해 연결될 수 있다. 상술한 구조에서 전자 장치들과 외부 장치들은 터치 입력과 햅틱 피드백 출력을 지원할 수 있다. 다른 실시예에 따르면 제1 외부 장치(9001)는 제1 전자 장치와 광대역 네트워크(9062)를 통해서 연결될 수도 있다. 다른 실시예에 따르면, 제1 전자 장치(9000)는 제2 전자 장치(9004)와 무선 로컬 네트워크를 통해 연결될 수도 있다.
다양한 실시예에 따르면, 제1 외부 장치(9001)에 사용자 입력 (예: 터치 입력, 터치 드래그, 호버링, 터치 홀드 중 하나 이상) 이벤트가 발생하면, 제1 외부 장치(9001)는 입력 물체를 인식하고, 입력 물체 및 입력 제스처에 대응하는 햅틱 정보를 검출하고, 이를 제1 전자 장치(9000)에 전달할 수 있다. 제1 전자 장치(9000)는 수신된 햅틱 정보를 출력할 수 있다. 또는 제1 전자 장치(9000)는 수신된 햅틱 정보를 제2 전자 장치(9004)에 전달할 수 있다. 햅틱 정보를 제공받은 제2 전자 장치(9004)는 해당 햅틱 정보에 대응하는 햅틱 피드백을 출력할 수 있다. 또는 제2 전자 장치(9004)는 해당 햅틱 정보를 제2 외부 장치(9002)에 전달할 수 있다. 제2 외부 장치(9002)는 수신된 햅틱 정보에 따른 햅틱 피드백을 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치를 이용하여 타인과 통화하는 과정에서 손가락으로 특정 메시지를 작성하면, 작성된 메시지는 다른 전자 장치에 전송함과 아울러 그에 대응하여 햅틱 정보 전송을 지원할 수 있다. 이 때 입력한 수단이 손가락이 아니라 펜이라면 손가락 보다 좁은 면적에서 보다 약한 세기의 진동 패턴을 가지는 햅틱 정보를 전송할 수 있다. 예컨대, 펜에 의해 "I love you"라는 문자가 제1 외부 장치(9001) 또는 제1 전자 장치에 입력되면 제2 전자 장치(9004) 또는 제2 외부 장치(9002) 중 적어도 하나에 상기 문자가 써짐과 아울러 입력 수단에 대응하는 햅틱 정보에 따른 햅틱 피드백 출력이 수행될 수 있다. 이 동작에서 문자 써짐과 햅틱 피드백 출력 시기가 동기화될 수 있다.
일 실시예에 따르면 제1 전자 장치(9000) 또는 제2 전자 장치(9004), 또는 외부 장치(9001 혹은 9002) 중 적어도 하나는 입력되는 입력 정보와 관련된 제스처, 입력강도, 입력 위치, 입력 속도, 입력 면적을 입력 수단에 따라 다른 햅틱 피드백을 제공하는 햅틱 정보를 설정할 수 있다. 예를 들어 제1 전자 장치(9000) 또는 제2 전자 장치(9004) 중 적어도 하나는 손가락 관절을 이용한 노크에 대응하는 햅틱 정보, 손가락으로 문지르거나 손가락으로 잡는 위치, 잡는 세기 중 적어도 하나에 따라 햅틱 정보를 다르게 설정할 수 있다. 예컨대, 압력센서(pressure sensor)나 터치센서(예: capacity 또는 저항막 센서)가 베젤에 내장된 제 1 전자장치(9000)는 사용자가 상기 전자장치를 쥐는 세기를 터치 면적 크기나 압력값 혹은 capacitnace값의 세기로 판단할 수 있다. 이를 기반으로, 터치스크린에서 제스처 입력에 의한 입력신호가 감지되면, 제 1 전자장치(9000)은 제 2 전자장치(9004)에 쥐는 세기 정보와 제스처 관련 정보를 전달할 수 있다. 세기 정보 또는 제스처 관련 정보 중 적어도 하나를 수신한 제 2 전자장치(9004)는 햅틱 정보로서 쥐는 세기 정보에 비례하는 강도의 햅틱 피드백 또는 제스처 정보에 대응하는 소정의 햅틱 피드백 중 적어도 하나와 관련한 정보를 제공할 수 있다.
한 실시예에 따르면 전달된 햅틱 피드백과 관련한 정보는 제2 전자 장치(9004) 또는 제2 외부 장치(9002)의 햅틱 모듈을 통해 재생될 수 있다. 예를 들어 제2 외부 장치(9002)의 뒷면에 배치된 적어도 하나의 햅틱 모듈을 통해 햅틱 정보에 대응하는 햅틱 피드백이 출력될 수 있다. 다양한 실시예에 따르면, 전면의 디스플레이 장치와 통합된 햅틱 재생 장치를 통해 햅틱 정보에 대응하는 햅틱 피드백이 출력될 수도 있다.
도 141은 다양한 실시예에 따른 시계 기능 실행 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 141을 참조하면, 다양한 실시예에 따르면, 전자 장치(9100)의 햅틱 지원 모듈(7670)은 상태 9110에서와 같이 디스플레이(9105) 영역에 시간 정보를 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 전자 장치(9100)의 일정 영역에 터치 이벤트 (예: 터치 다운, 터치 업, 터치 드래그 이벤트 혹은 터치 홀드 이벤트 중 하나 이상)가 발생하거나 호버링 이벤트가 발생하면, 해당 시간에 대응하는 햅틱 피드백 정보를 출력할 수 있다. 상태 9110에서와 같이 전자 장치는 시간 정보를 분침과 시침을 이용하여 표시하거나 또는 숫자로 표시할 수 있다.
햅틱 지원 모듈(7670)은 지정된 이벤트가 발생하면, 현재 시간 정보를 획득할 수 있다. 햅틱 지원 모듈(7670)은 현재 시간 정보에 대응하는 위치에 특정 햅틱 정보에 대응하는 햅틱 피드백 출력을 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 상태 9120에서와 같이 분침 영역(9122)에 대응하는 제1 햅틱 피드백 및 시침 영역(9121)에 대응하는 제2 햅틱 피드백을 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 시침 영역(9121)에서 터치나 호버링이 감지되면, 제2 햅틱 피드백을 제공하고, 분침 영역(9122)에서 터치가 감지되면 제1 햅틱 피드백을 제공할 수 있다. 시침 영역(9121)이 분침 영역(9122)보다 길이나 면적이 짧으므로 탐색 모드에 의해 시침 영역(9121)과 분침 영역(9122) 구분이 용이하게 수행될 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 방향성을 가진 햅틱 피드백을 출력하여 시간 확인을 용이하게 인지하도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 9130에서와 같이 문자판 영역(9103) 중 해당하는 시침 문자판(9131)과 분침 문자판(9132)에 서로 다른 제1 햅틱 피드백 및 제2 햅틱 피드백을 출력하도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 제2 햅틱 피드백을 제1 햅틱 피드백에 비해 보다 강한 강도로 제공하거나 보다 거칠게 표현함으로써 보다 직관적인 구분이 가능하도록 지원할 수 있다. 혹은 햅틱 지원 모듈(7670)은 문자판 영역(9103)의 햅틱 피드백 영역 크기를 다르게 적용할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 분침 문자판(9132) 영역보다 시침 문자판(9131) 영역을 상대적으로 넓게 설정하고, 설정된 해당 영역 전체 혹은 해당 영역 중 터치가 발생한 영역에 한하여 지정된 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 9140에서와 같이 시침과 분침의 위치에 대응하는 베젤 영역(9104) 상에서 햅틱 피드백을 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 베젤 영역(9104) 중 시침 지시 베젤 영역(9141)에 제1 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 분침이 가리키는 분침 지시 베젤 영역(9142)에 제2 햅틱 피드백을 출력하도록 제어할 수 있다.
상술한 예제들에서 햅틱 지원 모듈(7670)은 시침 영역과 분침 영역 혹은 문자판 영역에서 제공하는 햅틱 피드백들을 순차적으로 제공할 수 있다. 이를 기반으로, 햅틱 지원 모듈(7670)은 시침과 분침이 겹치는 경우 용이한 구분을 지원할 수 있다.
상술한 실시예들에서 햅틱 피드백은 제1입력 모드 혹은 탐색모드(예: 터치 드래그나 호버링 이동시 시침 및 분침 영역에 한해 햅틱 피드백을 제공하거나 시침 분 분침 영역이 아닌 경우 방향성 햅틱 피드백을 제공하는 모드)에서 제공되는 것으로서 제2 입력모드에서는 시간을 변경하는 동작을 수행할 수 있다. 또한 상기 제1 입력모드나 탐색모드에서 디스플레이는 켜지지 않는 전력절약모드(power saving mode) 혹은 스크린 락 모드(screen lock mode)를 유지할 수도 있다. 이를 위하여 전자 장치에서 저전력 구동을 지원하는 센서 허브를 통해 근접하는 물체의 근접도가 소정 기준 이내이거나, 스크린 off 상태에서 스크린 on 키가 눌리지 않은 상태에서 터치 감지 장치에서 입력이 발생하는 경우에 자동으로 제1 입력모드나 탐색모드로 설정할 수 있다. 또한 각 영역의 경계 영역에 또 다른 햅틱 피드백을 제공할 수도 있다. 다양한 실시예에 따르면, 지정된 특정 이벤트 발생에 대응하여 전자장치는 디스플레이의 턴-오프 상태를 유지(예: 슬립 모드 유지 혹은 디스플레이 발광부만 꺼짐 상태유지)하면서 시간 정보를 햅틱 피드백 기반으로 제공할 수 있다. 이에 따라, 사용자는 디스플레이 확인 없이 햅틱 피드백에 기초하여 시간 정보를 확인할 수 있다. 상기 특정 이벤트의 예로는, 상기 전자장치 에서(예: 디스플레이 영역 또는 터치 가능 베젤 영역) 터치 홀드 이벤트 발생, 상기 전자 장치의 움직임에 의한 움직임 신호 감지(예: 내장된 가속도 센서나 자이로 센서가 수집한 소정 강도 이상의 움직임 신호), 근접센서에 의한 물체 접근 감지(예: 특정 물체와 상기 전자 장치의 디스플레이간 거리가 소정거리 이내인 상태) 중 적어도 하나의 이벤트를 포함할 수 있다.
도 142는 다양한 실시예에 따른 외부 환경 및 헬스 케어 기능 관련 실행 정보별 햅틱 정보 운용과 관련한 도면이다.
도 142를 참조하면, 다양한 실시예에 따르면, 전자 장치(9200)는 날씨, 습도, 온도, 생체정보 중 적어도 하나의 확인과 관련한 햅틱 피드백을 제공할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 서비스 관련 정보를 슬라이더 바나 그리드 형식의 레이아웃으로 표현할 수 있다. 또는 햅틱 지원 모듈(7670)은 베젤이나 화면상에서 터치(예: 터치 다운, 터치 업, 터치 드래그 이벤트 혹은 터치 홀드 이벤트 중 하나 이상)나 호버링 이벤트가 발생할 경우 특정 영역(예: 터치스크린 혹은 사용자의 신체와 접촉하고 있는 영역)에 햅틱 피드백을 제공함으로써 상대적인 위치를 통해 서비스 정보의 특정 항목의 상대적 비율이나 정도를 확인할 수 있도록 지원한다. 다른 실시예에서 햅틱 지원 모듈(7670)은 상기 이벤트가 발생한 영역에 해당하는 특정 항목의 상대적 비율이나 정도를 특정 영역이 아닌 전자제품 전체에 진동의 강도나 진동 발생 빈도 혹은 진동의 방향성 중 적어도 하나를 통해 전달할 수도 있다.
상태 9210에 나타낸 바와 같이, 전자 장치(9200)는 소정의 햅틱 피드백(예: 제1 햅틱 피드백) 출력이 가능한 디스플레이(9205)에 날씨 변화, 달(moon)의 변화, 온도 변화, 또는 습도 변화 중 적어도 하나를 바(bar) 형태의 영역에 제1 햅틱 피드백과 함께 출력할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 제1 햅틱 피드백을 각 정보 바들에 배치된 마크(9211)의 위치 혹은 개수에 대응하도록 출력할 수 있다. 이에 따라, 사용자는 마크(9211)의 위치 혹은 개수를 통해 상대적 특정 서비스 정보의 비율을 파악할 수 있다. 햅틱 지원 모듈(7670)은 마크(9211)이 표시된 바 영역들 간에 서로 다른 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 상태 9220에서와 같이 전자 장치는 날씨 정보를 표시하기 위해 맑음부터 우천까지 날씨 종류를 네 개의 이미지로 표현하고 현재 날씨에 해당하는 이미지를 하이라이트하여 표시할 수 있다. 다양한 실시예에 따르면, 전자 장치는 날씨 정보와 관련한 이미지들을 여러 지역정보와 함께 제공함으로써 여러 지역의 날씨를 한꺼번에 볼 수 있도록 지원할 수 있다. 다양한 실시예에 따르면, 전자 장치는 하루의 시간대별 날씨 변화나 주간 날씨변화에 대응하는 복수의 이미지 출력을 지원할 수 있다.
이러한 지역정보 기반 날씨 정보를 얻기 위해서 전자 장치는 위치 정보를 수집하고, 이를 기반으로 네트워크(9062)를 통해 날씨정보를 검색하여 획득할 수 있다. 예를 들어, 전자 장치는 현재 사용자가 있는 지역의 위치를 GPS 센서나 기지국의 무선 신호를 통해 인식하고, 해당 지역의 날씨정보를 유선이나 무선 네트워크로 연결된 원격 서버나 타 전자 장치 등을 통해 수신할 수 있다. 그리고 전자 장치는 하루의 시간대 별로, 혹은 날짜별로 날씨 정보를 표시할 수 있다.
이 동작에서, 햅틱 지원 모듈(7670)은 터치기반 디스플레이에 표시된 날씨 영역에 지정된 입력이 감지되면, 특정 햅틱 피드백을 제공하여 디스플레이를 보지 않더라도 사용자가 날씨를 쉽게 확인하도록 지원할 수 있다. 햅틱 지원 모듈(7670)은 이미지 영역들의 경계 영역에 서로 다른 햅틱 피드백을 제공하여 해당 입력이 감지된 영역이 디스플레이에서 상대적으로 어느 위치에 있는 지 인지할 수 있도록 지원할 수 있다.
상태 9220에서 일부 이미지는 현재의 청명도에 따른 비율을 표시한 것이다. 햅틱 지원 모듈(7670)은 제1 햅틱 피드백을 기반으로 청명도 영역을 구분하도록 지원할 수 있다. 햅틱 지원 모듈(7670)은 청명도 영역의 하측 끝 경계 영역에 있는 바 영역(9221)에 제2 햅틱 피드백을 제공하여 청명도 비율의 용이한 확인을 지원할 수 있다. 또한 경계 영역 하측의 바 영역(9221)은 또 다른 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 9220에서와 같이 컨텐츠의 정보에 따라 각기 다른 햅틱 피드백을 제공할 수 있다. 예를 들어 도시된 바와 같이 햅틱 지원 모듈(7670)은 각각의 날씨 표시 영역들(9222)에서 다른 촉감의 햅틱 피드백을 제공할 수 있다. 이를 통해 햅틱 지원 모듈(7670)은 디스플레이를 보지 않고도 오늘 혹은 주간 날씨 예보를 확인하도록 지원할 수 있다. 햅틱 지원 모듈(7670)은 이벤트가 발생한 디스플레이 영역에서 해당하는 햅틱 피드백을 제공할 수 있다. 만약 주간 날씨이거나 하루의 시간대별 날씨를 보여 주고 있다면, 다른 날짜나 시간대에서는 햅틱 피드백을 제공하지 않고, 햅틱 지원 모듈(7670)은 현재 시간이나 날짜에 해당하는 날씨 표시 영역(9223)에서만 햅틱 피드백을 제공할 수 있다. 혹은 날씨 영역과 관계없이 햅틱 지원 모듈(7670)은 사용자 입력이 발생한 터치스크린 영역에서 현재 시간이나 오늘 날짜의 날씨에 해당하는 소정의 햅틱 피드백을 제공할 수도 있다. 예를 들어, 햅틱 지원 모듈(7670)은 날씨가 맑으면 부드럽고 매끈한 질감의 햅틱 피드백을 디스플레이에 특정 이벤트가 발생하였을 때 제공할 수 있다. 햅틱 지원 모듈(7670)은 날씨가 흐리거나 비올 확률이 일정 크기 이상이라면 달라붙는 듯한(sticky) 촉감이나 거친 질감(roughness)의 햅틱 피드백을 제공하되, 그 강도, 속도, 패턴 등을 다르게 할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 촉감 혹은 질감의 정도를 달리함으로써 구름의 많고 적음이나 강수확률의 높고 낮음 정도를 표현할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 바람이 일정 크기 이상인 날씨인 경우 그 강도와 방향을 방향성이 있는 햅틱 피드백(예: 방향, 속도와 강도를 가지는 햅틱 피드백)을 통해 제공할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 햅틱 피드백의 방향성을 바람의 방향에 대응하도록 좌상에서 우하 방향으로 제공할 수 있다. 햅틱 지원 모듈(7670)은 바람의 속도와 강도에 대응하여 다양한 형태의 바람에 대응하는 햅틱 피드백을 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 특정 촉감이나 질감에 해당하는 햅틱 피드백을 사용자 입력이 특정 하이라이트 영역에서 발생했을 경우에만 제공할 수도 있고 혹은 슬라이더 바를 제외한 다른 영역 전체에 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 상태 9230에서와 같이 헬스 케어 기능과 관련한 실행 정보를 수집하고, 이를 디스플레이나 베젤에 출력하면서 특정 햅틱 피드백 정보를 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 현재 운동량과 목표치와 관련하여 지정된 햅틱 피드백 정보를 출력하도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 달성도의 크기에 따라 서로 다른 햅틱 피드백 정보를 출력할 수 있다. 또한 햅틱 지원 모듈(7670)은 햅틱 피드백을 디스플레이에 배치된 햅틱 모듈을 통해 제공하거나 또는 베젤에 배치된 햅틱 모듈을 통해 출력하도록 제어할 수 있다. 한 실시예에 따르면, 상태 9230에서 햅틱 지원 모듈(7670)은 운동량에 따른 달성률이 지정된 목표치의 50%인 경우, 베젤 중 6시 방향 영역(9231)에서 달성률 50% 에 대응하는 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 운동에 따른 달성륭이 지정된 목표치의 50%인 경우 베젤의 9시 방향 영역(9233)에서 달성률 75% 에 대응하는 햅틱 피드백(예: 달성률 50%인 경우와 동일 또는 다른 형태의 피드백)을 출력할 수 있다. 상기 햅틱 지원 모듈(7670)은 사용자의 신체가 베젤 영역의 특정 지점(예: 달성률에 해당하는 베젤 지점)에 접촉하였을 때 해당 영역에 한해서 피드백을 주거나 혹은 전자장치 전체에 해당하는 햅틱 피드백을 출력하도록 제어할 수 있다.
도 143은 다양한 실시예에 따른 헬스 코칭 기능 중 운동 속도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 143을 참조하면, 전자 장치(9300)는 예컨대 상태 9310에서와 같이 사용자에 착용 가능한 상태일 수 있다. 전자 장치는 사용자 입력 제어에 대응하여 운동량을 설정하고 이에 따른 현재 달성도를 햅틱 피드백으로 나타낼 수 있다. 다양한 실시예에 따르면, 전자 장치는 현재 달성도에 따라 적어도 하나의 형태의 햅틱 피드백을 베젤의 특정 위치에서 출력할 수 있다. 이에 따라, 사용자는 햅틱 피드백의 종류와 발생 위치를 기반으로 현재 달성도를 용이하게 인지할 수 있다. 전자 장치는 운동량을 설정하고 코치하는 어플리케이션이 실행된 경우 사용자의 모션을 인식하고, 이에 따라 햅틱 피드백을 제공할 수 있다.
상태 9310에 나타낸 전자 장치는 사용자의 심박, 혈압, HRV(Heart Rate Variability), 가속도맥파(APG: Accelerated Plethysmo), 혈관노화도, 산소포화도, 혈당, 심폐음, 피부저항, 근전도, 심전도, 걸음걸이, 콜레스테롤, 뇌파, 혹은 체온 중 하나 이상의 대응하는 생체정보를 인식할 수 있는 생체정보 센서장치(예: PPG(Photoplethysmography) 센서, 맥파센서, ECG(electrocardiogram), 수면센서, 뇌파센서, 근전도 센서, 혈당센서, 콜레스테롤센서 중 하나 이상)를 포함할 수 있다. 또한 전자 장치는 가속도 센서, GPS, 자이로 센서, 지자기 센서, 디지털 콤파스와 같은 사용자의 위치, 방향, 혹은 모션 등을 인식할 수 있는 움직임 센서장치를 포함할 수 있다. 전자 장치는 상술한 센서장치들이 감지한 생체 또는 움직임 정보 중 하나 이상을 기반으로 사용자의 헬스케어, 운동코치, 숙면도 감지, 스트레스 관리 등의 서비스를 제공할 수 있다.
한 실시예에 따르면, 전자 장치는 상술한 센서장치들을 기반으로 신체 부착 상태 또는 착용 상태를 감지하는 동작을 제어하고, 신체 접촉 상태 또는 신체 착용 상태로 판단되면, 햅틱 정보를 할당하는 동작을 제어할 수 있다. 상기 신체 접촉 상태 또는 착용 상태를 감지하는 동작은 생체센서를 기반으로 전자 장치의 착용 시 생체신호 특성을 분석함으로써 판단될 수 있다. 예컨대, 전자 장치는 PPG 센서를 통해 입력된 광신호의 DC 성분(component)이 소정의 신호 강도 이상(예: 지정된 신호 강도나 최대 강도대비 지정 비율 이상)인 상태, 감지된 PPG 신호 중 AC성분의 진폭이 소정 기준 이상(예: 지정된 AC 진폭 크기나 최대 진폭대비 지정된 진폭 비율 이상)인 상태, 지정된 기간의 신호대잡음비(SNR: signal-to-noise ratio)가 지정된 값보다 큰 상태, 감지된 생체 신호의 신호 패턴(예: 주파수 또는 주기)과 지정된(예: 미리 정의된, 또는 미리 저장된) 신호 패턴 비교 결과가 정상 상태(예: 정상인 상태로 지정된 신호 패턴인 상태) 중 적어도 하나의 상태를 포함하는 경우 정상적인 착용 상태로 판별할 수 있다.
다양한 실시예에 따르면, 전자 장치는 상태 9320 내지 상태 9360에서와 같은 다양한 서비스(예: 헬스케어, 운동코치, 숙면도 감지, 스트레스 관리, 정서관리 중 하나 이상) 기능을 제공할 수 있다. 예컨대, 전자 장치의 햅틱 지원 모듈(7670)은 상태 9320에서와 같이 운동 종류 관련 오브젝트(9321), 운동 상태 관련 오브젝트를 포함하는 화면을 디스플레이에 출력하도록 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 서비스 종류 관련 오브젝트(9321)에 특정 햅틱 정보를 할당할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 서비스 종류 관련 오브젝트(9321)의 경계 영역(9302)에 제1 햅틱 정보를 할당하거나, 운동 종류 관련 오브젝트(9321)의 내부 영역(9301)에 제2 햅틱 정보를 할당하는 동작 중 적어도 하나의 동작을 수행할 수 있다. 다양한 실시예에 따르면, 상기 제1 햅틱 정보와 제 2햅틱 정보는 서로 상이할 수 있다.
또 다른 실시예에 따르면 상기 전자 장치의 햅틱 지원 모듈(7670)은 디스플레이의 전원을 끄거나(turn-off) 오브젝트를 표시하지 않은 상태에서 이벤트 발생에 대응하는 햅틱 피드백을 출력하도록 설정된 특정 햅틱 정보를 할당할 수 있다. 예컨대, 다양한 실시예에 따르면, 특정 이벤트(예: 전자 장치에서 발생하거나 수신한 이벤트)가 발생한 경우 전자 장치는 디스플레이를 켜지 않고 이벤트 발생에 대응하는 햅틱 피드백을 출력하도록 제어할 수 있으며. 이에 대응하여 사용자는 디스플레이를 조회하지 않고 햅틱 피드백만으로도 이벤트 발생에 대응하는 정보를 확인할 수 있다. 상기 특정 이벤트의 예로는, 상기 전자장치의 디스플레이나 베젤 위에서 터치 홀드 이벤트가 발생하는 이벤트, 상기 전자장치의 움직임으로 인해 내장된 가속도 센서나 자이로 센서 또는 GPS 중 하나 이상의 센서에서 소정 강도 이상의 움직임 신호(예: 소정 속도 이상의 걸음이나 달리기에 대응하는 신호)가 감지되는 이벤트, 근접센서에 의해 어떠한 물체가 상기 전자장치의 디스플레이와 소정거리 이내에 존재하는지 판별되는 이벤트, 디스플레이가 향한 방향이 사용자가 조회할 수 없는 방향으로 배치되는 상태(예: 손목에 찬 시계장치의 디스플레이가 중력방향으로 향한 상태, 디스플레이 방향과 같은 방향을 향한 카메라에 의해 사용자의 얼굴이나 눈이 인식되지 않는 상태 중 적어도 하나의 상태) 확인 이벤트 중 적어도 하나를 포함할 수 있다. 이러한 동작을 통해 전자 장치는 사용자의 개인정보 보호 혹은 전원 관리의 기능을 지원할 수 있다.
다양한 실시예에 따르면, 전자 장치의 햅틱 지원 모듈(7670)은 상태 9330에서와 같이 운동 코칭 관련 오브젝트(9331)을 포함하는 화면을 디스플레이에 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 운동 코칭 관련 오브젝트(9331)의 경계 영역(9302)와 내부 영역(9301)에 서로 다른 햅틱 정보를 할당할 수 있다. 운동 코칭 관련 오브젝트(9331)은 속도 증가를 안내하는 정보를 포함할 수 있다. 햅틱 지원 모듈(7670)은 운동 코칭 관련 오브젝트(9331)에 대응하는 햅틱 피드백을 다른 운동 코칭 관련 오브젝트에 관련한 햅틱 피드백들보다 피드백의 강도가 세거나 혹은 소정의 단위 시간당 발생 빈도가 더 높게 설정할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 동일 시간 내 발생빈도가 적은 패턴에서 많은 패턴(속도가 증가하는 패턴)을 반복함으로써 속도 증가를 가이드 할 수도 있다.
다양한 실시예에 따르면 상기 햅틱 지원 모듈(7670)은 사용자의 손가락이나 손바닥과 같은 입력물체가 디스플레이영역 중 소정 비율 이상(예: 60% )을 덮었을 때, 햅틱 피드백이 출력되도록 제어할 수 있다. 또 다른 실시예에 따르면, 입력물체가 상기 오브젝트(9331)의 경계 영역(9302)와 내부 영역(9301) 중 적어도 하나의 영역에 접촉됨에 대응하여 이벤트가 발생하였을 때, 햅틱 지원 모듈(7670)은 상기 입력물체가 접촉하고 있는 터치 이벤트 신호가 발생하는 영역에만 햅틱 피드백이 출력되도록 제어할 수 있다. 또 다른 실시예에 따르면, 입력물체가 상기 오브젝트(9331)의 경계 영역(9302)와 내부 영역(9301) 중 적어도 하나의 영역에 접촉됨에 대응하여 이벤트가 발생하였을 때, 햅틱 지원 모듈(7670)은 상기 입력물체와 접촉이 발생한 오브젝트 영역이나 경계영역에 햅틱 피드백이 발생하도록 제어할 수도 있다.
다양한 실시예에 따르면, 전자 장치의 햅틱 지원 모듈(7670)은 상태 9340에서와 같이 운동 코칭 관련 오브젝트(9341)을 포함하는 화면을 디스플레이에 출력하도록 제어할 수 있다. 운동 코칭 관련 오브젝트(9341)은 운동 코칭 관련 오브젝트(9331)과 동일한 정보를 제공하되 다른 형태의 표현일 수 있다. 햅틱 지원 모듈(7670)은 운동 코칭 관련 오브젝트(9341)의 화살표의 테두리에 대응하는 경계 영역(9302)와 화살표 내부 영역(9301)에 서로 다른 햅틱 정보를 할당할 수 있다. 다양한 실시예에 따르면, 전자 장치의 햅틱 지원 모듈(7670)은 상태 9350에서와 같이 운동 코칭 관련 오브젝트(9351)을 포함하는 화면을 디스플레이에 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 센서 모듈에서 제공되는 센서 신호를 기반으로 전자 장치의 이동 속도를 검출할 수 있다. 검출된 이동 속도를 기반으로 햅틱 지원 모듈(7670)은 현재 속도를 유지하도록 안내하는 정보를 포함하는 운동 코칭 관련 오브젝트(9351)을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 운동 코칭 관련 오브젝트(9351)의 경계 영역(9302)와 내부 영역(9301)에 서로 다른 햅틱 정보를 할당하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 운동 코칭 관련 오브젝트(9351)에 대응하는 햅틱 피드백을 제공하지 않을 수도 있다. 또는 햅틱 지원 모듈(7670)은 현재의 보조(예: 운동 속도, 걸음 속도 등)에 맞는 햅틱 피드백을 제공하거나, 지정된 일정 간격의 햅틱 피드백을 발생시키도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 전자 장치의 이동 속도에 대응하여 감속을 안내하는 정보에 해당하는 운동 코칭 관련 오브젝트(9361)을 상태 9360에서와 같이 디스플레이에 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 운동 코칭 관련 오브젝트(9361)의 경계 영역(9302)와 내부 영역(9301)에 서로 다른 햅틱 정보를 할당하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 감속 지시와 관련한 햅틱 피드백 출력을 위하여 현재 발생하고 있는 사용자의 운동 패턴을 분석하고 이보다 느린 속도로 햅틱 피드백을 제공함으로써 운동 패턴을 이 햅틱 피드백에 동기화하도록 가이드할 수 있다. 햅틱 피드백이 사용자의 신체와 닿는 면에 배치된 경우, 예를 들어 시계장치의 밑면에 있는 경우 햅틱 지원 모듈(7670)은 햅틱의 강도, 패턴변화, 방향성, 주기 중 적어도 하나를 이용하여 특정 햅틱 피드백을 제공할 수 있다.
한 실시예에 따르면, 운동 코칭 가이드와 관련하여, 햅틱 지원 모듈(7670)은 운동 속도를 높이도록 가이드하기 위해 단위 시간당 햅틱 피드백 발생 빈도를 높이고, 운동 속도를 낮추도록 가이드하기 위해 단위 시간당 햅틱 피드백 발생 빈도를 낮추도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 운동 속도에 따라 다른 크기의 빈도로 발생하는 햅틱 피드백을 통해 일정 박자감을 제공할 수 있다. 이를 통해 햅틱 지원 모듈(7670)은 사용자의 운동 속도나 형태 중 적어도 하나를 햅틱 피드백에 보조되도록 가이드할 수 있다. 추가적으로 또는 대체적으로, 햅틱 지원 모듈(7670)은 햅틱 피드백에 대응하는 오디오 피드백(지정된 음악 또는 재생 이력을 기반으로 선택된 사용자 선호 음악이나 비트박스 사운드 중 하나 이상)을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 달리기나 푸시업과 같은 운동코칭 서비스에 따른 가이드 정보 및 햅틱 피드백을 제공할 수 있다. 전자 장치(예: 손목 시계형 장치)은 달리기 페이스 코칭과 관련하여 가속도 센서나 자이로 센서, 혹은 HRM(Heart rate monitoring) 센서를 탑재할 수 있다. 전자 장치는 사용자의 몸의 움직임이나 요골 혹은 척골동맥으로부터 맥파에 대응하는 적어도 하나의 센서 신호를 감지하여 사용자의 움직임이나 심박 수와 같은 생체신호 정보를 얻고, 이와 소정의 기준치를 비교함으로써 사용자에게 현재 상황에서 적절하게 운동을 코칭하기 위한 정보를 디스플레이 및 햅틱 모듈에 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치는 사용자의 체중, 키, 나이, 성별과 같은 사용자 기본 정보를 사용자 입력에 따라 획득하고, 사용자 입력에 따라 운동 목표를 설정한 후 관련 어플리케이션 실행에 따라 운동 코칭 정보를 제공하도록 제어할 수 있다. 전자 장치는 소모를 위한 목표 칼로리, 기초체력 확보, 건강유지, 체력증진, 심폐기능 강화 등을 운동 목표 항목으로 제공할 수 있다. 운동 목표 항목이 설정되면, 전자 장치는 운동 종류, 운동 강도, 운동 페이스 정보 등의 사용자 운동 코칭 관련 정보를 자동으로 설정할 수 있다. 한 실시예에 따르면, 전자 장치는 1일 목표 걸음 수, 달리기 시간대별 페이스 설정 정보, 팔굽혀 펴기 횟수, 피트니스 운동 종류별 시행 횟수 등을 운동 코칭 관련 정보로 제공할 수 있다.
전자 장치는 사용자의 움직임 정보에 대응하여 심박수를 체크하고, 이를 지속적으로 저장함으로써 시계열 데이터를 형성할 수 있다. 전자 장치는 시계열 데이터를 기반으로 현재까지 운동량 상황을 분석하고, 설정된 운동코칭 정보에 따라 적절한 정보를 제공할 수 있다. 햅틱 지원 모듈(7670)은 디스플레이에 별도의 운동 코칭 정보 출력을 수행하지 않도록 제어하면서, 달리기 페이스에 대한 지시정보를 지정된 햅틱 피드백 정보로서 제공할 수 있다. 한 실시예에 따르면, 전자 장치는 달리는 도중 전자 장치를 착용한 손의 움직임(손목시계 장치의 화면에 손을 올리는 동작)에 대응하여 햅틱 피드백을 제공할 수 있다. 여기서 전자 장치는 사용자의 손목과 접촉하고 있는 장치의 표면을 통해 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 전자 장치는 운동시작 전에 운동코치 어플리케이션을 실행하는 이벤트가 발생하는 경우, 미리 설정된 지역(GPS 혹은 Wifi 신호 분석에 의해 지정된 지역 진입 검출)에 전자 장치가 진입하는 경우, 운동이 예약된 시간이 된 경우 등에 운동 코칭 정보 제공 기능을 지원할 수 있다. 전자 장치는 운동코치 앱이 종료되거나 운동량이 소정 이하로 소정시간 이상 유지된 경우, 소정 값 이상의 생체신호 정보가 일정 시간 이상 감지되지 않는 경우, 전자 장치가 신체로부터 분리되는 모션 이벤트 수집, 스트랩 해제 이벤트, 착탈식 센서장치가 커넥터로부터 분리되는 이벤트가 수집되면, 자동으로 햅틱 피드백 서비스를 종료시킬 수 있다.
다양한 실시예에 따르면, 전자 장치는 소정 시간 이상 심박수나 몸의 움직임 패턴 신호가 소정값 영역을 벗어나는 경우 운동 중 주요 코칭 이벤트를 디스플레이 또는 햅틱 모듈 중 적어도 하나로 특정 정보 출력을 수행할 수 있다. 예컨대, 전자 장치는 달리기 속도나 심박 수가 소정 시간 이상 소정 속도가 설정된 구간보다 높거나 낮은 경우 특정 이벤트 알람을 수행할 수 있다. 햅틱 지원 모듈(7670)은 운동 중 주요 이벤트 발생을 알리기 위하여 사용자의 주의를 끌 수 있도록 강한(지정된 일정 크기의) 진동을 발생시킨 후, 사용자가 디스플레이에 손을 접촉하면 상술한 다양한 햅틱 피드백을 해당 정보에 대응하도록 출력할 수 있다.
햅틱 지원 모듈(7670)은 방향성을 가지는 햅틱 피드백의 경우 경계 영역(9302) 외 영역에서도 감지할 수 있도록 처리할 수 있다. 방향성 햅틱 피드백이 제공되는 동안 다른 햅틱 피드백 출력은 중지될 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 다양한 햅틱 피드백들을 일정 순서로 순차적으로 또는 이벤트 발생에 대응하여 출력하도록 제어할 수 있다. 이를 통하여 햅틱 지원 모듈(7670)은 최초에 햅틱 피드백이 제공되는 영역과 다른 햅틱 피드백이 발생하는 영역들을 용이하게 인지할 수 있도록 한다. 또한 햅틱 지원 모듈(7670)은 전자 장치의 소정 영역에서 햅틱 피드백이 제공될 수 있음을 인지하도록 지원하거나, 혹은 사용자에게 조회할 정보가 있음을 전체 영역에서 알린 후, 실제 터치입력이 유지될 경우 관련 정보를 제공할 수 있다.
상술한 바와 같이, 다양한 실시예에 따른 장치 및 방법은 사용자의 성별, 나이, 키, 몸무게, 허리둘레, 신체 컨디션 중 적어도 하나를 입력 받는 사용자 프로파일 작성 동작, 사용자의 운동을 코칭하기 위하여 운동 목표를 설정하는 동작, 사용자의 신체에 장착된 적어도 하나의 센서를 통해 몸의 움직임, 걸음 수, 움직인 거리, 혹은 생체신호 정보 중 적어도 하나를 감지하는 동작, 감지된 몸의 움직임 신호 혹은 생체신호 중 적어도 하나를 이용하여 사용자의 운동종류, 운동량, 운동시간, 칼로리 소모량, 심박패턴, 운동 페이스, 운동속도, 운동거리 중 적어도 하나의 운동정보를 계산하는 동작, 사용자 프로파일을 기반으로 운동 목표와 운동정보를 이용하여 사용자에게 제공할 운동 코칭 가이드를 생성하는 동작, 생성된 운동코치 가이드에 기반하여 햅틱 피드백을 설정하는 동작, 설정된 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 생성된 운동코치 가이드를 디스플레이에 표시하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 신체 컨디션은 부상 여부 혹은 장애여부, 부상 부위 혹은 장애 부위, 피곤한 정도, 업무량, 식생활패턴, 수면시간 관련 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 생체신호 정보는 혈압, 맥파, 뇌파, 근전도, 심박수, 심박패턴, 산소포화도, 혈당 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 센서는 자이로센서, GPS, ECG, ECGs, HRM 센서, HRV(heart rate variability) 센서, 둘 이상의 가속도 센서, 혈압센서, 산소포화도 센서, ppg, photoplethysmogram, 요골동맥센서, 척골동맥센서 중 적어도 하나를 포함하고, 상기 햅틱 피드백은 운동코칭을 위해 방향성, 패턴, 강도, 질감 중 적어도 하나에 대응할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 햅틱 피드백은 터치스크린 상에 사용자의 입력이 감지될 때, 출력될 수 있다. 상기 햅틱 피드백은 두 가지 이상의 영역에 대해 서로 다른 햅틱 피드백을 제공될 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 서로 다른 햅틱 피드백들은 경계 영역에 대응하는 햅틱 피드백, 코칭 정보에 대응하는 햅틱 피드백, 코칭 정보를 가리키는 지향성 햅틱 피드백, 프로그레스 바나 원형 프로그레스 바의 기본 바탕 영역에 대응하는 햅틱 피드백 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 햅틱 지원 모듈(7670)은 터치스크린 상에 사용자의 입력이 감지될 때, 감지된 영역의 크기에 적합하도록 햅틱 피드백이 제공되는 영역을 확대 또는 축소할 수 있다.
도 144는 다양한 실시예에 따른 스트레스 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 144를 참조하면, 상태 9410에 나타낸 전자 장치는 상태 9420, 9430 및 9440에서와 같이 생체신호정보를 분석하여 숙면도 또는 스트레스 정도 중 적어도 하나를 파악하고 이를 표시할 수 있다. 스트레스의 경우에는 사용자의 스트레스 정도를 프로그레스 바로 표시할 수 있다. 햅틱 지원 모듈(7670)은 프로그레스 바를 포함하는 영역에 사용자 입력(예: 터치하거나 터치 드래그 혹은 터치 홀드 혹은 호버링)이 발생하였을 경우 설정된 햅틱 정보에 따른 햅틱 피드백 정보를 출력하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 리커트 측정(Likert-scale) 방식에 대응하도록, 상태 9410의 9430에서 보이듯, 최대 레벨 중 현재 레벨을 표시하는 방식에 대응하는 도트 타입의 햅틱 피드백을 제공할 수 있다. 예컨대, 9430에서 햅틱 지원 모듈(7670)은 표시될 수 있는 스트레스 지수가 일정 개수의 레벨로 표현됨을 나타냄(에: 최대 5개 레벨) 과 함께 현재 스트레스 지수를 햅틱 피드백 영역을 통해 제공할 수 있다.
햅틱 지원 모듈(7670)은 스트레스 지수 정보가 도출되면, 이에 대응하여 일정 개수의 햅틱 피드백 영역을 기반으로 제1 햅틱 피드백을 출력하도록 제어할 수 있다. 이때, 나머지 햅틱 피드백 영역은 제2 햅틱 피드백을 유지할 수도 있고, 햅틱 피드백 출력을 수행하지 않을 수도 있다. 햅틱 지원 모듈(7670)은 햅틱 피드백의 방향성과 패턴 변화를 제공하기 위하여 9440에서와 같이 애니메이션 형태의 표현을 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 시간에 따라 레벨 0부터 최대 레벨까지 햅틱 피드백 영역을 증가시킨 후 다시 레벨 0부터 다시 반복 제공하는 도트 타입의 애니메이션 피드백을 제공할 수 있다.
도 145는 다양한 실시예에 따른 숙면도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 145를 참조하면, 상태 9510에 나타낸 전자 장치는 상태 9520 또는 상태 9530에서와 같은 실행 정보 표시 및 그에 따른 햅틱 피드백 출력을 지원할 수 있다. 예컨대, 전자 장치는 원형의 프로그레스 바를 이용하여 숙면도와 관련한 정보를 제공할 수 있다. 햅틱 지원 모듈(7670)은 원형 프로그레스 바를 터치하였을 때, 햅틱 피드백을 원형 프로그레스 바의 형상에 따라 다양한 제공할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 원형 프로그레스 바에서 숙면도 정도에 따라 채워진 영역(9531)에 대응하는 햅틱 피드백을 제공함으로써, 해당 영역 전체를 터치하거나 프로그레스 바를 터치하여 모양을 따라가면서 촉감을 느낄 수 있도록 지원한다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 원형 프로그레스 바에서 채워진 영역(9531)이 숙면도를 백분율에 대응하여 표시하고, 채워진 영역(9531)에 대응하는 제1 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 원형 프로그레스 바에서 채워지지 않은 영역(9532)에 대하여 제2 햅틱 피드백을 제공할 수 있다. 제2 햅틱 피드백은 제1 햅틱 피드백과 비교하여 질감이나 강도, 패턴, 방향성이 다를 수 있다. 햅틱 지원 모듈(7670)은 원형 프로그레스 바의 경계 영역(9533)에 제3 햅틱 피드백을 할당할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 햅틱 피드백에 방향성이나 특정한 패턴을 제공하는 애니메이션 형식의 출력을 제어할 수도 있다. 예컨대, 햅틱 지원 모듈(7670)은 애니메이션 형식으로 원형에서 원호 타입으로 햅틱 피드백 영역을 증가시키면서 정보를 제공할 수도 있다.
한 실시예에 따르면, 햅틱 지원 모듈(7670)은 정서상태를 표시하는 관련 오브젝트에 특정 햅틱 정보를 할당할 수 있다. 이와 관련하여, 전자 장치는 적어도 하나의 생체 센서가 감지한 센서 신호를 기반으로 분노(anger), 증오(hate), 슬픔(grief), 즐거움(joy), 외경(reverence), 행복감(platonic love, 평화, 유대감), 로맨틱한 사랑(romantic love, excitement, lust) 중 적어도 하나를 포함하는 정서 상태 정보를 제공할 수 있다. 다양한 실시예에 따르면, 전자 장치(예: 웨어러블 장치)는 탑재된 PPG 센서를 통해 수집한 PPG 신호 세기(amplitude), PPI(Pulse to Pulse Interval), PRV(Pulse Rate Variability) 중 적어도 하나를 분석하여 각성 상태나 흥분 상태 등의 각성 레벨(arousal level) 관련 정보를 제공할 수 있다. 햅틱 지원 모듈(7670)은 정서상태에 대한 정서 레벨 정보에 대응하여 다양한 햅틱 피드백 출력을 설정할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 적어도 하나의 정서 상태 또는 각 정서 상태의 정서 레벨 크기 중 적어도 하나를 기반으로 지정된 햅틱 피드백(또는 각 상태 또는 레벨별 서로 다른 햅틱 피드백)을 제공할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 복수 개의 정서 상태 각각에 대한 정서 레벨을 측정하고, 가장 큰 크기의 정서 레벨에 해당하는 정서 상태에 지정된 햅틱 피드백이 출력(이 동작에서 정서 레벨의 크기에 대응되는 햅틱 피드백 출력 가능)되도록 설정할 수 있다. 이 동작에서, 햅틱 지원 모듈(7670)은 전자 장치의 디스플레이에 정서 상태 또는 정서 레벨 중 적어도 하나에 대한 시각 정보 또는 오디오 정보 중 적어도 하나의 출력을 제공할 수 있다. 이와 관련하여, 전자 장치는 정서 상태 또는 정서 레벨 중 적어도 하나에 대응하는 시각 정보 또는 오디오 정보를 저장하고, 해당 정보 수집에 대응하여 출력하도록 지원할 수 있다.
상술한 설명에서 전자 장치는 손목시계 장치 형태를 예시하고 있으나, 전자 장치는 스마트폰이나 웨어러블 컴퓨팅 장치 등도 될 수 있다. 다양한 실시예에 따르면, 손목시계 형태의 전자 장치는 생체신호 정보를 수집하거나 혹은 처리된 코칭 정보를 유무선 중 적어도 하나로 타 전자 장치에 전달하고, 실제 정보는 타 전자 장치에 장착된 디스플레이와 햅틱 모듈을 통해 출력될 수도 있다. 다양한 실시예에 따르면, 전자 장치는 가슴, 다리, 귀와 같은 몸의 일부분에 벨트나 스트랩, 클립을 이용하여 장착되고, 몸의 움직임이나 가슴 박동, 다리나 발, 귀의 혈관 등으로부터 생체정보를 얻을 수 있다.
햅틱 피드백의 경우 실시예에서는 대체적으로 햅틱 피드백을 디스플레이상의 GUI와 일치하거나 인근 영역에서 제공하는 방법들을 보였으나, GUI와 관계없이 터치 입력이 된 영역 내에 어디에서나 해당 햅틱 피드백들이 제공될 수 있다. 예를 들어 앞서 설명한 애니메이션 햅틱 피드백의 경우, 터치스크린에 손가락이 터치되면, 전자 장치는 터치된 영역 내의 디스플레이 영역 내에서 햅틱 피드백이 제공될 수 있도록 제어할 수도 있다. 예컨대, 햅틱 지원 모듈(7670)은 원형 애니메이션 햅틱 피드백이나 도트 애니메이션 피드백이 재생되는 영역을 터치된 영역 내로 한정할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 디스플레이 전체를 손으로 덮는 센서 신호가 감지되면, 디스플레이 전체 영역이나 베젤 전체 영역에서도 특정 햅틱 피드백을 출력하도록 제어할 수 있다. 따라서 햅틱 피드백이 제공되는 영역은 반드시 GUI(예: 화면 정보)와 일치될 필요는 없고, 터치된 영역을 감지하여 이에 적합하게 위치와 크기가 조정될 수도 있다.
상술한 바와 같이, 전자 장치 및 방법은 사용자의 신체에 장착된 적어도 하나의 센서를 통해 몸의 움직임 혹은 생체신호 정보 중 적어도 하나를 감지하는 동작, 감지된 몸의 움직임 신호 혹은 생체신호 중 적어도 하나를 이용하여 사용자의 스트레스 지수, 혹은 숙면도 중 적어도 하나의 신체 혹은 정서적인 컨디션 정보를 계산하는 동작, 생성된 신체적 혹은 정서적 컨디션 정보에 기반하여 햅틱 피드백을 설정하는 동작을 포함할 수 있다.
또 다른 다양한 실시예에 따르면, 전자 장치 및 방법은 사용자에게 전달할 정보(실행 정보)가 발생했는지 판단하는 동작, 상기 사용자에게 전달할 정보와 관련하여 제1 햅틱 피드백 종류와 출력위치를 설정하는 동작, 제2 햅틱 피드백 발생 조건인지 판별하는 동작, 제2 햅틱 피드백 발생 조건에 부합하는 경우, 제2 햅틱 피드백을 출력하는 동작, 설정된 출력위치에서 사용자 입력을 감지하는 동작, 설정된 출력위치에서 감지된 사용자 입력이 제1햅틱 피드백 조건을 만족하면 상기 설정된 제1 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법에서 상기 제2 햅틱 피드백 발생 조건은 제1 햅틱 피드백 출력위치에 사용자 입력이 발생하는 것을 감지하는 동작에 의해서 입력이 감지되는 경우, 상기 제2 햅틱 피드백 발생 조건은 상기 사용자에게 전달할 정보의 중요도가 소정값 이상인 경우, 상기 사용자에게 전달할 정보가 발생한지 소정의 시간 이상 경과하였으나 사용자가 미조회한 경우, 상기 사용자에게 전달할 정보가 발생하고 미조회 상태에서 사용자 움직임에 의해 상기 전자기기의 움직임을 인식한 경우 중 적어도 하나의 경우를 포함할 수 있다.
예컨대, 생체센서를 내장한 웨어러블 장치를 손목에 착용한 사용자의 생체정보를 상기 웨어러블 장치가 측정하여, 러닝에 대한 운동코칭 기능 수행 중, 오버 페이스가 발생하면, 제 1 햅틱 피드백을 설정하여 사용자에게 페이스를 낮추라는 가이드를 제공할 수 있다. 그러나 사용자가 상기 웨어러블 장치를 조회하지 않거나(예: 소정시간 동안 터치 이벤트가 없거나 디스플레이를 on시키는 사용자 입력이 발생하지 않은 경우), 지속적으로 오버 페이스 발생상황이 소정 시간 이상 유지되면, 제 2 햅틱 피드백(예: 웨어러블 장치 전체에 강한 진행을 주거나 오디오를 동반하는 햅틱 피드백 중 하나 이상)을 출력하여 사용자에게 경각심을 제공할 수도 있다.
다양한 실시예에 따르면, 상기 장치 및 방법에서 상기 제1 햅틱 피드백 발생 조건은 설정된 출력위치에서 사용자 입력이 소정 시간 이상 발생한 경우(예: 터치 홀드나 터치 드래그 혹은 호버링 유지 중 하나 이상), 또는 제2 햅틱 피드백이 발생한 이후에 상기 출력위치에서 사용자 입력이 감지된 경우 중 적어도 하나를 포함할 수 있다.
도 146은 다양한 실시예에 따른 입력 물체별 햅틱 정보 운용과 관련한 도면이다.
도 146을 참조하면, 앞서 다양한 실시예들에서 설명한 바와 같이 터치감지 장치를 이용하여 정보를 입력하는 방법에 있어서 전자 장치는 터치 입력을 수행하는 물체를 인식하고, 해당 물체의 종류에 따라 다른 햅틱 피드백을 지원할 수 있다. 터치 입력 도구 인식 방법과 관련하여, 전자 장치는 터치 시 표면의 충격음이나 진동을 감지하고, 입력된 신호의 패턴을 분석하여 기존에 저장된 패턴 데이터베이스로부터 가장 유사한 패턴을 가진 물체가 무엇인지 분석하여 해당 물체로 인식할 수 있다. 다양한 실시예에 따르면, 전자 장치는 상태 9610에서와 같이 손톱(nail), 손가락 관절(knuckle), 손가락 끝(tip), 손가락 패드 영역(pad)에 따라 충격음이나 진동 등이 서로 다른 패턴을 검출할 수 있다. 또한 전자 장치는 상태 9620 또는 상태 9630 에서와 같이 손톱 끝으로 터치하는 경우(9621)와 손가락 끝으로 터치하는 경우, 손가락 패드로 터치하는 경우(9631), 혹은 두 가지 모두가 동시에 터치될 경우(예: 손톱끝과 손가락 끝이 동시 터치됨(9622)) 서로 다른 충격음이나 진동 검출을 수행할 수 있다. 또한 전자 장치는 상태 9640에서와 같이 펜의 펜 팁(pen tip)으로 터치 하는 경우(9641)와 펜 뒷부분(예: 나무나 고무 재질)으로 터치하는 경우(9642)에 각각 충격음이나 진동을 다르게 검출할 수 있다.
다양한 실시예에 따르면, 전자 장치는 전자 펜(예: 스타일러스 펜)을 이용하는 경우, 펜마다 고유의 ID를 부여하고 전자 장치가 이를 감지하여 입력 물체의 종류를 판단할 수 있다. 이를 위해 전자 장치는 saw sensor나 rf-id, IrDA, Bluetooth 등의 무선장치를 활용할 수도 있고, 유선으로 연결된 고유의 장치들의 고유 일련번호 등을 활용할 수도 있다. 상술한 바와 같이 전자 장치가 입력되는 물체에 따라서 서로 다른 강도, 주파수 등의 특성을 가진 햅틱 피드백을 제공하는 경우, 사용자는 입력되는 물체를 햅틱 피드백에 의해 인식할 수도 있다.
또한 입력되는 물체가 다르더라도 유사한 햅틱 피드백을 느낄 수 있도록 기본 햅틱 피드백을 다양한 입력 물체에 동일하게 제공할 수 있다. 이 동작에서 전자 장치는 입력 물체별 햅틱 피드백의 주파수나 진동 강도 등을 변경시켜 동일한 햅틱 피드백을 제공할 수도 있다. 따라서 다양한 실시예에서 햅틱 정보 운용 방법은 입력수단에 따른 햅틱 피드백 변환 정보를 설정하는 동작을 더 포함할 수 있다.
상술한 바와 같이 다양한 실시예에 따르면, 전자 장치 및 방법은 입력물체에 따라 햅틱 피드백 변환 정보를 설정하는 동작, 소정의 레이아웃을 구성하고 레이아웃에 따라 구성요소를 배치하는 동작, 상기 레이아웃에 의해 배치된 구성요소의 영역에서 입력 이벤트가 발생하였음을 감지하는 동작, 입력수단을 감지하는 동작, 상기 입력수단에 따라 햅틱 피드백 변환 정보를 설정하는 동작, 해당 입력 이벤트 발생 위치에 대응하는 햅틱 레이아웃에 따라 상기 피드백 변환 정보를 이용하여 변환된 햅틱 피드백을 설정하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 입력수단은 손가락 관절, 손가락 끝, 손톱, 펜촉, 펜, 데이터글로브의 뭉툭한 부위 중 적어도 하나를 판별하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력수단 감지를 위하여, 입력감지 장치에 입력감지 장치에 상기 입력수단과 접촉이 일어날 때 발생하는 충격음 혹은 진동을 음향입력장치 혹은 진동입력장치를 통해 메모리에 버퍼링하는 동작, 버퍼링된 충격음 혹은 진동을 분석하여 고유의 식별 패턴을 생성하고 저장하는 동작, 입력된 식별 패턴을 기저장된 식별 패턴과 비교하여 가장 유사한 패턴을 가진 물체로 판단하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 수단 감지를 위하여, 입력수단에 고유의 ID 부여 및 식별을 위하여 saw sensor나 rf-id, IrDA, Bluetooth 중 적어도 하나의 무선신호에 고유 ID를 부여하는 동작 혹은 유선으로 연결되는 입력수단에 고유 식별자를 부여하고, 이를 판독하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 방법은 상기 변환된 햅틱 피드백 정보를 전달할 외부 장치를 식별하는 동작 및 상기 변환된 햅틱 피드백 정보를 와이파이, 블루투스, 지그비, ieee802, LiFi, BLE 중 적어도 하나의 무선 네트워크를 이용하여 상기 외부 장치로 전송하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 판별된 입력 수단에 따라 입력되는 제스처, 입력강도, 입력 위치, 입력 속도, 입력 면적에 따라 다른 햅틱 피드백을 설정하는 동작을 더 포함할 수 있다.
상기 전자 장치는 스마트 폰, 태블릿, 노트북, PMP, 손목시계, 목걸이, 벨트, 신발, 모자, 안경, HMD 중 적어도 하나일 수 있다.
도 147은 다양한 실시예에 따른 터치 영역별 햅틱 정보 운용과 관련한 도면이다.
도 147을 참조하면, 상태 9710 및 상태 9730은 손가락 접촉면에 대한 피드백의 제공 영역의 실시예들을 도시한다. 예컨대 바닥에 놓인 태블릿이나 스마트 폰의 터치스크린에서, 손가락으로 가상 키를 누를 때, 햅틱 지원 모듈(7670)은 상태 9710에서와 같이 손가락 접촉영역과 같거나 거의 유사한 영역에 햅틱 피드백을 제공할 수도 있고, 상태 9730과 같이 접촉영역 중 일부 영역에만 햅틱 피드백을 제공하도록 제어할 수 있다.
상태 9720은 물리적인 키보드에서 손가락의 접촉면의 일 례를 나타낸다. 물리적인 키보드는 키보드의 상단이 높고, 하단이 낮은 형태이며, 이에 배열된 키들도 키의 표면도 키보드 각도에 따라 경사진 형태이다. 이로 인해 키에 접촉되는 손가락 표면은 평면위에 손이 닿는 상태 9710에 비해 손가락 패드(pad)보다는 손가락 끝(tip) 영역에 더 근접하게 된다.
햅틱 지원 모듈(7670)은 상태 9730에서와 같이 전자 장치가 지면을 기준으로 수평각도로 배치된 경우에도 일정 각도 기울어져 있는 것처럼 사용자에게 촉감을 주기 위하여 입력 물체와 전자 장치가 접촉한 영역에서 상대적으로 상단 영역에 햅틱 피드백을 제공할 수 있다. 이를 통해 햅틱 지원 모듈(7670)은 실제 접촉면보다 손가락 끝 영역에 햅틱 피드백을 출력하여 물리적 키보드 사용 느낌을 제공할 수 있다. 일 실시예에 따르면, 햅틱 지원 모듈(7670)의 햅틱 운용 방법은 가상 키보드의 가상적인 기울기를 설정하는 동작과 이 기울기에 따라 접촉 영역의 모양과 위치를 조절하는 동작, 그리고 조절된 접촉 영역에 햅틱 피드백을 설정하는 동작을 설정할 수 있다. 다른 일 실시예에 따르면, 햅틱 운용 방법은 햅틱 피드백을 설정할 소정의 상대적인 면적, 위치, 비율, 형상의 속성 중 하나 이상을 미리 지정하여 저장하는 동작과, 접촉 영역이 판별되는 동작, 그리고 판별된 접촉 영역에 근거하여 햅틱 피드백을 설정할 영역과 햅틱 피드백의 종류를 지정하는 동작을 설정할 수도 있다. 일 실시예에 따르면, 햅틱 운용 방법은 손가락 끝 방향 판단과 관련하여, 가상 키보드의 레이아웃에서 발생한 입력 이벤트 영역중 기울기가 높은 방향(예: 일정 기울기를 가진 전자 장치에서 지면을 기준으로 기울기가 높은 방향 또는 가상 키보드에 포함된 특정 가상 키 영역 중 상단부 영역)을 손가락 끝 방향에 매칭되는 것으로 처리할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 자이로 센서 또는 가속도 센서 등을 이용하여 전자 장치의 기울어짐 각도를 검출할 수 있다. 햅틱 지원 모듈(7670)은 기울어짐 각도의 크기에 대응하여 터치 영역에서의 햅틱 피드백이 출력되는 영역을 조정할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 전자 장치의 기울어짐에 대응하여 햅틱 피드백이 터치 영역의 가장자리에 치우쳐 출력되도록 제어할 수 있다.
도 148은 다양한 실시예에 따른 터치 영역 검출 및 그에 따른 햅틱 정보 운용과 관련한 도면이다.
도 148을 참조하면, 다양한 실시예에 따르면, 전자 장치는 디스플레이 영역에 화면 정보를 출력하는 표시 패널 상에 배치된 적어도 하나의 키 오브젝트들(9821, 9823, 9825), 각각의 키 오브젝트들(9821, 9823, 9825) 각각에 매핑되거나 각각에 최소한 하나 이상 포함된 터치 소자들, 터치 소자들 사이에 배치된 적어도 하나의 광센서 2211을 포함할 수 있다. 터치 소자들은 각 키 오브젝트들(9821, 9823, 9825)에 매핑되도록 배치될 수 있다. 광센서(9811)은 매트릭스 혹은 슬릿(slit) 형태로 배치된 터치 소자들의 경계 영역 사이에 적어도 하나가 배치될 수 있다. 한 실시예에 따르면, 광센서(9811)은 매트릭스 혹은 슬릿 형태로 배치된 터치 소자들의 경계 영역에 매트릭스 혹은 슬릿 형태로 배치될 수 있다. 도면에서는 광센서(9811) 중 일부를 도시한 것이다. 전자 장치는 광센서(9811)이 획득하는 이미지 정보를 수집하고, 수집된 이미지 정보 처리를 수행할 수 있는 영상 처리 모듈을 포함할 수 있다. 영상 처리 모듈은 예컨대 햅틱 지원 모듈(7670)에 포함되도록 배치되거나 또는 AP(application processor)에 포함되거나 또는 CP(call processor)에 포함될 수 있다. 다양한 실시예에 따르면, 영상 처리 모듈은 카메라 모듈에 포함될 수도 있다.
다양한 실시예에 따르면, 전자 장치는 정전압 방식 터치 센서를 포함하고, 각 셀(cell)에서 입력된 터치 이벤트(9812)에 의한 정전압 값들의 분포를 분석하여, 정전압 값이 가장 넓게 분포한 키 영역이 선택된 것으로 인식할 수 있다. 또는 전자 장치는 터치 이벤트(9812)가 발생할 때, 해당 포인트 위치와 함께 호버링 또는 광센서 내장 LCD(embedded optical sensor LCD)를 이용하여 근접한 손가락 끝 이미지를 검출할 수 있다. 일 실시예에 따르면 전자 장치는 터치 이벤트(9812)에 대응하는 이미지 영역이 가장 넓게 겹쳐지는 키 오브젝트를 선택한 것으로 인식할 수 있다. 이 동작에서 전자 장치는 광센서 내장 LCD를 이용하여 손가락 끝의 이미지를 인식할 때 일정 거리 이내 근접한 손가락 끝의 이미지 영역의 밝기(intensity) 값 비교를 수행하여 이미지 인식을 수행할 수 있다. 인식된 이미지에 대응하는 면적을 기반으로 전자 장치는 햅틱 피드백 출력을 지원할 수 있다.
다양한 실시예에 따르면, 전자 장치는 광센서(9811)을 이용하여 오입력 처리를 보정하거나 처리할 수 있다. 예컨대, 전자 장치는 특정 터치 이벤트(9812) 입력을 오입력으로 처리하는 동작(예: 특정 키 입력 이후 백스페이스 키 입력이 발생하는 빈도수로 판단)이 지속적으로 발생하는 경우 해당 키 영역의 레이아웃, 햅틱 레이아웃 중 적어도 하나를 수정할 수 있다. 한 실시예에 따르면, 전자 장치는 지점 9821, 지점 9823, 지점 9812 사이에 터치 이벤트(9812)가 발생하면, 전자 장치는 광센서(9811)가 촬영한 이미지를 분석하여 가장 넓게 이미지가 분포된 지점 예컨대 지점 9812가 선택된 것으로 판단할 수 있다. 이에 대응하여, 햅틱 지원 모듈(7670)은 지점 9812에 할당된 햅틱 정보를 기반으로 특정 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 에러 수정을 수행하지 않고, 에러 발생에 대응하는 소정의 햅틱 피드백을 제공할 수 있다. 또는 햅틱 지원 모듈(7670)은 GUI적으로 지점 9812에 해당하는 C 버튼의 영역이 순간적으로 터치 포인트를 포함하도록 커지면서 C가 입력되었음을 알려줄 수도 있다.
도 149는 다양한 실시예에 따른 가상 현실에서의 햅틱 정보 운용과 관련한 도면이다.
도 149를 참조하면, 다양한 실시예에 따르면, 전자 장치는 HMD(Head Mounted Display) 장치(9900) 및 데이터 글로브(9902)를 포함할 수 있다. HMD 장치(9900)와 데이터 글로브(9902)는 서로 유선 또는 무선 중 적어도 하나의 방식으로 통신 채널을 형성할 수 있다. 예컨대, 데이터 글로브(9902)는 가속도 센서(accelerometer), 자이로(gyro) 센서, 중력 센서 중 적어도 하나를 기반으로 자신의 위치 정보 또는 움직임 정보 중 적어도 하나를 HMD 장치(9900)에 제공할 수 있다. 데이터 글로브(9902)는 햅틱 모듈을 포함할 수 있다. 데이터 글로브(9902)는 가상 물체들(9911, 9913, 9915)에 대해 부드러움, 거친 정도, 매끄러움 등을 표현하기 위하여 다양한 종류의 햅틱 센서를 포함하는 햅틱 모듈을 포함할 수 있다. 햅틱 모듈은 데이터 글로브(9902)의 손가락부분과 관절에 배치되어 햅틱 정보에 대응하는 햅틱 피드백 출력을 수행할 수 있다. 또한 데이터 글로브(9902)는 햅틱 지원 모듈(7670)을 포함할 수도 있다. 또는 햅틱 지원 모듈(7670)을 포함하는 HMD 장치(9900)로부터 햅틱 모듈 구동과 관련한 햅틱 정보를 수신하고, 햅틱 정보에 대응하는 햅틱 피드백 또는 force feedback 중 적어도 하나를 출력할 수 있다.
HMD 장치(9900)는 카메라 및 영상 표시 장치를 포함하고, 데이터 글로브(9902)가 제공한 정보를 기반으로 영상에 데이터 글로브(9902)를 표시할 수 있다. 이 동작에서 HMD 장치(9900)는 증강 현실 또는 가상 현실 중 어느 하나를 제공할 수 있다. 다양한 실시예에 따르면, HMD 장치(9900)도 햅틱 모듈을 포함하고 일정 햅틱 피드백을 출력할 수도 있다.
다양한 실시예에 따르면, HMD 장치(9900)는 VR(Virtual Reality) 또는 AR(Augmented Reality)을 구성하는 적어도 하나의 가상 물체들(9911, 9913, 9915)가 가상 공간(9910) 상에 배치된 환경에서 데이터 글로브(9902)에 의한 가상 공간(9910) 제어를 지원할 수 있다. 이와 관련하여, HMD 장치(9900)는 가상 공간(9910)에 배치된 가상 물체들(9911, 9913, 9915)에 대해 적어도 하나의 햅틱 정보를 할당할 수 있다. HMD 장치(9900)는 데이터 글로브(9902)에 대응하는 글로브 가상 객체(9921, 9923)을 가상 공간(9910) 상에 제공할 수 있다. HMD 장치(9900)는 데이터 글로브(9902)로부터 제공되는 움직임 정보 또는 상태 정보에 따라 데이터 글로브(9902)의 가상 공간(9910) 상의 위치나 상태를 조정할 수 있다. 이 동작에서 HMD 장치(9900)는 데이터 글로브(9902)의 위치 또는 상태 중 적어도 하나와 관련하여 특정 햅틱 피드백 출력을 제공할 수 있다. 글로브 가상 객체(9921, 9923)은 데이터 글로브(9902)의 개수에 대응하여 복수개가 마련될 수 있다. 각각의 글로브 가상 객체(9921, 9923)은 독립적으로 또는 서로 연동하여 특정 햅틱 피드백을 출력할 수 있다. 예컨대, 글로브 가상 객체(9921, 9923) 중 글로브 가상 객체(9921)이 특정 가상 물체들(9911, 9913, 9915)와 접촉되는 경우 HMD 장치(9900)는 글로브 가상 객체(9921)에 대응하는 데이터 글로브(9902) 중 어느 한 쪽에 해당 햅틱 정보를 제공할 수 있다. 또는 HMD 장치(9900)는 햅틱 정보를 데이터 글로브(9902) 전체에 전송할 수도 있다.
다양한 실시예에 따르면, 데이터 글로브(9902)에 대응하는 글로브 가상 객체(9921, 9923)이 복수개인 환경에서, 하나의 글로브 가상 객체(9921)을 이용하여 가상 물체들(9911, 9913, 9915)의 탐색을 수행하는 경우, HMD 장치(9900)는 제1 입력 모드 또는 탐색 모드를 지원할 수 있다. 예컨대, HMD 장치(9900)는 글로브 가상 객체(9921)을 이용하여 가상 물체들(9911, 9913, 9915)를 접촉하거나 근접된 위치에 글로브 가상 객체(9921)을 배치하더라도, 별도의 기능 실행을 수행하지 않도록 제어할 수 있다. 글로브 가상 객체(9921)과 글로브 가상 객체(9923)이 특정 가상 물체에 동시 중첩되는 경우 HMD 장치(9900)는 해당 가상 물체와 관련한 기능 실행 모드 또는 제2 입력 모드를 수행하도록 제어할 수 있다. 상술한 동작에서 HMD 장치(9900)는 글로브 가상 객체(9921)을 이용한 탐색 모드에서는 글로브 가상 객체(9921)에 대응하는 데이터 글로브(9902)의 한쪽에만 특정 햅틱 정보를 제공할 수 있다. 다양한 실시예에 따르면, 글로브 가상 객체(9923)의 가상 물체 접촉과 관련하여, HMD 장치(9900)는 탐색 모드(예: 글로브 가상 객체가 접촉된 또는 일정 거리 이내 위치한 가상 물체에 대한 위치 탐색 환경)를 지원할 수 있다. 또는 HMD 장치(9900)는 글로브 가상 객체(9923)에 의한 가상 물체 접촉과 관련하여 해당 가상 물체에 할당된 기능 실행 모드로 동작하도록 제어할 수도 있다.
HMD 장치(9900)는 가상 물체들(9911, 9913, 9915)가 배치되는 (x, y)곡면의 가상 평면을 포함하는 가상 공간(9910)을 제공할 수 있다. 여기서HMD 장치(9900)는 해당 곡면의 가장자리를 경계 영역으로 설정할 수 있다. HMD 장치 9910은 데이터 글로브(9902)에 대응하는 글로브 가상 객체(9921, 9923)이 곡면의 경계 영역 바깥으로 소정 거리이상 벗어날 경우 제1 햅틱 정보를 데이터 글로브(9902)에 전달할 수 있다. HMD 장치(9900)는 글로브 가상 객체(9921, 9923)이 가상 물체들(9911, 9913, 9915) 중 어느 하나와 중첩되는 경우 제2 햅틱 정보를 데이터 글로브(9902)에 전달할 수 있다. 이 동작에서 HMD 장치(9900)는 실행 중인 기능에 대응하여 복수개의 가상 물체들(9911, 9913, 9915)를 가상 공간(9910) 상에 배치할 수 있다. HMD 장치(9900)는 각각의 가상 물체들(9911, 9913, 9915)에 대하여 서로 다른 햅틱 정보를 할당할 수 있다. HMD 장치(9900)는 데이터 글로브(9902)와 중첩되는 가상 물체들(9911, 9913, 9915)에 할당된 햅틱 정보를 데이터 글로브(9902)에 전달할 수 있다. 데이터 글로브(9902)는 각각의 가상 물체들(9911, 9913, 9915)에 할당된 햅틱 정보에 대응하는 햅틱 피드백을 출력할 수 있다.
다양한 실시예에 따르면, HMD 장치(9900)는 복수개의 가상 공간(9910)을 제공할 수도 있다. 예컨대, HMD 장치(9900)는 하나의 평면으로 표시되는 가상 공간(9910)을 z축 방향으로 복수개로 겹쳐지도록 배치할 수 있다. Z축 방향으로 복수개가 배치된 가상 공간(9910)에는 적어도 하나의 가상 물체가 배치될 수 있다. 또는 가상 물체의 배치가 없는 가상 공간이 존재할 수도 있다. HMD 장치 9910은 글로브 가상 객체(9921, 9923)의 움직임에 따라 접촉되는 가상 공간별로 서로 다른 햅틱 피드백이 제공되도록 데이터 글로브(9902)를 제어할 수 있다. 상술한 가상 물체들(9911, 9913, 9915)는 2D 또는 3D 형태를 가질 수 있다. 가상 공간(9910) 상에 배치된 가상 물체들(9911, 9913, 9915)는 임의의 3차원 물체, 예를 들어 직육면체, 구, 원뿔, 피라미드 등 다양한 형태의 표현될 수 있고, 해당 3D 객체의 표면의 일부가 표시될 수 있다. HMD 장치(9900)는 가상 물체들(9911, 9913, 9915)에 대하여 에지 부분과 같이 질감이 거칠거나 날카롭거나 형상이 변하는 부분을 느낄 수 있도록 해당하는 햅틱 정보를 가상 물체들의 일정 부위별로 할당할 수 있다. 예컨대, HMD 장치(9900)는 꼭짓점, 변, 모서리, 면 중 적어도 일부 단위로 동일한 또는 서로 다른 햅틱 정보를 할당할 수 있다.
가상 물체들(9911, 9913, 9915)의 위치를 검색하는 제1 입력모드나 탐색모드는 데이터 글로브(9902)에 해당하는 글로브 가상 객체(9921, 9923)이 이동하거나 가상 물체들(9911, 9913, 9915)의 표면에 접촉 혹은 근접 시 실행될 수 있다. 가상 물체들(9911, 9913, 9915)와 관련한 기능 실행 또는 정보 입력을 지원하는 제2 입력모드는 제1 입력 모드 또는 탐색 모드에서 검색된 가상 물체들(9911, 9913, 9915)에 대하여 해당 가상 물체들(9911, 9913, 9915)에 대한 접촉이나 근접이 일정 시간 유지되거나 데이터 글로브(9902)의 특정 움직임 또는 상태에 대응하여 구동될 수 있다. 상기 데이터 글로브(9902)는 손목시계형 장치로도 구성될 수 있으며, 손목시계 밑면의 손목과 접촉면 혹은 손목 시계의 디스플레이 모듈에 햅틱 지원 모듈(7670)을 포함할 수도 있다.
도 150은 다양한 실시예에 따른 입력 에러 정정과 관련한 햅틱 정보 운용 방법을 도시한다.
도 150을 참조하면, 다양한 실시예에 따른 에러 정정 관련 햅틱 정보 운용 방법은, 동작 A01에서 햅틱 지원 모듈(7670)이 설정에 따라 또는 이벤트 발생에 대응하여 햅틱 기능 실행(예: 화면 정보 분석 결과, 입력 정보 분석 결과, 또는 실행 정보 분석 결과에 따라 햅틱 정보를 할당하여 출력하는 기능 또는 할당된 햅틱 정보를 출력하는 기능)을 수행할 수 있다.
동작 A03에서 햅틱 지원 모듈(7670)은 입력 정보 분석을 수행할 수 있다. 이와 관련하여, 햅틱 지원 모듈(7670)은 입출력 인터페이스를 통해 입력되는 입력 정보를 분석할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 입력된 문자 정보에 대한 맞춤법 검사를 수행할 수 있다. 동작 A05에서 햅틱 지원 모듈(7670)은 입력 정보 분석에 대하여 에러 발생 여부를 확인할 수 있다.
에러 발생이 있는 경우, 동작 A07에서 햅틱 지원 모듈(7670)은 에러 관련 햅틱 정보 출력을 제어할 수 있다. 에러 발생이 없는 경우, 동작 A09에서 햅틱 지원 모듈(7670)은 입력 정보 관련 햅틱 정보 출력을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 입력 정보와 관련된 햅틱 정보가 없는 경우, 햅틱 정보 출력을 수행하지 않을 수도 있다.
동작 A11에서 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트가 있는지 확인할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트가 없는 경우 동작 A03으로 분기하여 이하 동작을 재수행할 수 있다. 햅틱 지원 모듈(7670)은 기능 종료 관련 이벤트가 있으면, 햅틱 기능 실행을 종료하도록 제어할 수 있다. 추가로 또는 대체적으로 햅틱 지원 모듈(7670)은 햅틱 기능 실행 종료 후 지정된 스케줄 정보에 따른 전자 장치의 기능 실행을 지원하거나 또는 슬립 모드 천이를 제어할 수 있다.
상술한 에러 정정과 관련하여, 한 실시예에 따르면, 햅틱 지원 모듈(7670)은 키를 입력에 대응하여 특정 멜로디를 출력하도록 제어할 수 있다. 이에 따라, 키 입력 속도가 변경되면 햅틱 지원 모듈(7670)은 그에 대응하여 멜로디를 변경할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 키 입력에 대하여 피아노 건반을 매핑할 수 있다. 햅틱 지원 모듈(7670)은 특정 키 입력이 발생하면 해당 피아노 건반에 대응하는 음을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 키 입력 속도가 빨라지면 해당하는 멜로디 출력을 빠르게 수행하도록 제어하고, 키 입력 속도가 느려지면 해당하는 멜로디를 느리게 출력하도록 제어할 수 있다. 멜로디 또는 피아노 건반 매핑 등은 사용자 설정 변경에 대응하여 조정될 수 있다.
햅틱 지원 모듈(7670)은 키 입력 과정에서 오타 발생을 검출하고, 오타 발생 시 이를 분석하여 설정된 멜로디와는 다른 음이나 멜로디를 특정 햅틱 피드백 출력과 함께 제공하도록 제어할 수 있다. 사용자는 익숙한 멜로디로 된 오디오 피드백 또는 햅틱 피드백 중 적어도 하나를 청취하면서 키 입력을 수행하다가, 오타 발생 시 달라진 오디오 피드백 또는 햅틱 피드백을 통해 오타 발생을 직관적으로 인지할 수 있다. 햅틱 지원 모듈(7670)은 오타 부분에 대한 추천 단어를 출력하거나 오타 부분을 주변 입력 정보와 구분(예: 하이라이트 처리)하여 오타 인식 또는 수정이 보다 용이하도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 문자 완성 후 또는 문단이나 페이지에 정보 입력이 완료된 이후 오디오 피드백 또는 햅틱 피드백 중 적어도 하나를 제공하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 오타 인식 기능이 실행되면, 오타가 발생한 단어나 구문에 대하여 하이라이트 표시, 밑줄 표시, 색상변환, 크기변환 중 적어도 하나를 제공할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 오타가 발생한 문장, 단어, 문자 중 적어도 하나에 특정 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 해당 오타가 포함된 영역을 선택하거나 지시하는 터치 이벤트 또는 호버링 이벤트가 발생하면, 해당 햅틱 정보에 대응하는 햅틱 피드백을 출력하도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 오타가 발생한 영역(예: 오타가 포함된 문단이나, 문장, 단어, 문자 등) 검색과 관련한 탐색 모드 혹은 제1 입력모드를 제공할 수 있다. 햅틱 지원 모듈(7670)은 탐색 모드 또는 제1 입력 모드에서 오타가 발생한 영역 검출과 관련한 햅틱 피드백 출력을 제어할 수 있다. 햅틱 지원 모듈(7670)은 오타 발생 영역 내에서 설정된 이벤트(예: 일정 시간 터치나 호버링이 유지되는 이벤트, 특정 제스처 입력에 대응하는 이벤트)가 발생하면 제2 입력 모드 전환을 제어할 수 있다. 제2 입력 모드로 전환되면, 햅틱 지원 모듈(7670)은 오타 수정과 관련하여 추천 단어 리스트를 제공하거나, 가상 입력 오브젝트를 출력하도록 제어할 수 있다.
상술한 동작을 기반으로 햅틱 지원 모듈(7670)은 많은 수의 글자들이 포함된 화면에서 플릭, 드래깅, 호버링 등과 같은 터치 제스처를 기반으로 오타 검색을 등을 용이하게 수행할 수 있다. 이와 관련하여, 햅틱 지원 모듈(7670)은 오타가 발생한 영역과 오타가 없는 영역에 서로 다른 햅틱 피드백을 제공하거나, 오타가 발생한 문단이나 단어를 포함하는 영역의 테두리를 경계 영역으로 설정하여 또 다른 햅틱 피드백이 출력되도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 오타가 없는 영역에 이벤트(예: 터치나 호버링 이벤트)가 발생하면, 오타 위치를 안내하는 방향성 햅틱 피드백(예: 터치가 발생한 지점에서 오타가 발생한 영역을 지시하는 방향)을 지원할 수도 있다.
상술한 바와 같이, 다양한 실시예에 따른 전자 장치 및 방법은 서비스 모드에 따라 소정의 레이아웃을 구성하고 레이아웃에 따라 구성요소를 배치하는 동작, 서비스 모드에 따라 둘 이상의 그룹으로 구성요소들을 구분하는 동작, 각각의 그룹에 대해 서로 다른 햅틱 피드백을 설정하는 햅틱 레이아웃 설정 동작, 상기 레이아웃에 의해 배치된 구성요소의 영역에서 입력 이벤트가 발생하였음을 감지하는 동작, 해당 입력 이벤트 발생 위치에 대응하는 햅틱 레이아웃에 따라 해당하는 소정의 햅틱 피드백을 발생시키는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 입력은 문자 입력이며, 상기 전자 장치 및 방법은 적어도 하나의 문자로 구성된 문자열에 오자 혹은 기설정되지 않은 단어가 입력되었음을 판단하는 동작, 오자 혹은 미설정 단어를 구성요소로서 상기 레이아웃과 상기 햅틱레이아웃에 추가하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 햅틱 레이아웃에서 상기 오자나 미설정 단어가 위치한 영역을 제외한 나머지 영역은 햅틱 피드백을 비활성화하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 문자 입력마다 소정의 멜로디 순서 혹은 소정의 햅틱 피드백 순서에 따라 오디오 혹은 진동 중 적어도 하나가 출력되는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 문자 입력에서, 적어도 하나의 문자로 구성된 문자열에 오자 혹은 기설정되지 않은 단어가 입력되었음을 판단하는 동작, 오자 혹은 미설정 단어 발생 경우 화음이 맞지 않는 멜로디 혹은 진동 길이, 리듬이나 주파수가 맞지 않는 햅틱 피드백을 발생하는 동작을 포함할 수 있다.
도 151은 다양한 실시예에 따른 화면 정보 관련 햅틱 정보 운용을 도시한다.
도 151을 참조하면, 전자 장치(A100)는 디스플레이(A105) 상에 적어도 하나의 오브젝트를 포함하는 화면 정보를 출력할 수 있다. 예컨대, 전자 장치(A100)는 화면을 구성하는 레이아웃 상에 배너 오브젝트, 광고 오브젝트 등을 출력할 수 있다. 디스플레이(A105)에 출력된 오브젝트는 다양한 질감이나 촉감과 관련한 정보를 포함할 수 있다. 예컨대, 오브젝트는 종이나 천에 정보가 인쇄된 이미지 형태, 금속판에 돋움으로 새겨지거나 나무판에 새겨지는 이미지 형태 등일 수 있다. 햅틱 지원 모듈(7670)은 오브젝트의 내용 정보에 대응하여 상술한 이미지 형태를 분석하고, 이를 오브젝트의 재질로 인식할 수 있다. 예를 들어 햅틱 지원 모듈(7670)은 전자책에 대하여 종이 재질로 인식할 수 있다. 여기서 햅틱 지원 모듈(7670)은 전자책의 종이 분석에 대응하여 매끄러운 느낌, 거친 느낌 등을 위치가 영역 또는 이미지 분석 결과에 대응하여 다르게 인식할 수 있다. 햅틱 지원 모듈(7670)은 분석 결과에 대응하는 햅틱 정보를 해당 오브젝트에 할당할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 디스플레이에 출력된 오브젝트가 옷과 관련한 광고 이미지인 경우 해당 옷의 재질이나 설명을 기반으로 해당 오브젝트에 대한 재질 인식을 수행할 수 있다. 햅틱 지원 모듈(7670)은 재질 인식에 기반하여 대응되는 햅틱 정보를 해당 오브젝트에 할당할 수 있다. 이 동작에서, 햅틱 지원 모듈(7670)은 특정 오브젝트와 관련된 링크 정보 예컨대, 웹 페이지에서 추출된 XML이나 HTML 형식의 텍스트 정보, 광고 설명 정보 등을 문자 파싱 및 문자 분석을 수행하고, 이를 기반으로 해당 오브젝트에 관한 재질 인식을 수행할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 검색 기능을 통해 입력된 키워드 및 해당 키워드 관련 정보를 기반으로 검색 결과에 대한 촉감이나 느낌을 추정할 수 있다. 예컨대, 검색 기능으로 해변 이름이 검색되는 경우, 햅틱 지원 모듈(7670)은 해변과 관련된 물이나 모래 등의 질감이나 촉감을 해당 검색 결과에 부여할 수 있다. 햅틱 지원 모듈(7670)은 직접적 혹은 간접적인 오브젝트 관련 정보를 어플리케이션, 문서 파싱, 이미지 분석 등을 통해서 파악함으로써 오브젝트에 대한 햅틱 레이아웃을 설정 또는 변경할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 문서에서 키워드 검색에 대응하여 햅틱 피드백 또는 시각 정보 피드백 중 적어도 하나를 제공할 수 있다. 햅틱 지원 모듈(7670)은 터치스크린 형태의 디스플레이에 터치 이벤트가 발생하면, 탐색 모드 지원을 기반으로 검색 결과에 대응하는 키워드와 터치 이벤트 간의 거리에 대응하여 특정 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈(7670)은 일정 크기 이상의 터치 압력, 터치 면적, 터치 시간, 터치 제스처 형태 중 적어도 하나와 관련한 이벤트 발생에 대응하여 검색된 키워드와 관련한 기능 실행을 제어할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 선택된 키워드와 관련한 웹사이트 연결이나 해당 키워드를 검색엔진에 자동으로 전달할 수 있다.
햅틱 지원 모듈(7670)은 도시된 바와 같이 다양한 키워드에 대해서 상술한 다양한 실시예들을 적용할 수 있다. 예컨대, 워드 클라우드 기능에 의해 키워드들이 표시된 경우 햅틱 지원 모듈(7670)은 각 키워드들에 대하여 중요도(키워드의 입력 빈도, 입력 시점, 출현 빈도 중 적어도 하나)에 따라 햅틱 피드백을 달리 할 수 있다. 예를 들어 전자 장치는 웹 페이지, 논문, 특허, 연설문, 기사 등 적어도 하나 문서의 키워드들을 분석하여 사용빈도나 주제 등에 따라 주요한 키워드들을 지정된 적합도나 중요도에 따라 색상, 크기 등으로 강조하여 표시할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정된 정보를 할당할 수 있다.
햅틱 지원 모듈(7670)은 검출된 키워드들의 중요도에 따라 해당 키워드가 표시된 영역마다 특정 햅틱 정보들을 할당할 수 있다. 예컨대, 햅틱 지원 모듈(7670)은 키워드(A110)에 제1 햅틱 정보를 할당하고, 키워드(A120)에 제2 햅틱 정보를 할당할 수 있다. 제1 햅틱 정보 또는 제2 햅틱 정보는 해당 키워드의 중요도에 대응하여 강도나 주파수 등이 다를 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 표시된 문서 등에서 터치 등의 입력을 통해 선택한 키워드를 TTS(Text-to-Speech) 기능을 기반으로 출력할 수 있다. 이 동작에서 햅틱 지원 모듈(7670)은 각각의 키워드들의 경계 영역에서 서로 다른 햅틱 피드백을 출력하도록 제어하여 키워드들 간의 구분 인식을 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈(7670)은 특정 키워드 선택(또는 키워드에 대응하는 오브젝트 선택)이 지정된 시간 이상, 지정된 압력 이상, 지정된 터치 면적 이상, 또는 지정된 전하량 이상의 입력 신호를 통해 발생하면 키워드와 관련한 기능 실행을 제어할 수 있다. 다양한 실시예에 따르면, 팝업창에서 OK와 Cancel 버튼들이 보일 때, 햅틱 지원 모듈(7670)은 각 버튼들에 대응하는 영역에 서로 다른 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈(7670)은 탐색 모드에서 서로 다른 햅틱 정보 기반의 햅틱 피드백을 통해 버튼을 구분할 수 있도록 지원할 수 있다. 햅틱 지원 모듈(7670)은 탐색 모드 이후 특정 버튼의 선택과 관련한 입력 신호가 발생하면, 해당 버튼에 할당된 기능 실행을 제어할 수 있다. 다양한 실시예에 따르면, 사용자는 주머니 등에 전자 장치를 보관한 경우에 전자 장치를 꺼내지 않고 탐색 모드에서 햅틱 피드백을 이용하여 특정 오브젝트를 구분할 수 있다. 그리고 사용자는 오브젝트 선택에 따른 기능 실행을 제어할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 정보 검색을 위한 입력동작을 포함하고, 상기 햅틱 레이아웃 설정동작은 검색된 정보에 해당하는 적어도 하나의 구성요소 영역에서 햅틱 피드백이 발생하도록 햅틱 레이아웃을 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 입력동작은 정보 검색을 위해 가상키보드를 통한 문자입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작을 통해 검색하고자 하는 단어, 키워드, 문장 중 하나 이상을 입력하는 동작을 수행할 수 있다.
다양한 실시예에 따르면, 검색된 정보는 문자, 이미지, 가상 버튼, 메뉴, 리스트 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 검색된 정보는 사람 이미지(예: 얼굴 이미지, 사람의 실루엣), 동물 이미지, 식물 이미지 중 적어도 하나를 포함할 수 있다. 한 예로, 여러 사람이 포함된 단체 사진 이미지 조회 중 특정한 사람의 이름을 상기 입력동작을 통해 입력하면 해당하는 사람의 얼굴 영역에 터치 입력 신호가 발생하였을 때 햅틱 지원 모듈은 그에 대응하는 햅틱 피드백을 제공하도록 설정할 수 있다. 또 다른 예로 상기 사람 얼굴 영역과 터치 신호가 발생한 영역이 서로 다른 경우, 햅틱 지원 모듈은 해당 터치 신호가 발생한 영역에 사람 얼굴 영역을 지시하는 방향성 햅틱 피드백을 제공하거나, 두 영역간 거리에 따라 다른 강도를 가진 햅틱 피드백을 출력하도록 설정할 수도 있다. 따라서 상기 두 영역이 상이한 경우에는 쉽게 상기 사람 얼굴 영역을 찾기 용이하게 할 수 있으며, 상기 얼굴 영역에서 입력이 발생하면 또 다른 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 정보 검색 시 입력된 정보와 유사도 또는 신뢰도를 계산하는 동작, 검색된 정보가 복수개인 경우, 구성요소 각각의 유사도에 따라 햅틱 피드백의 강도, 질감, 패턴을 달리 설정하는 동작을 포함할 수 있다. 여기서 유사도 또는 신뢰도는 키워드와 검색 결과 간의 단어 매칭 비율 등에 의해 결정될 수 있다. 다양한 실시예에 따르면, 유사도 또는 신뢰도는 키워드가 해당 검색 결과물(예: 검색 결과에 대응하는 오브젝트)에서 출현하는 빈도에 의해 결정될 수 있다.
다양한 실시예에 따르면, 상기 구성요소의 내용을 판별하고 이의 내용에 따라 햅틱 레이아웃의 해당 영역에 적합한 질감을 부여하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 레이아웃은 문서, 스프레드시트, 전자책, word cloud, 이미지 중 적어도 하나를 포함할 수 있다.
도 152는 본 발명의 일 실시예에 따른 시스템의 구성을 나타내는 도면이다.
도 152를 참조하면 시스템은 웨어러블 전자 장치(A300) 및 메인 전자 장치(A400)를 포함할 수 있다. 웨어러블 전자 장치(A300)는 사용자의 신체 등에 착용가능한 전자 장치(예: 스마트 워치, 스마트 글래스 등)를 의미한다.
웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 서로 네트워크로 연결될 수 있다. 예를 들어, 웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 블루투스를 통해 연결될 수 있다. 일 실시예에 따르면 메인 전자 장치(A400)는 적어도 하나의 웨어러블 전자 장치(A300)(예: 복수의 웨어러블 전자 장치)와 네트워크로 연결될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)를 통해 메인 전자 장치(A400)의 환경 설정값이 변경될 수 있다. 일 실시예에 따르면, 환경 설정값은, 사운드/진동/무음 모드 설정, 알림(notification) 설정, 무선 네트워크 설정, 화면 밝기 설정, 폰트 사이즈 설정 또는 언어 설정 중 적어도 하나를 포함할 수 있다. 예를 들어, 환경 설정값은, 사운드/진동 모드 설정, 사운드 종류, 사운드 크기, 진동 패턴, 알림 수신 여부, 알림 수신 조건, 수신할 알림 정보의 종류, Wi-Fi(wireless fidelity) 설정, bluetooth 설정, GPS(global positioning system) 설정 등을 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 사용자 조작을 입력받을 수 있다. 예를 들어, 웨어러블 전자장치(A300)는 터치 스크린상에 지정된 패턴의 터치 조작을 입력받을 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 UI를 제공할 수 있다. 웨어러블 전자 장치(A300)는 디스플레이를 통해 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 웨어러블 전자 장치(A300)는 환경 설정값의 종류별로 UI를 제공할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 네트워크로 연결된 전자 장치별로 UI를 제공할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 디스플레이 화면에 메인 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트를 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)는 환경 설정값을 변경하기 위한 UI 화면(예: 메뉴 화면)에서 메인 전자 장치의 환경 설정값을 변경할 수 있는 항목에 대해 메인 전자 장치 아이콘을 표시할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 사용자 조작이 입력되면 메인 전자 장치(A400)로 메인 전자 장치(A400)의 환경 설정값을 변경하는 제어 신호를 전송할 수 있다.
메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로부터 수신되는 제어 신호에 따라 환경 설정값을 변경할 수 있다. 예를 들어, 메인 전자 장치(A400)는 사운드 모드에서 진동 모드로 환경 설정값을 변경할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(A300)는 지정된 이벤트가 발생하더라도 알림 정보를 전송하지 않도록 환경 설정값을 변경할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(A300)는 지정된 이벤트가 발생하면 알림 정보 중 일부만을 전송하도록 환경 설정값을 변경할 수 있다.
상술한 실시예에서는 웨어러블 전자 장치(A300)에 입력된 사용자 조작에 의해 메인 전자 장치(A400)의 환경 설정값을 변경하는 실시예에 대해 설명하였으나 메인 전자 장치(A400)에 입력된 사용자 조작에 의해 웨어러블 전자 장치(A300)의 환경 설정값을 변경할 수도 있다.
일 실시예에 따르면 웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 환경 설정값을 공유할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로 환경 설정값을 전송할 수 있으며, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로 환경 설정값을 전송할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300) 또는 메인 전자 장치(A400)는 지정된 주기마다 또는 환경 설정값이 변경되면 메인 전자 장치(A400) 또는 웨어러블 전자 장치(A300)로 환경 설정값을 전송할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 환경 설정값을 동기화할 수 있다. 예를 들어, 웨어러블 전자 장치(A300) 또는 메인 전자 장치(A400)는 환경 설정값이 서로 상이하면 가장 최근에 변경된 환경 설정값으로 동기화할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값과 상이하면 메인 전자 장치(A400)의 환경 설정값으로 동기화할 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 새로운 웨어러블 전자 장치와 네트워크로 연결되면 새로운 전자 장치와 환경 설정값을 공유할 수 있다. 일 실시예에 따르면, 네트워크에 새롭게 연결된 전자 장치는 환경 설정값을 기존의 전자 장치(예: 메인 전자 장치(A400))의 환경 설정값으로 동기화할 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 지정된 이벤트가 발생하면 웨어러블 전자 장치(A300)로 이벤트에 대한 알림 정보를 전송할 수 있다. 예를 들어, 메인 전자 장치(A400)는 SMS 메시지가 수신되면 웨어러블 전자 장치(A400)로 SMS 메시지에 대한 알림 정보를 전송할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 사용자의 상태를 센싱하여 관련 정보를 메인 전자 장치(A400)로 전송할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)는 사용자의 수면 여부를 센싱하여 수면 여부에 대한 정보를 메인 전자 장치(A400)로 전송할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(A300)는 지정된 사용자가 착용 중인지 또는 다른 사용자가 착용 중인지를 센싱하여 메인 전자 장치(A400)로 전송할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 웨어러블 전자 장치(A300)의 상태를 판단하여 메인 전자 장치(A400)로 전송할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)는 착용 여부, 배터리 상태, 충전 중인지 여부, 현재 위치 등을 파악하여 메인 전자 장치(A400)로 전송할 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)의 상태 또는 사용자 상태에 따라 알림 정보를 전송할 수 있다. 예를 들어, 사용자가 수면 상태이면 지정된 이벤트가 발생하더라도 웨어러블 전자 장치(A300)로 알림 정보를 전송하지 않을 수 있다. 다른 예를 들어, 웨어러블 전자 장치(A300)를 지정된 사용자가 착용하지 않은 경우 알림 정보를 전송하지 않을 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(A300)가 충전 중이면 지정된 이벤트가 발생하더라도 웨어러블 전자 장치(A300)로 알림 정보를 전송하지 않을 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(A300) 또는 메인 전자 장치(A400)의 현재 위치가 지정된 위치(예를 들어, 회의실)에 해당하면 알림 정보를 전송하지 않을 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부만을 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)(예: 스마트 워치)는 메인 전자 장치(A400)로부터 텍스트와 이미지를 포함하는 알림 정보를 수신한 경우 텍스트만을 표시할 수 있다. 웨어러블 전자 장치(A300)(예: 스마트 글래스)가 스마트 글래스인 경우 메인 전자 장치(A400)로부터 텍스트와 이미지를 포함하는 알림 정보를 수신한 경우 이미지만을 표시할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부만을 표시한 상태에서 사용자 조작에 따라 전체 알림 정보를 표시할 수 있다. 예를 들어, 스마트 글래스에 이미지만이 표시되어 있는 상태에서 사용자 조작에 따라 이미지와 텍스트가 함께 표시될 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)의 특성에 따라 알림 정보 중 일부만을 전송할 수 있다. 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)와 네트워크로 연결되면(또는, 연결 과정에서) 웨어러블 전자 장치(A300)로부터 장치 특성 정보(예: 웨어러블 전자 장치의 종류, 디스플레이 크기 등)를 수신할 수 있다. 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)의 장치 특성 정보에 따라 알림 정보 중 일부만을 전송할 수 있다. 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)가 스마트 글래스이면 텍스트 및 이미지를 포함하는 알림 정보 중 이미지만을 전송할 수 있다. 다른 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)가 스마트 워치이면 텍스트 및 이미지를 포함하는 알림 정보 중 텍스트만을 전송할 수 있다.
웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부를 표시할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 사용자 조작에 따라 메인 전자 장치(A400)로 전체 알림 정보를 요청할 수 있다. 메인 전자 장치(A400)는 전체 알림 정보가 요청되면 웨어러블 전자 장치(A300)로 전체 알림 정보를 전송할 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 복수의 웨어러블 전자 장치와 네트워크로 연결된 경우 우선순위에 따라 알림 정보(전체 또는 일부)를 전송할 수 있다. 예를 들어, 메인 전자 장치(A400)는 스마트 워치(1 순위) 및 스마트 글래스(2 순위)와 연결된 경우 지정된 이벤트가 발생하면 1 순위 장치인 스마트 워치로 알림 정보를 전송할 수 있다. 메인 전자 장치(A400)는 스마트 워치로부터 지정된 시간 동안 알림 확인 정보가 수신되지 않으면 2 순위 장치인 스마트 글래스로 알림 정보를 전송할 수 있다.
도 153은 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 153을 참조하면 웨어러블 전자 장치(A300)는 환경 설정값을 변경하는 사용자 조작을 입력받을 수 있다(A401). 예를 들어, 웨어러블 전자장치(A300)는 터치 스크린상에 지정된 패턴의 터치 조작을 입력받을 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 UI를 제공할 수 있다. 웨어러블 전자 장치(A300)는 디스플레이를 통해 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 웨어러블 전자 장치(A300)는 환경 설정값의 종류별로 UI를 제공할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 네트워크로 연결된 전자 장치별로 UI를 제공할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 디스플레이 화면에 메인 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트를 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)는 환경 설정값을 변경하기 위한 UI 화면(예: 메뉴 화면)에서 메인 전자 장치의 환경 설정값을 변경할 수 있는 항목에 대해 메인 전자 장치 아이콘을 표시할 수 있다.
웨어러블 전자 장치(A300)는 사용자 조작이 입력되면 메인 전자 장치(A400)로 제어 신호를 전송할 수 있다(A403).
메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로부터 수신되는 제어 신호에 따라 환경 설정값을 변경할 수 있다(A405).
웨어러블 전자 장치(A300) 및 메인 전자 장치(A400)는 환경 설정값을 공유할 수 있다(A407). 예를 들어, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로 환경 설정값을 전송할 수 있으며, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로 환경 설정값을 전송할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300) 또는 메인 전자 장치(A400)는 지정된 주기마다 또는 환경 설정값이 변경되면 메인 전자 장치(A400) 도는 웨어러블 전자 장치(A300)로 환경 설정값을 전송할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 공유된 환경 설정값에 기초하여 환경 설정값을 동기화할 수 있다(A409). 예를 들어, 웨어러블 전자 장치(A300) 또는 메인 전자 장치(A400)는 환경 설정값이 서로 상이하면 가장 최근에 변경된 환경 설정값으로 동기화할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값과 상이하면 메인 전자 장치(A400)의 환경 설정값으로 동기화할 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 새로운 웨어러블 전자 장치와 네트워크로 연결되면 새로운 전자 장치와 환경 설정값을 공유할 수 있다. 일 실시예에 따르면, 네트워크에 새롭게 연결된 전자 장치는 환경 설정값을 기존의 전자 장치(예: 메인 전자 장치(A400))의 환경 설정값으로 동기화할 수 있다.
도 154는 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 154를 참조하면 웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 네트워크를 통해 연결될 수 있다(A501). 예를 들어, 웨어러블 전자 장치(A300)와 메인 전자 장치(A400)는 블루투스를 통해 연결될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 사용자의 수면 여부를 센싱할 수 있다(A503). 예를 들어, 웨어러블 전자 장치(A300)는 자이로 센서, 심박 센서 등을 이용하여 사용자의 수면 여부를 센싱할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 사용자의 수면 상태를 메인 전자 장치(A400)로 전송할 수 있다(A505).
일 실시예에 따르면, 메인 전자 장치(A400)는 지정된 이벤트(예를 들어, SMS 메시지 수신)가 발생하면(A507), 사용자가 수면 중인지 판단할 수 있다(A509). 메인 전자 장치(A400)는 사용자가 수면 중이라고 판단되면(A509-Yes), 알림을 제한할 수 있다(A511). 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로 알림 정보를 전송하지 않을 수 있다. 메인 전자 장치(A400)는 사용자가 수면 중이 아니라고 판단되면(A509-No), 발생된 이벤트에 대한 알림 정보를 전송할 수 있다(A513).
도 154를 참조하여 설명한 실시예에서는 사용자의 수면 여부에 따라 알림 정보를 전송하였으나, 웨어러블 전자 장치(A300)의 착용 여부, 지정된 사용자가 착용 중인지 여부, 배터리 상태, 충전 중인지 여부, 현재 위치 등에 기초하여 알림 정보를 전송할 수도 있다.
도 155는 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 155를 참조하면 메인 전자 장치(A400)는 복수의 웨어러블 전자 장치(A500)와 네트워크로 연결될 수 있다(A601). 메인 전자 장치(A400)는 네트워크로 연결된 복수의 웨어러블 전자 장치(A500)에 우선 순위를 설정할 수 있다. 일 실시예에 따르면, 메인 전자 장치(A400)는 사용자 조작 또는 웨어러블 전자 장치의 특성에 따라 우선순위를 설정할 수 있다. 메인 전자 장치(A400)는 지정된 이벤트(예를 들어, SMS 메시지 수신)가 발생하면, 우선 순위에 따라 알림 정보를 전송할 수 있다. 예를 들어, 제1 웨어러블 전자 장치가 1 순위로 설정되어 있고, 제2 웨어러블 전자 장치가 2 순위로 설정될 수 있다. 메인 전자 장치(A400)는 지정된 이벤트가 발생하면(A603), 1 순위인 제1 웨어러블 전자 장치로 알림 정보를 전송할 수 있다(A605).
제1 웨어러블 전자 장치는 메인 전자 장치(A400)로부터 알림 정보를 수신하면 알림 정보를 디스플레이 화면에 표시할 수 있다(A607). 일 실시예에 따르면, 제1 웨어러블 전자 장치는 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부를 표시할 수 있다. 예를 들어, 메인 전자 장치(A400)로부터 텍스트와 이미지를 포함하는 알림 정보를 수신한 경우 이미지만을 표시할 수 있다.
일 실시예에 따르면, 제1 웨어러블 전자 장치는 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부만을 표시한 상태에서 사용자 조작에 따라 전체 알림 정보를 표시할 수 있다. 예를 들어, 스마트 글래스에 이미지만이 표시되어 있는 상태에서 사용자 조작에 따라 이미지와 텍스트가 함께 표시될 수 있다.
제1 웨어러블 전자 장치는 사용자가 알림 정보를 확인하였는지 판단할 수 있다(A609). 제1 웨어러블 전자 장치는 사용자가 알림 정보를 확인하면(A609-Yes), 메인 전자 장치(A400)로 알림 확인 정보를 전송할 수 있다(A611).
메인 전자 장치(A400)는 알림 정보를 전송한 후 지정된 시간이 경과하면 알림 확인 정보가 수신되었는지 판단할 수 있다(A613). 메인 전자 장치(A400)는 알림 확인 정보가 수신되지 않으면(A613-No), 2 순위인 제2 웨어러블 전자 장치로 알림 정보를 전송할 수 있다(A615).
제2 웨어러블 전자 장치는 메인 전자 장치(A400)로부터 알림 정보를 수신하면 알림 정보를 표시할 수 있다(A617).
도 156은 본 발명의 다양한 실시예에 따른 시스템의 제어 방법을 나타내는 도면이다.
도 156을 참조하면 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)와 네트워크로 연결될 수 있다(A701).
웨어러블 전자 장치(A300)는 메인 전자 장치(A400)와 네트워크로 연결되면(또는 연결 과정에서) 메인 전자 장치(A400)로 장치 특성 정보(예: 웨어러블 전자 장치의 종류, 디스플레이 크기 등)를 전송할 수 있다(A703).
메인 전자 장치(A400)는 지정된 이벤트가 발생하면(A705), 장치 특성 정보에 따라 웨어러블 전자 장치(A300)로 알림 정보 중 일부를 전송할 수 있다(A707). 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)가 스마트 워치이면 텍스트 및 이미지를 포함하는 알림 정보 중 텍스트만을 전송할 수 있다. 다른 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)가 스마트 글래스이면 텍스트 및 이미지를 포함하는 알림 정보 중 이미지만을 전송할 수 있다.
웨어러블 전자 장치(A300)는 메인 전자 장치로부터 수신되는 알림 정보를 디스플레이 화면에 표시할 수 있다(A709). 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 사용자 조작에 따라 메인 전자 장치(A400)로 전체 알림 정보를 요청할 수 있다(A711). 메인 전자 장치(A400)는 전체 알림 정보가 요청되면 웨어러블 전자 장치(A300)로 전체 알림 정보를 전송할 수 있다(A713). 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로부터 수신되는 전체 알림 정보를 디스플레이 화면에 표시할 수 있다(A715).
도 157은 본 발명의 일 실시예에 따른 웨어러블 전자 장치의 구성을 나타내는 블럭도이다. 도 158은 터치 입력을 수신하는 예를 설명하기 위한 도면이다.
도 157을 참조하면 웨어러블 전자 장치(A300)는 입력 모듈(A310), 통신 모듈(A320), 디스플레이(A330), 메모리(A340), 센서 모듈(A350) 및 제어 모듈(A360)을 포함할 수 있다.
입력 모듈(A310)은 사용자 조작을 입력받을 수 있다. 입력 모듈(A310)은 사용자의 터치입력에 의해 동작하는 터치 스크린(Touch Screen) 또는 터치 패드(Touch Pad), 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 키보드(Key Board), 사용자의 움직임을 인식하는 모션 인식 센서 및 사용자의 음성을 인식하는 음성 인식 센서 중 적어도 하나로 구현될 수 있다.
일 실시예에 따르면, 입력 모듈(A310)은 메인 전자 장치(A400)의 환경 설정값을 변경하는 사용자 조작을 입력받을 수 있다. 예를 들어, 웨어러블 전자장치(A300)는 터치 스크린상에 지정된 패턴의 터치 조작을 입력받을 수 있다. 예를 들어, 도 158을 참조하면 입력 모듈(A310)은 터치 스크린의 대각선 방향으로 터치 조작을 입력받을 수 있다. 일 실시예에 따르면, 입력 모듈(A310)은 디스플레이(A330)를 통해 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다.
일 실시예에 따르면, 입력 모듈(A310)은 디스플레이(A330)에 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부만이 표시되면, 전체 알림 정보를 표시하는 사용자 조작을 입력받을 수 있다.
일 실시예에 따르면, 입력 모듈(A310)은 메인 전자 장치(A400)로부터 알림 정보 중 일부만이 수신된 경우, 메인 전자 장치(A400)로 전체 알림 정보를 요청하는 사용자 조작을 입력받을 수 있다.
통신 모듈(A320)은 메인 전자 장치(A400)와 네트워크로 연결되어 각종 정보 또는 제어 신호를 송수신할 수 있다. 일 실시예에 따르면, 통신 모듈(A320)은 입력 모듈(A310)에 입력된 사용자 조작에 따라, 메인 전자 장치(A400)로 메인 전자 장치(A400)의 환경 설정값을 변경하는 제어 신호를 전송할 수 있다. 예를 들어, 통신 모듈(A320)은 도 158에 도시된 사용자 조작이 입력되면 메인 전자 장치(A400)로 방해 금지 모드(예를 들어, 메인 전자 장치(A400)가 알림 정보를 전송하지 않는 모드)로 진입하는 제어하는 신호를 전송할 수 있다.
일 실시예에 따르면 통신 모듈(A320)은 메인 전자 장치(A400)와 환경 설정값을 공유하기 위해 메인 전자 장치(A400)로 환경 설정값을 전송할 수 있으며, 메인 전자 장치(A400)로부터 환경 설정값을 수신할 수 있다. 일 실시예에 따르면, 통신 모듈(A320)은 지정된 주기마다 또는 환경 설정값이 변경되면 메인 전자 장치(A400) 또는 웨어러블 전자 장치(A300)로 환경 설정값을 전송할 수 있다.
일 실시예에 따르면, 통신 모듈(A320)은 메인 전자 장치(A400)로 사용자의 상태를 전송할 수 있다. 예를 들어, 통신 모듈(A320)은 메인 전자 장치(A400)로 사용자의 수면 여부를 전송할 수 있다. 다른 예를 들어, 통신 모듈(A320)은 메인 전자 장치(A400)로 지정된 사용자가 착용 중인지 여부를 전송할 수 있다. 일 실시예에 따르면, 통신 모듈(A320)은 메인 전자 장치(A400)로 웨어러블 전자 장치(A300)의 상태(예: 웨어러블 전자 장치의 착용 여부, 배터리 상태, 충전 중인지 여부, 현재 위치 등)을 전송할 수 있다.
일 실시예에 따르면, 통신 모듈(A320)은 메인 전자 장치(A400)에서 발생한 이벤트에 대한 알림 정보를 수신할 수 있다. 예를 들어, 메인 전자 장치(A400)가 SMS 메시지를 수신하면, 메인 전자 장치(A400)로부터 SMS 메시지를 수신할 수 있다.
일 실시예에 따르면, 통신 모듈(A320)은 메인 전자 장치(A400)로부터 알림 정보 중 일부만이 수신된 경우, 사용자 조작에 따라 메인 전자 장치(A400)로 전체 알림 정보를 요청하여 전체 알림 정보를 수신할 수 있다.
일 실시예에 따르면, 통신 모듈(A320)은 디스플레이(A330)에 표시된 알림 정보를 사용자가 확인하면, 메인 전자 장치(A400)로 알림 확인 정보를 전송할 수 있다.
디스플레이(A330)는 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 UI를 제공할 수 있다. 일 실시예에 따르면, 입력 모듈(A310)은 디스플레이를 통해 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다. 일 실시예에 따르면, 디스플레이(A330)는 환경 설정값의 종류별로 UI를 제공할 수 있다. 일 실시예에 따르면, 디스플레이(A330)는 네트워크로 연결된 전자 장치별로 UI를 제공할 수 있다.
일 실시예에 따르면, 디스플레이(A330)는 디스플레이 화면에 메인 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트를 표시할 수 있다. 예를 들어, 디스플레이(A330)는 환경 설정값을 변경하기 위한 UI 화면(예: 메뉴 화면)에서 메인 전자 장치의 환경 설정값을 변경할 수 있는 항목에 대해 메인 전자 장치 아이콘을 표시할 수 있다.
디스플레이(A330)는 메인 전자 장치(A400)로부터 수신되는 알림 정보를 표시할 수 있다. 일 실시예에 따르면, 디스플레이(A330)는 메인 전자 장치(A400)로부터 수신되는 알림 정보 중 일부만을 표시할 수 있다. 예를 들어, 디스플레이(A330)는 메인 전자 장치(A400)로부터 텍스트와 이미지를 포함하는 알림 정보를 수신한 경우 텍스트만을 표시할 수 있다. 일 실시예에 따르면, 디스플레이(A330)는 사용자 조작에 따라 전체 알림 정보를 표시할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)가 방해 금지 모드이면 디스플레이(A330)는 디스플레이 화면에 표시되는 정보를 회색으로 표시할 수 있다. 이에 따라, 사용자는 웨어러블 전자 장치(A300)가 방해 금지 모드인지 직관적으로 알 수 있다.
메모리(A340)는 웨어러블 전자 장치(A300)의 환경 설정값을 저장할 수 있다. 일 실시예에 따르면, 메모리(A340)는 메인 전자 장치(A400)로부터 수신되는 메인 전자 장치(A400)의 환경 설정값을 저장할 수 있다.
센서 모듈(A350)은 각종 센서를 포함할 수 있다. 예를 들어, 센서 모듈(A350)은, 자이로 센서, 가속도 센서, 그립 센서, 근접 센서, 조도 센서, 심박 센서 등을 포함할 수 있다. 센서 모듈(A350)은 제어 모듈(A360)의 제어에 따라 동작하여 각종 센싱값을 획득할 수 있다.
제어 모듈(A360)은 웨어러블 전자 장치(A300)의 전반적인 동작을 제어할 수 있다. 일 실시예에 따르면, 제어 모듈(A360)은 사용자 또는 웨어러블 전자 장치(A300)의 상태를 판단할 수 있다. 예를 들어, 제어 모듈(A360)은 심박 센서, 생체 센서 또는 자이로 센서에 의해 측정되는 센싱값을 이용하여 사용자가 수면 중인지 여부를 판단할 수 있다. 다른 예를 들어, 제어 모듈(A360)은 심박 센서, 생체 센서에 의해 측정되는 센싱값을 이용하여 지정된 사용자가 착용 중인지 또는 다른 사용자가 착용 중인지 판단할 수 있다. 이 외에도 제어 모듈(A360)은 웨어러블 전자 장치(A300)의 착용 여부, 배터리 상태, 충전 중인지 여부를 판단할 수 있다.
일 실시예에 따르면, 제어 모듈(A360)은 메인 전자 장치(A400)와 환경 설정값을 동기화할 수 있다. 예를 들어, 제어 모듈(A360)은 웨어러블 전자 장치(A300)의 환경 설정값과 메인 전자 장치(A400)의 환경 설정값이 서로 상이하면 웨어러블 전자 장치(A300)의 환경 설정값을 가장 최근에 변경된 환경 설정값으로 동기화할 수 있다. 다른 예를 들어, 제어 모듈(A360)은 웨어러블 전자 장치(A300)의 환경 설정값과 메인 전자 장치(A400)의 환경 설정값이 서로 상이하면 메인 전자 장치(A400)의 환경 설정값과 상이하면 웨어러블 전자 장치(A300)의 환경 설정값을 메인 전자 장치(A400)의 환경 설정값으로 동기화할 수 있다.
도 159는 본 발명의 다양한 실시예에 따른 웨어러블 전자 장치에 표시되는 UI를 나타내는 도면이다.
일 실시예에 따르면, 디스플레이(A330)는 메인 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트(또는, UI)를 표시할 수 있다. 예를 들어, 도 159의 (a)에 도시된 바와 같이 디스플레이(A330)는 환경 설정을 위한 메뉴 화면에 메인 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트(B10)를 표시할 수 있다. 예를 들어, 도 159의 (a)를 참조하면 메인 전자 장치(A400) 모양의 아이콘 오브젝트(B10)가 표시될 수 있다.
일 실시예에 따르면 디스플레이(A330)는 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 UI를 제공할 수 있다. 예를 들어, 도 159의 (b)를 참조하면 디스플레이(A330)는 환경 설정을 위한 메뉴 화면에서 웨어러블 전자 장치 및 메인 전자 장치를 나타내는 아이콘(B20, B30)을 표시될 수 있다. 도 159의 (b)와 같은 메뉴 화면에서 웨어러블 전자 장치 아이콘(B20)이 선택되면 웨어러블 전자 장치(B20)의 환경 설정값을 변경하기 위한 메뉴 화면이 제공될 수 있다. 메인 전자 장치 아이콘(B30)이 선택되면 도 159의 (c)에 도시된 메인 전자 장치의 환경 설정값을 변경하기 위한 메뉴 화면이 제공될 수 있다. 도 159의 (c)를 참조하면 디스플레이(A330)는 메인 전자 장치의 환경 설정값을 변경하는 메뉴임을 나타내는 아이콘(B40)을 표시할 수 있다.
도 160은 본 발명의 일 실시예에 따른 메인 전자 장치의 구성을 나타내는 블럭도이다.
도 160을 참조하면 메인 전자 장치(A400)는 입력 모듈(A410), 통신 모듈(A420), 디스플레이(A430), 메모리(A440) 및 제어 모듈(A450)을 포함할 수 있다.
입력 모듈(A410)은 사용자 조작을 입력받을 수 있다. 입력 모듈(A410)은 사용자의 터치입력에 의해 동작하는 터치 스크린(Touch Screen) 또는 터치 패드(Touch Pad), 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 키보드(Key Board), 사용자의 움직임을 인식하는 모션 인식 센서 및 사용자의 음성을 인식하는 음성 인식 센서 중 적어도 하나로 구현될 수 있다.
일 실시예에 따르면, 입력 모듈(A410)은 웨어러블 전자 장치(A300)의 환경 설정값을 변경하는 사용자 조작을 입력받을 수 있다. 일 실시예에 따르면, 입력 모듈(A410)은 디스플레이(A430)를 통해 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다.
통신 모듈(A420)은 적어도 하나의 웨어러블 전자 장치(A300)와 네트워크로 연결되어 각종 정보 또는 제어 신호를 송수신할 수 있다. 일 실시예에 따르면, 통신 모듈(A420)은 입력 모듈(A410)에 입력된 사용자 조작에 따라, 웨어러블 전자 장치(A300)로 웨어러블 전자 장치(A300)의 환경 설정값을 변경하는 제어 신호를 전송할 수 있다.
일 실시예에 따르면, 통신 모듈(A420)은 웨어러블 전자 장치(A300)로부터 환경 설정값을 변경하는 제어 신호를 수신할 수 있다.
일 실시예에 따르면 통신 모듈(A420)은 웨어러블 전자 장치(A300)와 환경 설정값을 공유하기 위해 웨어러블 전자 장치로(A300) 환경 설정값을 전송할 수 있으며, 메인 전자 장치(A400)로부터 환경 설정값을 수신할 수 있다. 일 실시예에 따르면, 통신 모듈(A320)은 지정된 주기마다 또는 환경 설정값이 변경되면 메인 전자 장치(A400) 또는 웨어러블 전자 장치(A300)로 환경 설정값을 전송할 수 있다.
일 실시예에 따르면, 통신 모듈(A420)은 웨어러블 전자 장치(A300)로부터 사용자의 상태를 수신할 수 있다. 예를 들어, 통신 모듈(A420)은 웨어러블 전자 장치(A300)로부터 사용자의 수면 여부를 수신할 수 있다. 다른 예를 들어, 통신 모듈(A420)은 웨어러블 전자 장치(A300)로부터 지정된 사용자가 착용 중인지 여부를 수신할 수 있다. 일 실시예에 따르면, 통신 모듈(A420)은 웨어러블 전자 장치(A300)로부터 웨어러블 전자 장치(A300)의 상태(예: 웨어러블 전자 장치의 착용 여부, 배터리 상태, 충전 중인지 여부, 현재 위치 등)을 수신할 수 있다.
일 실시예에 따르면, 통신 모듈(A420)은 지정된 이벤트가 발생하면 웨어러블 전자 장치(A300)로 이벤트에 대한 알림 정보를 전송할 수 있다. 예를 들어, 통신 모듈(A420)은 SMS 메시지가 수신되면 웨어러블 전자 장치(A400)로 SMS 메시지에 대한 알림 정보를 전송할 수 있다.
일 실시예에 따르면, 통신 모듈(A420)은 웨어러블 전자 장치(A300)와 네트워크로 연결되면(또는, 연결 과정에서) 웨어러블 전자 장치(A300)로부터 장치 특성 정보(예: 웨어러블 전자 장치의 종류, 디스플레이 크기 등)를 수신할 수 있다.
디스플레이(A430)는 웨어러블 전자 장치(A300)의 환경 설정값을 변경하기 위한 UI를 제공할 수 있다. 일 실시예에 따르면, 입력 모듈(A410)은 디스플레이를 통해 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다. 일 실시예에 따르면, 디스플레이(A430)는 환경 설정값의 종류별로 UI를 제공할 수 있다. 일 실시예에 따르면, 디스플레이(A430)는 네트워크로 연결된 전자 장치별로 UI를 제공할 수 있다.
일 실시예에 따르면, 디스플레이(A430)는 디스플레이 화면에 메인 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트를 표시할 수 있다. 예를 들어, 디스플레이(A430)는 환경 설정값을 변경하기 위한 UI 화면(예: 메뉴 화면)에서 메인 전자 장치의 환경 설정값을 변경할 수 있는 항목에 대해 메인 전자 장치 아이콘을 표시할 수 있다.
메모리(A440)는 메인 전자 장치(A400)의 환경 설정값을 저장할 수 있다. 일 실시예에 따르면, 메모리(A440)는 웨어러블 전자 장치(A300)로부터 수신되는 웨어러블 전자 장치(A300)의 환경 설정값을 저장할 수 있다. 일 실시예에 따르면, 메모리(A440)는 웨어러블 전자 장치(A300)로부터 수신된 사용자의 상태 또는 웨어러블전자 장치(A300)의 상태를 저장할 수 있다. 일 실시예에 따르면, 메모리(A440)는 웨어러블 전자 장치(A300)로부터 수신되는 장치 특성 정보를 저장할 수 있다.
제어 모듈(A450)은 메인 전자 장치(A400)의 전반적인 동작을 제어할 수 있다. 일 실시예에 따르면, 제어 모듈(A450)은 웨어러블 전자 장치(A300)로부터 수신되는 제어 신호에 따라 환경 설정값을 변경할 수 있다.
일 실시예에 따르면, 제어 모듈(A450)은 웨어러블 전자 장치(A300)와 환경 설정값을 동기화할 수 있다. 예를 들어, 제어 모듈(A450)은 웨어러블 전자 장치(A300)의 환경 설정값과 메인 전자 장치(A400)의 환경 설정값이 서로 상이하면 메인 전자 장치(A400)의 환경 설정값을 가장 최근에 변경된 환경 설정값으로 동기화할 수 있다.
일 실시예에 따르면, 제어 모듈(A450)은 웨어러블 전자 장치(A300)의 상태 또는 사용자 상태에 따라 알림 정보를 전송하도록 제어할 수 있다. 예를 들어, 제어 모듈(A450)은 사용자가 수면 상태이면 지정된 이벤트가 발생하더라도 웨어러블 전자 장치(A300)로 알림 정보를 전송하지 않을 수 있다. 다른 예를 들어, 제어 모듈(A450)은 웨어러블 전자 장치(A300)를 지정된 사용자가 착용하지 않은 경우 알림 정보를 전송하지 않도록 제어할 수 있다. 또 다른 예를 들어, 제어 모듈(A450)은 웨어러블 전자 장치(A300)가 충전 중이면 지정된 이벤트가 발생하더라도 웨어러블 전자 장치(A300)로 알림 정보를 전송하지 않도록 제어할 수 있다. 또 다른 예를 들어, 통신 모듈(A420)은 웨어러블 전자 장치(A300)의 현재 위치가 지정된 위치(예를 들어, 회의실)에 해당하면 알림 정보를 전송하지 않도록 제어할 수 있다.
일 실시예에 따르면, 제어 모듈(A450)은 웨어러블 전자 장치(A300)의 장치 특성 정보에 따라 알림 정보 중 일부만을 전송하도록 제어할 수 있다. 예를 들어, 제어 모듈(A450)은 웨어러블 전자 장치(A300)가 스마트 글래스이면 텍스트 및 이미지를 포함하는 알림 정보 중 이미지만을 전송하도록 제어할 수 있다. 다른 예를 들어, 제어 모듈(A450)은 웨어러블 전자 장치(A300)가 스마트 워치이면 텍스트 및 이미지를 포함하는 알림 정보 중 텍스트만을 전송하도록 제어할 수 있다.
일 실시예에 따르면, 제어 모듈(A450)은 복수의 웨어러블 전자 장치와 네트워크로 연결된 경우 우선순위에 따라 알림 정보(전체 또는 일부)를 전송하도록 제어할 수 있다. 예를 들어, 제어 모듈(A450)은 스마트 워치(1 순위) 및 스마트 글래스(2 순위)와 연결된 경우 지정된 이벤트가 발생하면 1 순위 장치인 스마트 워치로 알림 정보를 전송하도록 제어할 수 있다. 제어 모듈(A450)은 스마트 워치로부터 지정된 시간 동안 알림 확인 정보가 수신되지 않으면 2 순위 장치인 스마트 글래스로 알림 정보를 전송하도록 제어할 수 있다.
도 161은 본 발명의 다양한 실시예에 따른 메인 전자 장치에 표시되는 UI를 나타내는 도면이다.
일 실시예에 따르면, 디스플레이(A430)는 웨어러블 전자 장치(A400)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트(또는, UI)를 표시할 수 있다. 예를 들어, 도 161의 (a)에 도시된 바와 같이 디스플레이(A430)는 환경 설정을 위한 메뉴 화면에 웨어러블 전자 장치(A300)의 환경 설정값을 변경할 수 있음을 나타내는 오브젝트(B50)를 표시할 수 있다. 예를 들어, 도 161의 (a)를 참조하면 웨어러블 전자 장치(A300) 모양의 아이콘 오브젝트(B50)가 표시될 수 있다. 오브젝트(B50)의 모양은 웨어러블 전자 장치(A300)로부터 수신되는 장치 특성 정보에 기초하여 결정될 수 있다.
일 실시예에 따르면, 디스플레이(A430)는 웨어러블 전자 장치(A300)의 환경 설정값을 변경하기 위한 UI를 제공할 수 있다. 예를 들어, 도 161의 (b)를 참조하면 디스플레이(A430)는 환경 설정을 위한 메뉴 화면에서 웨어러블 전자 장치 및 메인 전자 장치 각각의 환경 설정값을 변경할 수 있는 UI를 제공할 수 있다. 도 161의 (b)를 참조하면 도 159의 (b)와 같은 메뉴 화면에서 웨어러블 전자 장치 아이콘(B20)이 선택되면 웨어러블 전자 장치(B20)의 환경 설정값을 변경하기 위한 메뉴 화면이 제공될 수 있다. 일 실시예에 따르면, 메뉴 화면에는 웨어러블 전자 장치(A300) 및 메인 전자 장치(A400)를 구분하기 위한 오브젝트(B60)가 표시될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300) 및 메인 전자 장치(A400)별로 환경 설정값을 변경하기 위한 UI(B70)가 각각 제공될 수 있다. 일 실시예에 따르면, 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 메뉴 화면에서 웨어러블 전자 장치(A300)의 환경 설정값을 변경하는 UI가 제공될 수 있다. 예를 들어, 도 161의 (c)를 참조하면 메인 전자 장치(A400)의 환경 설정값을 변경하기 위한 메뉴 화면에서 웨어러블 전자 장치의 사운드 설정을 변경할 수 있는 UI(B80)가 제공될 수 있다.
도 162는 본 발명의 다양한 실시예에 따른 웨어러블 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 162를 참조하면 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값을 변경하는 사용자 조작을 입력받을 수 있다(B310). 예를 들어, 웨어러블 전자장치(A300)는 터치 스크린상에 지정된 패턴의 터치 조작을 입력받을 수 있다. 예를 들어, 도 158을 참조하여 설명한 바와 같이 웨어러블 전자 장치(A300)는 터치 스크린의 대각선 방향으로 터치 조작을 입력받을 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(A300)는 디스플레이 화면에서 제공되는 UI를 통해 사용자 조작을 입력받을 수 있다.
웨어러블 전자 장치(A300)는 사용자 조작이 입력되면, 메인 전자 장치(A400)로 메인 전자 장치(A400)의 환경 설정값을 변경하는 제어 신호를 전송할 수 있다(B320).
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)와 환경 설정값을 공유하기 위해 메인 전자 장치(A400)로 환경 설정값을 전송할 수 있다. 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)로부터 메인 전자 장치(A400)의 환경 설정값을 수신할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)와 환경 설정값을 동기화할 수 있다. 예를 들어, 웨어러블 전자 장치(A300)는 환경 설정값이 메인 전자 장치(A400)의 환경 설정값과 상이하면 가장 최근에 변경된 환경 설정값으로 동기화할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(A300)는 메인 전자 장치(A400)의 환경 설정값과 상이하면 메인 전자 장치(A400)의 환경 설정값으로 동기화할 수 있다.
도 163은 본 발명의 다양한 실시예에 따른 메인 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 163을 참조하면 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로부터 사용자 수면 여부를 수신할 수 있다(B410). 메인 전자 장치(A400)는 지정된 이벤트(예를 들어, SMS 메시지 수신)가 발생하면(B420), 사용자가 수면 중인지 판단할 수 있다(B430).
메인 전자 장치(A400)는 사용자가 수면 중이면(B430-Yes), 웨어러블 전자 장치(A300)로 알림 전송을 제한할 수 있다(B440). 메인 전자 장치(A400)는 사용자가 수면 중이 아니면(B430-No), 웨어러블 전자 장치(A300)로 이벤트와 관련된 알림 정보를 전송할 수 있다(B450).
일 실시예에 따르면 메인 전자 장치(A400)는 과정 B410에서 웨어러블 전자 장치(A300)로부터 웨어러블 전자 장치(A300)의 착용 여부, 지정된 사용자가 착용 중인지 여부, 배터리 상태, 충전 중인지 여부, 현재 위치 등을 수신할 수 있다. 메인 전자 장치(A400)는 과정 B430에서 전자 장치(A300)의 착용 여부, 지정된 사용자가 착용 중인지 여부, 충전 중인지 여부, 현재 위치가 지정된 위치인지 여부를 판단할 수 있다. 그리고, 메인 전자 장치(A400)는 판단 결과에 따라 알림을 제한하거나 웨어러블 전자 장치로 알림 정보를 전송할 수 있다.
도 164는 본 발명의 다양한 실시예에 따른 메인 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 164를 참조하면 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로부터 장치 특성 정보를 수신할 수 있다(B510). 메인 전자 장치(A400)는 지정된 이벤트가 발생하면(B520), 장치 특성 정보에 따라 웨어러블 전자 장치(A300)로 알림 정보 중 일부를 전송할 수 있다(B530). 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)가 스마트 워치이면 텍스트 및 이미지를 포함하는 알림 정보 중 텍스트만을 전송할 수 있다. 다른 예를 들어, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)가 스마트 글래스이면 텍스트 및 이미지를 포함하는 알림 정보 중 이미지만을 전송할 수 있다.
일 실시예에 따르면, 메인 전자 장치(A400)는 웨어러블 전자 장치(A300)로부터 전체 알림 정보가 요청되면 웨어러블 전자 장치(A300)로 전체 알림 정보를 전송할 수 있다.
도 165는 본 발명의 다양한 실시예에 따른 메인 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 165를 참조하면 메인 전자 장치(A400)는 지정된 이벤트(예를 들어, SMS 메시지 수신)가 발생하면(B610), 우선 순위에 따라 알림 정보를 전송할 수 있다. 메인 전자 장치(A400)는 네트워크로 연결된 복수의 웨어러블 전자 장치에 우선 순위를 설정할 수 있다. 일 실시예에 따르면, 메인 전자 장치(A400)는 사용자 조작 또는 웨어러블 전자 장치의 특성에 따라 우선순위를 설정할 수 있다. 예를 들어, 제1 웨어러블 전자 장치(A500)가 1 순위로 설정되어 있고, 제2 웨어러블 전자 장치가 2 순위로 설정될 수 있다. 메인 전자 장치(A400)는 지정된 이벤트가 발생하면(B610), 1 순위 웨어러블 전자 장치(A500)로 알림 정보를 전송할 수 있다(B620).
메인 전자 장치(A400)는 알림 정보를 전송한 후 지정된 시간이 경과하면 알림 확인 정보가 수신되었는지 판단할 수 있다(B630). 메인 전자 장치(A400)는 알림 확인 정보가 수신되면(B630-Yes) 종료할 수 있다. 메인 전자 장치(A400)는 알림 확인 정보가 수신되지 않으면(B630-No), 2 순위인 제2 웨어러블 전자 장치로 알림 정보를 전송할 수 있다(B640).
도 166은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치(101))의 장치 관리 모듈 B701의 블록도 B700을 도시한다. 상기 장치 관리 모듈 B701은 도 51에 도시된 추가 기능 모듈 170일 수 있다.
도 166을 참조하면, 상기 장치 관리 모듈 B701은 수신 모듈(B710), 확인 모듈(B720) 및 입출력 제어 모듈(B730)을 포함할 수 있다. 수신 모듈(B710)은, 예를 들면, 전자 장치에 대한 사용자의 생체 신호 또는 상기 전자 장치와 연관된 다양한 정보(예: 움직임 정보, 전자 장치 주변에 대한 밝기 정보 또는 전자 장치의 상태 정보 등) 중 적어도 하나를 획득할 수 있다.
한 실시예에 따르면, 수신 모듈(B710)은, 전자 장치에 대한 사용자의 생체 신호를 수신할 수 있다. 예를 들면, 수신 모듈(B710)은 전자 장치에 대한 사용자로부터 생성된 생체 신호를 직접적으로 획득(예: 감지)할 수 있다. 또는, 수신 모듈(B710)은 전자 장치에 대한 외부 장치(예: 전자 장치(104) 또는 서버(106))를 통하여 획득된 사용자의 생체 신호를 외부 장치로부터 간접적으로 획득할 수 있다.
생체 신호는, 예를 들면, 심전도, 심박수, 심박 변화도, 지문, 홍채, 체지방, 산소 포화도, 맥박, 체온, 피부 수화도, 피부 습도 지수, 혈관 정보, 얼굴, 음성, 안구, 손금, 정맥, 근전도 또는 뇌파 중 적어도 하나에 대응하는 신호를 포함할 수 있다. 전술한 다양한 생체 신호들을 수신하기 위하여, 수신 모듈(B710) 또는 상기 외부 장치는, 예를 들면, 심전도 센서(예: ECG(electrocardiogram) 센서 또는 EKG(electrocardiography) 센서), 심박 센서(예: 광혈류량 센서(PPG: photoplethysmography), HRM(heart rate monitor) 센서, 또는 HRV(heart rate variability) 센서), 지문 센서, 홍채 센서, 체지방 측정 센서, 산소 포화도 센서, 온도 센서, 피부 수화도 측정 센서, 피부 습도 측정 센서, 얼굴 인식 센서, 손금 인식 센서, 정맥 인식 센서, 근전도 센서 또는 뇌파 측정 센서 등을 포함할 수 있다. 다양한 실시예에 따르면, 사용자의 생체 신호를 감지하기 위한 다양한 센서들은 전술한 장치들에 한정되지 않는다.
한 실시예에 따르면, 수신 모듈(B710)은 광혈류량 센서를 통하여 사용자의 혈류량을 획득할 수 있다. 또한, 수신 모듈(B710)은 광혈류량 센서를 통하여, 지정된 시간 동안(예: 약 1분)의 혈류량 변화를 측정할 수 있다. 광혈류량 센서는, 혈류량 변화에 기반하여, 예를 들면, 심박수, 심박 변화도 또는 심전도 등의 생체 정보를 획득할 수 있다. 한 실시예에 따르면, 수신 모듈(B710)은 뇌파 측정 센서를 통하여, 사용자의 뇌전도(EEG(electroencephalogram))신호를 생체 정보로 획득할 수 있다. 한 실시예에 따르면, 수신 모듈(B710)은 심전도 측정 센서를 통하여, 사용자의 심전도 신호를 생체 정보의 적어도 일부로 획득할 수 있다.
한 실시예에 따르면, 수신 모듈(B710)은 전자 장치의 움직임 정보, 이벤트, 전자 장치의 상태 정보, 외부 환경 정보, 또는 전자 장치와 통신하는 외부 장치와 전자 장치 사이의 거리 정보 중 적어도 하나의 정보를 획득할 수 있다. 예를 들면, 수신 모듈(B710)은 상기 적어도 하나의 정보를 직접적으로 획득(예: 획득)할 수 있다. 또는, 수신 모듈(B710)은 전자 장치(예: 전자 장치(101)) 또는 외부 장치(예: 전자 장치(104) 또는 서버(106))를 통하여 획득된 상기 적어도 하나의 정보를 외부 장치로부터 간접적으로 획득할 수 있다.
한 실시예에 따르면, 수신 모듈(B710)은 전자 장치 또는 외부 장치와 기능적으로 연결된 움직임 센서(예: 가속도 센서, 자이로 센서, 지자기 센서 또는 GPS(global positioning system) 모듈 등)를 통하여 전자 장치의 움직임 정보(예: 이동 거리, 이동 방향 또는 회전 각도 등)를 획득할 수 있다. 또한, 수신 모듈(B710)은 전자 장치 또는 외부 장치에서 발생된 이벤트를 획득할 수 있다. 예를 들면, 이벤트는 전화 수신 이벤트, 메시지 수신 이벤트, 알람 이벤트, 일정 정보 알림 이벤트, 또는 SNS(social network service) 이벤트를 포함할 수 있다.
한 실시예에 따르면, 수신 모듈(B710)은 전자 장치의 상태 정보를 획득할 수 있다. 전자 장치의 상태 정보는, 예를 들면, 전원 상태 정보(예: 배터리 잔량 정보) 또는 전자 장치에 포함된 프로세서(processor)의 처리량(load) 정보를 포함할 수 있다. 한 실시예에 따르면, 수신 모듈(B710)은 전자 장치(예: 전자 장치(101))에 대한 외부 환경 정보를 획득할 수 있다. 외부 환경 정보는, 예컨대, 전자 장치 주변의 밝기 정보, 전자 장치 주변에서 발생하는 소리 정보(예: 소리의 세기, 주파수 또는 파장), 후각 정보 또는 위치 정보 등을 포함할 수 있다.
한 실시예에 따르면, 수신 모듈(B710)은 전자 장치(예: 전자 장치(101))와 통신하는 외부 장치(예: 전자 장치(104) 또는 서버(106)) 사이의 거리 정보를 획득할 수 있다. 예를 들면, 수신 모듈(B710)은 외부 장치로부터 상기 전자 장치와 통신하기 위해 전송되는 통신 신호의 세기에 기반하여 전자 장치와 외부 장치 사이의 거리 정보를 획득할 수 있다. 예를 들면, 통신 신호의 세기가 제 1 지정된 범위에 대응하는 경우(예: 지정된 세기보다 강한 경우), 수신 모듈(B710)은 전자 장치와 외부 장치의 거리를 제 1 지정된 거리(예: 서로 통신 가능한 기준 거리보다 가까운 거리)로 판단할 수 있다. 반면에, 통신 신호의 세기가 제 2 지정된 범위에 대응하는 경우(예: 지정된 세기보다 약한 경우), 수신 모듈(B710)은 전자 장치와 외부 장치의 거리를 제 2 지정된 범위(예: 서로 통신 가능한 기준 거리보다 먼 거리)로 판단할 수 있다.
확인 모듈(B720)은, 예를 들면, 적어도 생체 신호(예: 생체 신호의 감지 여부, 생체 신호의 속성 정보(예: 생체 신호의 신호 세기, 또는 생체 신호의 신호 패턴) 등)에 기반하여 사용자에 대한 전자 장치의 탈부착 상태를 확인할 수 있다. 탈부착 상태는, 예를 들면, 탈착 상태(또는, 미착용 상태), 부착 상태(또는, 착용 상태) 또는 불완전 부착 상태(또는, 불완전 착용 상태)를 포함할 수 있다. 탈착 상태는 전자 장치가 사용자의 몸으로부터 분리된 상태를 포함할 수 있다. 부착 상태는 전자 장치가 사용자의 몸에 정상적으로 부착된 상태를 포함할 수 있다. 불완전 부착 상태는 전자 장치가 사용자의 몸에 비정상적으로 부착된 상태를 포함할 수 있다. 본 발명의 실시예에서 기재된 전자 장치의 탈부착 상태(예: 탈착, 부착 또는 불완전 부착)는 일 예로서, 사용자의 설정 또는 전자 장치의 설계자에 따라 탈부착 상태에 대한 정의 또는 설정은 다양하게 변경될 수 있다.
한 실시예에 따르면, 전자 장치는 생체 신호의 감지 여부에 기반하여 전자 장치의 탈부착 상태를 판단할 수 있다. 예를 들면, 전자 장치는 스마트 와치일 수 있다. 스마트 와치가 사용자의 손목에 착용되지 않은 경우(예: 스마트 와치가 사용자 의복의 주머니 또는 사용자가 매거나 들고 있는 가방에 위치하는 경우, 또는 스마트 와치가 사용자의 신체가 아닌 다른 물체(예: 책상)에 위치하는 경우), 사용자에 대한 생체 신호가 감지되지 않는바, 확인 모듈(B720)은 스마트 와치의 탈부착 상태를 탈착 상태로 확인할 수 있다.
반면에, 스마트 와치가 사용자의 손목에 정상적으로(예: 완전히) 착용된 경우, 사용자의 생체 신호가 정상적으로(예: 일정한 신호 패턴으로 또는 해당 신호가 어떠한 신호인지 구분이 될 수 있는 정도의 세기로) 감지되는바, 확인 모듈(B720)은 스마트 와치의 탈부착 상태를 부착 상태로 확인할 수 있다. 스마트 와치가 사용자의 손목에 비정상적으로(예: 느슨하게) 착용된 경우, 사용자의 생체 신호는 불완전하게 감지(예: 감지된 생체 신호의 신호 세기 또는 신호 패턴이 일정하지 않은 경우)되는 바, 확인 모듈(B720)은 스마트 와치의 탈부착 상태를 불완전 부착 상태로 확인할 수 있다. 다른 예를 들면, 수신 모듈(B710)(예: 지문 인식 센서)을 통해 사용자의 지문을 감지하지 못한 경우, 확인 모듈(B720)은 전자 장치의 탈부착 상태를 탈착 상태로 확인할 수 있다. 또한, 수신 모듈(B710)이 사용자의 지문을 감지한 경우, 확인 모듈(B720)은 전자 장치의 탈부착 상태를 부착 상태로 감지할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은 생체 신호의 신호 세기를 이용하여 전자 장치의 탈부착 상태를 확인할 수 있다. 확인 모듈(B720)은, 생체 신호의 신호 세기가 제 1 지정된 범위에 대응하는 경우(예: 제 1 세기보다 강한 경우), 전자 장치의 탈부착 상태를 부착 상태로 확인할 수 있다. 확인 모듈(B720)은, 생체 신호의 신호 세기가 제 2 지정된 범위에 대응하는 경우(예: 제 2 세기보다 약한 경우), 전자 장치의 탈부착 상태를 탈착 상태로 확인할 수 있다. 확인 모듈(B720)은, 생체 신호의 신호 세기가 제 3 지정된 범위에 대응하는 경우(예: 제 1 세기보다 약하고, 제 2 세기보다 강한 경우), 전자 장치의 탈부착 상태를 불완전 부착 상태로 확인할 수 있다.
예를 들면, 수신 모듈(B710)(예: 심박 센서)을 통하여 획득되는 맥파 신호는 전자 장치의 탈부착 상태에 따라 제 1 내지 제 3 지정된 범위를 포함할 수 있다. PPG 센서에 의해 수신된 맥파 신호는, AC(맥동성분) 또는 DC(직류성분) 중 하나 이상을 포함할 수도 있다. AC는 심장의 수축과 이완에 의해 나타나는 성분이며, DC는 생체에 의한 흡수도 혹은 반사도에 따라 나타나는 성분이다. 수신된 맥파 신호는, 예를 들어 수신되는 광신호에 대응하는 DC 레벨값의 범위가 최소 0 ~ 최대 200,000 레벨일 경우, 예를 들면, 대략 60,000 레벨 이하(예: 제 1 지정된 범위, 탈착 상태), 예: 대략 80,000 레벨 이상(예: 제 2 지정된 범위, 부착 상태) 또는 상기 범위 외인 60,000초과 80,000 레벨 미만(예: 제 3 지정된 범위, 불완전 부착 상태)로 지정될 수 있다. 이러한 DC 신호의 레벨값은 수신된 신호의 증폭과정을 통해 판별되므로, 증폭범위설정에 따라 그 범위가 다를 수 있다. 또한, 탈착 상태에서도 주변광에 의해 DC 레벨값이 높아질 수 있으므로 수신되는 주변광의 성분을 제거하는 동작을 수행한 후에 얻은 값을 이용할 수 있다. 다른 예로, 확인 모듈(B720)은, 현재 수신 모듈(B710)을 통하여 획득된 맥파 신호의 신호 세기(예: 측정한 DC 레벨이 수신 모듈(B710)이 측정가능한 최대치의 약 30% ~ 50%인 영역)에 대응하는 범위(예: 불완전 부착상태)에 기반하여, 전자 장치를 탈착 상태, 부착 상태, 또는 불완전 부착 상태 중 하나의 상태(예: 탈착 상태)로 판단할 수 있다. 이를 위해 지정된 기간 동안에 감지된 DC 레벨의 평균값, 최대치 또는 최저치 중 하나 이상을 이용할 수도 있다.
한 실시예에 따르면, 확인 모듈(B720)은 생체 신호의 맥동성분의 진폭에 따라 전자 장치의 탈부착 상태를 판단할 수 있다. 상기 맥동성분의 진폭은 심전도 센서에 의해 측정된 R파 진폭, PPG 센서에 의해 측정된 AC 성분 중 피크(peak)의 진폭, 또는 가속도 맥파(accelerated plethysmo)의 진폭 중 하나 이상을 이용할 수 있다. 한 예로, 확인 모듈(B720)은 수신 모듈(B710)을 통해 수신된 생체 신호에 대응하는 AC 신호의 진폭(amplitude)이 지정된 조건을 만족하는 경우(예: 지정된 최대 진폭의 대략 20% ~ 60% 인 경우), 이는 심장의 수축기에 혈관의 확장(혈액량 증가), 이완기에 혈관 축소(혈액량 감소)에 따른 광수신부에 빛의 증감 차이가 작음을 나타내므로, 전자 장치가 불완전 부착 상태라고 판별할 수 있다. 예를 들면, AC 신호의 진폭이 지정된 최대 진폭의 대략 20% 미만으로, 특히 0%에 가까워질수록, 이는 혈관 확장과 축소가 거의 없다는 의미로서 센서가 생체가 아닌 다른 물체로 덮여 있거나 주변광의 영향을 많이 받는 상태(예: 탈착 상태)로 판단할 수 있다. 따라서 AC 신호의 진폭이 지정된 최대 진폭의 60%를 초과하는 범위에 있다면 착용상태로 판별할 수도 있다. 또 다른 예로, 어떠한 PPG 센서가 수신하는 맥파 신호가 AC 신호와 DC 신호를 포함하도록 구성된 경우, DC 신호가 최대 레벨값에 가깝고, AC 신호가 소정 값 이하로 매우 약하다면, 이는 DC 성분만 강하고, AC 신호는 미약한 것으로 판단할 수 있다. 따라서 이러한 경우는 PPG 센서에 수신되는 광량은 많으나 실제로 혈관의 반사광이나 투사광을 측정한 것이 아닌 것으로 판단하여 탈착 상태로 판별할 수도 있다.
한 실시예에 따르면, 확인 모듈(B720)은 생체 신호의 신호대잡음비(SNR: signal-to-noise ratio)를 판별하고 전자 장치의 탈부착 상태를 판단할 수 있다. 수신된 맥파 신호는, 예를 들어 수신되는 광신호에 대응하는 신호대잡음비가 지정된 시간(예: 약 5초) 동안 임계값(예: 약 -8dB)를 초과하는 경우에는 정상적인 부착 상태로 판별할 수 있고, 그렇지 않은 경우에는 불완전 부착 상태나 탈착 상태로 판별할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은 생체 신호의 신호 패턴(예: 주파수 또는 주기)에 따라, 전자 장치의 탈부착 상태를 판단할 수 있다. 확인 모듈은 230은 수신 모듈(B710)을 통해 수신된 생체 신호의 신호 패턴과 지정된(예: 미리 정의된, 또는 미리 저장된) 신호 패턴을 비교할 수 있다. 지정된 신호 패턴은, 예를 들면, 생체 신호의 속성(예: 지문, 뇌파, 맥파, 또는 심박 등을 나타내는 생체 신호의 종류)에 기반하여 결정된 패턴일 수 있다. 또한, 지정된 신호 패턴은 전자 장치가 사용자에게 정상적으로 부착된 경우, 감지될 수 있는 신호들에 대한 패턴을 포함할 수 있다.
확인 모듈(B720)은, 생체 신호의 신호 패턴과 지정된 신호 패턴이 유사 또는 일치하는 정도(예: 유사도)가 제 1 지정된 범위에 대응하는 경우(예: 제 1 유사도보다 낮은 경우), 전자 장치의 탈부착 상태를 탈착 상태로 확인할 수 있다. 확인 모듈(B720)은, 생체 신호의 신호 패턴과 지정된 신호의 패턴에 대한 유사도가 제 2 지정된 범위에 대응하는 경우(예; 제 2 유사도보다 높은 경우), 전자 장치의 탈부착 상태를 부착 상태로 확인할 수 있다. 확인 모듈(B720)은, 생체 신호의 신호 패턴과 지정된 신호의 패턴에 대한 유사도가 제 3 지정된 정도에 대응하는 경우(예: 제 1 유사도보다 높고, 제 2 유사도보다 낮은 경우), 전자 장치의 탈부착 상태를 불완전 부착 상태로 확인할 수 있다.
예를 들면, 확인 모듈(B720)은 수신 모듈(B710)(예: 심전도 센서)을 통하여 획득된 심전도 신호의 신호 패턴을 지정된 신호 패턴(예: P, Q, R, S, 또는 T파)과 비교할 수 있다. 이 경우, 지정된 신호 패턴은, 예컨대, 심전도 신호의 경우 심장의 활동 전류에 해당하는 신호의 패턴(예: P, Q, R, S, 또는 T파)을 포함할 수 있으며, 뇌파 신호의 경우 뇌의 신경에서 발생한 전기적 신호(예: 델타파(약 0.2~4Hz), 세타파(약 4~8Hz), 알파파(약 8~13Hz), 베타파(약 13~30Hz) 또는 감마파(약 30~50Hz)에 해당하는 신호의 패턴을 포함할 수 있다.
확인 모듈(B720)은, 획득된 심전도 신호의 신호 패턴과 지정된 신호 패턴이, 예를 들면, 제 1 유사도(예: 약 70%)보다 높은 정도로 일치하는(또는, 유사한) 경우, 전자 장치의 탈부착 상태를 부착 상태로 확인할 수 있다. 확인 모듈(B720)은, 획득된 심전도 신호의 신호 패턴과 지정된 신호 패턴이, 예를 들면, 제 2 유사도(예: 약 30%)보다 낮은 정도로 일치하는 경우, 전자 장치의 탈부착 상태를 탈착 상태로 확인할 수 있다. 확인 모듈(B720)은, 획득된 심전도 신호의 신호 패턴과 지정된 신호 패턴이, 예를 들면, 제 1 유사도(예: 약 70%)보다 낮고, 제 2 유사도(예: 약 30%)보다 높은 정도로 일치하는 경우, 전자 장치의 탈부착 상태를 불완전 부착 상태로 확인할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은, 전자 장치의 움직임에 더 기반하여 전자 장치의 탈착 상태에 대한 세부 정보(예: 사용자가 전자 장치를 소지하는지 또는 미소지하는 지)에 대해서 확인할 수 있다. 예를 들면, 확인 모듈(B720)은 전자 장치의 탈착 상태에서 전자 장치에 대한 사용자의 소지 여부(예: 사용자가 들고 있는 가방(또는 의복 주머니)에 전자 장치가 위치하는 지(소지) 또는 전자 장치가 사용자와 떨어진 다른 물체(예: 책상)에 위치하는 지(미소지))를 더 확인할 수 있다.
소지 상태는, 예컨대, 전자 장치가, 전자 장치에 해당하는 사용자의 신체 위치에 부착(또는, 착용)되지 않고, 예를 들면, 사용자의 다른 부위(예: 스마트 와치의 경우 팔목이 아닌 손바닥)에 위치된 상태를 포함할 수 있다. 전자 장치에 해당하는 사용자의 신체 위치는, 예를 들면, 전자 장치가 스마트 와치인 경우 사용자의‘팔목’이고, 전자 장치가 HMD인 경우 사용자의‘머리’일 수 있다. 또한, 소지된 상태는, 예를 들면, 전자 장치가 사용자의 의복의 주머니에 위치하는 상태 또는 사용자가 매거나 들고 있는 가방에 위치된 상태를 포함할 수 있다. 미소지된 상태는, 예컨대, 전자 장치가 사용자의 움직임에 영향을 받지 않는 장소(예: 테이블)에 놓여진 상태를 포함할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은 전자 장치의 움직임에 대한 강도에 기반하여 전자 장치의 소지 여부를 확인할 수 있다. 예를 들면, 확인 모듈(B720)은, 움직임의 강도가 제 1 지정된 범위에 대응하는 경우(예: 지정된 강도보다 강한 경우), 전자 장치가 사용자에게 소지된 상태(또는, 전자 장치가 운송 수단에 위치된 상태)인 것으로 확인할 수 있다. 확인 모듈(B720)은, 움직임의 강도가 제 2 지정된 범위에 대응하는 경우(예: 지정된 강도보다 약한 경우), 전자 장치가 사용자에게 미소지된 상태인 것으로 확인할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은 전자 장치의 움직임에 대한 신호 패턴에 더 기반하여 전자 장치의 소지 여부에 대해 확인할 수 있다. 예를 들면, 확인 모듈(B720)은 움직임에 해당하는 신호 패턴을 사용자의 다양한 움직임들에 따라 지정된 패턴의 유사도에 기반하여 전자 장치에 대한 사용자의 소지 여부를 확인할 수 있다. 지정된 패턴은, 예컨대, 사용자의 걷는 움직임 또는 뛰는 움직임의 각각에 대응하는 데이터 패턴(예: 속도, 가속도 또는 흔들림 정도 등)들을 포함할 수 있다. 또한, 지정된 패턴은 다양한 운송 수단에 대응하는 데이터 정보(예: 속도, 가속도 또는 흔들림 정도)를 포함할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은 생체 신호 또는 전자 장치의 움직임 중 적어도 하나에 기반하여 사용자를 인증(또는 식별)할 수 있다. 예를 들면, 사용자 인증을 위하여 생체 신호를 이용하는 경우, 전자 장치와 기능적으로 연결된, 예컨대, 메모리(예: 메모리(130))는 제 1 사용자에 해당하는 제 1 생체 신호와 제 2 사용자에 해당하는 제 2 생체 신호를 저장할 수 있다. 확인 모듈(B720)은, 수신 모듈(B710)을 통해 수신된 생체 신호가 제 1 생체 신호에 대응하는 경우, 전자 장치에 대한(예: 전자 장치를 사용하는) 사용자를 제 1 사용자로 판단할 수 있다. 또한, 확인 모듈(B720)은 수신 모듈(B710)을 통해 수신된 생체 신호가 제 2 생체 신호에 대응하는 경우, 전자 장치에 대한 사용자를 제 2 사용자로 판단할 수 있다.
다른 예를 들면, 생체 신호가 홍채 정보인 경우, 확인 모듈(B720)은 수신 모듈(B710)을 통해 획득된 홍채 정보를 사용자에 따라 지정된 홍채 정보와 비교할 수 있다. 확인 모듈(B720)은, 획득된 홍채 정보에 해당하는 지정된 홍채 정보가 있는 경우에는, 지정된 홍채 정보에 해당하는 사용자를 전자 장치에 대한 사용자로 판단할 수 있다.
한 실시예에 따르면, 사용자 인증을 위하여 움직임을 이용하는 경우, 전자 장치와 기능적으로 연결된, 예컨대, 메모리(예: 메모리(130))는 제 1 사용자에 해당하는 제 1 움직임 정보와 제 2 사용자에 해당하는 제 2 움직임 정보를 저장할 수 있다. 확인 모듈(B720)은, 수신 모듈(B710)을 통해 수신된 움직임 정보가 제 1 움직임 정보에 대응하는 경우, 전자 장치를 사용하는 사용자를 제 1 사용자로 판단할 수 있다. 또한, 확인 모듈(B720)은 수신 모듈(B710)을 통해 수신된 움직임 정보가 제 2 움직임 정보에 대응하는 경우, 전자 장치를 사용하는 사용자를 제 2 사용자로 판단할 수 있다.
예를 들면, 움직임이 걸음인 경우(예: 사용자가 걷는 경우), 확인 모듈(B720)은 수신 모듈(B710)을 통해 획득된 걸음 정보를 사용자에 따라 지정된 걸음 정보와 비교할 수 있다. 확인 모듈(B720)은 획득된 걸음 정보에 해당하는 지정된 걸음 정보가 있는 경우, 지정된 걸음 정보에 해당하는 사용자를 전자 장치에 대한 사용자로 판단할 수 있다.
한 실시예에 따르면, 확인 모듈(B720)은 수신 모듈(B710)을 통해 획득된 이벤트의 중요성을 확인할 수 있다. 확인 모듈(B720)은 이벤트에 중요성 정도를 지정할 수 있다. 중요성 정도는, 예를 들면, 사용자에 대한 이벤트의 종류(또는, 긴급한 정도)에 기반하여 지정될 수 있다. 예를 들면, 전화 수신 이벤트는 중요성을 제 1 중요성 정도(예: 높은 중요도)로 지정하고, 메시지 수신 이벤트는 중요성을 제 2 중요성 정도(예: 제 1 중요성 정도 보다 낮은 중요도)로 지정하고, 알람 이벤트는 중요성을 제 3 중요성 정도(예: 제 2 중요성 정도 보다 낮은 중요도)로 지정할 수 있다. 또는, 중요성 정도는, 예를 들면, 이벤트가 나타내는 내용의 긴급성에 기반하여 결정될 수 있다. 일 예로서, 이벤트가 사용자와 연관된 중요한 사람으로부터 발생된 경우 또는 위급한 내용(예: 교통 사고, 화재 등의 긴급 재난과 연관된 내용)을 포함하고 있는 경우, 중요성 정도는 높게 지정될 수 있다.
입출력 제어 모듈(B730)은, 예를 들면, 적어도 전자 장치(예: 전자 장치(101))의 탈부착 상태에 기반하여, 전자 장치와 기능적으로 연결된 복수의 입출력 장치들의 각각을 독립적으로 제어할 수 있다. 예를 들면, 생체 신호 또는 움직임 정보에 기반하여 결정된 탈부착 상태(예: 탈착 상태, 부착 상태 또는 불완전 부착 상태)에 따라, 복수의 입출력 장치들(예: 마이크, 디스플레이, 스피커 또는 햅틱 장치)의 각각에 대한 턴-온/턴-오프, 또는 상기 복수의 입출력 장치들을 통하여 입력되는 입력 신호 또는 출력되는 출력 신호에 대한 세기 중 적어도 하나를 독립적으로(예: 개별적으로) 제어(예: 조정)할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치가 사용자에서 탈착 상태(예: 생체 신호가 감지되지 않는 경우 또는 스마트 와치가 사용자 의복의 주머니 또는 신체가 아닌 다른 물체(예: 책상)에 위치한 것으로 판단되는 경우)인 경우, 복수의 입출력 장치들 중 적어도 하나를 턴-오프 할 수 있다. 예를 들면, 전자 장치(예: 전자 장치(101))는 헤드폰 타입의 전자 장치 또는 이어폰 타입의 전자 장치와 같은 사용자가 전자 장치를 착용하여 콘텐츠를 감상할 수 있는 웨어러블 전자 장치일 수 있다. 예컨대, 전자 장치가 사용자로부터 탈착된 상태인 경우, 입출력 제어 모듈(B730)은 콘텐츠의 적어도 일부가 재생되지 않도록 디스플레이를 턴-오프하여 영상 재생을 중지하거나, 스피커를 턴-오프하여 소리 재생을 중지하거나, 햅틱 장치를 턴-오프 하여 진동 재생을 중지할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치가 사용자에게 부착 상태(예: 생체 신호가 정상적으로 감지되는 경우 또는 스마트 와치가 사용자의 팔목에 올바르게(예: 완전히) 장착된 것으로 판단되는 경우)인 경우, 복수의 입출력 장치들 중 적어도 하나를 턴-온 할 수 있다. 예를 들면, 입출력 제어 모듈(B730)은 디스플레이를 턴-온하여 영상을 재생하거나, 스피커를 턴-온하여 소리를 재생하거나, 햅팁 장치를 턴-온하여 진동 재생을 할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치가 사용자에게 불완전하게 부착된 상태(예: 생체 신호가 비정상적으로 감지되는 경우 또는 스마트 와치가 사용자의 팔목에 부적절하게(예: 헐겁게) 착용된 것으로 판단되는 경우)인 경우, 복수의 입출력 장치들 중 적어도 하나를 독립적으로 제어하여 불완전 부착 상태에 대한 피드백(예: 알림(notification))을 사용자에게 제공할 수 있다. 예를 들면, 입출력 제어 모듈(B730)은 스마트 와치가 사용자에게 불완전하게 부착되어 생체 신호가 정상적으로 감지되지 않는 경우, 사용자에게 피드백으로서, 디스플레이를 통하여 시각 정보를 제공하거나, 스피커를 통하여 소리 정보를 제공하거나, 햅틱 장치를 통하여 진동 정보, 또는 후각 출력 장치를 통하여 후각 정보를 제공할 수 있다. 상기 생체 신호가 정상적으로 감지되지 않는 경우는, 예를 들면, 수신 모듈(B710)을 통해 수신한 생체 신호가 일정하지 않은 패턴을 보이거나, 어떠한 신호인지 구분하기 어려운 정도의 미약한 신호 세기를 가지거나, 혹은 신호 대 잡음비(SNR)가 임계값(threshold) 이하인 경우 중 한 가지 이상이 감지된 경우일 수 있다. 한 실시예에 따르면, 입출력 제어 모듈(B730)은, 상기 시각 정보의 적어도 일부로, 스마트 와치의 스트랩을 좀 더 느슨하게 하거나, 좀 더 죄라는 메시지를 출력할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치가 사용자에게 탈착된 상태(예: 생체 신호가 감지되지 않는 경우 또는 스마트 와치가 사용자에 부착되지 않은 경우나 외부에 센서가 노출된 경우)인 경우, 복수의 입출력 장치들 중 적어도 하나를 독립적으로 제어하여 탈착 상태에 대한 피드백(예: 알림(notification))을 사용자에게 제공할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치의 탈부착 상태에 기반하여, 복수의 입출력 장치들 중 적어도 하나의 장치를 통하여 출력 신호(또는, 입력 신호)가 출력(또는, 입력)되는 경우, 적어도 하나의 장치의 각각에 대한 신호 세기를 독립적으로 제어할 수 있다. 예를 들면, 전자 장치의 일 예로서 스마트 와치가 부착 상태인 경우, 입출력 제어 모듈(B730)은 디스플레이의 화면 밝기를 ‘상’, 스피커의 소리 출력 세기를 ‘하’ 또는 햅틱 장치의 진동 세기를 ‘중’으로 제어할 수 있다. 반면에, 스마트 와치가 탈착 상태인 경우, 디스플레이의 화면 밝기를 ‘하(또는, 턴-오프)’, 스피커의 소리 출력 세기를 ‘상’또는 햅틱 장치의 진동 세기를 ‘하’로 제어할 수 있다.
입출력 제어 모듈(B730)은, 예를 들면, 전자 장치의 움직임에 더 기반하여 복수의 입출력 장치들의 각각을 독립적으로 제어할 수 있다. 예컨대, 입출력 제어 모듈(B730)은 전자 장치에 대한 움직임의 강도가 ‘상’인 경우(예: 전자 장치를 소지(또는, 착용)한 사용자가 빠른 속도로 걷거나 뛰는 경우)에는, 전자 장치에 대한 움직임의 강도가 ‘하’인 경우(예: 전자 장치를 소지한 사용자가 느리게 걷거나, 제자리에서 미비한 미동을 하는 경우)보다 더 강한 출력 신호가 제공될 수 있도록 복수의 입출력 장치들의 각각을 제어할 수 있다. 예를 들면, 입출력 제어 모듈(B730)은 움직임의 강도가 ‘상’인 경우에는 햅틱 장치의 진동 세기를 ‘강’으로, 움직임의 강도가 ‘중’인 경우에는 진동 세기를 ‘중’으로, 움직임의 강도가 ‘하’인 경우에는 진동 세기를 ‘하’로 결정할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치의 움직임에 기반하여, 이벤트에 대응하는 알림 정보를 제공하기 위하여 복수의 입출력 장치들의 각각을 제어할 수 있다. 예를 들면, 전자 장치의 움직임의 강도가 ‘상’인 경우, 디스플레이를 통하여 제공되는 정보를 확인하기 어려운 바, SNS(social networking service) 메시지 수신에 대한 알림을 스피커의 소리 또는 햅틱 장치의 진동을 통하여 사용자에게 제공할 수 있다. 반면에, 전자 장치의 움직임의 강도가 ‘하’인 경우, 입출력 제어 모듈(B730)은, 예를 들면, 디스플레이를 통해서 메시지 수신에 대한 알림을 제공할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치에 발생된 이벤트의 중요성에 따라 복수의 입출력 장치들의 각각을 다르게 제어할 수 있다. 예를 들면, 전자 장치에 대한 움직임의 강도가 ‘강’이더라도, 전자 장치에 수신된 메시지의 속성의 중요성이 높은 경우(예: 메시지의 내용이 중요하거나, 긴급하거나, 또는 메시지의 송신자가 중요한 사람인 경우), 입출력 제어 모듈(B730)은 디스플레이를 턴-온할 수 있으며, 햅틱 장치의 진동 세기 또는 스피커의 소리 세기를 더 강하게 할 수 있다. 반면에, 전자 장치에 대한 움직임의 강도가 ‘하’이더라도, 메시지의 중요성이 낮은 경우(예: 메시지의 내용이 차단한 문자를 포함하거나, 스팸이거나, 또는 송신자의 정보가 없는 경우), 입출력 제어 모듈(B730)은 디스플레이를 턴-오프 할 수 있으며, 스피커의 소리 세기나 햅틱 장치의 진동 세기를 더 약하게 할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 시간 정보가 포함된 이벤트의 경우, 시간 정보에 따라 복수의 입출력 장치들의 각각을 다르게 제어할 수 있다. 예를 들면, 알람 이벤트의 경우, 입출력 제어 모듈(B730)은 알림 이벤트에 지정된 시간에 가까워질수록 복수의 입출력 장치들에 대한 신호의 세기를 점진적으로 강하게 할 수 있다. 또한, 예를 들면, 일정 이벤트의 경우, 입출력 제어 모듈(B730)은 일정 이벤트에 지정된 시간으로부터 제 1 시간 전(예: 약 1시간 전)에는 햅틱 장치만 턴-온하여 진동만을 제공할 수 있다. 입출력 제어 모듈(B730)은 일정 이벤트에 지정된 시간으로부터 제 2 시간 전(예: 약 30분 전)에는 햅틱 장치와 스피커 장치를 턴-온하여 진동과 소리를 함께 제공할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치에서 실행되고 있는 어플리케이션에 더 기반하여 복수의 전자 장치들을 제어할 수 있다. 예를 들면, 전자 장치에서 실행되고 있는 어플리케이션이 사용자의 생체 신호를 이용하는 어플리케이션(예: 스트레스 측정 어플리케이션)인 경우, 입출력 제어 모듈(B730)은 다른 어플리케이션이 구동되지 않거나 또는 다른 어플리케이션에 대응하는 알림 정보가 제공되지 않도록 복수의 입출력 장치들을 제어할 수 있다.
다른 실시예에 따르면, 전자 장치에서 생체 신호를 이용하는 어플리케이션이 실행되고 있더라도, 전자 장치에 수신된 메시지의 중요성이 높은 경우, 입출력 제어 모듈(B730)은 복수의 입출력 장치들 중 적어도 하나를 이용하여 메시지에 대한 알림을 사용자에게 제공할 수 있다. 예를 들면, 입출력 제어 모듈(B730)은 디스플레이를 턴-온하거나, 스피커의 소리 세기를 약하게 하거나, 또는 햅틱 장치의 진동 세기를 약하게 하여 메시지에 대한 알림을 제공할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치(예: 전자 장치(101))와 외부 장치(예: 전자 장치(104) 또는 서버(106)) 사이의 거리 정보에 기반하여, 복수의 입출력 장치들의 각각을 독립적으로 제어할 수 있다. 예를 들면, 전자 장치와 외부 장치 사이의 거리가 상대적으로 가까운 것으로 판단된 경우(예: 전자 장치인 스마트 와치와 외부 장치인 휴대폰 사이의 거리가 약 1M 내외로 판단된 경우), 입출력 제어 모듈(B730)은 적어도 하나의 입출력 장치를 턴-오프를 하거나 또는 복수의 입출력 장치들의 각각에 대한 신호 세기를 약하게 할 수 있다. 반면에, 전자 장치와 외부 장치 사이의 거리가 상대적으로 먼 것으로 판단된 경우(예: 전자 장치인 스마트 와치와 외부 장치인 휴대폰 사이의 거리가 5M 내외로 판단된 경우), 복수의 입출력 장치들에 대한 신호 세기를 강하게 할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치와 외부 장치 사이의 거리가 변화함에 따라 복수의 입출력 장치들에 대한 신호 세기를 점진적으로 강하게 조절(예: 설정)할 수 있다. 또한, 전자 장치에서 외부 장치를 찾기 위한 어플리케이션(예: 장치 찾기 어플리케이션)이 실행된 경우, 입출력 제어 모듈(B730)은 외부 장치에 포함된 복수의 입출력 장치들의 각각에 대한 신호 세기를 강하게 조절(예: 설정)하여, 사용자가 외부 장치를 찾을 수 있도록 지원할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치의 상태 정보에 더 기반하여 복수의 입출력 장치들의 각각을 제어할 수 있다. 예를 들면, 전자 장치의 배터리의 잔량이 많은 경우(예: 60% 이상), 입출력 제어 모듈(B730)은 배터리 소모량이 많은 디스플레이를 턴-온하거나, 햅틱 장치의 진동 세기 또는 스피커의 소리를 강하게 조절할 수 있다. 반면에, 전자 장치의 배터리 잔량이 적은 경우(예: 약 30% 이하), 입출력 제어 모듈(B730)은 디스플레이를 턴-오프 할 수 있으며, 햅틱 장치의 진동 세기 또는 스피커의 소리를 약하게 조절할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치에 대한 사용자의 인증 정보에 더 기반하여 복수의 입출력 장치들의 각각을 제어할 수 있다. 예를 들면, 전자 장치에 대한 사용자가 성인으로 판단된 경우, 입출력 제어 모듈(B730)은 복수의 입출력 장치들 각각에 대해 턴-온을 할 수 있으며, 사용자가 복수의 입출력 장치들을 제어하는 정도에 따라 복수의 입출력 장치들에 대응하는 신호 세기를 조정할 수 있다. 반면에, 전자 장치에 대한 사용자가 미성년자로 판단된 경우, 입출력 제어 모듈(B730)은 복수의 입출력 장치들 중 적어도 하나를 턴-오프 할 수 있으며, 사용자가 전자 장치를 제어함에 있어 제한이 되도록 복수의 입출력 장치들을 제어할 수 있다. 한편, 입출력 제어 모듈(B730)은 사용자의 인증 정보뿐만 아니라, 전자 장치를 통하여 제공되는 콘텐츠의 종류(예: 성인물 또는 아동물)에 더 기반하여 복수의 입출력 장치들을 제어할 수도 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 전자 장치에 대한 외부 환경 정보(예: 전자 장치 주변의 밝기 정보, 소리 정보, 후각 정보, 또는 위치 정보)에 더 기반하여 복수의 입출력 장치들의 각각을 제어할 수 있다. 예를 들면, 전자 장치 주변에서 발생한 소리 세기가 ‘약’인 경우, 스피커의 약한 소리도 사용자가 감지할 수 있는바, 입출력 제어 모듈(B730)은 스피커의 소리 세기가 약해지도록 제어할 수 있다. 반면에, 전자 장치 주변에서 발생한 소리의 세기가 ‘강’인 경우, 입출력 제어 모듈(B730)은 스피커의 소리 세기가 강해지도록(예: 전자 장치 주변에서 발생한 소리의 세기인 ‘강’보다 더 강하게) 제어할 수 있다. 또한, 전자 장치 주변에서 발생한 소리의 세기가 ‘강’인 경우, 스피커의 강한 소리도 사용자가 감지하기 어려울 수 있는바, 입출력 제어 모듈(B730)은 햅틱 장치를 턴-온하여 사용자에게 진동을 제공할 수 있다.
또한, 전자 장치 주변에서 발생한 향의 강도가 ‘약’인 경우, 약한 향도 사용자가 감지할 수 있는바, 입출력 제어 모듈(B730)은 후각 출력 장치가 약한 향을 출력하도록 제어할 수 있다. 반면, 전자 장치 주변에서 발생한 향의 강도가 ‘강’인 경우, 입출력 제어 모듈(B730)은 후각 출력 장치가 강한 향(예: 전자 장치 주변에서 발생한 향의 강도인 ‘강’보다 강한 향)을 출력하도록 제어할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 적어도 전자 장치의 탈부착 상태에 따라 복수의 입출력 장치들을 독립적으로 제어하기 위하여, 탈부착 상태에 기반하여 복수의 입출력 장치들 각각에 대한 설정 정보를 결정할 수 있다. 설정 정보는, 예컨대, 전자 장치와 기능적으로 연결된 복수의 입출력 장치들 각각에 대한 실행 방법을 포함할 수 있다. 예를 들면, 실행 정보는 복수의 입출력 장치들 각각에 대한 턴-온/턴-오프 정보, 복수의 입출력 장치들을 통하여 입력되는 입력 신호의 세기, 또는 복수의 입출력 장치들을 통하여 출력되는 출력 신호의 세기 등에 대한 정보를 포함할 수 있다. 입출력 제어 모듈(B730)은, 예를 들면, 전자 장치가 탈착 상태인 경우, 디스플레이를 ‘턴-오프’로, 스피커의 소리 세기를 ‘강’으로, 또는 햅틱 장치의 진동 세기를 ‘약’으로 각각 설정 정보를 결정할 수 있다.
한 실시예에 따르면, 입출력 제어 모듈(B730)은 복수의 입출력 장치들에 대해 사용자가 설정한 설정 정보에 더 기반하여, 복수의 입출력 장치들을 제어할 수 있다. 예를 들면, 전자 장치가 탈착 상태인 경우, 탈착 상태에 따라 디스플레이가 턴-오프가 되어야 하더라도 사용자가 항상 턴-온으로 설정한 경우에는 입출력 제어 모듈(B730)은 디스플레이를 턴-온할 수 있다.
본 발명의 실시예에서는, 복수의 입출력 장치들에 대한 예로서, 디스플레이, 스피커, 햅틱 장치, 또는 후각 출력 장치 등을 기재하였으나, 본 발명의 실시예는 이러한 장치들에 한정되지 않는다. 또한, 본 발명의 실시예에서는 전자 장치에 대한 탈부착 상태를 결정하기 위하여, 다양한 정보(예: 움직임 정보 또는 전자 장치의 상태 정보 등)에 대한 지정된 범위가 예를 통해서 기재되었으나, 지정된 범위는 본 발명의 실시예에 한정되지 않으며, 사용자의 설정 정보 또는 전자 장치의 설계자에 의해서 다양한 지정된 범위를 가질 수 있도록 구현될 수 있다. 본 발명의 실시예에 기재된 기능적으로 연결된 복수의 입출력 장치들은, 예를 들면, 전자 장치(예: 전자 장치(101)) 자체에 포함된 입출력 장치 또는 전자 장치와 통신하는 외부 장치(예: 전자 장치(104) 또는 서버(106))에 포함된 입출력 장치를 포함할 수 있다.
다양한 실시예에 따르면, 복수의 입출력 장치들을 제어하는 전자 장치(예: 전자 장치(101))는, 전자 장치에서 사용자의 생체 신호(예: 맥파 신호)를 수신하기 위한 수신 모듈(예: 수신 모듈(B710)), 적어도 상기 생체 신호(예: 맥파 신호의 신호 세기, 패턴, AC 파의 진폭)에 기반하여, 상기 사용자에 대한 상기 전자 장치의 탈부착 상태를 확인하기 위한 확인 모듈(예: 확인 모듈(B720)), 및 적어도 상기 탈부착 상태에 기반하여, 상기 전자 장치와 기능적으로 연결된 복수의 입출력 장치들(예: 스피커 또는 햅틱 장치)의 각각을 독립적으로 제어(예: 스피커의 소리 출력 세기를 강으로 제어 또는 햅틱 장치를 턴-오프)하기 위한 입출력 제어 모듈(예: 입출력 제어 모듈(B730))을 포함할 수 있다.
다양한 실시예에 따르면, 상기 수신 모듈은, 심전도, 심박수, 심박 변화도, 지문, 홍채, 체지방, 산소 포화도, 맥박, 체온, 피부 수화도, 피부 습도 지수, 혈관 정보, 얼굴, 음성, 안구, 손금, 정맥, 근전도 또는 뇌파 중의 적어도 하나를 상기 생체 신호로서 획득할 수 있다.
다양한 실시예에 따르면, 상기 확인 모듈은, 상기 생체 신호의 속성 정보(예: 생체 신호의 신호 세기 또는 신호 패턴)를 획득하고, 상기 속성 정보가 제 1 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 부착 상태로 판단하고, 상기 속성 정보가 제 2 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 탈착 상태로 판단하고, 상기 속성 정보가 제 3 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 불완전 부착 상태로 판단할 수 있다.
다양한 실시예에 따르면, 상기 확인 모듈은, 상기 생체 신호 또는 상기 전자 장치의 움직임 정보 중 적어도 하나를 이용하여 상기 사용자를 인증할 수 있다. 예컨대, 상기 확인 모듈은, 상기 생체 신호가 지문 정보인 경우, 상기 지문 정보가 제 1 지문 정보인 경우에는 상기 사용자를 제 1 사용자로 판단하고, 상기 지문 정보가 제 2 지문 정보인 경우에는 상기 사용자를 제 2 사용자로 판단할 수 있다.
다양한 실시예에 따르면, 상기 확인 모듈은, 상기 생체 신호의 신호 세기를 획득하고, 상기 신호 세기가 제 1 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 부착 상태로 판단하고, 상기 신호 세기가 제 2 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 탈착 상태로 판단할 수 있다.
다양한 실시예에 따르면, 상기 확인 모듈은, 상기 신호 세기가 제 3 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 불완전 부착 상태로 판단할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 전자 장치가 상기 불완전 부착 상태이거나 탈착 상태인 경우, 상기 복수의 입출력 장치들 중 적어도 하나를 통하여 상기 사용자에게 상기 불완전 부착 상태 혹은 탈착 상태에 대한 피드백(예: 알림)을 제공하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 확인 모듈은, 상기 전자 장치에서 실행되고 있는 어플리케이션(예: 스트레스 측정 어플리케이션)을 확인할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 어플리케이션에 더 기반하여, 상기 복수의 입출력 장치들의 각각을 제어(예: 다른 어플리케이션이 구동되지 않거나 또는 다른 어플리케이션에 대응하는 알림 정보가 제공되지 않도록 제어)할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 적어도 상기 탈부착 상태에 기반하여 상기 복수의 입출력 장치들의 각각에 대응하는 설정 정보를 결정하고, 상기 설정 정보에 기반하여 상기 복수의 입출력 장치들(예: 스피커 및 햅틱 장치) 중 대응하는 장치(예: 햅틱 장치)를 제어(예: 진동 강도를 ‘강’으로 제어)할 수 있다.
다양한 실시예에 따르면, 상기 설정 정보는, 상기 복수의 입출력 장치들의 각각에 대한 턴-온/턴-오프 정보, 상기 복수의 입출력 장치들을 통하여 입력되는 입력 신호 또는 출력되는 출력 신호에 대한 세기 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 복수의 입출력 장치들의 각각에 대한 턴-온(turn-on) 또는 턴-오프(turn-off)를 제어할 수 있다.
다양한 실시예에 따르면, 상기 복수의 입출력 장치들은 스피커, 햅틱 장치, 후각 출력 장치, 또는 디스플레이 중 적어도 하나를 포함하고, 상기 입출력 제어 모듈은, 상기 스피커의 소리 세기, 상기 햅틱 장치의 진동 세기, 상기 후각 출력 장치의 향 강도, 또는 상기 디스플레이의 밝기 중 적어도 하나를 제어할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 전자 장치에 대한 외부 환경 정보(예: 전자 장치 주변의 밝기 정보, 전자 장치 주변에서 발생하는 소리 정보 또는 후각 정보)에 대응하는 신호 세기에 기반하여, 상기 복수의 입출력 장치들 중 적어도 하나에 대한 신호의 세기를 제어할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 전자 장치의 상태 정보, 상기 전자 장치의 움직임 정보, 상기 사용자에 대한 인증 정보, 또는 상기 전자 장치와 통신하는 외부 장치와 상기 전자 장치 사이의 거리 정보 중 적어도 하나에 더 기반하여, 상기 복수의 입출력 장치들을 제어할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 전자 장치에서 획득된 이벤트의 중요성(예: 메시지의 내용이 중요성, 긴급한 정도, 또는 메시지의 송신자의 중요도)에 더 기반하여, 상기 복수의 입출력 장치들을 제어할 수 있다.
다양한 실시예에 따르면, 상기 입출력 제어 모듈은, 상기 이벤트의 중요성에 기반하여, 상기 복수의 입출력 장치들(예: 스피커 또는 햅틱 장치) 중 적어도 하나(예: 스피커)를 이용하여 상기 이벤트에 대한 알림 정보를 제공할 수 있다.
도 167은 다양한 실시예에 따른, 전자 장치(예: 전자 장치(101))가 복수의 입출력 장치를 제어하는 방법을 보여주는 흐름도 B800을 도시한다. 동작 B810에서, 전자 장치(예: 수신 모듈(B710))는 사용자의 생체 신호(예: 맥파 신호)를 수신할 수 있다. 한 실시예에 따르면, 전자 장치(예: 수신 모듈(B710))는 전자 장치의 움직임 정보, 이벤트, 전자 장치의 상태 정보, 외부 환경 정보, 또는 전자 장치와 통신하는 외부 장치와 전자 장치 사이의 거리 정보 중 적어도 하나의 정보(이하, 설명의 편의상, ‘전자 장치에 대한 상황 정보(context information)’)를 더 획득할 수 있다.
동작 B820에서, 전자 장치(예: 확인 모듈(B720))는 적어도 생체 신호(예: 맥파 신호의 신호 세기)에 기반하여, 사용자에 대한 전자 장치의 탈부착 상태를 확인할 수 있다. 한 실시예에 따르면, 전자 장치는 전자 장치에 대한 상황 정보에 기반하여, 전자 장치의 탈부착 상태에 대한 세부 정보(예: 사용자가 전자 장치를 소지하는지 또는 미소지하는 지)를 더 확인할 수 있다.
동작 B830에서, 전자 장치(예: 입출력 제어 모듈(B730))는 적어도 탈부착 상태에 기반하여, 전자 장치와 기능적으로 연결된 복수의 입출력 장치들(예: 스피커, 디스플레이, 햅틱 장치, 또는 후각 출력 장치)의 각각을 독립적으로 제어할 수 있다. 예를 들면, 전자 장치는 적어도 탈부착 상태에 따라, 복수의 입출력 장치들 각각에 대한 턴-온/턴-오프, 스피커를 통하여 출력되는 소리의 세기, 디스플레이의 밝기 정보, 햅틱 장치의 진동 세기, 또는 후각 출력 장치의 향의 세기 중 적어도 하나를 결정할 수 있다.
도 168은 다양한 실시예에 따른, 전자 장치(예: 전자 장치(101))가 복수의 입출력 장치를 제어하는 방법을 보여주는 흐름도(B900)을 도시한다. 도 168에서 기재되는 동작들 중 도 167과 동일 또는 유사한 부분에 대한 설명은 생략된다. 동작 B910에서, 전자 장치(예: 수신 모듈(B710))는 사용자의 생체 신호(예: 뇌파 신호)를 수신할 수 있다. 동작 B930에서, 전자 장치(예: 확인 모듈(B720))는 적어도 생체 신호(예: 뇌파 신호의 신호 세기)에 기반하여, 사용자에 대한 전자 장치의 탈부착 상태를 확인할 수 있다.
동작 B950에서, 전자 장치(예: 입출력 제어 모듈(B730))는 적어도 탈부착 상태에 기반하여, 전자 장치와 기능적으로 연결된 복수의 입출력 장치들의 각각에 대응하는 설정 정보를 결정할 수 있다. 설정 정보는, 예를 들면, 복수의 입출력 장치들 각각에 대한 턴-온/턴-오프 설정 여부, 복수의 입출력 장치들을 통하여 입력되는 입력 신호의 세기 정도, 또는 복수의 입출력 장치들을 통하여 출력되는 출력 신호의 세기 정도 중 적어도 하나에 대한 정보를 포함할 수 있다.
동작 B970에서, 전자 장치(예: 입출력 제어 모듈(B730))는 설정 정보에 기반하여 복수의 입출력 장치들 중 대응하는 장치를 독립적으로 제어할 수 있다. 예를 들면, 디스플레이에 대한 설정 정보가 ‘턴-오프’, 스피커에 대한 설정 정보가 ‘강’ 및 햅틱 장치에 대한 설정 정보가 ‘약’인 경우, 전자 장치는 디스플레이를 턴-오프하며, 스피커의 소리 세기를 강으로 하여 소리를 출력하고, 햅틱 장치의 진동 세기를 약하게 하여 진동을 출력할 수 있다.
도 169는 다양한 실시예에 따른, 전자 장치(예: 전자 장치(101))가 복수의 입출력 장치(예: 디스플레이, 햅틱 장치 또는 스피커)를 제어하는 방법을 보여주는 흐름도 C01을 도시한다. 한 실시예에 따르면, 전자 장치는 전자 장치와 연관된 다양한 상황 정보(예: 전자 장치에 대한 사용자의 생체 신호 또는 움직임)에 따라, 전자 장치와 기능적으로 연결된 이종의 복수의 입출력 장치들을 각각을 독립적으로 다양한 방법으로 제어할 수 있다.
예를 들면, 동작 C10에서, 전자 장치(예: 수신 모듈(B710))는 전자 장치에 대한 사용자의 생체 신호 및 전자 장치에 대한 상황 정보 중 하나로서 움직임을 감지할 수 있다. 동작 C20에서, 전자 장치(예: 확인 모듈(B720))는, 예를 들면, 사용자에 대한 생체 신호와 지정된 값(예: 생체 신호와 연관되어 미리 설정된 기준)과 비교(예: 생체 신호의 세기가 미리 설정된 복수의 범위들 중 어느 범위에 해당하는지 판단)할 수 있다. 동작 C21에서, 전자 장치(예: 확인 모듈(B720))는 생체 신호가 지정된 값보다 큰 경우, 상기 전자 장치가 사용자에게 부착된 것으로 판단할 수 있다. 반면에, 동작 C23에서, 전자 장치는 생체 신호가 지정된 값 이하인 경우, 상기 전자 장치가 사용자에게 탈착된 것으로 판단할 수 있다.
한 실시예에 따르면, 전자 장치(예: 확인 모듈(B720))는 전자 장치의 탈착 또는 부착 상태와 함께, 전자 장치의 움직임에 기반하여, 예를 들면, 전자 장치에 대한 보다 구체적인 상태(예: 전자 장치에 대한 이동 또는 위치)를 확인할 수 있다. 예를 들면, 동작 C30 및 동작 C40에서, 전자 장치는 전자 장치에 대한 움직임의 강도와 지정된 값(예: 움직임과 연관되어 미리 설정된 기준)을 비교(예: 움직임의 강도와 연관되어 미리 설정된 복수의 범위들 중 어느 범위에 해당하는지 판단)할 수 있다.
한 실시예에 따르면, 전자 장치가 사용자에게 부착 상태인 경우, 동작 C31에서, 움직임 강도가 지정된 값보다 큰 경우, 전자 장치는 전자 장치가 이동(예: 사용자가 전자 장치를 착용하여 격렬한 운동 또는 걷는 운동 등을 하고 있는 경우)을 하고 있다고 판단할 수 있다. 또는, 동작 C33에서, 움직임 강도가 지정된 값 이하인 경우, 전자 장치는 전자 장치가 정지(예: 사용자가 전자 장치를 착용하여 스트레스 측정 어플리케이션을 이용하는 경우)하고 있다고 판단할 수 있다.
한 실시예에 따르면, 전자 장치가 사용자에게 탈착 상태인 경우, 동작 C41에서, 움직임 강도가 지정된 값보다 큰 경우, 전자 장치는 사용자가 전자 장치를 소지하고 있다고 판단할 수 있다. 예를 들면, 전자 장치는 전자 장치가 위치해야 하는 장소(예: 스마트 와치인 경우, 사용자의 팔목)가 아닌 다른 장소(예: 스마트 와치인 경우, 손바닥 또는 사용자가 착용하고 있는 의복 주머니)에 사용자에 의해 전자 장치가 소지되고 있는 것으로 판단할 수 있다. 동작 C43에서, 움직임 강도가 지정된 값 이하인 경우, 전자 장치는 사용자가 전자 장치를 미소지(예: 전자 장치가 사용자의 움직임을 영향받지 않는 책상에 위치)하고 있다고 판단할 수 있다.
한 실시예에 따르면, 전자 장치(예: 입출력 제어 모듈(B730))는 탈부착 상태 및 움직임에 따라 결정된 전자 장치에 대한 상태(예: 이동, 정지, 소지 또는 미소지)에 따라, 디스플레이, 햅틱 장치 및 스피커를 각각 다양한 방법으로 제어할 수 있다. 예를 들면, 동작 C50에서, 전자 장치가 사용자에게 부착되어 이동 상태인 경우, 전자 장치는 디스플레이를 ‘턴-오프’, 햅틱 장치의 진동 세기를 ‘강’ 및 스피커의 소리 세기를 ‘강’으로 할 수 있다. 동작 C60에서, 전자 장치가 사용자에게 부착되어 정지 상태인 경우, 전자 장치는 디스플레이를 턴-온, 햅틱 장치의 진동 세기를 ‘약’ 및 스피커를 ‘턴-오프’할 수 있다.
동작 C70에서, 전자 장치가 사용자에게 탈착된 상태이나, 사용자가 전자 장치를 소지하고 있는 경우, 전자 장치는 디스플레이를 ‘턴-오프’, 햅틱 장치를 ‘턴-오프’ 및 스피커의 소리 세기를 ‘강’으로 할 수 있다. 동작 C80에서, 전자 장치가 사용자에게 탈착된 상태와 함께 사용자로부터 완전히 분리된 경우, 전자 장치는 디스플레이를 ‘턴-오프’, 햅틱 장치를 ‘턴-오프’ 및 스피커를 ‘턴-오프’할 수 있다.
다양한 실시예에 따르면, 복수의 입출력 장치들을 제어하는 방법은, 전자 장치에서 사용자의 생체 신호(예: 뇌파 신호)를 수신하는 동작, 적어도 상기 생체 신호(예: 뇌파 신호의 신호 패턴)에 기반하여, 상기 사용자에 대한 상기 전자 장치의 탈부착 상태를 확인하는 동작, 및 적어도 상기 탈부착 상태에 기반하여, 상기 전자 장치와 기능적으로 연결된 복수의 입출력 장치들(예: 디스플레이 또는 마이크)의 각각을 독립적으로 제어(예: 디스플레이의 화면 밝기를 약으로 제어 또는 마이크를 턴-온)하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 수신하는 동작은, 심전도, 심박수, 심박 변화도, 지문, 홍채, 체지방, 산소 포화도, 맥박, 체온, 피부 수화도, 피부 습도 지수, 혈관 정보, 얼굴, 음성, 안구, 손금, 정맥, 근전도 또는 뇌파 중의 적어도 하나를 상기 생체 신호로 획득하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 확인하는 동작은, 상기 생체 신호의 속성 정보(예: 생체 신호의 신호 세기 또는 신호 패턴)를 획득하고, 상기 속성 정보가 제 1 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 부착 상태로 판단하고, 상기 속성 정보가 제 2 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 탈착 상태로 판단하고, 상기 속성 정보가 제 3 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 불완전 부착 상태로 판단하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 확인하는 동작은, 상기 생체 신호 또는 상기 전자 장치의 움직임 정보를 이용하여 상기 사용자를 인증하는 동작을 포함할 수 있다. 예컨대, 상기 인증하는 동작은, 상기 움직임 정보가 제 1 움직임 정보에 대응하는 경우, 상기 사용자를 제 1 사용자로 판단하고, 상기 움직임 정보가 제 2 움직임 정보에 대응하는 경우, 상기 사용자를 제 2 사용자로 판단하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 확인하는 동작은, 상기 생체 신호의 신호 세기를 획득하고, 상기 신호 세기가 제 1 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 부착 상태로 판단하고, 상기 신호 세기가 제 2 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 탈착 상태로 판단하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 확인하는 동작은, 상기 신호 세기가 제 3 지정된 범위에 대응하는 경우, 상기 탈부착 상태를 불완전 부착 상태로 판단하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 전자 장치가 상기 불완전 부착 또는 탈착 상태인 경우, 상기 복수의 입출력 장치들 중 적어도 하나를 통하여 상기 사용자에게 상기 불완전 부착 상태 또는 상기 탈착 상태에 대한 피드백(예: 알림)을 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 확인하는 동작은, 상기 전자 장치에서 실행되고 있는 어플리케이션(예: 스트레스 측정 어플리케이션)을 확인하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 어플리케이션에 더 기반하여, 상기 복수의 입출력 장치들의 각각을 제어(예: 다른 어플리케이션이 구동되지 않거나 또는 다른 어플리케이션에 대응하는 알림 정보가 제공되지 않도록 제어)하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 적어도 상기 탈부착 상태에 기반하여 상기 복수의 입출력 장치들의 각각에 대응하는 설정 정보를 결정하고, 상기 설정 정보에 기반하여 상기 복수의 입출력 장치들(예: 디스플레이 및 마이크) 중 대응하는 장치(예: 디스플레이)를 제어하는(예: 턴-온 하는) 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 설정 정보는, 상기 복수의 입출력 장치들의 각각에 대한 턴-온/턴-오프 정보, 상기 복수의 입출력 장치들을 통하여 입력되는 입력 신호 또는 출력되는 출력 신호에 대한 세기 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 복수의 입출력 장치들의 각각에 대한 턴-온(turn-on) 또는 턴-오프(turn-off)를 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 복수의 입출력 장치들은 스피커, 햅틱 장치, 후각 출력 장치, 또는 디스플레이 중 적어도 하나를 포함하고, 상기 독립적으로 제어하는 동작은, 상기 스피커의 소리 세기, 상기 햅틱 장치의 진동 세기, 상기 후각 출력 장치의 향 강도, 또는 상기 디스플레이의 밝기 중 적어도 하나를 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 전자 장치에 대한 외부 환경 정보(예: 전자 장치 주변의 밝기 정보, 전자 장치 주변에서 발생하는 소리 정보 또는 후각 정보)에 대응하는 신호 세기에 기반하여, 상기 복수의 입출력 장치들 중 적어도 하나에 대한 신호의 세기를 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 전자 장치의 상태 정보, 상기 전자 장치의 움직임 정보, 상기 사용자에 대한 인증 정보, 또는 상기 전자 장치와 통신하는 외부 장치와 상기 전자 장치 사이의 거리 정보 중 적어도 하나에 더 기반하여, 상기 복수의 입출력 장치들을 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 전자 장치에서 획득된 이벤트의 중요성(예: 메시지의 내용이 중요성, 긴급한 정도, 또는 메시지의 송신자의 중요도)에 더 기반하여, 상기 복수의 입출력 장치들을 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 독립적으로 제어하는 동작은, 상기 이벤트의 중요성에 기반하여, 상기 복수의 입출력 장치들(예: 디스플레이 및 햅틱 장치) 중 적어도 하나(예: 햅틱 장치)를 이용하여 상기 이벤트에 대한 알림 정보를 제공하는 동작을 포함할 수 있다.
도 170은 다양한 실시예들에 따른 복수의 전자 장치들(예: 전자 장치(C110) 및 전자 장치(C130)) 사이의 통신 프로토콜(C100)을 도시한다. 도 170을 참조하면, 예를 들면, 상기 통신 프로토콜(C100)은, 장치 발견 프로토콜(device discovery protocol)(C151), 기능 교환 프로토콜(capability exchange protocol)(C153), 네트워크 프로토콜(network protocol)(C155) 및 어플리케이션 프로토콜(application protocol)(C157) 등을 포함할 수 있다.
한 실시예에 따르면, 상기 장치 발견 프로토콜(C151)은 전자 장치들(예: 전자 장치(C110) 또는 전자 장치(C130))이 자신과 통신 가능한 외부 전자 장치를 감지하거나 감지된 외부 전자 장치와 연결하기 위한 프로토콜일 수 있다. 예를 들면, 전자 장치(C110)(예: 전자 장치(101))는, 상기 장치 발견 프로토콜(C151)을 이용하여, 상기 전자 장치(C110)에서 사용 가능한 통신 방법(예: Wifi, BT 또는 USB 등)을 통해, 상기 전자 장치(C110)와 통신 가능한 기기(device)로, 전자 장치(C130)(예: 전자 장치(104))를 감지할 수 있다. 상기 전자 장치(C110)는, 상기 전자 장치(C130)와의 통신 연결을 위해, 상기 장치 발견 프로토콜(C151)을 이용하여, 감지된 전자 장치(C130)에 대한 식별 정보를 획득하여 저장할 수 있다. 상기 전자 장치(C110)는, 예를 들면, 적어도 상기 식별 정보에 기반하여, 상기 전자 장치(C130)와의 통신 연결을 개설할 수 있다.
어떤 실시예에 따르면, 상기 장치 발견 프로토콜(C151)은 복수의 전자 장치들 사이에서 상호 인증을 하기 위한 프로토콜일 수 있다. 예를 들면, 전자 장치(C110)는 적어도 전자 장치(C130)와의 연결을 위한 통신 정보(예: MAC(media access control) address, UUID(universally unique identifier), SSID(subsystem identification), IP(internet protocol) address)에 기반하여, 상기 전자 장치(C110)와 상기 전자 장치(C130) 간의 인증을 수행할 수 있다.
한 실시예에 따르면, 상기 기능 교환 프로토콜(C153)은 전자 장치(C110) 또는 전자 장치(C130) 중 적어도 하나에서 지원 가능한 서비스의 기능과 관련된 정보를 교환하기 위한 프로토콜일 수 있다. 예를 들면, 전자 장치(C110) 및 전자 장치(C130)는 상기 기능 교환 프로토콜(C153)을 통하여, 각각이 현재 제공하고 있는 서비스의 기능과 관련된 정보를 서로 교환할 수 있다. 교환 가능한 정보는 전자 장치(C110) 및 전자 장치(C130)에서 지원 가능한 복수의 서비스들 중에서 특정 서비스를 가리키는 식별 정보를 포함할 수 있다.예를 들면, 전자 장치(C110)는 상기 기능 교환 프로토콜(C153)을 통해 전자 장치(C130)로부터 상기 전자 장치(C130)가 제공하는 특정 서비스의 식별 정보를 수신할 수 있다.이 경우, 제 1 전자 장치(C110)는 상기 수신된 식별 정보에 기반하여, 상기 전자 장치(C110)가 상기 특정 서비스를 지원할 수 있는지 여부를 판단할 수 있다.
한 실시예에 따르면, 상기 네트워크 프로토콜(C155)는 통신할 수 있도록 연결된 전자 장치들(예: 전자 장치(C110), 전자 장치(C130)) 간에, 예컨대, 서비스를 연동하여 제공하기 위하여 송수신 되는, 데이터 흐름을 제어하기 위한 프로토콜일 수 있다. 예를 들면, 전자 장치(C110) 또는 전자 장치(C130) 중 적어도 하나는 상기 네트워크 프로토콜(C155)를 이용하여, 오류 제어, 또는 데이터 품질 제어 등을 수행할 수 있다. 추가적으로 또는 대안적으로, 상기 네트워크 프로토콜(C155)은 전자 장치(C110)와 전자 장치(C130) 사이에서 송수신되는 데이터의 전송 포맷을 결정할 수 있다. 또한, 전자 장치(C110) 또는 전자 장치(C130) 중 적어도 하나는 상기 네트워크 프로토콜(C155)를 이용하여 상호 간의 데이터 교환을 위한 적어도 세션(session)을 관리(예: 세션 연결 또는 세션 종료)할 수 있다.
한 실시예에 따르면, 상기 어플리케이션 프로토콜(C157)은 외부 전자 장치로 제공되는 서비스와 관련된 데이터를 교환하기 위한, 절차 또는 정보를 제공하기 위한 프로토콜일 수 있다. 예를 들면, 전자 장치(C110)(예: 전자 장치(101))는 상기 어플리케이션 프로토콜(C157)을 통해 전자 장치(C130)(예: 전자 장치(104) 또는 서버(106))로 서비스를 제공할 수 있다.
한 실시예에 따르면, 상기 통신 프로토콜(C100)은 표준 통신 프로토콜, 개인 또는 단체에서 지정한 통신 프로토콜(예: 통신 장치 제조 업체 또는 네트워크 공급 업체 등에서 자체적으로 지정한 통신 프로토콜) 또는 이들의 조합을 포함할 수 있다.
도 171은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치(101))의 장치 제어 모듈의 블록도를 도시한다. 상기 제어 모듈(C260)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다.
도 171을 참조하면, 메모리(C250)(예: 메모리 130)은 상태 제어 테이블(C251) 및 기능 처리 테이블(C253)을 포함할 수 있다.
상태 제어 테이블(C251) 은 상태 제어 정보 테이블, 장치 상태 테이블, UI 제어 테이블을 포함할 수 있다. 상태 제어 정보 테이블은 제어 정보 중 상태 제어 정보와 관련한 테이블일 수 있다. 한 실시예에 따르면, 상태 제어 정보 테이블은 적어도 하나의 컨텍스트 정보에 대응하여 수행할 명령어 또는 명령어 셋을 포함하는 상태 제어 정보를 포함할 수 있다. 예컨대 상태 제어 정보 테이블은 외부 장치(예: 전자 장치(104))과의 통신 채널 연결 해제 시 수행할 기능(예: 통신 연결 해제 알람, 외부 장치과 연동된 기능 일시 중지 또는 실행 중지 등), 장치 요소의 전력 제어 정보(예: 통신 모듈 전력 공급 차단, GPS 모듈 전력 공급 차단 등)를 가지는 상태 정보를 포함할 수 있다.
한 실시예에 따르면, 상태 제어 정보 테이블은 전자 장치 에서 실행할 상태 제어 정보 및 외부 장치에 전송할 상태 제어 정보를 포함할 수 있다. 예컨대, 상태 제어 정보 테이블은 전자 장치의 배터리 잔량 상태에 따라 수행할 기능(예: 배터리 잔량 알람, 충전 요청 알람, 미충전 시 외부 장치과의 연동된 기능 실행 중지 등), 장치 요소의 전력 제어 정보(예: GPS 모듈 전력 공급 차단, 외부 장치과 연동되는 기능 지원과 관련한 센서 모듈 240의 전력 공급 차단 등)를 가지는 상태 제어 정보를 포함할 수 있다. 또한 상태 제어 정보 테이블은 외부 장치의 배터리 잔량 상태에 따라 수행할 기능(예: 외부 장치배터리 잔량 알람, 외부 장치충전 요청 알람, 외부 장치에서 수행되는 기능 중 전자 장치 에서 수행 가능한 기능의 이관 등), 장치 요소의 전력 제어 정보(예: 외부 장치과의 통신 연결과 관련한 통신 모듈의 전력 공급 차단, 외부 장치연동과 관련한 센서 모듈(예: 센서 모듈(240))의 전력 공급 차단, 외부 장치의 통신 모듈 전력 제어, 외부 장치의 센서 모듈 전력 제어 등)를 가지는 상태 제어 정보를 포함할 수 있다.
장치 상태 테이블은 전자 장치 에 포함된 적어도 하나의 장치 요소 예컨대 GPS 모듈, 센서 모듈 등의 운용 상태 테이블을 포함할 수 있다. 장치 상태 테이블은 외부 장치과의 기능 연동 과정에서 외부 장치에 의해 실행된 장치 요소와 전자 장치의 기능 실행 과정에서 실행된 장치 요소를 구분하여 저장할 수 있다. 이에 따라, 장치 상태 테이블은 외부 장치과 연동되는 기능 실행 또는 기능 종료, 외부 장치과의 통신 연결 상태, 외부 장치의 전원 온/오프 상태 중 적어도 하나에 따라 테이블 정보가 갱신될 수 있다. 또한 장치 상태 테이블은 전자 장치의 특정 기능 실행 또는 종료에 대응하여 장치 요소와 관련한 테이블 정보가 갱신될 수 있다. 한 실시예에 따르면, 장치 상태 테이블은 GPS 모듈과 관련한 상태 정보를 가질 수 있다. 외부 장치에서 GPS 모듈 활성화가 요청되는 경우 장치 상태 테이블은 GPS 모듈을 외부 장치에 의한 턴-온(Turn-on or Activation) 상태로 저장할 수 있다. 외부 장치과 통신 연결이 해제되거나 또는 외부 장치의 GPS 모듈 관련 기능이 종료되거나, 외부 장치이 턴-오프(Turn-off or Deactivation)되는 경우 장치 상태 테이블에서 GPS 모듈은 턴-오프 상태로 변경될 수 있다. 기능 처리 모듈(C290)은 장치 상태 테이블에 대응하여 장치 요소들의 온/오프 상태를 제어할 수 있다.
UI 제어 테이블은 요청 정보(예: 컨텍스트 정보)에 대응하여 외부 장치에 전송할 UI 제어 정보를 저장할 수 있다. 한 실시예에 따르면, UI 제어 테이블은 스케줄 정보에 대응하여 외부 장치에 전송할 다양한 UI 제어 정보를 포함할 수 있다. UI 제어 테이블은 날씨 정보, 위치 정보, 일출/일몰 정보, 계절 정보, 행사 정보, 공식적인 기념일 정보, 개인 기념일 정보, 광고 정보 중 적어도 하나에 따라 외부 장치에 전송할 각 UI 제어 정보를 포함할 수 있다.
한 실시예에 따르면, UI 제어 테이블은 기본 UI 제어 정보를 포함할 수 있다. 기본 UI 제어 정보는 적어도 하나의 아이템(예: A, B, C, D)을 포함할 수 있다. 다양한 실시예에 따르면, 날씨 정보에 비와 관련한 정보가 포함되는 경우 기본 UI 제어 정보는 날씨 정보에 대응하여 일부 아이템(예: A, B, C)을 포함하는 형태로 변경되거나, 기존 아이템 중 적어도 하나의 크기, 위치, 색상 중 적어도 하나가 변경되거나, 아이템이 교체된 형태(예: A, B, C, E)가 될 수 있다. 다양한 실시예에 따르면, 기본 UI 제어 정보는 적어도 하나의 컨텍스트 정보별로 마련될 수 있다. 각 컨텍스트 정보별 기본 UI 제어 정보는 각 컨텍스트 정보의 종류나 속성 등의 변경에 따라 적어도 하나의 아이템이 변경된 형태로 제공될 수 있다.
기능 처리 테이블(C253)은 UI 제어 정보에 포함된 적어도 하나의 아이템에 대응하여 전자 장치 에서 수행할 기능 처리 목록을 포함할 수 있다. 한 실시예에 따르면, UI 제어 정보에 헬스 코칭 기능과 관련하여 걷기, 달리기, 자전거, 등산 아이템이 포함된 경우, 기능 처리 테이블(C253)은 각 아이템별로 전자 장치 에서 수행할 기능 처리 목록을 포함할 수 있다. 예를 들면, 기능 처리 테이블(C253)은 등산 아이템 선택과 관련하여 실행할 목록으로 음원 재생 앱을 포함할 수 있다. 기능 처리 테이블(C253)은 자전거 아이템 선택과 관련하여 실행할 목록을 내비게이션 기능 앱을 포함할 수 있다.
제어 모듈(C260) 중 상태 제어 모듈(C281)은 컨텍스트 정보 수집 모듈(C283), 상태 관련 정보 추출 모듈(C285), 상태 처리 모듈(C287)를 포함할 수 있다.
컨텍스트 정보 수집 모듈(C283)은 적어도 하나의 컨텍스트 정보 수집을 수행할 수 있다. 컨텍스트 정보 수집 모듈(C283)은 메모리(C250)에 저장된 스케줄 정보를 확인하여 현재 시간에 알림할 스케줄 정보가 있는지 확인할 수 있다. 컨텍스트 정보 수집 모듈(C283)은 기 설정된 주기 또는 특정 이벤트 발생에 대응하여 날씨 정보를 수집할 수 있다. 한 실시예에 따르면, 컨텍스트 정보 수집 모듈(C283)은 외부 장치과 통신 채널 형성 시 날씨 정보를 제공하는 서버 장치 접속을 수행하고, 서버 장치로부터 날씨 정보를 수신할 수 있다. 다양한 실시예에 따르면, 컨텍스트 정보 수집 모듈(C283)은 외부 장치에서 특정 기능(예: 헬스 코칭 기능 등) 실행에 대한 피드백을 수신하면 서버 장치 접속 및 날씨 정보 수신을 제어할 수 있다. 다양한 실시예에 따르면, 컨텍스트 정보 수집 모듈(C283)은 외부 장치과 통신 채널을 형성하거나 외부 장치에서 특정 기능이 실행되면 위치 정보를 수집할 수 있다. 컨텍스트 정보 수집 모듈(C283)은 배터리의 잔량 상태를 모니터링하고, 배터리 잔량이 일정 값 이하인 경우 이를 컨텍스트 정보로서 수집할 수 있다. 컨텍스트 정보 수집 모듈(C283)은 통신 인터페이스(예: 통신 인터페이스(160)) 중 특정 통신 모듈(예: 외부 장치과 통신 채널을 형성하고 있는 통신 모듈)에 대한 모니터링을 수행하고, 통신 채널의 신호 강도가 일정 값 이하이거나 통신 채널이 해제된 경우 이를 컨텍스트 정보로서 수집할 수 있다. 컨텍스트 정보 수집 모듈(C283)은 수집된 컨텍스트 정보를 상태 관련 정보 추출 모듈(C285)에 전달할 수 있다.
상태 관련 정보 추출 모듈(C285)은 컨텍스트 정보 수집 모듈(C283)이 제공한 컨텍스트 정보 및 상태 제어 테이블 151을 이용하여 상태 제어 정보를 추출할 수 있다. 예컨대, 상태 관련 정보 추출 모듈(C285)은 수신된 컨텍스트 정보에 대응하는 상태 제어 정보를 상태 제어 정보 테이블에서 검출할 수 있다. 상태 관련 정보 추출 모듈(C285)은 추출된 상태 제어 정보를 상태 처리 모듈(C287)에 전달할 수 있다.
상태 처리 모듈(C287)은 상태 제어 정보를 외부 장치에 전송할 수 있다. 상태 처리 모듈(C287)은 상태 제어 정보에 대응하는 또는 특정 컨텍스트 정보에 대응하는 컨텍스트 정보별 UI 제어 정보를 외부 장치에 전송할 수 있다. 다양한 실시예에 따르면, 상태 처리 모듈(C287)은 상태 제어 정보 중 적어도 일부가 전자 장치에 적용되는 정보인 경우 해당 정보를 기능 처리 모듈(C290)에 전달할 수 있다.
기능 처리 모듈(C290)은 상태 처리 모듈(C287)이 제공하는 상태 제어 정보에 대응하는 알람 출력 및 기능 처리를 수행할 수 있다. 또한 기능 처리 모듈(C290)은 기능 처리 테이블(C253)을 참조하여 외부 장치로부터 수신된 선택 정보에 대응하는 기능 처리 목록을 확인할 수 있다. 기능 처리 모듈(C290)은 기능 처리 목록에 등록된 기능 실행을 제어할 수 있다. 예컨대, 기능 처리 모듈(C290)은 외부 장치로부터 수신된 선택 정보에 대응하여 음원 재생 앱을 자동으로 활성화하고, 재생된 오디오 데이터를 출력할 수 있다. 이 과정에서 기능 처리 모듈(C290)은 전자 장치에 연결된 액세서리 장치(예: 헤드셋, 이어폰, 무선 헤드셋, 무선 스피커 등)에 오디오 데이터를 전달하도록 제어할 수 있다. 기능 처리 모듈(C290)은 메모리(C250)에 저장된 음원들 중 적어도 하나의 음원을 재생하거나 또는 사전 정의된 음원 리스트를 토대로 음원 재생을 제어할 수 있다.
다양한 실시예에 따르면, 기능 처리 모듈(C290)은 특정 기능 처리 과정에서 디스플레이(예: 디스플레이(150))의 상태를 이전 상태로 유지할 수 있다. 예컨대, 기능 처리 모듈(C290)은 디스플레이를 턴-오프 상태로 유지하면서, 음원 재생 및 재생된 음원의 출력을 제어할 수 있다. 또는 기능 처리 모듈(C290)은 디스플레이를 특정 화면(예: 대기 화면 또는 홈 스크린, 특정 메뉴 화면) 상태로 설정하고, 음원 재생 및 재생된 음원의 출력을 백그라운드 프로세싱을 통해 처리할 수 있다.
도 172는 한 실시예에 따른 장치 상태 테이블을 도시한다.
도 172를 참조하면, 장치 상태 테이블은 예컨대 전자 장치에 포함된 특정 장치 요소(예: GPS 모듈(GPS), 가속도 센서(ACC), 자이로 센서(GYRO))들의 장치 운용별 상태 정보를 포함할 수 있다. 예컨대, 장치 상태 테이블에서 GPS 모듈 항목은 외부 장치(C400)에 의해 턴-온 된 상태를 나타낼 수 있다. 그리고 GPS 모듈 항목은 전자 장치에 의해서는 턴-오프 된 상태를 나타낼 수 있다. 이와 관련하여, 전자 장치의 GPS 모듈은 현재 턴-온 상태를 가지며 활성화될 수 있다.
다양한 실시예에 따르면, 제어 모듈(C260)은 외부 장치(C400)와 전자 장치 간에 통신 채널이 해제되거나, 외부 장치(C400)가 턴-오프 상태가 되는 경우 GPS 모듈을 턴-오프 상태로 전환할 수 있다. 이 경우 장치 상태 테이블에서 외부 장치(C400)와 관련된 GPS 모듈은 턴-온 상태에서 턴-오프 상태로 변경될 수 있다.
다양한 실시예에 따르면, 전자 장치의 특정 기능(예: 내비게이션 기능) 실행에 대응하여 GPS 모듈이 턴-온 상태인 경우, 외부 장치(C400)와의 통신 연결이 해제되거나 외부 장치(C400)가 턴-오프 상태로 천이되어도 제어 모듈(C260)은 GPS 모듈을 턴-온 상태로 유지할 수 있다.
상술한 바와 같이, 장치 상태 테이블은 전자 장치에 포함된 장치 요소들에 대하여 외부 장치(C400)의 기능 수행과 관련하여 턴-온 상태를 가지는지 또는 턴-오프 상태를 가지는지에 대한 정보를 저장할 수 있다. 또한, 장치 상태 테이블은 전자 장치 에 포함된 장치 요소들에 대하여 전자 장치의 기능 수행과 관련하여 턴-온 상태를 가지는지 또는 턴-오프 상태를 가지는지에 대한 정보를 저장할 수 있다. 제어 모듈(C260)은 외부 장치(C400)와의 통신 연결 해제, 외부 장치(C400)의 배터리 잔량 상태, 외부 장치(C400)의 턴-오프 상태, 외부 장치(C400)의 특정 기능 종료 중 적어도 하나에 대응하여 외부 장치(C400)에 의해 턴-온 상태를 가지거나 또는 턴-오프 상태를 가진 전자 장치의 장치 요소를 원래의 상태로 복원할 수 있다. 이 과정에서 제어 모듈(C260)은 장치 요소들(예: GPS 모듈, 센서 모듈, 서버 장치 접속과 관련한 통신 인터페이스 등)에 대하여 전자 장치와 관련한 장치 상태 테이블 정보를 확인하고, 장치 요소들이 장치 상태 테이블에 기재된 정보에 대응하는 상태를 가지도록 제어할 수 있다.
다양한 실시예에 따르면, 장치 상태 테이블은 전자 장치와 외부 장치(C400)간의 통신 연결 상태나 해제 상태 또는 배터리 잔량 상태 등에 대응하여 전자 장치의 특정 장치 요소(예: GPS 모듈과 센서 모듈 등)들의 운용 상태를 나타낼 수 있다. 예컨대, 장치 상태 테이블은 제어 모듈(C260) 제어에 따라 전자 장치와 외부 장치(C400) 간의 통신 채널 미 형성 시 전자 장치 요청에 의해 활성화되는 전자 장치의 센서 모듈에 포함된 적어도 하나의 센서 상태 정보를 포함할 수 있다. 장치 상태 테이블은 제어 모듈(C260) 제어에 따라 전자 장치와 외부 장치(C400)간의 통신 연결 시 외부 장치(C400) 요청에 따라 활성화되는 GPS 모듈 상태 정보 및 외부 장치(C400) 요청과 전자 장치 요청에 대응하여 활성화된 센서 모듈 중 적어도 하나의 센서 상태 정보를 포함할 수 있다.
다양한 실시예에 따르면, 장치 상태 테이블은 제어 모듈(C260) 제어에 따라 전자 장치와 외부 장치(C400)간의 통신 연결 해제 시 외부 장치(C400)에 의해 활성화된 GPS 모듈의 운용을 일시 중지한 상태 정보, 외부 장치(C400) 요청에 따라 활성화된 센서를 비활성화로 전환한 상태 정보를 포함할 수 있다. 이에 따라, 전자 장치는 외부 장치(C400) 지원과 관련하여 활성화된 GPS 모듈을 일정 시간 운용 중지(Pause)할 수 있다. 장치 상태 테이블은 제어 모듈(C260) 제어에 따라 전자 장치의 배터리 로우(low) 상태에서 비활성화된 GPS 모듈 상태 정보, 외부 장치(C400)및 전자 장치 요청에 따라 활성화된 센서를 비활성화로 전환한 상태 정보를 포함할 수 있다. 이 상태에서 전자 장치는 외부 장치(C400)에 전자 장치의 배터리 로우 상태에 대한 경고 메시지를 전송하고, 외부 장치(C400)에 의해 요청된 또는 전자 장치의 특정 기능 운용에 이용되지 않는 센서 모듈을 비활성화할 수 있다. 장치 상태 테이블은 제어 모듈(C260) 제어에 따라 외부 장치(C400)의 배터리 로우(low) 상태에서 GPS 모듈을 활성화 상태로 유지하는 상태 정보, 외부 장치(C400) 요청 및 전자 장치 요청에 따라 활성화된 센서를 활성화 상태로 유지하는 상태 정보를 포함할 수 있다. 이 상태에서, 전자 장치는 외부 장치(C400)의 배터리 로우 상태에 대한 경고 메시지를 외부 장치(C400)에 전송할 수 있다.
상술한 설명에서 장치 상태 테이블의 장치 요소의 예시로서, GPS 모듈, 가속도 센서, 자이로 센서 등을 예시하였으나, 다양한 실시예들이 이에 한정되는 것은 아니다. 예컨대, 장치 상태 테이블에서 장치 요소는 조도 센서, 음성 인식 기능 수행과 관련한 마이크, 오디오 출력과 관련한 헤드셋이나 이어셋, 오디오 출력과 관련한 통신 모듈 등 다양한 요소들의 장치 상태 정보를 더 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는 통신 연결 가능한 외부 장치(C400)와 관련된 컨텍스트 정보에 대응하는 상태 관련 정보를 추출하고, 상기 상태 관련 정보를 기반으로 상기 외부 장치(C400) 및 전자 장치 중 적어도 하나를 제어하는 제어 모듈(C260)과, 상기 제어 모듈(C260)의 제어에 대응하여 상기 외부 장치(C400)운용과 관련하여 활성화되거나 또는 비활성화되는 적어도 하나의 장치 요소(Device Element)를 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 날씨 정보, 위치 정보, 시간 정보, 계절 정보, 일정 지역의 행사 정보, 광고 정보, 외부 장치(C400)의 배터리 잔량 정보, 외부 장치(C400)와의 통신 채널 상태 정보 중 적어도 하나를 수신하는 통신 인터페이스, 공식적인 기념일 정보, 개인 기념일 정보, 개인 스케줄 정보, 전자 장치의 배터리 잔량 정보 중 적어도 하나를 저장하는 메모리(C250) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 상기 상태 관련 정보를 기반으로 상기 외부 장치(C400)의 적어도 하나의 장치 요소 및 상기 전자 장치의 적어도 하나의 장치 요소의 활성화 또는 비활성화를 제어하는 상태 제어 정보를 생성할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 상기 전자 장치와 상기 외부 장치(C400)와의 통신 연결 시 상기 외부 장치(C400)에서의 실행되는 기능 지원과 관련한 전자 장치의 장치 요소를 활성화할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 통신 연결된 상기 전자 장치와 상기 외부 장치(C400)간의 통신 연결이 해제되는 경우 상기 외부 장치(C400)에서의 실행되는 기능 지원과 관련한 전자 장치의 장치 요소의 운용을 일시 중지하거나 또는 비활성화할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 상기 전자 장치와 상기 외부 장치(C400)가 통신 연결된 상태에서 상기 전자 장치가 로우 배터리 상태로 진입하는 경우 상기 외부 장치(C400)에서의 실행되는 기능 지원과 관련한 전자 장치의 장치 요소 및 상기 전자 장치에서 실행 중인 적어도 하나의 장치 요소를 비활성화할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 상기 전자 장치와 상기 외부 장치(C400)가 통신 연결된 상태에서 상기 외부 장치(C400)가 로우 배터리 상태로 진입하는 경우 상기 외부 장치(C400)와 관련하여 활성화된 전자 장치의 장치 요소를 비활성화할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 외부 장치와 관련하여 활성화된 장치 요소 중 전자 장치 에서 운용 중인 장치 요소는 활성화 상태를 유지할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 상기 상태 관련 정보를 기반으로 상기 외부 장치(C400)의 화면 인터페이스 제어와 관련한 화면 인터페이스 제어 정보를 생성하고, 상기 화면 인터페이스 제어 정보를 상기 외부 장치(C400)에 전송할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈(C260)은 상기 외부 장치(C400)로부터 상기 화면 인터페이스에 포함된 적어도 하나의 아이템 선택에 대응하는 선택 정보를 수신하고, 상기 수신된 선택 정보에 대응하여 상기 전자 장치의 장치 요소를 활성화하거나, 상기 전자 장치의 특정 앱을 활성화할 수 있다.
다양한 실시예에 따르면, 전자 장치는 외부 장치와 통신 채널을 형성하는 통신 인터페이스, 상기 외부 장치의 기능 실행과 관련하여 센서 활성화를 요청하는 요청 정보를 수신하면, 상기 요청 정보에 대응하여 센서를 활성화하도록 제어하는 제어 모듈을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 활성화된 센서에 의해 수집된 센서 신호 중 적어도 일부 및 상기 센서 신호를 기반으로 가공된 신호 중 적어도 하나를 상기 외부 장치에 전송할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 외부 장치의 실행된 기능 종료와 관련한 이벤트, 상기 외부 장치와의 통신 연결 해제와 관련한 이벤트, 상기 외부 장치 또는 상기 전자 장치의 배터리 잔량 변화와 관련한 이벤트 중 적어도 하나에 따라 상기 활성화된 센서를 비활성화하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 이벤트 발생에 대응하여 상기 센서의 상태를 상기 외부 장치 연결 이전 상태로 복원할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 수집되는 컨텍스트 정보를 기반으로 상기 외부 장치에 출력되는 화면 인터페이스 제어 정보를 생성하고 상기 외부 장치에 전송할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 수집되는 컨텍스트 정보를 기반으로 상기 외부 장치에서 실행 가능한 적어도 하나의 기능 선택 오브젝트를 상기 외부 장치의 서브 표시 모듈에 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 외부 장치로부터 특정 기능 선택 정보를 수신하면, 수신된 상기 기능 선택 정보와 관련한 적어도 하나의 앱을 표시 모듈에 출력하거나 자동으로 활성화할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 통신 인터페이스를 기반으로 날씨 정보, 위치 정보, 시간 정보, 계절 정보, 일정 지역의 행사 정보, 광고 정보, 외부 장치의 배터리 잔량 정보, 외부 장치와의 통신 채널 상태 정보 중 적어도 하나, 저장 모듈에 저장된 공식적인 기념일 정보, 개인 기념일 정보, 개인 스케줄 정보, 전자 장치의 배터리 잔량 정보 중 적어도 하나를 포함하는 상기 컨텍스트 정보 수집을 제어할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 외부 장치 요청에 의해 활성화 또는 비활성화된 센서 및 상기 전자 장치 요청에 의해 활성화 또는 비활성화된 센서 중 적어도 하나에 대한 상태 정보 테이블을 생성 및 저장할 수 있다.
다양한 실시예에 따르면, 상기 제어 모듈은 상기 외부 장치 요청 또는 상기 외부 장치와의 통신 연결 해제에 의해 센서의 활성화 또는 비활성화가 변경되면 상기 상태 정보 테이블을 갱신할 수 있다.
도 173은 한 실시예에 따른 외부 장치를 도시한다.
도 173을 참조하면, 외부 장치(C400)는 서브 버스(C410), 서브 입력 모듈(C420), 서브 통신 모듈(C430), 서브 표시 모듈(C440), 서브 저장 모듈(C450), 서브 센서 모듈(C470) 및 서브 제어 모듈(C460)을 포함할 수 있다. 추가로 외부 장치(C400)는 오디오 데이터 출력 또는 오디오 데이터 수집을 지원하는 오디오 모듈을 더 포함할 수도 있다.
서브 버스(C410)은 서브 입력 모듈(C420), 서브 통신 모듈(C430), 서브 표시 모듈(C440), 서브 저장 모듈(C450), 서브 센서 모듈(C470) 및 서브 제어 모듈(C460) 간의 신호 전달을 지원할 수 있다. 한 실시예에 따르면, 서브 버스(C410)는 서브 통신 모듈(C430)이 수신한 상태 제어 정보를 서브 제어 모듈(C460)에 전달할 수 있다. 서브 버스(C410)는 서브 통신 모듈(C430)이 수신한 UI 제어 정보를 서브 제어 모듈(C460)에 제어에 대응하여 서브 표시 모듈(C440)에 전달할 수 있다. 서브 버스(C410)는 서브 표시 모듈(C440) 또는 서브 입력 모듈(C420)로부터 발생한 이벤트를 서브 제어 모듈(C460)에 전달하고, 서브 제어 모듈(C460) 제어에 대응하여 서브 통신 모듈(C430)에 전달할 수 있다.
서브 입력 모듈(C420)은 외부 장치(C400) 운용과 관련한 입력 신호를 생성할 수 있다. 서브 입력 모듈(C420)은 홈 키와 같은 물리 키를 포함할 수 있다. 서브 표시 모듈(C440)이 터치 기능을 포함하는 경우, 서브 표시 모듈(C440)은 서브 입력 모듈(C420)로 동작할 수 있다. 서브 입력 모듈(C420)은 예컨대 서브 표시 모듈(C440)에 출력된 적어도 하나의 아이템을 포함하는 UI에서 특정 아이템을 선택하는 이벤트를 생성할 수 있다. 생성된 이벤트는 서브 제어 모듈(C460)에 전달될 수 있다.
서브 통신 모듈(C430)은 전자 장치(예: 전자 장치(101, 201))와의 통신 채널 형성을 수행할 수 있다. 서브 통신 모듈(C430)은 예컨대 직접 통신 채널을 형성하는 통신 모듈(예: 블루투스 통신 모듈, 와이파이 다이렉트 통신 모듈 등)일 수 있다. 서브 통신 모듈(C430)은 전자 장치 로부터 상태 제어 정보 및 UI 제어 정보 중 적어도 하나를 수신할 수 있다. 서브 통신 모듈(C430)은 외부 장치(C400)의 메뉴 화면 또는 아이콘 화면에서 특정 아이콘이나 메뉴 항목을 선택하는 선택 정보를 전자 장치 에 전송할 수 있다. 서브 통신 모듈(C430)은 서브 표시 모듈(C440)에 출력된 UI에서 특정 아이템을 선택한 이벤트 정보를 전자 장치 에 전송할 수 있다. 다양한 실시예에 따르면, 서브 통신 모듈(C430)은 외부 장치(C400)와 관련한 컨텍스트 정보(외부 장치(C400)의 배터리 잔량 정보, 외부 장치(C400)의 특정 기능 종료 정보 등)를 전자 장치 에 전송할 수 있다.
서브 표시 모듈(C440)은 외부 장치(C400) 운용과 관련한 화면을 출력할 수 있다. 예컨대, 서브 표시 모듈(C440)은 외부 장치(C400)의 대기 화면, 메뉴 화면 등을 출력할 수 있다. 한 실시예에 따르면, 서브 표시 모듈(C440)은 시계 정보 화면, 헬스 코칭 앱 아이콘 출력 화면, 스케줄 정보 화면 등을 출력할 수 있다. 한 실시예에 따르면, 서브 표시 모듈(C440)은 전자 장치 로부터 수신한 기본 UI 제어 정보에 대응하는 화면을 출력할 수 있다. 또한 서브 표시 모듈(C440)은 전자 장치 에서 수집된 컨텍스트 정보에 의해 변경된 변경 UI 제어 정보에 대응하는 화면을 출력할 수 있다. 서브 표시 모듈(C440)은 UI 제어 정보에 대응하는 화면에 포함된 적어도 하나의 아이템 선택에 따른 화면, 해당 아이템 실행과 관련한 정보 출력 화면 등을 출력할 수 있다.
서브 저장 모듈(C450)은 외부 장치(C400) 운용에 필요한 앱 및 데이터를 저장할 수 있다. 예컨대, 서브 저장 모듈(C450)은 전자 장치 로부터 수신된 UI 제어 정보에 대응하는 화면과 관련된 컨텐츠를 저장할 수 있다. 여기서 컨텐츠는 적어도 하나의 아이템 이미지 및 텍스트 정보를 포함할 수 있다. 서브 저장 모듈(C450)은 전자 장치가 제공한 UI 제어 정보를 저장할 수도 있다.
서브 센서 모듈(C470)은 외부 장치(C400)에서 운용되는 적어도 하나의 센서를 포함할 수 있다. 예컨대, 서브 센서 모듈(C470)은 자이로 센서를 포함할 수 있다. 서브 센서 모듈(C470)은 이미지 센서를 포함할 수 있다. 외부 장치(C400)가 전자 장치와 연동되어 특정 기능을 수행하는 경우, 전자 장치에서 운용 중인 센서 모듈과 중복되는 센서는 비활성화될 수 있다. 서브 센서 모듈(C470) 중 활성화 상태였다가 전자 장치의 센서 운용에 의해 비활성화된 센서는 전자 장치와의 통신 채널이 해제되거나 전자 장치가 턴-오프되는 경우 자동으로 활성화될 수 있다.
서브 제어 모듈(C460)은 외부 장치(C400)의 데이터 처리와 전달, 제어 신호의 처리와 전달을 수행할 수 있다. 한 실시예에 따르면, 서브 제어 모듈(C460)은 서브 입력 모듈(C420)에서 발생한 이벤트에 대응하여 또는 전자 장치의 통신 연결 요청에 대응하여 전자 장치와 통신 채널을 형성하도록 제어할 수 있다. 전자 장치로부터 상태 제어 정보 및 UI 제어 정보 중 적어도 하나가 수신되면, 서브 제어 모듈(C460)은 수신 정보 처리를 수행할 수 있다. 예컨대, 서브 제어 모듈(C460)은 상태 제어 정보에 대응하여 서브 센서 모듈(C470)의 적어도 하나의 센서 활성화 또는 비활성화를 제어할 수 있다. 서브 제어 모듈(C460)은 상태 제어 정보에 대응하여 전자 장치 및 외부 장치(C400) 중 적어도 하나의 배터리 잔량 알람, 외부 장치(C400) 충전 요청 알람, 외부 장치(C400)에서 수행되는 기능 중 전자 장치 에서 수행 가능한 기능의 이관 처리 등을 제어할 수 있다. 다양한 실시예에 따르면, 서브 제어 모듈(C460)은 수신된 UI 제어 정보에 대응하여 적어도 하나의 아이템을 포함하는 화면이 서브 표시 모듈(C440)에 출력되도록 제어할 수 있다. 서브 제어 모듈(C460)은 특정 아이템이 선택되면, 선택 정보를 전자 장치 에 전송하도록 제어할 수 있다.
도 174는 한 실시예에 따른 전자 장치 운용 방법을 도시한다.
도 174를 참조하면, 제어 모듈(C260)은 과정 C501에서 기능 운용 또는 대기를 수행할 수 있다. 예컨대, 제어 모듈(C260)은 대기 화면을 출력하거나 특정 메뉴 화면을 출력할 수 있다. 또는 제어 모듈(C260)은 특정 기능 수행에 따른 화면을 출력하거나 슬립 상태를 가지거나, 락 스크린 화면을 출력할 수 있다. 한 실시예에 따르면, 제어 모듈(C260)은 외부 장치(C400) 연동을 지시할 수 있는 특정 기능 아이콘이나 특정 메뉴를 포함하는 화면을 출력할 수 있다. 또는 제어 모듈(C260)은 외부 장치(C400)의 스캔 동작에 반응할 수 있는 통신 대기 상태를 가지도록 통신 인터페이스(예: 통신 인터페이스(160))을 제어할 수 있다.
제어 모듈(C260)은 과정 C503에서 연동 기능과 관련한 이벤트가 발생하는지 확인할 수 있다. 한 실시예에 따르면, 제어 모듈(C260)은 외부 장치(C400) 연동을 지시하는 아이콘 선택이나 메뉴 선택에 따른 이벤트가 발생하는지 확인할 수 있다. 한 실시예에 따르면, 제어 모듈(C260)은 외부 장치(C400) 연동과 관련한 스케줄 이벤트가 있는지 확인할 수 있다. 한 실시예에 따르면, 제어 모듈(C260)은 외부 장치(C400)로부터 통신 연결 요청 메시지 수신에 해당하는 이벤트 발생이 있는지 확인할 수 있다. 또는 제어 모듈(C260)은 외부 장치(C400)와의 연동이 필요한 앱 활성화 요청 이벤트가 있는지 확인할 수 있다. 제어 모듈(C260)은 연동 기능과 관련한 이벤트 발생이 없으면, 과정 C505에서 해당 기능 수행을 제어할 수 있다. 예컨대, 제어 모듈(C260)은 발생된 이벤트 종류에 대응하는 특정 기능(예: 음원 재생 기능, 방송 수신 기능, 통화 기능 등)을 실행하거나 이전 실행 중인 기능에 해당 이벤트 기능을 적용하도록 제어할 수 있다. 또는 제어 모듈(C260)은 이벤트 종류에 따라 전자 장치를 슬립 모드로 천이시키거나 턴-오프 상태로 천이시키도록 제어할 수도 있다.
과정 C503에서 연동 기능 관련 이벤트가 발생하면, 제어 모듈(C260)은 외부 장치(C400)와 통신 채널을 형성할 수 있다. 예컨대, 제어 모듈(C260)은 블루투스 통신 방식 또는 와이파이 다이렉트 통신 방식 등의 통신 채널을 외부 장치(C400)와 형성하도록 통신 인터페이스(예: 통신 인터페이스(160))를 제어할 수 있다. 제어 모듈(C260)은 과정 C507에서 컨텍스트 정보 수집을 제어할 수 있다. 다양한 실시예에 따르면, 제어 모듈(C260)은 컨텍스트 정보를 수집하고, 정해진 컨텍스트 정보가 수집되면 외부 장치(C400)와 통신 채널을 형성할 수도 있다.
제어 모듈(C260)은 수집된 컨텍스트 정보를 확인하고, 과정 C509에서 외부 장치 상태 변경과 관련한 컨텍스트 정보가 있는지 확인할 수 있다. 제어 모듈(C260)은 외부 장치(C400) 상태 변경과 관련한 컨텍스트 정보가 있으면 그에 대응하는 제어 정보를 생성할 수 있다. 제어 정보는 앞서 언급한 바와 같이 외부 장치(C400)의 장치 요소 중 적어도 하나의 활성화 또는 비활성화를 제어하는 상태 제어 정보 및 외부 장치(C400)의 UI 제어와 관련한 UI 제어 정보 중 적어도 하나를 포함할 수 있다. 제어 모듈(C260)은 제어 정보를 과정 C511에서 외부 장치(C400)에 전송할 수 있다.
제어 모듈(C260)은 과정 C513에서 외부 장치(C400)로부터 선택 정보 수신이 있는지 확인할 수 있다. 여기서 선택 정보는 외부 장치(C400)의 UI에 포함된 적어도 하나의 아이템 중 어느 하나의 아이템 선택에 대응하는 정보일 수 있다.
제어 모듈(C260)은 과정 C513에서 선택 정보가 수신되면, 과정 C515에서 선택 정보에 따른 기능 처리를 수행할 수 있다. 예컨대, 외부 장치(C400)로부터 특정 기능 수행과 관련한 아이템 선택에 해당하는 선택 정보를 수신하면, 제어 모듈(C260)은 해당 기능 수행과 관련한 전자 장치의 장치 요소를 활성화하거나, 해당 기능 수행과 관련한 앱을 활성화하도록 제어할 수 있다.
제어 모듈(C260)은 과정 C517에서 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 제어 모듈(C260)은 과정 C517에서 기능 종료 관련 이벤트 발생이 없으면, 과정 C507 이전으로 분기하여 이하 과정을 재수행할 수 있다. 다양한 실시예에 따르면, 제어 모듈(C260)은 과정 C517에서 기능 종료 관련 이벤트 발생이 없으면, 과정 C515 과정 이전으로 분기하여 선택 정보에 따른 기능 처리를 유지할 수 있다. 제어 모듈(C260)은 과정 C517에서 기능 종료 관련 이벤트가 발생하면 외부 장치(C400)와의 연동 기능을 종료하도록 제어하고, 과정 C501 이전으로 분기하여 이하 과정을 재수행할 수 있다. 이 과정에서 제어 모듈(C260)은 외부 장치(C400)와의 연동 기능 지원과 관련하여 활성화된 통신 인터페이스, GPS 모듈, 적어도 하나의 센서를 포함하는 센서 모듈을 비활성화하도록 제어할 수 있다.
과정 C509에서 외부 장치 상태 변경과 관련한 컨텍스트 정보 수집이 없으면, 제어 모듈(C260)은 과정 C511 내지 과정 C515를 스킵하고 과정 C517로 분기할 수 있다. 또한 제어 모듈(C260)은 과정 C513에서 외부 장치(C400)로부터 일정 시간 이내에 선택 정보 수신이 없는 경우, 과정 C515 과정을 스킵하고 과정 C517 단계로 분기할 수 있다.
도 175는 한 실시예에 따른 외부 장치 운용 방법을 도시한다.
도 175를 참조하면, 외부 장치(C400)의 서브 제어 모듈(C460)은 과정 C601에서 기능 운용 또는 대기를 수행할 수 있다. 예컨대, 외부 장치(C400)는 과정 C601에서 시계 기능을 수행하거나, 스케줄 정보 출력 기능을 수행하거나, 통신 대기 기능을 수행할 수 있다. 또는 외부 장치(C400)는 전자 장치(예: 전자 장치(101)) 과의 연동 기능과 관련한 기능 아이콘 또는 메뉴를 출력할 수 있다. 또는 외부 장치(C400)는 전자 장치와의 연동 기능과 관련한 특정 키 버튼 할당을 수행할 수 있다. 또는 외부 장치(C400)는 전자 장치 로부터의 스캔 동작에 대응하기 위한 통신 대기 상태를 가질 수 있다.
서브 제어 모듈(C460)은 과정 C603에서 연동 기능 관련한 이벤트 발생하는지 확인할 수 있다. 예컨대, 서브 제어 모듈(C460)은 과정 C603에서 연동 기능 실행과 관련한 기능 아이콘이나 메뉴 선택 또는 키 버튼 선택에 대응하는 이벤트 발생이 있는지 확인할 수 있다. 또는 서브 제어 모듈(C460)은 전자 장치 로부터 통신 연결 요청 메시지 수신에 해당하는 이벤트가 있는지 확인할 수 있다. 다양한 실시예에 따르면, 서브 제어 모듈(C460)은 전자 장치와의 연동이 요구되는 특정 앱(예: 헬스 코칭 앱, 질병 관리 기능 앱 등)의 활성화 요청 이벤트가 있는지 확인할 수도 있다.
서브 제어 모듈(C460)은 연동 기능 관련 이벤트 발생이 없으면, 과정 C605에서 특정 기능 수행을 제어할 수 있다. 예컨대, 서브 제어 모듈(C460)은 외부 장치(예: 외부 장치(C400))의 특정 기능(예: 시계 표시 기능, 날씨 표시 기능, 만보기 기능, 맥파 검출 기능 등) 수행을 제어할 수 있다. 또는 서브 제어 모듈(C460)은 외부 장치를 슬립 모드 상태(예: 서브 표시 모듈(C440) 턴-오프 상태, 저전력 운용 모드 등)로 천이시킬 수 있다. 또는 서브 제어 모듈(C460)은 외부 장치 턴-오프와 관련한 이벤트가 발생하면 외부 장치를 턴-오프 상태로 천이시킬 수 있다.
연동 기능 관련 이벤트가 발생하면, 서브 제어 모듈(C460)은 전자 장치와 통신 채널을 형성할 수 있다. 서브 제어 모듈(C460)은 과정 C607에서 제어 정보 수신이 있는지 확인할 수 있다. 서브 제어 모듈(C460)은 제어 정보가 수신되면 과정 C609에서 제어 정보에 따른 기능 제어를 수행할 수 있다.
한 실시예에 따르면, 서브 제어 모듈(C460)은 전자 장치 로부터 상태 제어 정보를 수신하면, 이에 대응하여 서브 센서 모듈(C470)에 포함된 적어도 하나의 센서의 활성화 또는 비활성화를 제어할 수 있다. 한 실시예에 따르면, 서브 제어 모듈(C460)은 상태 제어 정보에 대응하여 서브 통신 모듈(C430)을 비활성화 상태로 천이시킬 수 있다. 다양한 실시예에 따르면, 서브 제어 모듈(C460)은 상태 제어 정보 수신 시 전자 장치가 전송한 경고 메시지(예: 전자 장치와 통신 상태가 약전계 상태임에 대한 알람 메시지, 전자 장치의 로우 배터리 상태에 대한 알람 메시지, 외부 장치의 로우 배터리 상태에 대한 알람 메시지 등)를 출력할 수도 있다.
한 실시 에에 따르면, 서브 제어 모듈(C460)은 전자 장치 로부터 UI 제어 정보를 수신할 수 있다. 서브 제어 모듈(C460)은 UI 제어 정보에 대응하는 UI를 서브 표시 모듈(C440)에 출력하도록 제어할 수 있다. 여기서 UI 제어 정보는 외부 장치의 서브 표시 모듈(C440)에 출력할 UI 관련 정보(예: 배경 화면 정보, 아이템 이미지 및 텍스트 정보, 아이템의 위치 정보 등)를 포함할 수 있다. 또는 UI 제어 정보는 외부 장치의 서브 저장 모듈(C450)에 저장된 UI 관련 정보 중 적어도 하나의 특정 아이템을 특정 형태와 특정 위치로 출력하도록 지시하는 지시 정보를 포함할 수 있다.
서브 제어 모듈(C460)은 과정 C609에서 UI 제어 정보를 수신하면 과정 C611에서 서브 표시 모듈(C440)의 화면에 포함된 특정 아이템(예: 특정 기능 아이콘이나 메뉴 항목 등)을 선택하는 선택 이벤트가 수신되는지 확인할 수 있다. 서브 제어 모듈(C460)은 과정 C611에서 선택 이벤트가 수신되면, 과정 C613에서 선택 이벤트에 대응하는 선택 정보를 전자 장치에 전송할 수 있다. 다양한 실시예에 따르면, 서브 제어 모듈(C460)은 상태 제어 정보를 수신하는 경우, 과정 C609 이후 과정 C611 및 과정 C613을 스킵하고 과정 C615로 분기할 수도 있다. 서브 제어 모듈(C460)은 과정 C607에서 제어 정보 수신이 없는 경우 과정 C609 내지 과정 C613을 스킵하고 과정 C615로 분기할 수 있다. 또한 서브 제어 모듈(C460)은 과정 C611에서 일정 시간 이내로 선택 이벤트 발생이 없으면 과정 C613을 스킵하고, 과정 C615로 분기할 수 있다.
서브 제어 모듈(C460)은 과정 C615에서 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 서브 제어 모듈(C460)은 기능 종료 관련 이벤트 발생이 없으면, 과정 C617로 분기하여 외부 장치(C400)와의 연동 상태 유지를 제어할 수 있다. 그리고 서브 제어 모듈(C460)은 과정 C607 이후 과정을 재수행할 수 있다. 서브 제어 모듈(C460)은 기능 종료 관련 이벤트가 발생하면 과정 C601 이전으로 분기하여 이하 과정을 재수행할 수 있다.
도 176은 한 실시예에 따른 요청 정보 운용 시스템의 신호 흐름도이다.
도 176을 참조하면, 전자 장치(C200)와 외부 장치(C400)는 과정 C701에서 연결 상태를 가질 수 있다. 이와 관련하여, 전자 장치(C200)는 전원 공급 시 디폴트로 외부 장치(C400) 검색(scan)을 수행하여 통신 채널 형성을 시도할 수 있다. 또는 전자 장치(C200)는 일정 주기로 또는 특정 앱 활성화 시 또는 연동 요청 시 외부 장치(C400)와의 통신 채널 형성을 시도할 수 있다. 다양한 실시예에 따르면, 외부 장치(C400)는 전원 공급 시 디폴트로 전자 장치(C200) 검색을 수행하여 전자 장치(C200)와의 통신 채널 형성을 시도할 수 있다. 또는 앞서 설명한 바와 같이 특정 앱 활성화가 요청되거나 전자 장치(C200)와의 연동이 요청되는 이벤트가 발생하면 전자 장치(C200)와 통신 채널 형성을 시도할 수 있다.
전자 장치(C200)는 과정 C703에서 제1 컨텍스트 정보 수집을 수행할 수 있다. 여기서 제1 컨텍스트 정보는 전자 장치(C200)의 통신 인터페이스 (예: 통신 인터페이스(160))을 통해 수집되는 메시지 정보, 광고 정보, 스케줄 정보, 위치 정보, 날씨 정보, 시간 정보, 계절 정보, 행사 정보, 외부 장치(C400)와의 통신 연결 상태 정보, 전자 장치(C200)와 타 전자 장치의 통신 연결 정보 등을 포함할 수 있다. 또한 제1 컨텍스트 정보는 전자 장치(C200)의 메모리(C250)에 저장된 스케줄 정보, 전자 장치(C200)의 배터리 상태 정보 등을 포함할 수 있다. 전자 장치(C200)는 과정 C705에서 제1 컨텍스트 정보에 따른 제어 정보 검출을 수행할 수 있다. 전자 장치(C200)는 검출된 제어 정보를 과정 C707에서 외부 장치(C400)에 전송할 수 있다.
외부 장치(C400)는 전자 장치(C200)로부터 제어 정보를 수신하면, 제어 정보에 따른 상태 제어 또는 UI 제어를 과정 C709에서 수행할 수 있다. 예컨대, 외부 장치(C400)는 서브 센서 모듈(C470) 및 서브 통신 모듈(C430) 중 적어도 하나의 활성화 또는 비활성화를 제어할 수 있다. 외부 장치(C400)는 UI 제어에 따른 특정 UI를 서브 표시 모듈(C440)에 출력할 수 있다.
다양한 실시예에 따르면, 외부 장치(C400)는 과정 C711에서 제2 컨텍스트 정보 수집을 수행할 수 있다. 예컨대, 외부 장치(C400)는 외부 장치(C400)의 배터리 상태 정보, 전자 장치(C200)와의 통신 연결 상태 정보, 특정 기능 실행 정보, 특정 기능 실행 후 경과된 시간 정보 등을 제2 컨텍스트 정보로 수집할 수 있다. 외부 장치(C400)는 수집된 제2 컨텍스트 정보를 과정 C713에서 전자 장치(C200)에 전송할 수 있다.
전자 장치(C200)는 외부 장치(C400)로부터 제2 컨텍스트 정보를 수신하면, 과정 C715에서 제2 컨텍스트 정보에 대응하는 상태 제어를 수행할 수 있다. 예컨대, 전자 장치(C200)는 제2 컨텍스트 정보에 대응하여 전자 장치(C200)의 센서 모듈 (예: 센서 모듈(240))에 포함된 적어도 하나의 센서를 활성화 또는 비활성화할 수 있다. 전자 장치(C200)는 제2 컨텍스트 정보에 대응하여 전자 장치(C200)의 통신 인터페이스 (예: GPS 모듈, 직접 통신 방식을 지원하는 통신 모듈 등)의 활성화 또는 비활성화, 또는 일시 운용 중지를 제어할 수 있다. 전자 장치(C200)는 제2 컨텍스트 정보에 대응하여 정해진 경고 메시지 또는 알람 메시지를 외부 장치(C400)에 전송할 수도 있다.
다양한 실시예에 따르면, 장치 운용 방법은 전자 장치(C200)가 컨텍스트 정보를 수집하는 과정, 상기 컨텍스트 정보에서 상기 전자 장치(C200)와 통신 연결 가능한 외부 장치(C400) 제어와 관련한 상태 관련 정보를 추출하는 과정, 상기 상태 관련 정보를 기반으로 상기 외부 장치(C400) 및 전자 장치(C200) 중 적어도 하나를 제어하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 수집하는 과정은 통신 인터페이스(예: 통신 인터페이스(160))를 이용하여 날씨 정보, 위치 정보, 시간 정보, 계절 정보, 일정 지역의 행사 정보, 광고 정보, 외부 장치(C400)의 배터리 잔량 정보, 외부 장치(C400)와의 통신 채널 상태 정보 중 적어도 하나를 수집하는 과정, 메모리(C250)에 저장된 정보를 기반으로 공식적인 기념일 정보, 개인 기념일 정보, 개인 스케줄 정보, 전자 장치(C200)의 배터리 잔량 정보 중 적어도 하나를 수집하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 상기 상태 관련 정보를 기반으로 상기 외부 장치(C400)의 적어도 하나의 장치 요소 및 상기 전자 장치(C200)의 적어도 하나의 장치 요소의 활성화 또는 비활성화를 제어하는 상태 제어 정보를 생성하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 상기 전자 장치(C200)와 상기 외부 장치(C400)와의 통신 연결 시 상기 외부 장치에서의 실행되는 기능 지원과 관련한 전자 장치(C200)의 장치 요소를 활성화하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 통신 연결된 상기 전자 장치(C200)와 상기 외부 장치(C400) 간의 통신 연결이 해제되는 경우 상기 외부 장치(C400)에서의 실행되는 기능 지원과 관련한 전자 장치(C200)의 장치 요소의 운용을 일시 중지하거나 또는 비활성화하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 상기 전자 장치(C200)와 상기 외부 장치(C400)가 통신 연결된 상태에서 상기 전자 장치(C200)가 로우 배터리 상태로 진입하는 경우 상기 외부 장치(C400)에서의 실행되는 기능 지원과 관련한 전자 장치(C200)의 장치 요소 및 상기 전자 장치(C200)에서 실행 중인 적어도 하나의 장치 요소를 비활성화하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 상기 전자 장치(C200)와 상기 외부 장치(C400)가 통신 연결된 상태에서 상기 외부 장치(C400)가 로우 배터리 상태로 진입하는 경우 상기 외부 장치(C400)와 관련하여 활성화된 전자 장치(C200)의 장치 요소를 비활성화하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 외부 장치(C400)와 관련하여 활성화된 장치 요소 중 전자 장치(C200)에서 운용 중인 장치 요소는 활성화 상태를 유지하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 상기 상태 관련 정보를 기반으로 상기 외부 장치(C400)의 화면 인터페이스 제어와 관련한 화면 인터페이스 제어 정보를 생성하는 과정, 상기 화면 인터페이스 제어 정보를 상기 외부 장치(C400)에 전송하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제어하는 과정은 상기 외부 장치(C400)로부터 상기 화면 인터페이스에 포함된 적어도 하나의 아이템 선택에 대응하는 선택 정보를 수신하는 과정, 상기 수신된 선택 정보에 대응하여 상기 전자 장치(C200)의 장치 요소를 활성화하거나, 상기 전자 장치(C200)의 특정 앱을 활성화하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 요청 정보에 따른 장치 운용 방법은 외부 장치와 통신 채널을 형성하는 과정, 상기 외부 장치의 기능 실행과 관련하여 센서 활성화를 요청하는 요청 정보를 수신하는 과정, 상기 요청 정보에 대응하여 센서를 활성화하도록 제어하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 활성화된 센서에 의해 수집된 센서 신호 중 적어도 일부 및 상기 센서 신호를 기반으로 가공된 신호 중 적어도 하나를 상기 외부 장치에 전송하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 외부 장치의 실행된 기능 종료와 관련한 이벤트, 상기 외부 장치와의 통신 연결 해제와 관련한 이벤트, 상기 외부 장치 또는 상기 전자 장치의 배터리 잔량 변화와 관련한 이벤트 중 적어도 하나를 수신하는 과정, 상기 이벤트 수신에 따라 상기 활성화된 센서를 비활성화하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 이벤트 발생에 대응하여 상기 센서의 상태를 상기 외부 장치 연결 이전 상태로 복원하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 컨텍스트 정보를 수집하는 과정, 상기 수집된 컨텍스트 정보를 기반으로 상기 외부 장치에 출력되는 화면 인터페이스 제어 정보를 생성하는 과정, 상기 화면 인터페이스 제어 정보를 상기 외부 장치에 전송하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 컨텍스트 정보를 기반으로 상기 외부 장치에서 실행 가능한 적어도 하나의 기능 선택 오브젝트를 상기 외부 장치의 서브 표시 모듈에 출력하도록 제어하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 외부 장치로부터 특정 기능 선택 정보를 수신하는 과정, 상기 수신된 상기 기능 선택 정보와 관련한 적어도 하나의 앱을 표시 모듈에 출력하거나 자동으로 활성화하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 컨텍스트 정보를 수집하는 과정은 상기 통신 인터페이스를 기반으로 날씨 정보, 위치 정보, 시간 정보, 계절 정보, 일정 지역의 행사 정보, 광고 정보, 외부 장치의 배터리 잔량 정보, 외부 장치와의 통신 채널 상태 정보 중 적어도 하나를 수집하는 과정, 저장 모듈에 저장된 공식적인 기념일 정보, 개인 기념일 정보, 개인 스케줄 정보, 전자 장치의 배터리 잔량 정보 중 적어도 하나를 수집하는 과정을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 외부 장치 요청에 의해 활성화 또는 비활성화된 센서 및 상기 전자 장치 요청에 의해 활성화 또는 비활성화된 센서 중 적어도 하나에 대한 상태 정보 테이블을 생성하는 과정, 상기 상태 정보 테이블을 저장하는 과정을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 외부 장치 요청 또는 상기 외부 장치와의 통신 연결 해제에 의해 센서의 활성화 또는 비활성화가 변경되면 상기 상태 정보 테이블을 갱신하는 과정을 더 포함할 수 있다.
다양한 실시예에 따른 요청 정보에 따른 장치 운용 방법은 통신 연결이 되어 있는 외부장치로부터 활성화할 요청정보를 수신하고, 수신된 요청정보를 기반으로 센서를 활성화 하는 동작과, 상기 활성화된 센서를 기반으로 생성한 데이터를 상기 외부장치로 전송하는 동작과, 상기 외부장치와 통신 연결이 해제되거나, 배터리가 부족한 경우 상기 활성화된 센서를 비활성화 하는 동작을 포함할 수 있다.
도 177은 한 실시예에 따른 기능 모드 관련 제어를 도시한다.
도 177을 참조하면, 전자 장치(C200)는 C801 상태에서와 같이 GPS 모듈을 턴-오프 상태, 가속도 센서를 턴-오프 상태, 자이로 센서를 턴-오프 상태로 유지할 수 있다. 여기서 C801 상태 화면에서는 GPS 모듈 항목(C811), 가속도 센서 항목(C813), 자이로 센서 항목(C815)가 표시 모듈(C240)(예: 디스플레이(150))에 표시되는 형태로 도시하였으나, 다양한 실시예들이 이에 한정되는 것은 아니다. C801 상태 화면은 GPS 모듈, 가속도 센서, 자이로 센서 등의 상태 이해를 위해 GPS 모듈 항목(C811), 가속도 센서 항목(C813), 자이로 센서 항목(C815)를 표시한 것으로, UI 변경에 따라 상술한 GPS 모듈 항목(C811), 가속도 센서 항목(C813), 자이로 센서 항목(C815) 등의 표시는 생략될 수 있다.
전자 장치(C200)는 외부 장치(C400)와의 연동 기능 관련 이벤트가 발생하면, 정해진 UI 제어 정보를 외부 장치(C400)에 전송할 수 있다. 여기서 연동 기능 관련 이벤트는 앞서 설명한 바와 같이 다양한 이벤트(예: 외부 장치(C400)와 통신 채널 형성 이벤트, 특정 앱 실행 요청 이벤트, 외부 장치(C400)에서의 특정 앱 실행 알림 이벤트 등)를 포함할 수 있다. 전자 장치(C200)는 연동 기능 관련 이벤트가 발생하면 컨텍스트 정보를 수집하고, 그에 대응하는 UI 제어 정보를 생성할 수 있다.
외부 장치(C400)는 전자 장치(C200)로부터 UI 제어 정보를 수신하면, C803 상태에서와 같이 제1 UI 화면(C830)을 서브 표시 모듈(C440)에 출력할 수 있다. 제1 UI 화면(C830)은 헬스 코칭과 관련한 기능 항목들(C831, C833, C835, C837) 예컨대 걷기 항목(C831), 달리기 항목(C833), 자전거 항목(C835), 등산 항목(C837)을 포함할 수 있다. 이에 따라, 외부 장치(C400)는 전원 턴-온 시 또는 전자 장치(C200)와의 연동 시 제1 UI 화면(C830)으로 바로 진입할 수 있는 환경을 제공할 수 있다. 외부 장치(C400)는 기능 항목들(C831, C833, C835, C837) 중 어느 하나의 항목 예컨대 등산 항목(C831)이 선택되면, 선택 정보를 생성할 수 있다. 외부 장치(C400)는 선택 정보를 전자 장치(C200)에 전송할 수 있다.
전자 장치(C200)는 외부 장치(C400)로부터 등산 항목(C831) 선택 정보를 수신하면 그에 대응하여 특정 장치 요소의 활성화 또는 비활성화를 제어할 수 있다. 예컨대, 전자 장치(C200)는 C805 상태에서와 같이 GPS 모듈을 활성화할 수 있다. 이에 따라, GPS 모듈 항목(C811)은 턴-온 상태를 표시할 수 있다. 전자 장치(C200)는 가속도 센서 및 자이로 센서는 비활성화 상태를 유지할 수 있다. 이에 따라, 가속도 센서 항목(C813) 및 자이로 센서 항목(C815)는 턴-오프 상태를 표시할 수 있다. C805 상태 화면 역시 GPS 모듈 항목(C811), 가속도 센서 항목(C813), 자이로 센서 항목(C815)를 표시하고 있으나, UI 설정에 따라 상기 항목들의 표시는 생략될 수 있다.
도 178은 한 실시예에 따른 전자 장치 주변 환경에 따른 운용을 도시한다.
도 178을 참조하면, 전자 장치(C200)는 C901 상태에서와 같이 조도 센서의 센서 신호를 컨텍스트 정보로 수집하여 표시 모듈(C240)에 출력할 수 있다. 제어 모듈(C260)은 조도 센서 신호를 분석하여 주변 상황이 야간인지 확인할 수 있다. 이 과정에서 제어 모듈(C260)은 현재 위치 및 현재 위치에서의 일출/일몰 시간 정보를 수집할 수 있다. 제어 모듈(C260)은 현재 위치에서의 일출/일몰 시간 정보 및 조도 센서 정보를 분석하여 현재 상태 관련 정보(예: 야간)를 추출할 수 있다. 제어 모듈(C260)은 상태 관련 정보를 기반으로 제어 정보(예 야간 환경에 대응하는 UI 제어 정보)를 생성할 수 있다. 제어 모듈(C260)은 제어 정보를 외부 장치(C400)에 전송할 수 있다.
외부 장치(C400)는 전자 장치(C200)로부터 야간 환경과 관련한 제어 정보를 수신하면, 그에 대응하는 화면을 C903 상태에서와 같이 서브 표시 모듈(C440)에 출력할 수 있다. 한 실시예에 따르면, 외부 장치(C400)는 C903a 상태에서와 같이 야간 모드 항목(C931)을 포함하는 화면을 서브 표시 모듈(C440)에 출력할 수 있다. 한 실시예에 따르면, 외부 장치(C400)는 C903b 상태에서와 같이 야간 걷기 항목(C932)이 다른 기능 항목들(C933, C935, C937)에 비하여 큰 크기를 가지는 화면을 서브 표시 모듈(C440)에 출력할 수 있다. 외부 장치(C400)는 C903c 상태에서와 같이 걷기 항목(C938)의 색이 다른 기능 항목들(C933, C934, C936)과 다른 색을 가지는 화면을 서브 표시 모듈(C440)에 출력할 수 있다.
다양한 실시예에 따르면, 외부 장치(C400)는 야간 상황에 맞지 않는 항목들을 비추천 형태로 출력할 수 있다. 예컨대 외부 장치(C400)는 C903b 상태에서와 같이 등산(위험) 항목(C937), 자전거(위험) 항목(C935)를 출력할 수 있다. 외부 장치(C400)는 등산(위험) 항목(C937) 및 자전거(위험) 항목(C935)를 다른 기능 항목들(C932, C933)과 다른 색이나 배경을 가지며 출력할 수도 있다. 다양한 실시예에 따르면, 외부 장치(C400)는 C903c 상태에서와 같이 달리기 항목(C933)과 걷기 항목(C938)이 다른 항목들(C934, C936)과 다른 크기와 색을 가지도록 출력할 수 있다. 예컨대, 외부 장치(C400)는 달리기 항목(C933)과 걷기 항목(C938)의 크기를 다른 항목들(C934, C936) 보다 크게 출력할 수 있다. 한 실시예에 따르면, 외부 장치(C400)는 제어 정보에 대응하여 항목들의 순서를 변경하여 출력할 수도 있다.
다양한 실시예에 따르면, 전자 장치(C200)는 날씨 정보를 컨텍스트 정보로 수집하고 C905 상태에서와 같이 표시 모듈(C240)에 출력할 수 있다. 이와 관련하여, 전자 장치(C200)는 일정 주기(예: 1시간 주기, 12시간 주기, 1일 주기 등)로 날씨 정보를 제공하는 서버 장치에 접속하고, 현재 위치 또는 특정 위치의 날씨 정보를 수집할 수 있다. 전자 장치(C200)는 날씨 정보를 분석하고, 특정 상황(예: 폭풍우, heavy rain 등)에 대응하는 제어 정보를 생성할 수 있다. 예컨대, 전자 장치(C200)는 폭풍우나 장대비 정보가 날씨 정보에 포함된 경우 야간 상태에서와 같은 제어 정보를 생성할 수 있다. 제어 정보를 수신한 외부 장치(C400)는 C903 상태에서와 같은 화면 중 어느 하나의 화면을 출력할 수 있다.
도 179은 한 실시예에 따른 스케줄 관련 운용을 도시한다.
도 179를 참조하면, 전자 장치(C200)는 컨텍스트 정보에 해당하는 시간 지정된 스케줄 정보를 해당 시간 도래에 대응하여 출력할 수 있다. 표시 모듈(C240)은 제어 모듈(C260)의 제어에 대응하여 D01 상태에서와 같이 스케줄 정보를 출력할 수 있다. 제어 모듈(C260)은 스케줄 정보를 포함하는 컨텍스트 정보 수집에 따라 제어 정보를 생성하고, 이를 외부 장치(C400)에 전송할 수 있다. 이와 관련하여, 제어 모듈(C260)은 스케줄 정보에서 상태 관련 정보(예: 등반)를 추출할 수 있다. 제어 모듈(C260)은 추출된 상태 관련 정보에 대응하는 제어 정보를 생성할 수 있다. 제어 모듈(C260)은 외부 장치(C400)와 통신 채널을 형성하고, 외부 장치(C400)에 제어 정보를 전송할 수 있다. 여기서 제어 정보는 스케줄 정보로부터 추출된 상태 관련 정보에 대응하는 UI 제어 정보를 포함할 수 있다.
외부 장치(C400)는 전자 장치(C200)로부터 UI 제어 정보를 수신하면, 그에 대응하는 화면을 D03 상태에서와 같이 출력할 수 있다. 한 실시예에 따르면, 외부 장치(C400)는 D03a 상태에서와 같이 등산 항목(D31)을 포함하는 화면을 서브 표시 모듈(C440)에 출력할 수 있다. 한 실시예에 따르면, 외부 장치(C400)는 D03b 상태에서와 같이 등산 항목(D31)이 다른 기능 항목들(D33, D35, D37)과 크기가 다르게 배치된 형태의 화면을 서브 표시 모듈(C440)에 출력할 수 있다. 한 실시예에 따르면, 외부 장치(C400)는 D03c 상태에서와 같이 등산 항목(D31)의 색이 다른 기능 항목들(D33, D35, D37)과 다른 색을 가지도록 서브 표시 모듈(C440)에 출력할 수 있다. 외부 장치(C400)는 등산 항목(D31)을 선택하는 이벤트가 발생하면, 발생된 이벤트에 대응하는 선택 정보를 전자 장치(C200)에 전송할 수 있다.
다양한 실시예에 따르면, 전자 장치(C200)는 GPS 모듈을 이용하여 현재 위치 정보를 수집할 수 있다. 전자 장치(C200)는 현재 위치 정보가 정해진 일정 구역 예컨대 청계산을 지시하는 경우 D05 상태에서와 같이 표시 모듈(C240)에 현재 위치 정보를 출력할 수 있다. 여기서 전자 장치(C200)는 현재 위치 정보를 좌표 정보로 출력하거나 또는 청계산과 같은 지명으로 출력할 수 있다.
전자 장치(C200)는 현재 위치 정보를 컨텍스트 정보로서 수집할 수 있다. 전자 장치(C200)는 현재 위치가 정해진 일정 위치 예컨대 산 지역에 포함된 경우, 이에 대응하는 제어 정보를 생성할 수 있다. 전자 장치(C200)는 생성된 제어 정보를 외부 장치(C400)에 전송할 수 있다. 이에 따라, 외부 장치(C400)는 위치에서 언급한 바와 같은 D03 상태의 화면 서브 표시 모듈(C440)에 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치(C200)는 D01 상태에서와 같이 특정 스케줄 정보가 해당 시간이 되어 출력되면, 스케줄 정보에 기입된 정보 확인을 수행할 수 있다. 예컨대, 전자 장치(C200)는 스케줄 정보에서 “등반” 정보를 추출할 수 있다. 전자 장치(C200)는 “등반”에 대한 정보가 추출되면 GPS 모듈을 활성화하고, 현재 위치 정보를 수집할 수 있다. 전자 장치(C200)는 현재 위치가 정해진 일정 위치의 산 지역에 포함되는 경우 상술한 제어 정보를 생성하여 외부 장치(C400)에 전송할 수 있다. 한 실시예에 따르면, 전자 장치(C200)는 현재 위치 정보가 산 이외의 지역에 포함되는 경우 제어 정보 생성과 전송을 생략할 수 있다. 전자 장치(C200)는 스케줄 정보 확인을 요청하는 메시지 출력을 제어할 수 있다.
다양한 실시예에 따르면, 전자 장치(C200)는 D05 상태에서와 같이 현재 위치 정보를 수집하고, 현재 위치 정보가 산 지역에 포함된 경우 D01 상태에서와 같이 스케줄 정보를 확인할 수도 있다. 스케줄 정보에 “산”과 관련한 정보가 포함된 경우, 제어 정보를 생성하여 외부 장치(C400)에 전송할 수도 있다.
전자 장치(C200)는 외부 장치(C400)로부터 선택 정보를 수신하면 그에 대응하는 특정 기능을 수행할 수 있다. 예컨대, 전자 장치(C200)는 D07 상태에서와 같이 등산 항목(D31)과 관련한 음원 재생 기능 및 인터넷 접속 기능을 수행할 수 있다. 이 과정에서 전자 장치(C200)는 스크린 락이 설정된 상태에서 음원 재생 기능 및 인터넷 접속 기능을 백그라운드 프로세싱을 통해 수행할 수 있다. 전자 장치(C200)는 음원 재생 기능 수행과 관련하여 사전 정의된 등산 관련 음원을 재생하거나 인터넷 검색을 통해 검색된 음원을 재생할 수 있다. 또한 전자 장치(C200)는 사전 정의된 일정 검색어에 관한 정보 예컨대 날씨 정보, 지역 주변 정보, 맛집 정보 등을 인터넷 검색 기능을 통해 수집할 수 있다. 전자 장치(C200)는 수집된 검색 정보 및 음원 재생 정보를 표시 모듈(C240)에 출력할 수 있다. 다양한 실시예에 따르면, 전자 장치(C200)는 D09 상태에서 같이 홈 스크린 상태에서 음원 재생 기능 및 인터넷 접속 기능에 대한 정보를 표시 모듈(C240)에 출력할 수도 있다. D07 상태 및 D09 상태는 청계산과 관련한 검색 정보 및 등산과 관련한 음악 재생의 예를 나타낸 것이다.
도 180은 한 실시예에 따른 통신 채널 형성과 관련한 상태 제어 테이블 운용을 도시한다.
도 180을 참조하면, 전자 장치(C200)는 외부 장치(C400)와의 연동 과정에서 장치 요소의 상태와 관련한 상태 제어 테이블을 관리할 수 있다. 이 과정에서 전자 장치(C200)는 장치 요소의 상태 변경과 관련하여 플래그(Flag)를 할당하여 관리할 수 있다. 한 실시예에 따르면, 전자 장치(C200)는 외부 장치(C400)와 통신 채널 형성 이전에 D101 상태에서와 같이 GPS 모듈이 턴-오프된 상태, 액세서리 모듈이 턴-오프된 상태 및 자이로 센서가 턴-온된 상태를 가질 수 있다. 이러한 상태 정보는 표시 모듈(C240)에 출력되거나 또는 출력이 생략될 수 있다.
전자 장치(C200)의 D101 상태에서의 장치 요소들 상태에 대응하여 전자 장치(C200)는 상태 제어 테이블(D110)을 가질 수 있다. 상태 제어 테이블(D110)은 GPS 모듈, 가속도 센서 및 자이로 센서들에 대한 외부 장치(C400)와 전자 장치(C200)의 이용 상태를 나타낼 수 있다. 예컨대, 상태 제어 테이블(D110)은 GPS 모듈, 가속도 센서 및 자이로 센서들이 외부 장치(C400)으로부터 활성화가 비요청된 상태 정보(이용 요청을 하지 않은 상태 정보)를 가질 수 있다. 상태 제어 테이블(D110)은 GPS 모듈, 가속도 센서들이 전자 장치(C200)에 의한 활성화가 비요청된 상태 정보를 가질 수 있다. 그리고 상태 제어 테이블(D110)은 자이로 센서에 대하여 전자 장치(C200)의 제어 모듈(C260)으로부터 활성화가 요청된 상태 정보를 가질 수 있다.
한 실시예에 따르면, D103 상태에서와 같이 외부 장치(C400)와 전자 장치(C200)는 통신 채널을 형성하고, 전자 장치(C200)가 컨텍스트 정보 수집에 대응하여 UI 제어 정보를 생성하여 외부 장치(C400)에 전송할 수 있다. 외부 장치(C400)는 UI 제어 정보에 대응하는 화면을 서브 표시 모듈(C440)에 출력할 수 있다. 외부 장치(C400)는 서브 표시 모듈(C440) 또는 서브 입력 모듈(C420) 중 적어도 하나에서 발생한 이벤트에 대응하는 선택 정보를 전자 장치(C200)에 전송할 수 있다. 이 과정에서 외부 장치(C400) 및 전자 장치(C200) 중 적어도 하나의 장치 예컨대 외부 장치(C400)는 전자 장치(C200)의 GPS 모듈을 활성화하도록 요청할 수 있다. 전자 장치(C200)는 외부 장치(C400) 연동과 관련하여 D103 상태에서와 같이 GPS 모듈이 턴-온된 상태, 가속도 센서가 턴-오프된 상태, 자이로 센서가 턴-온된 상태를 가질 수 있다. 전자 장치(C200)는 해당 센서들의 상태 정보를 표시 모듈(C240)에서와 같이 출력할 수 있다. 또는 상태 정보는 출력이 생략될 수 있다.
상태 제어 테이블(D130)은 전자 장치(C200)의 GPS 모듈에 대하여 외부 장치(C400)으로부터 활성화가 요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D130)은 전자 장치(C200)의 가속도 센서와 자이로 센서에 대하여 외부 장치(C400)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D130)은 전자 장치(C200)의 GPS 모듈, 가속도 센서에 대하여 전자 장치(C200)의 제어 모듈(C260)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D130)은 전자 장치(C200)의 자이로 센서에 대하여 전자 장치(C200)으로부터 활성화가 요청된 상태 정보를 가질 수 있다.
도 181은 한 실시예에 따른 연결 해제와 관련한 상태 제어 테이블 운용을 도시한다.
도 181을 참조하면, 전자 장치(C200)는 외부 장치(C400)와의 통신 연결 해제 과정에서 장치 요소의 상태와 관련한 상태 제어 테이블을 관리할 수 있다. 예컨대, 전자 장치(C200)는 외부 장치(C400)와 통신 채널이 형성된 과정에서 D201 상태에서와 같이 GPS 모듈이 턴-온된 상태, 액세서리 모듈이 턴-오프된 상태 및 자이로 센서가 턴-온된 상태를 가질 수 있다. 이러한 상태 정보는 표시 모듈(C240)에 출력될 수 있다. 또는 상태 정보는 출력이 생략될 수 있다. 전자 장치(C200)의 장치 요소들 상태에 대응하여 전자 장치(C200)는 상태 제어 테이블(D210)을 가질 수 있다. 외부 장치(C400)는 전자 장치(C200)와 통신 연결된 상태에 대응하여 적어도 하나의 아이템을 포함하는 UI 화면을 서브 표시 모듈(C440)에 출력할 수 있다.
상태 제어 테이블(D210)은 GPS 모듈이 외부 장치(C400)으로부터 활성화가 요청된 상태 정보, 가속도 센서 및 자이로 센서들이 외부 장치(C400)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D210)은 GPS 모듈, 가속도 센서가 전자 장치(C200)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D210)은 자이로 센서에 대하여 전자 장치(C200)의 제어 모듈(C260)으로부터 활성화가 요청된 상태 정보를 가질 수 있다.
전자 장치(C200)와 외부 장치(C400) 간의 통신 연결이 D203 상태에서와 같이 해제되면, 전자 장치(C200)는 GPS 모듈을 턴-온 상태에서 턴-오프 상태로 천이시킬 수 있다. 이 과정에서 전자 장치(C200)는 외부 장치(C400) 간의 통신 연결에 이용된 통신 모듈을 비활성화할 수도 있다. 전자 장치(C200)는 장치 요소들의 턴-온 상태 또는 턴-오프 상태에 대한 정보를 표시 모듈(C240)에 출력할 수 있다. 외부 장치(C400)는 D203 상태에서 전자 장치(C200)와의 통신 연결 해제와 관련한 정보를 서브 표시 모듈(C440)에 출력할 수 있다.
통신 연결 해제와 관련하여 상태 제어 테이블(D230)은 전자 장치(C200)의 GPS 모듈에 대하여 외부 장치(C400)으로부터 일시 중지(Pause)가 요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D230)은 전자 장치(C200)의 가속도 센서와 자이로 센서에 대하여 외부 장치(C400)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D230)은 전자 장치(C200)의 GPS 모듈, 가속도 센서에 대하여 전자 장치(C200)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D130)은 외부 장치(C400) 운용과 독립적으로 운용되는 전자 장치(C200)의 자이로 센서에 대하여 외부 장치(C400)으로부터는 활성화가 비요청된 상태이고 전자 장치(C200)으로부터는 활성화가 요청된 상태 정보를 가질 수 있다. 다양한 실시예에 따르면, 전자 장치(C200)는 정해진 시간이 경과한 후에도 통신 연결 해제 상태가 유지되면, 상태 제어 테이블(D230)에서 GPS 모듈의 일시 중지된 상태 정보를 활성화가 비요청된 상태 정보로 변경할 수 있다.
도 182는 한 실시예에 따른 전자 장치의 로우 배터리 상태와 관련한 상태 제어 테이블 운용을 도시한다.
도 182를 참조하면, 전자 장치(C200)는 장치 운용에 따라 전력을 소모함에 따라 정해진 일정 값 이하의 전력 상태 예컨대 로우 배터리 상태를 가질 수 있다. 이 경우, 전자 장치(C200)는 외부 장치(C400)와 통신 연결을 해제할 수 있다.
한 실시예에 따르면, 전자 장치(C200)는 로우 배터리로 진입하기 이전에 D301 상태에서와 같이 장치 요소들에 대해 GPS 모듈이 턴-온된 상태, 가속도 센서가 턴-오프된 상태, 자이로 센서가 턴-온된 상태를 가질 수 있다. 각 장치 요소들의 상태 정보는 표시 모듈(C240)에 출력될 수 있다. 또는 상태 정보는 표시가 생략될 수 있다. 전자 장치(C200)의 로우 배터리 진입 이전에 외부 장치(C400)는 전자 장치(C200)와의 연동과 관련하여 적어도 하나의 아이템을 포함하는 UI 화면을 서브 표시 모듈(C440)에 출력할 수 있다.
전자 장치(C200)는 로우 배터리 진입 이전 D301 상태에서 상태 제어 테이블(D310)을 가질 수 있다. 상태 제어 테이블(D310)은 GPS 모듈이 외부 장치(C400)으로부터 활성화가 요청된 상태 정보, 가속도 센서 및 자이로 센서들이 외부 장치(C400)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D310)은 GPS 모듈, 가속도 센서가 전자 장치(C200)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D310)은 자이로 센서에 대하여 전자 장치(C200)의 제어 모듈(C260)으로부터 활성화가 요청된 상태 정보를 가질 수 있다.
전자 장치(C200)가 로우 배터리 상태로 진입함에 따라, 전자 장치(C200)는 D303 상태에서와 같이 외부 장치(C400)와 통신 연결을 해제할 수 있다. 전자 장치(C200)는 통신 연결 해제 이전에 전자 장치(C200)의 로우 배터리 상태에 대한 정보를 외부 장치(C400)에 전송할 수 있다. 전자 장치(C200)는 로우 배터리 상태 진입에 대응하여 D303 상태에서와 같이 GPS 모듈을 턴-온 상태에서 턴-오프 상태로 천이시킬 수 있다. 또한, 전자 장치(C200)는 로우 배터리 상태와 관련하여 자이로 센서를 턴-온 상태에서 턴-오프 상태로 천이시킬 수 있다. 이 과정에서 전자 장치(C200)는 외부 장치(C400) 간의 통신 연결에 이용된 통신 모듈을 비활성화할 수 도 있다. 외부 장치(C400)는 통신 연결 해제 이전에 전자 장치(C200)로부터 전자 장치(C200)의 로우 배터리 상태 진입에 대한 정보를 수신할 수 있다. 외부 장치(C400)는 전자 장치(C200)의 로우 배터리 상태에 관한 정보를 D303 상태에서와 같이 서브 표시 모듈(C440)에 출력할 수 있다.
전자 장치(C200)는 로우 배터리 상태 진입과 관련하여 상태 제어 테이블(D330)을 가질 수 있다. 상태 제어 테이블(D330)은 전자 장치(C200)의 GPS 모듈, 가속도 센서와 자이로 센서에 대하여 외부 장치(C400)로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 또한 상태 제어 테이블(D330)은 전자 장치(C200)의 GPS 모듈, 가속도 센서, 자이로 센서에 대하여 전자 장치(C200) 으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 전자 장치(C200)는 로우 배터리 상태 진입과 관련하여 센서 모듈 및 GPS 모듈을 비활성화하여 전력 사용을 최소화할 수 있다. 이 상태에서 전자 장치(C200)는 3G/4G 등의 이동통신을 대기 상태로 유지하도록 제어할 수도 있다.
도 183은 한 실시예에 따른 외부 장치의 로우 배터리 상태와 관련한 상태 제어 테이블 운용을 도시한다.
도 183을 참조하면, 외부 장치(C400)는 D401 상태에서와 같이 전자 장치(C200)와 연동하여 특정 기능 수행을 지원할 수 있다. 예컨대, 외부 장치(C400)는 전자 장치(C200)와 연동되는 헬스 코칭 기능 실행에 따라 헬스 코칭과 관련한 적어도 하나의 아이템을 포함하는 화면을 서브 표시 모듈(C440)에 출력할 수 있다. 전자 장치(C200)는 외부 장치(C400) 기반의 서비스 지원과 관련하여, GPS 모듈이 턴-온된 상태, 가속도 센서가 턴-오프된 상태 및 자이로 센서가 턴-온된 상태를 가질 수 있다. 각 장치 요소들의 상태 정보는 표시 모듈(C240)에 출력될 수 있다. 또는 상태 정보는 표시가 생략될 수 있다. 전자 장치(C200)는 통신 연결 상태에 대응하여 상태 제어 테이블(D410)을 가질 수 있다.
상태 제어 테이블(D410)은 GPS 모듈이 외부 장치(C400)으로부터 활성화가 요청된 상태 정보, 가속도 센서와 자이로 센서가 외부 장치(C400)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D410)은 GPS 모듈이 전자 장치(C200)으로부터 활성화가 요청된 상태 정보, 가속도 센서가 전자 장치(C200)으로부터의 활성화가 비요청된 상태정보 및 자이로 센서가 전자 장치(C200)으로부터 활성화가 요청된 상태 정보를 가질 수 있다.
외부 장치(C400)는 장치 운용에 따라 전력을 소모함에 따라 정해진 일정 값 이하의 전력 상태 예컨대 로우 배터리 상태를 가질 수 있다. 외부 장치(C400)는 로우 배터리 상태로 진입하면 D403 상태에서와 같이 로우 배터리 진입 상태에 대한 정보를 서브 표시 모듈(C440)에 출력할 수 있다. 외부 장치(C400)는 로우 배터리 상태에 진입하면 이에 대한 정보를 전자 장치(C200)에 전달할 수 있다. 전자 장치(C200)는 외부 장치(C400)의 로우 배터리 상태 진입과 관련하여 외부 장치(C400)와의 통신 연결을 해제할 수 있다.
외부 장치(C400)가 로우 배터리 상태로 진입함에 따라, 전자 장치(C200)는 외부 장치(C400)와 통신 연결을 해제할 수 있다. 외부 장치(C400)의 로우 배터리 상태 진입과 관련하여 전자 장치(C200)는 D403 상태에서와 같이 GPS 모듈을 턴-온된 상태, 가속도 센서가 턴-오프된 상태 및 자이로 센서가 턴-온된 상태를 가질 수 있다. 이 과정에서 전자 장치(C200)는 외부 장치(C400) 간의 통신 연결에 이용된 통신 모듈을 비활성화할 수 도 있다.
상태 제어 테이블(D430)은 전자 장치(C200)의 GPS 모듈, 가속도 센서와 자이로 센서에 대하여 외부 장치(C400)으로부터의 활성화가 비요청된 상태 정보를 가질 수 있다. 상태 제어 테이블(D430)은 GPS 모듈이 전자 장치(C200)으로부터 활성화가 요청된 상태, 가속도 센서가 전자 장치(C200)으로부터의 활성화가 비요청된 상태, 자이로 센서가 전자 장치(C200)으로부터 활성화가 요청된 상태 정보를 가질 수 있다. 전자 장치(C200)는 외부 장치(C400)의 로우 배터리 진입에 따라 통신 연결이 해제되면 전자 장치(C200) 운용과 관련하여 활성화된 장치 요소들을 턴-온 상태로 유지하도록 제어할 수 있다.
도 184는 다양한 실시예에 따른 장치 운용 방법을 도시한다.
도 184를 참조하면, 장치 운용 방법은 전자 장치(C200)가 과정 D501에서 외부 장치(C400)와 통신 연결 요청과 관련한 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 전자 장치(C200)는 외부 장치(C400)로부터 통신 연결 요청과 관련한 메시지 수신이 있는지 여부를 확인할 수 있다. 또는 전자 장치(C200)는 외부 장치(C400)와 통신 연결을 요청하는 입력 이벤트나 스케줄 정보가 있는지 여부를 확인할 수 있다.
전자 장치(C200)는 과정 D501에서 외부 장치(C400)와 통신 연결 요청과 관련한 이벤트 발생이 있으면 전자 장치(C200)는 해당 이벤트에 따른 통신 연결처리를 수행할 수 있다. 예컨대, 전자 장치(C200)는 통신 인터페이스 130에 포함된 적어도 하나의 통신 모듈을 이용하여 외부 장치(C400)와 직접 통신 채널을 형성할 수 있다.
전자 장치(C200)는 과정 D503에서 활성화할 센서 정보를 외부 장치(C400)로부터 수신할 수 있다. 이와 관련하여, 외부 장치(C400)는 전자 장치(C200)와 통신 채널이 형성된 상태에서 특정 기능 실행과 관련한 요청이 발생하면 해당 기능 실행을 지원하는 센서가 외부 장치(C400) 내에 있는지 여부를 확인할 수 있다. 외부 장치(C400)는 특정 기능 실행과 관련한 센서가 외부 장치(C400)에 없는 경우 전자 장치(C200)에 해당 기능 실행과 관련하여 실행을 요청한 센서 정보를 전자 장치(C200)에 전달할 수 있다.
과정 D505에서 전자 장치(C200)는 외부 장치(C400)로부터 실행 요청된 센서들의 정보를 포함하는 센서 정보를 수신하면, 해당 정보를 바탕으로 각 센서들을 활성화하도록 제어할 수 있다. 예컨대, 전자 장치(C200)는 외부 장치(C400)로부터 GPS 모듈 활성화 요청에 해당하는 센서 정보를 수신할 수 있다. 전자 장치(C200)는 외부 장치(C400)의 활성화 요청에 대응하여 GPS 모듈을 활성화할 수 있다.
전자 장치(C200)는 과정 D507에서 통신 인터페이스(예: 통신 인터페이스(160))를 통해 센서를 기반으로 생성한 데이터 전송을 수행할 수 있다. 예컨대, 전자 장치(C200)는 외부 장치(C400)에 의해 활성화 요청된 GPS 모듈이 수집하는 센서 신호를 외부 장치(C400)에 전달할 수 있다. 이 과정에서 전자 장치(C200)는 특정 센서 신호가 수집한 센서 신호를 그대로 전달하거나 또는 외부 장치(C400)의 기능 실행에 대응하여 센서 신호를 가공한 후 전달할 수 있다. 한 실시예에 따르면, 전자 장치(C200)는 외부 장치(C400)에서 실행되는 기능이 등산 기능인 경우 GPS 모듈이 수집한 센서 신호 및 현재 위치를 기준으로 주변 일정 범위 이내의 지도 정보를 외부 장치(C400)에 함께 전송할 수 있다. 한 실시예에 따르면, 전자 장치(C200)는 외부 장치(C400)의 이동 속도를 분석하고, GPS 모듈이 실시간 수집하는 센서 신호의 전송 주기를 다르게 조정할 수 있다. 한 실시예에 따르면, 전자 장치(C200)는 외부 장치(C400)에서 실행되는 기능의 속성에 따라 GPS 모듈이 수집한 정보의 일부만을 전송할 수도 있다. 예컨대, 전자 장치(C200)는 외부 장치(C400)에서 실행되는 기능의 정확도에 대응하는 위치 정보를 GPS 모듈이 수집한 정보로부터 계산하고, 해당 정확도에 대응하는 위치 정보를 외부 장치(C400)에 전송할 수도 있다.
전자 장치(C200)는 과정 D509에서 외부 장치(C400)와의 통신 끊김 또는 배터리 부족(예: 전자 장치(C200)의 배터리 부족 및 외부 장치(C400)의 배터리 부족 중 적어도 하나)이 발생하는지 확인할 수 있다. 전자 장치(C200)는 과정 D509에서 통신 끊김 또는 배터리 부족 현상이 없는 경우 과정 D507의 수행을 제어할 수 있다.
전자 장치(C200)는 과정 D509에서 외부 장치(C400)와 통신 끊김 또는 배터리 부족이 발생하면, 과정 D511로 분기하여 센서 비활성화를 제어할 수 있다. 이 과정에서 전자 장치(C200)는 외부 장치(C400)에 의해 활성화가 요청된 센서들을 비활성화할 수 있다. 전자 장치(C200)는 외부 장치(C400)에 의해 활성화된 센서들이 제어 모듈(C260)에 의해 활성화 요청된 경우 전자 장치(C200) 제어에 따라 활성화를 유지하도록 제어할 수 있다. 전자 장치(C200)는 외부 장치(C400)와의 연동 기능 종료에 대응하여 활성화된 센서가 비활성화되면 상태 정보 테이블을 갱신할 수 있다.
추가로 또는 대체적으로 전자 장치(C200)는 외부 장치(C400)로부터 현재 실행 중인 기능의 종료와 관련한 이벤트를 수신하면 과정 D511로 분기할 수 있다. 추가로 또는 대체적으로 전자 장치(C200)는 입출력 인터페이스(예: 입출력 인터페이스(140))로부터 외부 장치(C400)와의 연동 기능 해제 또는 기능 종료와 관련한 이벤트가 발생하면 외부 장치(C400) 간에 실행 중인 연동 기능을 종료하고 과정 D511로 분기할 수 있다.
상술한 바와 같이 한 실시예에 따른 장치 운용 방법 및 이를 지원하는 장치는 전자 장치(C200)에서 컨텍스트 정보(예: 스케쥴, 사용자 위치 등)를 파악하고, 이 정보를 바탕으로 외부 장치(C400)의 서브 표시 모듈(C440)의 화면 요소들(예: 화면에 출력되는 오브젝트 또는 아이템, 배경 화면, 오브젝트들의 배치 등)을 적응적(Active)으로 변경하여 사용자가 외부 장치(C400)에서의 기능 선택을 용이하게 할 수 있도록 지원한다.
또한 다양한 실시예에 따른 장치 운용 방법 및 이를 지원하는 장치는 외부 장치(C400)의 서브 표시 모듈(C440)에서 선택된 기능(예: 메뉴 화면에서 기능 실행과 관련하여 표시된 특정 오브젝트나 아이템 선택에 따른 기능) 지원과 관련한 센서가 전자 장치(C200)에 있는 경우 전자 장치(C200)에 해당 센서의 활성화를 요청하고, 전자 장치(C200)로부터 센서 신호를 수신하여 기능 실행을 지원할 수 있다. 여기서 특정 기능 실행과 관련한 센서가 외부 장치(C400)와 전자 장치(C200)에 모두 배치되어 있는 경우 기본(default)으로 전자 장치(C200)의 센서를 활용하도록 처리될 수 있다. 추가적으로 또는 대체적으로 한 실시예에 따른 장치 및 방법은 전자 장치(C200)의 배터리 잔량이 일정량 이하인 경우 및 외부 장치(C400)의 배터리 잔량이 일정량 이상인 경우 중 적어도 하나의 상태에서 배터리 잔량 상태에 따라 외부 장치(C400)에 배치된 센서를 운용할 수도 있다.
또한 다양한 실시예에 따른 장치 운용 방법 및 이를 지원하는 장치는 외부 장치(C400)의 특정 기능이 종료되거나 외부 장치(C400)와의 통신 연결이 해제되거나, 전자 장치(C200) 또는 외부 장치(C400) 중 적어도 하나의 배터리 잔량이 일정량 이하인 경우 중 적어도 하나의 상황에 대응하여 전자 장치(C200)의 상태를 외부 장치(C400)와의 연동 이전 상태로 복원할 수 있다. 예컨대, 전자 장치(C200)는 외부 장치(C400)와의 통신 연결이 해제되면 외부 장치(C400) 요청에 의해 활성화된 센서를 전자 장치(C200) 설정에 따른 상태로 복원할 수 있다.
다양한 실시예에 따른 장치 운용 방법 및 이를 지원하는 장치는 외부 장치(C400)에서 선택된 기능과 관련하여 전자 장치(C200)에서 실행할 적어도 하나의 기능(앱)들을 추천할 수 있다. 예컨대, 외부 장치(C400)에서 등산 기능이 선택되면, 전자 장치(C200)는 등산 기능과 관련하여 음원 재생 앱 및 웹 접속 기능을 자동으로 실행하거나 또는 실행 선택이 용이하도록 외부 장치(C400)의 기능 선택 정보를 수신하면 그에 대응하여 표시 모듈 D240에 출력하도록 제어할 수 있다.
도 185는 본 발명의 다양한 실시예들에 따른, 전자 장치(예를 들어, 전자 장치(101))의 제어 모듈(E201)의 블록도(E200)를 나타낸 도면이다.
도 185를 참조하면, 상기 제어 모듈(E201)은 상태 결정 모듈(E210), 방향 결정 모듈(E220) 및 콘텐츠 제어 모듈(E230)을 포함할 수 있다. 상기 제어 모듈(E201)은 도 51에 도시된 추가 기능 모듈(170)일 수 있다.
상기 상태 결정 모듈(E210)은 상기 센서 모듈(예: 센서 모듈(240) 등)에 포함된 하나 이상의 센서들(예를 들어, 가속도 센서, 자이로 센서, HRV 센서 등)로부터 수집된 센싱 데이터를 기초로 전자 장치를 사용하고 있는 사용자의 현재 상태(이하, 사용자 상태)를 결정할 수 있다. 예를 들어, HRV 센서에 의하여 측정된 사용자의 심박수가 85~130이라면 상태 결정 모듈(E210)은 사용자가 운동 중인 것으로 결정할 수 있다.
상기 상태 결정 모듈(E210)에 의해 결정되는 사용자 상태는, 사용자가 하고 있는 운동의 종류, 운동의 진행 상태, 운동 강도, 사용자의 건강 상태를 포함할 수 있다. 한 실시예에 따르면, 전자 장치는 사용자 상태를 보다 정확하게 파악하기 위하여 상기 사용자의 나이, 키, 몸무게 등과 같은 신체 정보를 사용자에 의해 미리 입력받을 수 있다.
한 실시예에 따르면, 상기 상태 결정 모듈(E210)은 사용자에 대한 스트레스 지수를 결정할 수 있다. 예를 들어, 사용자의 심박수가 70~90인 경우를 정상이라고 가정한다. 상기 상태 결정 모듈(E210)은 사용자의 심박수가 91~100이면 상기 사용자에 대한 스트레스 지수를 하(下)로 결정하고, 심박수가 101~115이면 상기 사용자에 대한 스트레스 지수를 중(中)으로 결정하고, 심박수가 116 이상이면 상기 사용자에 대한 스트레스 지수를 상(上)으로 결정할 수 있다. 또한 상태 결정 모듈(E210)은 상기 스트레스 지수가 미리 설정된 수치 범위를 벗어나게 되는 경우 사용자가 현재 하고 있는 운동을 중단할 수 있도록 운동 중단 알람을 표시하도록 디스플레이(예: 디스플레이(150))를 제어할 수 있다. 예를 들어 사용자에 대한 스트레스 지수가 상, 중, 하 중에서 중 또는 상에 해당하는 경우에도, 제어 모듈(E201)은 사용자가 현재 하고 있는 운동을 중단할 수 있도록 운동 중단 알람을 표시하도록 디스플레이를 제어할 수 있다.
방향 결정 모듈(E220)은 센서 모듈에 포함된 하나 이상의 센서들(예를 들어, 가속도 센서, 자이로 센서 등)로부터 수집된 신호들, 즉 센싱 데이터를 분석하여 디스플레이, 특히 콘텐츠들이 표시되는 스크린의 방향을 결정할 수 있다.
상기 방향 결정 모듈(E220)은 스크린의 회전 방향을 계산할 수도 있다. 예를 들어, 전자 장치가 손목시계형이면 하나 이상의 콘텐츠가 표시되는 스크린은 사용자의 왼속 손목 중앙을 기준으로 30도 회전된 상태일 수 있다.
콘텐츠 제어 모듈(E230)은, 방향 결정 모듈(E220)에 의하여 결정된 스크린의 방향을 기초로 상기 스크린에 표시되는 콘텐츠의 표시 방향을 결정할 수 있다. 예를 들어, 스크린에 표시되는 콘텐츠가 텍스트라고 하면, 콘텐츠 제어 모듈(E230)은 스크린의 방향에 따라 상기 텍스트를 가로 또는 세로 방향으로 표시하는 것으로 결정할 수 있다. 즉, 콘텐츠 제어 모듈(E230)은 상기 텍스트가 좌→우 방향으로 출력되도록 디스플레이를 제어하거나 또는 상기 텍스트가 상→하 방향으로 출력되도록 디스플레이를 제어할 수 있다.
한 실시예에 따르면, 콘텐츠 제어 모듈(E230)은 하나의 화면에 표시되는 두 개 이상의 콘텐츠들 각각이 서로 다른 방향으로 출력되도록 디스플레이를 제어할 수도 있다. 예를 들어, 스크린에 제1 텍스트, 제2 텍스트 및 이미지가 표시된다고 가정한다. 콘텐츠 제어 모듈(E230)은 제1 텍스트 및 이미지는 좌→우 방향으로 스크린에 표시되는 것으로 결정하고, 제2 텍스트는 상→하 방향으로 스크린에 표시되는 것으로 결정할 수 있다.
콘텐츠 제어 모듈(E230)은, 상태 결정 모듈(E210)에 의하여 결정된 사용자 상태를 기초로 스크린으로 출력되는 콘텐츠의 표시 방식을 결정할 수 있다. 예를 들어, 사용자의 움직임이 격렬한 경우(예를 들어, 사용자가 움직임 강도가 높은 운동을 하는 경우) 상태 결정 모듈(E210)은 디스플레이를 통해 표시되는 콘텐츠의 수 또는 콘텐츠 각각의 크기를 제한할 수 있다. 또한 상태 결정 모듈(E210)은 상기 콘텐츠의 사이즈를 증가시킴으로써 사용자가 용이하게 상기 콘텐츠를 확인할 수 있도록 할 수 있다. 예를 들어, 사용자가 운동을 하지 않거나, 가볍게 걷고 잇는 경우와 같이 사용자의 움직임이 격렬하지 않은 경우(예를 들어, 사용자가 운동을 하지 않는 경우), 상태 결정 모듈(E210)은 디스플레이를 통해 표시되는 콘텐츠의 수를 제한하지 않을 수 있다. 또한 상태 결정 모듈(E210)은 상기 콘텐츠의 사이즈를 감소시키고, 한 화면에 복수 개의 콘텐츠가 표시되도록 디스플레이를 제어하거나 또는 복수 개의 콘텐츠가 포함된 화면들이 순차적으로 표시되도록 디스플레이를 제어할 수 있다.
본 발명의 일 실시예에 따른 콘텐츠를 표시하는 전자 장치는, 콘텐츠를 표시하는 스크린을 포함하는 디스플레이와, 센싱 데이터를 획득하고, 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정하고, 상기 현재 상태를 기초로 스크린에 표시할 콘텐츠를 결정하고, 상기 콘텐츠를 표시하도록 상기 디스플레이를 제어하는 제어 모듈을 포함할 수 있다.
한 실시예에서, 상기 센싱 데이터는, 사용자의 혈압, 혈류, 심박수, 체온, 호흡수, 산소 포화도, 심폐음 또는 혈당 중 하나 이상을 포함할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 사용자가 하고 있는 운동의 종류, 운동 강도, 운동의 진행 상태, 상기 사용자의 이동 방향, 이동 속도 중 하나 이상을 결정할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 운동 강도에 따라 상기 스크린에 표시할 콘텐츠의 수를 조절할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 운동 강도가 강할수록 상기 스크린에 표시할 콘텐츠의 수를 줄이고, 상기 운동 강도가 약할수록 상기 스크린에 표시할 콘텐츠의 수를 늘릴 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 이동 속도에 따라 상기 스크린에 표시할 콘텐츠의 수를 조절할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 이동 속도가 증가할수록 상기 스크린에 표시할 콘텐츠의 수를 줄이고, 상기 이동 속도가 감소할수록 상기 스크린에 표시할 콘텐츠의 수를 늘릴 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 사용자의 스트레스 지수를 결정하고, 상기 스트레스 지수가 미리 설정된 임계값 이상인지 여부를 판단하여 상기 스트레스 지수가 상기 임계값 이상인 경우, 운동 중단 알람을 상기 스크린에 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 스트레스 지수가 상기 임계값 미만인 경우, 상기 사용자가 운동을 지속할 수 있도록 하는 콘텐츠를 상기 스크린에 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 센싱 데이터를 기초로 상기 스크린의 방향을 결정하고, 상기 스크린의 방향을 기초로 상기 콘텐츠의 표시 방향을 결정하고, 상기 표시 방향에 따라 상기 콘텐츠가 표시되도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 스크린의 가로가 세로보다 긴 경우, 상기 콘텐츠를 가로 방향으로 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 스크린의 세로가 가로보다 긴 경우, 상기 콘텐츠를 세로 방향으로 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 스크린 중 일부에서는 상기 콘텐츠를 가로 방향으로 표시하도록 상기 디스플레이를 제어하고, 상기 스크린 중 나머지 일부에서는 상기 콘텐츠를 세로 방향으로 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 센싱 데이터에 포함된 전자 장치의 기울기를 기초로 상기 스크린의 회전각을 결정하고, 상기 회전각을 기초로 상기 콘텐츠가 상기 스크린 중 어느 한 방향으로 치우쳐 표시되도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 스크린의 방향과 사용자의 시선 반대 방향 사이의 각도가 미리 설정된 기준값 미만인 경우, 상기 콘텐츠를 가로 방향으로 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 스크린의 방향과 사용자의 시선 반대 방향 사이의 각도가 미리 설정된 기준값 이상인 경우, 상기 콘텐츠를 상기 스크린에 표시하지 않도록 상기 디스플레이를 제어할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 센싱 데이터를 기초로 판단한 사용자 상태로서 사용자의 움직임 정도를 결정하고, 상기 사용자의 움직임 정도가 미리 설정된 기준값 이상이면 상기 스크린에 표시되는 상기 콘텐츠의 수를 제한할 수 있다.
한 실시예에서, 상기 제어 모듈은, 상기 사용자의 움직임 정도가 미리 설정된 기준값 미만이면 상기 스크린에 표시되는 상기 콘텐츠의 수를 제한하지 않을 수 있다.
도 186은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 일 예를 나타낸 순서도이다.
도 186을 참조하면, 센서 모듈은 제어 모듈(E201)에 제어 하에 센싱 데이터를 수집할 수 있다(E302). 센싱 데이터는 센서 모듈에 의하여 측정된 각종 센서값(예를 들어, 사용자의 혈압, 심박수, 체온, 호흡수, 산소 포화도, 심폐음, 혈당 등)을 포함할 수 있다.
전자 장치(E201)의 제어 모듈(E201)은 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정할 수 있다(E304). 사용자의 현재 상태는, 사용자가 운동을 하고 있는지 여부, 상기 사용자가 운동을 하고 있을 경우의 상기 운동의 종류, 운동 진행 상태, 운동 강도, 사용자의 건강 상태 등일 수 있다.
단계 E304에서 사용자의 현재 상태가 결정되면, 콘텐츠 제어 모듈(E230)은 사용자의 현재 상태를 기초로 디스플레이의 스크린에 표시할 콘텐츠를 결정할 수 있다(E306). 예를 들어, 사용자의 운동 강도가 상(上)이면 콘텐츠 제어 모듈(E230)은 스크린에 표시할 콘텐츠로서, 현재 시각과 소모 칼로리를 결정할 수 있다. 반면에 운동 강도가 하(下)이면, 콘텐츠 제어 모듈(E230)은 스크린에 표시할 콘텐츠로서, 현재 시각, 운동 시간, 소모 칼로리, 심박수 및 혈압으로서, 운동 강도가 중(中) 이상일 경우보다 더 많은 콘텐츠가 표시되도록 결정할 수 있다.
디스플레이는 단계 E306에서 콘텐츠 제어 모듈(E230)에 의하여 결정된 콘텐츠를 스크린에 표시할 수 있다(E308).
도 187은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 일 예를 나타낸 순서도이다.
도 187을 참조하면, 센서 모듈은 제어 모듈(E201)의 제어 하에 센싱 데이터를 수집할 수 있다(E402). 센싱 데이터는 센서 모듈에 의하여 측정된 각종 센서값(예를 들어, 전자 장치의 속도, 가속도, 기울기, GPS 좌표 등)을 포함할 수 있다.
전자 장치의 제어 모듈(E201)은 상기 센싱 데이터를 기초로 디스플레이의 스크린의 방향을 결정할 수 있다(E404). 이때 스크린의 방향은, 예를 들어 상기 스크린이 LCD로 구현되었다고 가정할 때 상기 LCD로부터 광이 나오는 방향을 가리킬 수 있다. 예를 들어 전자 장치가 원형 손목시계타입으로 구현되었다고 가정하면, 방향 결정 모듈(E220)은 단계 E404에서 상기 전자 장치의 가속도 센서 또는 자이로 센서에 의하여 측정된 센싱 데이터(예를 들어, 전자 장치의 이동 속도, 이동 가속도, 이동 방향 또는 전자 장치의 기울기 등)를 이용하여 상기 스크린의 지향 방향과 움직임(예를 들어, 손목에 장착된 상기 전자 장치의 틸트 움직임)에 따라 변화된 상기 지향 방향의 변화를 결정할 수 있다.
단계 E404에서 스크린의 방향이 결정되면, 콘텐츠 제어 모듈(E230)은 상기 스크린의 방향을 기초로 콘텐츠의 표시 방향을 결정할 수 있다(E406). 예를 들어, 콘텐츠 제어 모듈(E230)은 스크린에 표시되는 텍스트를 가로 방향으로 표시하거나 또는 세로 방향으로 표시하는 것으로 결정할 수 있다.
디스플레이는 단계 E406에서 결정된 상기 스크린의 표시 방향에 따라 하나 이상의 콘텐츠를 상기 스크린에 표시할 수 있다(E408).
도 187에서는 스크린의 방향이 상기 스크린이 향하는 방향을 가리키는 것으로 서술하였으나, 다른 실시예에 따라 스크린이 향하는 방향은, 상기 스크린에 표시되는 콘텐츠의 정렬 방향(orientation)일 수 있다. 예를 들어, 상기 스크린이 직사각형 LCD로 구현되었다고 가정한다. 상기 스크린의 방향은 직사각형 LCD에 표시되는 콘텐츠의 정렬 방향(예를 들어, 좌→우, 위→아래 등)일 수 있다. 한 실시예에 따르면, 콘텐츠 제어 모듈(E230)은 사용자의 팔 움직임 또는 사용자의 시선 방향을 판단하고, 상기 팔 움직임 또는 사용자의 시선 방향을 기초로 시선 방향을 기준으로 하여 상기 스크린이 회전된 각도를 판별할 수도 있다. 예를 들어, 콘텐츠 제어 모듈(E230)은 전자 장치가 풍경 모드(landscape mode) 인지 또는 인물 모드(portrait mode) 중 어느 것에 더 가까운지 여부를 판단할 수 있다.
도 188은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 또 다른 예를 나타낸 순서도이다.
도 188을 참조하면, 센서 모듈은 제어 모듈(E201)의 제어 하에 센싱 데이터를 획득 또는 수집할 수 있다(E502). 이때 센서 모듈에 의하여 생성된 센싱 데이터는, 전자 장치의 이동 속도, 이동 가속도, 이동 방향, 전자 장치의 기울기 중 하나 이상을 포함할 수 있으며, 또한 센싱 데이터는 사용자의 혈압, 심박수, 호흡수, 산소 포화도, 칼로리 소비량, 근전도, 심전도 중 하나 이상을 포함할 수 있다.
전자 장치의 제어 모듈(E201)은 상기 센싱 데이터를 기초로 사용자의 현재 상태 또는 디스플레이의 스크린의 방향을 결정할 수 있다(E504). 이때 스크린의 방향은, 예를 들어 스크린이 LCD로 구현되었다고 가정할 때 상기 LCD로부터 광이 나오는 방향을 가리킬 수 있다. 예를 들어 전자 장치가 원현 손목시계타입으로 구현되었다고 가정하면, 방향 결정 모듈(E220)은 단계 E504에서 상기 스크린의 방향이 사용자의 왼쪽 손목 중앙을 기준으로 시계 방향으로 30도 회전된 상태인 것으로 결정할 수 있다. 단계 E504에서 제어 모듈(E201)에 의하여 결정되는 사용자의 현재 상태는, 예를 들어 웨어러블 장치로 구현된 전자 장치를 착용한 사용자가 운동(예를 들어, 워킹, 조깅, 수영 등)을 하고 있는 상태일 수 있다.
단계 E504에서 사용자의 현재 상태 또는 스크린의 방향이 결정되면, 콘텐츠 제어 모듈(E230)은 상기 사용자의 현재 상태 또는 스크린의 방향을 기초로 스크린에 표시할 콘텐츠 및 상기 콘텐츠의 표시 방향을 결정할 수 있다(E506). 예를 들어, 스크린에 표시될 콘텐츠가 텍스트인 ‘Message from Jim’이고, 상기 텍스트의 문자들의 폰트 사이즈는 동일한 것으로 가정한다. 콘텐츠 제어 모듈(E230)은 스크린의 방향에 따라 상기 텍스트를 가로 방향으로 표시하거나 또는 세로 방향으로 표시하도록 디스플레이를 제어할 수 있다. 또한 콘텐츠 제어 모듈(E230)은, 사용자 상태가 운동 중인 것으로 결정되면 상기 텍스트 중 ‘Message from’와 ‘Jim’의 출력 사이즈가 서로 달라지도록 제어할 수 있다. 일 실시예에 따라 제어 모듈(E201)은 동일한 폰트 사이즈를 가지는 상기 텍스트 ‘Message from Jim’을 처리하여 ‘Message from’의 폰트 사이즈를 감소시키고, ‘Jim’의 폰트 사이즈를 증가시킬 수 있다. 이때, ‘Jim’의 폰트 색상은 다른 텍스트와는 구별되는 다른 색일 수 있다.
디스플레이는 단계 E506에서 결정된 표시 방향에 따라 콘텐츠를 상기 스크린에 표시할 수 있다(E508).
본 발명의 일 실시예에 따른 전자 장치의 동작 방법은, 가속도 센서 또는 자이로 센서를 통해 전자 장치의 움직임 정보를 판단하는 동작과, 하나 이상의 생체 신호를 분석하여 사용자에 대한 생체 정보를 판단하는 동작과, 상기 움직임 정보 및 생체 정보에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 발명의 다른 실시예에 따른 전자 장치의 동작 방법은, 외부 장치와 통신하는 통신 모듈이 상기 외부 장치와 연결되었는지 여부를 판단하는 동작과, 상기 외부 장치와의 연결 상태에 따라 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치의 동작 방법은, 하나 이상의 외부 장치들과 페어링하는 동작과, 모션 센서를 이용하여 전자 장치의 움직임 정보를 판단하는 동작과, 하나 이상의 생체 신호를 분석하여 사용자에 대한 생체 정보를 판단하는 동작과, 상기 움직임 정보 또는 상기 생체 정보를 근거로 하여 상기 전자 장치로부터 상기 사용자에게 제공될 수 있는 서비스를 결정하는 동작과, 상기 외부 장치들을 이용하여 상기 서비스를 상기 사용자에게 제공하는 동작을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법은, 센싱 데이터를 획득하는 동작과, 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정하는 동작과, 상기 현재 상태를 기초로 스크린에 표시할 콘텐츠를 결정하는 동작과, 상기 스크린에 상기 콘텐츠를 표시하는 동작을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법은, 스크린의 방향을 결정하기 위한 센싱 데이터를 획득하는 동작과, 상기 센싱 데이터를 기초로 상기 스크린의 방향을 결정하는 동작과, 상기 스크린의 방향에 따른 콘텐츠의 표시 방향을 결정하는 동작과, 상기 표시 방향에 따라 상기 콘텐츠를 표시하는 동작을 포함할 수 있다.
도 189는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법의 또 다른 예를 나타낸 순서도이다. 도 189에서 사용자는 운동을 하고 있는 것으로 가정한다.
도 189를 참조하면, 센서 모듈은 제어 모듈(E201)의 제어 하에 센싱 데이터를 획득할 수 있다(E602). 센서 모듈에 의하여 획득된 센싱 데이터는, 전자 장치의 이동 속도, 이동 가속도, 이동 방향, 전자 장치의 기울기 중 하나 이상을 포함할 수 있으며, 또한 센싱 데이터는 사용자의 혈압, 심박수, 호흡수, 산소 포화도, 칼로리 소비량, 근전도, 심전도 중 하나 이상을 포함할 수 있다.
전자 장치의 제어 모듈(E201)은 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정할 수 있다(E604). 단계 E604에서 제어 모듈(E201)에 의하여 결정되는 사용자의 현재 상태는, 예를 들어 웨어러블 장치로 구현된 전자 장치를 착용한 사용자가 하고 있는 운동의 종류, 운동 강도, 운동 진행 상태 등을 포함할 수 있다. 사용자가 운동을 하고 있는 경우라면, 상기 사용자의 현재 상태는 사용자의 스트레스 지수를 포함할 수도 있다. 일 실시예에 따라 제어 모듈(E201)은 단계 E604에서 사용자의 스트레스 지수를 결정할 수 있다. 상기 스트레스 지수는, 사용자가 하고 있는 운동, 운동의 강도, 운동의 진행 상태, 운동 소요 시간, 사용자의 체온, 혈압, 심박수 등을 기초로 결정될 수 있다.
단계 E604에서 사용자의 현재 상태가 결정되면, 제어 모듈(E201)은 사용자의 스트레스 지수가 임계값 이상인지 여부를 판단할 수 있다(E606). 상기 임계값은, 사용자가 계속해서 운동을 해도 되는지 여부를 결정하기 위한 기준값일 수 있다. 예를 들어, 사용자의 심박수가 100 이상이면 제어 모듈(E201)은 상기 스트레스 지수가 임계값 이상인 것으로 결정할 수 있다. 또한 사용자의 수축기 혈압이 160mmHg 이상이면 제어 모듈(E201)은 스트레스 지수가 임계값 이상인 것으로 결정할 수 있다. 상기와 같이 스트레스 지수가 임계값 이상이면, 제어 모듈(E201)은 사용자에게 운동을 중단할 것을 요청할 수 있다.
단계 E606의 판단 결과 스트레스 지수가 임계값 이상인 경우(E606: 예), 제어 모듈(E201)은 디스플레이를 제어하여 사용자에게 운동을 중단할 것을 요청하는 운동 중단 알람을 스크린에 표시할 수 있다(E608). 상기와 같이 운동 중단 알람을 표시함으로써 전자 장치는 사용자가 무리한 운동을 함으로써 건강을 해치지 않도록 할 수 있다.
단계 E606의 판단 결과 스트레스 지수가 임계값 미만이면(E606: 아니오). 제어 모듈(E201)은 사용자의 현재 상태에 따른 동작을 결정할 수 있다(E612). 제어 모듈(E201)은 단계 E614에서 결정된 동작을 실행하도록 전자 장치를 제어할 수 있다. 스트레스 지수가 임계값 미만이면, 제어 모듈(E201)은 사용자가 운동을 계속하도록, 예를 들어 운동 코스 등을 스크린에 표시하도록 디스플레이를 제어할 수 있다.
본 발명의 일 실시예에 따른 전자 장치의 동작 방법은, 센서 모듈을 통해 측정된 센서 데이터를 기초로 전자 장치의 움직임 정보를 판단하는 동작과, 하나 이상의 생체 신호를 분석하여 사용자에 대한 생체 정보를 판단하는 동작과, 상기 움직임 정보 및 생체 정보에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 발명의 다른 실시예에 따른 전자 장치의 동작 방법은, 외부 장치와 통신하는 통신 모듈이 상기 외부 장치와 연결되었는지 여부를 판단하는 동작과, 상기 외부 장치와의 연결 상태에 따라 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치의 동작 방법은, 하나 이상의 외부 장치들과 페어링하는 동작과, 가속도 센서 또는 자이로 센서를 이용하여 전자 장치의 움직임 정보를 판단하는 동작과, 하나 이상의 생체 신호를 분석하여 사용자에 대한 생체 정보를 판단하는 동작과, 상기 움직임 정보 또는 상기 생체 정보를 근거로 하여 상기 전자 장치로부터 상기 사용자에게 제공될 수 있는 서비스를 결정하는 동작과, 상기 외부 장치들을 이용하여 상기 서비스를 상기 사용자에게 제공하는 동작을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법은, 센싱 데이터를 획득하는 동작과, 상기 센싱 데이터를 기초로 사용자의 현재 상태를 결정하는 동작과, 상기 현재 상태를 기초로 스크린에 표시할 콘텐츠를 결정하는 동작과, 상기 스크린에 상기 콘텐츠를 표시하는 동작을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치가 콘텐츠를 표시하는 방법은, 스크린의 방향을 결정하기 위한 센싱 데이터를 획득하는 동작과, 상기 센싱 데이터를 기초로 상기 스크린의 방향을 결정하는 동작과, 상기 스크린의 방향에 따른 콘텐츠의 표시 방향을 결정하는 동작과, 상기 표시 방향에 따라 상기 콘텐츠를 표시하는 동작을 포함할 수 있다.
도 190은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 190의 (a) 및 (b)에서 사용자는 전자 장치를 신체의 일부분에 착용하고 있는 것으로 가정한다. 디스플레이에 의하여 스크린에 표시되는 각종 콘텐츠들은 이미지의 형태로 표시될 수 있으며, 스크린 전체에 걸쳐 표시되는 이미지를 ‘화면 이미지’라 하기로 한다.
도 190의 (a)는 전자 장치의 기본 화면 이미지(E701)로서, 스크린에는 현재 시각, 날짜 및 요일이 포함되어 있다. 예를 들어, 사용자가 운동을 하고 있지 않은 경우에는 제어 모듈(E201)은 기본 화면 이미지(E701)를 표시하도록 디스플레이를 제어할 수 있다.
도 190의 (b)는 사용자가 운동을 하고 있는 경우에 전자 장치가 디스플레이를 통해 스크린에 표시하는 콘텐츠의 일 예를 나타낸 것이다. 도 190의 (b)에서 사용자는 조깅을 하고 있는 것으로 가정한다. 도 190의 (b)를 참조하면, 전자 장치의 제어 모듈(E201)은 하나 이상의 운동 모드 화면 이미지들(E711, E712, E713, E714)을 표시하도록 디스플레이를 제어할 수 있다. 운동 모드 화면들에는 운동의 종류, 운동 시간, 잔여 시간, 이동 거리, 소모 칼로리, 사용자의 심박수, 운동으로 인한 스트레스 정도, 운동 진행률 등의 콘텐츠가 표시될 수 있다. 도 190의 (b)의 운동 모드 화면 이미지들(E711-E714) 각각은 운동 지수를 나타낸 화면 이미지(E711), 운동 시간을 나타낸 화면 이미지(E712), 사용자의 스트레스 정도를 나타낸 화면 이미지(E713) 및 운동 진행률을 나타낸 화면 이미지(E714)이다. 일 실시예에 따라 운동 모드 화면 이미지들(E711, E712, E713, E714) 각각은 스크롤 입력 등과 같은 디스플레이의 스크린을 통해 입력되는 사용자 입력에 의하여 다른 화면 이미지들로 전환될 수 있다. 예를 들어, 스크린(E150) 상에 운동 모드 화면 이미지(E711)가 표시되고 있는 상태에서 위에서 아래로 움직이는 스크롤 입력 또는 우에서 좌로 움직이는 스크롤 입력이 입력되면, 디스플레이는 운동 모드 화면 이미지(E711)를 운동 모드 화면 이미지(E712)로 전환하여 표시할 수 있다. 도 190은 스크린을 통한 사용자 입력에 대해서만 서술하였으나, 다른 실시예에 따라 상기 사용자 입력은 음성 입력, 제스처 입력 등이 될 수 있다. 또한 전자 장치는 사용자의 시선을 추적할 수 있으며, 추적된 사용자의 시선을 사용자 입력으로서 인식할 수 있다. 제어 모듈(E201)은 상기 음성 입력, 제스처 입력, 사용자의 시선 등의 다양한 사용자 입력에 따라 전자 장치를 제어, 예를 들어 스크린에 표시되는 화면 이미지를 전환하거나 스크롤을 제어할 수 있다.
전자 장치가 운동 모드를 실행하고 있는 경우에는, 사용자가 운동을 하고 있으므로 전자 장치가 운동 모드 화면 이미지(예를 들어, 운동 모드 화면 이미지들(E711, E712, E713, E714))을 진동 등과 함께 표시한다고 하더라도 사용자가 확인을 하지 못하는 상황이 발생할 수 있다. 상기와 같이 사용자가 상기 운동 모드 화면 이미지를 확인하지 못한 경우, 전자 장치는 사용자가 확인하지 못한 운동 모드 화면 이미지를 초기 화면 이미지 또는 기본 화면 이미지로 자동 설정할 수 있다. 예를 들어, 진동과 함께 특정 운동 모드 화면 이미지를 표시하였으나 사용자가 확인하지 못했다고 판단되는 경우 제어 모듈(E201)은 상기 특정 운동 모드 화면 이미지를 사용자가 확인할 때까지 홈 화면 이미지로 설정할 수 있다. 이로써, 사용자는 상기 특정 운동 모드 화면 이미지를 확인하기 위하여 별도의 입력을 전자 장치에 입력하지 않아도 된다. 또한 상기 특정 운동 모드 화면 이미지를 초기 화면 이미지로 설정함으로써, 사용자가 확인하지 않아도 되는 화면 이미지의 표시 횟수를 줄일 수 있고, 그로 인하여 전자 장치의 전류 소모를 줄일 수 있게 된다.
도 191은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 191의 (a) 및 (b)에서 사용자는 전자 장치를 신체의 일부분에 착용하고 있고, 사용자는 운동을 하고 있는 상태인 것으로 가정한다.
도 191의 (a)는 전자 장치가 수신한 메시지의 개수 또는 새로운 메시지가 왔음을 알리기 위한 메시지 알림 화면 이미지(E810)이다. 메시지 알림 화면 이미지(E810)를 통해 디스플레이는 사용자에 의하여 확인되지 않은 신규 메시지의 개수, 메시지의 발신자 및 현재 시각을 표시할 수 있다. 도 191의 (a)에서 사용자에 의하여 확인되지 않은 신규 메시지들은 6개이다.
전자 장치는 메시지 알림 화면 이미지(E810)를 표시한 상태에서 신규 메시지의 내용을 표시하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 메시지 알림 화면 이미지(E810)가 스크린에 표시되고 상태에서, 전자 장치는 메시지의 내용을 표시하기 위한 사용자 입력으로서, 사용자가 손가락 끝 또는 스타일러스 펜으로 스크린의 표면을 두드리는 사용자 입력을 수신할 수 있다. 제어 모듈(E201)은 전자 장치로 메시지의 내용을 표시하기 위한 사용자 입력이 입력되면 메시지 알람 화면 이미지(E810)에서 메시지 표시 화면 이미지(E820)로 화면 이미지가 전환되도록 디스플레이를 제어할 수 있다.
도 191의 (b)는 신규 메시지들 중 하나의 내용을 표시하는 메시지 표시 화면 이미지(E820)를 나타낸 것이다. 메시지 화면 이미지(E820)를 통해 디스플레이는 발신자, 메시지의 내용, 현재 시각 또는 수신 시각 등을 스크린에 표시할 수 있다.
한 실시예에 따르면, 전자 장치는 메시지 표시 화면 이미지(E820)에서 메시지 알람 화면 이미지로 화면 이미지를 전환할 수 있다. 도 191의 (b)와 같이 메시지 표시 화면 이미지(E820)가 디스플레이를 통해 표시되고 있는 상태에서, 전자 장치는 메시지의 내용을 표시하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 메시지 알림 화면 이미지(E810)가 디스플레이를 통해 표시되고 상태에서, 전자 장치는 메시지의 내용을 표시하기 위한 사용자 입력으로서, 사용자가 손가락 끝 또는 스타일러스 펜으로 스크린의 표면을 두드리는 사용자 입력을 수신할 수 있다. 제어 모듈(E201)은 전자 장치로 메시지의 내용을 표시하기 위한 사용자 입력이 입력되면 메시지 알람 화면 이미지(E810)에서 메시지 표시 화면 이미지(E820)로 화면 이미지가 전환되도록 디스플레이를 제어할 수 있다.
도 192는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 192의 (a) 및 (b)에서 사용자는 전자 장치를 신체의 일부분에 착용하고 있는 것으로 가정한다.
도 192의 (a) 및 (b)는 전자 장치의 디스플레이에 표시되는 화면 이미지들을 순서대로 나타낸 것으로서, 도 192의 (a)는 사용자가 운동을 하고 있지 않은 경우의 화면 이미지들이고, 도 192의 (b)는 사용자가 운동을 하고 있는 경우의 화면 이미지들이다.
일 실시예에 따라 전자 장치가 웨어러블 장치로 구현되는 경우 스크린의 제한된 사이즈를 고려하여 카드 형식의 UI로 화면이 구성될 수 있다. 예를 들어, 스크린에 표시되는 화면 이미지들 각각은 페이지의 형태로 구성될 수 있으며, 사용자는 터치 또는 플릭(flick) 입력을 통해 순차적으로 페이지를 넘기면서 다른 페이지들을 조회할 수 있다. 이때 페이지들의 순서는 미리 정해져 있을 수 있으며, 도 192의 (a) 및 (b)는 카드 형식의 UI, 예를 들어 하나의 페이지가 하나의 화면에 표시되도록 구성되어 스크린에 표시되는 일 예를 나타낸 것이다. 이때, 페이지들의 순서는 사용자 입력에 따라 변경되거나 또는 전자 장치에 의해 임의로 변경될 수 있다.
예를 들어, 전자 장치가 다른 전자 장치(예: 전자 장치(104))와 통신 수단(예를 들어, 통신 인터페이스(160))을 통해 서로 연결된 경우, 전자 장치는 상기 다른 전자 장치와의 연결 이벤트와 관련된 GUI들, 즉 페이지들을 우선적으로 스크린에 표시할 수 있다.
도 192를 일 예로 설명하면, 전자 장치의 초기 화면 이미지가 현재 시각을 나타낸 현재 시각 화면 이미지(E920)인 것으로 가정한다. 전자 장치의 제어 모듈(E201)은 현재 시각 화면 이미지(E920)를 초기 화면 이미지로서 설정하고, 다른 화면 이미지들(E910, E930, E940)보다 우선적으로 현재 시각 화면 이미지(E920)를 표시하도록 디스플레이를 제어할 수 있다.
일 실시예에 따라 전자 장치는 다른 전자 장치(예: 전자 장치(104))로부터 메시지를 수신할 수 있다. 전자 장치가 다른 전자 장치로부터 메시지를 수신하는 것을 ‘메시지 수신 이벤트’라 하기로 한다. 상기 메시지 수신 이벤트가 발생하는 경우, 전자 장치의 제어 모듈(E201)은 상기 메시지와 관련된 메시지 알람 화면 이미지(E910)를 초기 화면 이미지로서 재설정할 수 있다. 메시지 알람 화면 이미지(E910)가 초기 화면 이미지로 재설정되었으므로, 디스플레이는 상기 메시지 알람 화면 이미지(E910)를 다른 화면 이미지들(E920, E930, E940)보다 우선적으로 표시할 수 있다. 또한 사용자 입력에 따라 ‘메시지 알람 화면 이미지(E910) → 현재 시각 화면 이미지(E920) → 운동 모드 화면 이미지(E930) → 음악 재생 화면 이미지(E940)’의 순서로 화면 이미지들이 전환될 수 있다.
다른 실시예에 따라 상기 메시지 수신 이벤트의 발생 후 미리 설정된 시간이 경과되면, 제어 모듈(E201)은 다시 현재 시각 화면 이미지(E920)를 초기 화면 이미지로 재설정하도록 전자 장치를 제어할 수도 있다.
상기와 같이 전자 장치는 디스플레이를 통해 표시되는 화면 이미지들의 우선권을 변경할 수 있다. 일 실시예에 따라 전자 장치는 사용자가 현재 조회 중이던 최근 화면 이미지들의 순서가 아니라 다른 전자 장치 등에 의해 발생된 이벤트(예를 들어, 메시지 수신 이벤트, 사용자 상태 알람 이벤트, 운동 모드 알람 이벤트 등)와 관련된 화면 이미지들 우선적으로 표시하도록 화면 이미지들 각각의 표시 순서를 변경할 수 있다. 이로써 사용자는 전자 장치에 발생된 가장 최신의 이벤트나 정보를 용이하게 확인할 수 있다. 일 실시예에 따라 상기 이벤트가 발생된 후 미리 설정된 시간이 경과한 뒤에는, 전자 장치는 별도의 사용자 입력을 수신하지 않아도 상기 화면 이미지들의 표시 순서를, 상기 이벤트가 발생되기 전의 화면 이미지 순서로 재변경할 수 있다. 이로써 사용자는 용이하게 전자 장치에 표시되는 화면 이미지들을 순서대로 확인할 수 있다.
도 192의 (a)를 참조하면, 전자 장치는 초기 화면 이미지로서 메시지 알람 화면 이미지(E910)를 표시하고 있다. 전자 장치는 도 192의 (a)에 도시된 바와 같이 ‘메시지 알람 화면 이미지(E910) → 현재 시각 화면 이미지(E920) → 운동 모드 화면 이미지(E930) → 음악 재생 화면 이미지(E940)’의 순서로 콘텐츠를 표시할 수 있다. 일 실시예에 따라 초기 화면 이미지인 메시지 알람 화면 이미지(E910)는 사용자에 의해 지정된 초기 화면 이미지, 전자 장치의 기본값으로서 지정된 초기 화면 이미지 또는 이전에 사용자가 전자 장치를 사용했을 때의 종료 화면 이미지일 수 있다. 전자 장치는 사용자 입력에 따라 화면 이미지를 전환할 수 있다. 메시지 알람 화면 이미지(E910)가 표시되고 있는 상태에서 예를 들어 위에서 좌로 스크린의 표면을 미는 사용자 입력(스와입(swipe) 입력)이 감지되면 전자 장치는 현재 시각 화면 이미지(E920)를 표시할 수 있다. 반대로 좌에서 우로 스크린(E150)의 표면을 미는 사용자 입력이 입력되면 전자 장치는 음악 재생 화면 이미지(E940)를 표시할 수 있다. 마찬가지로 현재 시각 화면 이미지(E920)가 표시되고 있는 상태에서 좌에서 우로 스크린의 표면을 미는 사용자 입력 또는 좌에서 우로 스크린의 표면을 미는 사용자 입력이 입력되면 메시지 알람 화면 이미지(E910) 또는 운동 모드 화면 이미지(E930)가 표시될 수 있다.
운동 모드 화면 이미지(E930)가 표시되고 있는 상태에서 좌에서 우로 스크린의 표면을 미는 사용자 입력 또는 좌에서 우로 스크린의 표면을 미는 사용자 입력이 입력되면 현재 시각 화면 이미지(E920) 또는 음악 재생 화면 이미지(E940)가 표시될 수 있다. 음악 재생 화면 이미지(E940)가 표시되고 있는 상태에서 좌에서 우로 스크린의 표면을 미는 사용자 입력 또는 좌에서 우로 스크린의 표면을 미는 사용자 입력이 입력되면 운동 모드 화면 이미지(E930) 또는 메시지 알람 화면 이미지(E910)가 표시될 수 있다.
다른 실시예에 따라 전자 장치는 상기 전자 장치가 호스트 디바이스고, 다른 전자 장치가 웨어러블 장치로 구현된 컴패니언 디바이스이며, 상기 호스트 디바이스와 컴패니언 디바이스가 각각의 통신 수단을 통하여 서로 연결된 상태라고 가정한다. 또한 호스트 디바이스(예를 들어, 전자 장치)가 컴패니언 디바이스에서 표시되고 있는 데이터를 상기 호스트 디바이스에 표시할 수 있고, 마찬가지로 컴패니언 디바이스가 호스트 디바이스에서 표시되고 있는 데이터를 상기 컴패니언 디바이스에 표시할 수 있다고 가정한다.
호스트 디바이스는 하나 이상의 센서들이 장착된 컴패니언 디바이스(예를 들어, 웨어러블 장치)에서 발생되는 이벤트들에 우선권를 부여할 수 있다. 상기 호스트 디바이스(예를 들어 전자 장치)는 상기 컴패니언 디바이스와 관련된 이벤트를 호스트 디바이스 내에 발생되는 이벤트보다 우선적으로 표시할 수 있다.
예를 들어, 컴패니언 디바이스가 PPG 센서가 장착된 스마트 와치라고 가정한다. 컴패니언 디바이스는 상기 PPG 센서를 이용하여 상기 컴패니언 디바이스를 착용한 사용자의 생체 정보(예를 들어, 심박수)을 측정하여 자신의 스크린에 표시할 수도 있다. 또한 컴패니언 디바이스는 상기 PPG 센서를 통해 측정된 생체 정보를 호스트 디바이스로 전송할 수 있다. 호스트 디바이스는 상기 스마트 와치로부터 수신한 생체 정보를 자신의 스크린에 우선적으로 표시함으로써 사용자가 확인할 수 있도록 할 수 있다 즉 호스트 디바이스는 상기 생체 정보에 우선권을 부여하고, 상기 컴패니언 디바이스로부터 상기 생체 정보를 전달받는 동시에 상기 생체 정보를 실시간으로 자신의 스크린에 표시할 수 있다.
일반적으로 호스트 디바이스와, 웨어러블 장치인 컴패니언 디바이스 사이의 동기화는 실시간으로 이루어지는 것이 아니라 미리 설정된 일정 주기마다 이루어질 수 있다. 또한 호스트 디바이스와 컴패니언 디바이스 사이의 연결이 끊어져서 두 장치들 사이의 동기화가 이루어지지 않을 수도 있다. 그에 따라 사용자는 호스트 디바이스를 통해 상기 생체 정보 등의 건강과 관련된 알람(notification)을 확인하기 힘들게 될 수 있다.
상기 알람을 용이하게 확인할 수 있도록 본 발명의 일 실시예에서 따른 호스트 디바이스(예를 들어, 전자 장치)는 웨어러블 장치(예: 전자 장치(104))로부터 전달된 생체 정보 관련 이벤트에 우선권을 줄 수 있다.
도 192의 (b)는 사용자가 운동을 시작하거나 또는 운동을 하고 있는 경우에, 웨어러블 장치로 구현된 전자 장치가 사용자의 운동량(예를 들어, 이동 거리, 소모 칼로리 등)을 포함하는 운동 모드 화면 이미지(E930)를 초기 화면 이미지로서 표시한 것을 나타낸다.
전자 장치의 제어 모듈(E201)은 가속도 센서 또는 생체 센서에 의해 측정된 센싱 신호를 분석하여 사용자의 운동량이 미리 설정된 운동량 이상이거나 또는 미리 설정된 심박수 이상이면, 사용자의 현재 상태를 운동 상태로 결정할 수 있다. 사용자가 운동 중인 것으로 결정되면, 제어 모듈(E201)은 별도의 사용자 입력을 수신하지 않았더라도 자동으로 운동 모드 화면 이미지(E930)를 초기 화면 이미지로서 설정하여 스크린에 표시할 수 있다. 그에 따라 전자 장치는 도 192의 (b)에 도시된 바와 같이 ‘운동 모드 화면 이미지(E930) → 음악 재생 화면 이미지(E940) → 메시지 알람 화면 이미지(E910) → 현재 시각 화면 이미지(E920)’의 순서로 콘텐츠를 표시할 수 있다. 도 192의 (a)와 유사한 방식으로 도 192의 (b)에서도 사용자 입력에 따라 화면 이미지들(E910-E940)이 전환될 수 있다.
도 193은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 193의 (a) 및 (b)에서 사용자는 전자 장치를 신체의 일부분에 착용하고 있는 것으로 가정한다.
도 193의 (a)는 사용자가 운동을 하고 있지 않은 경우에 디스플레이의 스크린에 의해 표시되는 화면 이미지들이고, (b)는 사용자가 운동을 하고 있는 경우의 화면 이미지들이다.
도 193의 (a)를 참조하면, 사용자가 운동을 하고 있지 않은 경우 전자 장치의 디스플레이는 메시지 알람 화면 이미지(F10)를 초기 화면 이미지로서 표시하고 있다. 또한 화면 이미지의 전환을 위한 입력, 예를 들어 사용자의 손가락 또는 스타일러스 펜으로 스크린의 표면을 위에서 아래로 밀어내는 동작이 전자 장치에 입력되면, 제어 모듈(E201)은 다른 화면 이미지를 표시하도록 디스플레이를 제어할 수 있다. 도 193의 (a)에서는 부재중 전화 알림 화면 이미지(F20) 및 운동 스케줄 알림 화면 이미지(F30)가 메시지 알람 화면 이미지(F10) 다음으로 표시되고 있다.
사용자가 운동을 하고 있는 경우 제어 모듈(E201)은 운동에 따른 사용자의 스트레스 정도를 초기 화면 이미지로서 표시하도록 디스플레이를 제어할 수 있다. 도 193의 (b)는 사용자의 스트레스 레벨을 나타낸 스트레스 레벨 화면 이미지(F40)이다. 사용자가 운동을 시작하면, 제어 모듈(E201)은 사용자로부터의 별도 입력이 수신하지 않았더라도 스트레스 레벨 화면 이미지(F40)를 초기 화면 이미지로서 자동 설정할 수 있다. 스트레스 레벨 화면(F40)을 초기 화면 이미지로 설정함으로써, 전자 장치는 운동을 하고 있는 사용자가 실시간으로 자신의 스트레스 레벨을 확인할 수 있도록 할 수 있다.
한 실시예에 따르면, 사용자가 천천히 걷는 경우와 같이 사용자의 운동량이 미리 설정된 운동량 이하이거나 또는 HRV 센서에 의해 측정된 사용자의 스트레스 지수가 미리 설정된 지수 이하인 경우에는 도 193의 (a)와 같이 메시지 알람 화면 이미지(F10)를 초기 화면 이미지로서 설정할 수 있다. 또한 지나친 운동으로 사용자의 스트레스 지수가 미리 설정된 임계값 이상으로 높은 것으로 결정되면, 도 193의 (b)와 같이 스트레스 레벨 화면 이미지(F40)를 초기 화면 이미지로 설정하거나 또는 사용자의 스트레스 레벨 또는 사용자의 현재 상태를 스크린의 상단에 별도로 표시할 수 있다.
도 194는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 194의 (a) 및 (b)에서 사용자는 전자 장치를 신체의 일부분에 착용하고 있는 것으로 가정한다. 또한 도 194에서 전자 장치는 컴패니언 디바이스로서, 타 전자 장치와 연동되는 것으로 가정한다.
도 194의 (a)는 전자 장치가 호스트 디바이스인 전자 장치와 연동되고 있는 경우에 디스플레이를 통해 스크린에 표시되는 콘텐츠를 나타낸 것이다. 도 194의 (a)를 참조하면, 전자 장치는 초기 화면 이미지로서 메시지 알람 화면 이미지(E910)를 표시하고 있다. 전자 장치는 도 194의 (a)에 도시된 바와 같이 ‘메시지 알람 화면 이미지(E910) → 현재 시각 화면 이미지(E920) → 운동 모드 화면 이미지(E930) → 미디어 재생 화면 이미지(E940)’의 순서로 콘텐츠를 표시할 수 있다.
전자 장치는 사용자 입력에 따라 스크린에 표시되는 화면 이미지를 전환할 수 있다. 메시지 알람 화면 이미지(E910)가 표시되고 있는 상태에서 예를 들어 우에서 좌로 스크린의 표면을 미는 사용자 입력 또는 좌에서 우로 스크린의 표면을 미는 사용자 입력이 입력되면 전자 장치는 현재 시각 화면(F120) 이미지 또는 미디어 재생 화면 이미지(E940)를 스크린에 표시할 수 있다. 마찬가지로 현재 시각 화면 이미지(F120)가 표시되고 있는 상태에서 좌에서 우로 스크린(E150)의 표면을 미는 사용자 입력 또는 좌에서 우로 스크린의 표면을 미는 사용자 입력이 입력되면 메시지 알람 화면 이미지(E910) 또는 운동 모드 화면 이미지(F130)가 스크린에 표시될 수 있다.
또한 전자 장치는 외부 전자 장치의 연동을 통하여 호스트 디바이스에 저장된 콘텐츠 또는 호스트 디바이스에서 제공되는 기능들을 사용자에게 제공할 수 있다. 도 194의 (a)에서 메시지 기능 및 음악 재생 기능은 호스트 디바이스인 외부 전자 장치로부터 제공되는 것으로 가정하면, 메시지 알람 화면 이미지(E910) 및 미디어 재생 화면 이미지(E940)는 전자 장치가 호스트 디바이스인 외부 전자 장치와 연동되고 있는 경우에만 디스플레이를 통해 스크린에 표시될 수 있다.
도 194의 (b)는 전자 장치가 호스트 디바이스인 외부 전자 장치와 연동되지 않는 경우, 즉 전자 장치가 스탠드 얼론(stand alone) 모드로 동작하는 경우에 디스플레이를 통해 스크린에 표시되는 화면 이미지들을 나타낸 것이다. 호스트 디바이스였던 외부 전자 장치와의 연동이 종료되면, 외부 전자 장치에 의하여 제공되는 기능들은 전자 장치에 의하여 사용자에게 제공될 수 없다. 제어 모듈(E201)은 외부 전자 장치와의 연결 여부와 상관없이 사용자에게 제공할 수 있는 기능들, 즉 외부 전자 장치 고유의 기능들에 따른 화면 이미지들만을 제공하도록 디스플레이를 제어할 수 있다.
도 194의 (a)에 도시된 화면 이미지들(E910-E940) 중 메시지 알람 화면 이미지(E910) 및 미디어 재생 화면 이미지(E940)에 따른 기능들은 외부 전자 장치에 의하여 제공되는 기능이므로, 전자 장치가 외부 전자 장치와 연동되지 않는 경우에는 사용자에게 제공될 수 없다. 따라서 도 194의 (b)에는 현재 시각 화면 이미지(F120) 및 운동 모드 화면 이미지(F130) 만이 디스플레이를 통해 스크린에 표시될 수 있다.
일 실시예에 따라 웨어러블 장치로 구현된 전자 장치가 단독으로 동작하는 경우, 예를 들어 호스트 디바이스(예: 전자 장치(104))로부터 전송되는 메시지를 수신하지 않거나 또는 외부 전자 장치와의 연결이 종료된 경우 등에는, 제어 모듈(E201)은 외부 전자 장치와의 통신이 필요한 모드와 연관된 화면 이미지를 제거할 수 있다. 즉 전자 장치가 단독으로 동작하는 경우 제어 모듈(E201)은 상기 전자 장치가 단독으로 동작하였을 때 표시할 수 있는 모드 화면 이미지들만을 디스플레이를 통해 표시할 수 있다. 그에 따라 웨어러블 장치로 구현된 전자 장치에 저장된 멀티미디어 콘텐츠를 제어할 수 있는 경우에만, 제어 모듈(E201)은 디스플레이를 통해 미디어 재생 화면 이미지(E940)를 표시할 수 있다.
또 다른 실시예에 따라, 제어 모듈(E201)은 특정 시각 또는 특정 위치에서 사용자가 자주 사용한 어플리케이션의 사용 이력을 메모리(예: 메모리(130))에 기록할 수 있다. 현재 시각이 상기 특정 시각에 도달하는 이벤트, 혹은 전자 장치가 상기 특정 위치에 진입하는 이벤트 중 하나 이상의 이벤트들이 발생하면, 제어 모듈(E201)은 자동으로 상기 사용 이력을 기초로 상기 특정 시각 또는 특정 위치에서 사용자가 자주 사용한 어플리케이션의 초기 진입 화면 이미지를 디스플레이를 통해 스크린에 표시할 수 있다. 일 실시예에 따라 제어 모듈(E201)은 상기 특정 시각 또는 특정 위치에 도달하면, 사용자가 자주 사용한 어플리케이션을 상기 사용자가 용이하게 선택할 수 있도록 화면 이미지를 변경할 수도 있다.
제어 모듈(E201)은 어플리케이션들 각각의 사용 빈도 또는 총 사용 시간 중 하나 이상을 기초로 어플리케이션들 각각의 선호도를 계산할 수 있다. 제어 모듈(E201)은 어플리케이션들 각각의 선호도에 따라 상기 어플리케이션들 각각을 선택하기 위한 메뉴 또는 실행 아이콘을 임의로 배치할 수 있다. 예를 들어, 제어 모듈(E201)은 디스플레이를 통해 선호도가 높은 어플리케이션에 대응하는 실행 아이콘을 다른 실행 아이콘들보다 크게 표시하거나 또는 스크린의 가운데에 표시함으로써 사용자의 눈에 쉽게 띄도록 배치할 수 있다. 일 실시예에 따라 제어 모듈(E201)은 전자 장치의 위치 정보에 따른 어플리케이션들 각각에 대응하는 선호도를 평가할 수 있다. 어플리케이션별로 선호도가 높은 장소에 전자 장치가 진입하거나 또는 상기 사용자가 상기 위치가 포함된 영역(예를 들어, 지오펜스(geofence) 설정 영역, AP(access point) 신호 강도가 미리 설정된 기준값 이상인 영역 등)에서 활동하는 동안에는, 상기 제어 모듈(E201)은 디스플레이를 제어하여 해당 어플리케이션을 실행하기 위한 메뉴 또는 실행 아이콘의 위치, 크기, 색상 중 적어도 하나의 속성을 변경하여 표시할 수 있다.
도 195a 및 도 195b는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 195a는 사용자(F201)가 운동을 하고 있지 않은 경우에 전화 수신의 거절을 위한 사용자 입력(F251)을 나타낸 도면이고, 도 195b는 사용자(F201)가 운동을 하고 있는 경우에 전화 수신의 거절을 위한 사용자 입력(F252)을 나타낸 도면이다. 도 195의 (a) 및 (b)에서는 “Peter smith”라는 발신자로부터 전자 장치로 인커밍 콜을 수신하고 있는 것으로 가정한다.
도 195a 및 도 195b를 참조하면, 전화 수신을 거절하기 위한 사용자 입력(F251, F252)로서 사용자(F201)는 스크린(F210) 상의 임의의 한 지점(F230)에서 좌로 드래그할 수 있다. 상기와 같이 임의의 한 지점에서 다른 지점으로 드래그함으로써 전자 장치에 입력되는 사용자 입력을 ‘드래그 입력’이라 하기로 한다.
도 195a의 드래그 입력(F251)과 도 195b의 드래그 입력(F252)은 모두 전자 장치로 걸려오고 있는 전화의 수신을 거절하기 위한 것이지만, 드래그 입력들(F251, F252) 각각의 드래그 길이들(d1, d2)은 서로 상이하다. 도 195a에 도시된 드래그 입력(F251)의 드래그 길이(d1)보다 도 195b에 도시된 드래그 입력(F252)의 드래그 길이(d2)가 더 길다. 사용자(F201)가 운동을 하고 있지 않을 경우 전자 장치는, 드래그 입력(F251)의 길이가 d1 이상이면 전화의 수신을 거절할 수 있다. 또한 사용자(F201)가 운동을 하고 있을 경우, 전자 장치는 드래그 입력(F252)의 길이가 d2 이상이어야 전화의 수신을 거절할 수 있다.
도 195a와 도 195b가 모두 전화의 수신을 거절하기 위한 드래그 입력(F251, F252)이기는 하지만, 사용자(F201)의 현재 상태, 즉 사용자(F201)가 운동을 하고 있는지 여부에 따라 상기 드래그 입력(F251, F252)이 유효한지 여부를 판단하기 위한 기준값은 서로 다를 수 있다. 운동을 하고 있을 경우, 사용자(F201)는 운동을 하고 있지 않을 경우보다 움직임이 많으므로 전자 장치에 잘못된 사용자 입력을 입력할 가능성이 있다. 그에 따라 도 195a 및 도 195b에 도시된 바와 같이 사용자(F201)가 운동을 하고 있을 경우의 기준값이 운동을 하고 있지 않을 경우의 기준값보다 더 클 수 있다.
도 195a 및 도 195b에 도시된 바와 같이 동일한 사용자 입력(F251, F252)이라고 할지라도 상기 사용자 입력의 유효 여부를 결정하기 위한 기준값을 다르게 적용함으로써, 상기와 같은 사용자로부터의 잘못된 사용자 입력에 따라 전자 장치가 오동작하는 것을 방지할 수 있다.
일 실시예에 따라 사용자 입력(F230)은 스와입(swipe), 탭(Tap), 롱 프레스(long press), 호버링(hovering) 중 적어도 하나일 수 있다. 상기 사용자 입력(F230)을 입력받을 때, 제어 모듈(E201)은 상기 사용자 입력(F230)을 식별하기 위한 기준값을 전자 장치 또는 사용자의 현재 상태에 따라 다르게 적용할 수 있다. 예를 들어, 사용자의 움직임이 빠르거나 또는 사용자가 격렬한 운동을 하고 있는 경우, 사용자는 전자 장치가 장착된 부위에서의 빠른 움직임 때문에 전자 장치의 스크린을 확인하기 어려울 수 있다. 또한 사용자가 격렬한 운동을 하고 있는 경우, 그 격렬한 운동으로 인하여 사용자는 주의를 분산시키기 어렵거나 또는 스크린을 장시간 조회할 여유가 없을 수 있다. 상기와 같은 경우, 전자 장치를 통해 입력되는 사용자 입력(예를 들어, 터치(touch), 플릭(flick) 등)은 사용자가 운동을 하지 않거나 사용자의 동작이 없는 상태인 경우보다 상기 사용자 입력에 따른 입력값(예를 들어, 입력 위치, 입력 패턴, 입력 강도 등)의 오차가 크거나 정확하지 않을 수 있다.
따라서 제어 모듈(E201)은 상기 사용자 입력의 터치 강도, 플릭(flick) 또는 드래그(drag)의 거리, 터치되는 면적, 카메라 모듈(미도시)를 통해 입력되는 제스처의 크기, 터치 입력의 유지 시간, 제스처 입력의 속도 등에 따라 전자 장치의 기능들 각각의 동작 여부를 결정할 수 있다.
도 196은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 196에서 전자 장치는 디스플레이를 통해 세로 UI를 표시하고 있다. 세로 UI는 세로가 긴 형태의 화면을 제공하는 UI이고, 가로 UI는 가로가 긴 형태의 화면을 제공하는 UI이다.
도 196을 참조하면 디스플레이의 스크린에는 제1 내지 제3 화면 이미지들(F311, F312, F313)이 표시될 수 있다. 제1 화면 이미지(F311)는 알람과 관련된 콘텐츠를 포함하고, 제2 화면 이미지(F312)는 건강 관리와 관련된 콘텐츠를 포함하고, 제3 화면 이미지(F313)는 메시지와 관련된 콘텐츠를 포함할 수 있다. 도 196에서 전자 장치는 제1 내지 제4 입력(F321, F322, F323, F324)를 수신하면 스크린에 표시되는 화면 이미지를 전환할 수 있다. 도 196에서 화면 이미지의 전환을 위한 제1 내지 제4 입력(F321-F324)는 디스플레이에 제2 화면 이미지(F312)가 표시되고 있는 상태에서 입력되고 있는 것으로 가정한다.
도 196을 참조하면, 제1 입력(F321)은 사용자가 손가락 또는 스타일러스 펜을 이용하여 스크린 상의 어느 한 지점을 선택한 상태에서 제2 화면 이미지(F312)를 아래에서 위로 밀어올리는 것이다. 제1 입력(F321)이 입력되면, 제어 모듈(E201)은 제2 화면 이미지(F312)에서 제3 화면 이미지(F313)로 화면 이미지가 전환되도록 디스플레이를 제어할 수 있다.
제2 입력(F322)은 사용자가 손가락 또는 스타일러스 펜을 이용하여 스크린 상의 어느 한 지점을 선택한 상태에서 제2 화면(F312)을 위에서 아래로 밀어내리는 것이다. 제2 입력(F322)이 입력되면, 제어 모듈(E201)은 제2 화면 이미지(F312)에서 제1 화면 이미지0(F311)로 전환되도록 디스플레이를 제어할 수 있다.
제3 입력(F323)은 사용자가 손가락 또는 스타일러스 펜을 이용하여 스크린 상의 어느 한 지점을 선택한 상태에서 제2 화면 이미지(F312)를 좌에서 우로 미는 것이다. 제3 입력(F323)이 입력되면, 제어 모듈(E201)은 제2 화면 이미지(F312)에서 제1 화면 이미지(F311)로 화면 이미지가 전환되도록 디스플레이를 제어할 수 있다.
제4 입력(F324)은 사용자가 손가락 또는 스타일러스 펜을 이용하여 스크린 상의 어느 한 지점을 선택한 상태에서 제2 화면(F312)을 우에서 좌로 미는 것이다. 제4 입력(F324)이 입력되면, 제어 모듈(E201)은 제2 화면 이미지(F312)에서 제3 화면 이미지(F313)로 전환되도록 디스플레이를 제어할 수 있다.
즉 수직 또는 수평 어느 방향으로 사용자 입력(예를 들어, 스와입(swipe) 입력)이 입력되어도 전자 장치의 디스플레이를 통해 표시되는 스크린 이미지 또는 메뉴 GUI는 수평 또는 수직으로 이동 또는 변경될 수 있다. 이로써 전자 장치를 사용하는 사용자는 가로/세로 화면을 사용하는 전자 장치에서의 화면 이미지의 자동 전환으로 인한 혼란을 느끼지 않을 수 있게 된다. 또한 도 196에 도시된 바와 같은 방식으로 화면 이미지의 전환이 이루어짐으로써 사용자는 통일되고 심플한 입력 방식으로 전자 장치에 사용자 입력을 입력할 수 있다.
다른 실시예에 따라 도 196에 도시된 전자 장치와 같이 세로가 긴 형태가 아니라 세로가 긴 형태인 경우에도 도 196에 도시된 바와 같은 사용자 입력, 예를 들어 사용자 인터페이스를 통해 입력된 스와입/플릭 신호들을 수신할 수 있다. 또한 도 196에서 설명한 바와 같은 화면 이미지의 전환 방식으로 전자 장치의 화면 이미지가 자동으로 전환될 수 있다.
도 197은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다.
도 197을 참조하면, 전자 장치(E101)는 호스트 디바이스로서 구현되어 컴패니언 디바이스인 외부 전자 장치(E104)와 연동될 수 있다. 도 197에 도시된 바와 같이, 컴패니언 디바이스인 외부 전자 장치(E104)는 웨어러블 장치(예를 들어 원형 손목시계타입의 웨어러블 장치 등)로 구현되어 사용자의 신체 일부에 착용될 수 있다. 또한 호스트 디바이스인 전자 장치(E101)는 상기 외부 전자 장치(E104)와 가능한 위치에 위치하여 상기 외부 전자 장치(E104)를 제어할 수 있다. 도 197에서 외부 전자 장치(E104)는 전자 장치(E101)의 제어 하에 운동 모드를 실행하고 있는 상태이며, 전자 장치(E101)의 제어 하에 오디오 파일을 재생하고 있다. 외부 전자 장치(E104)는 재생 중인 오디오 파일에 대한 정보(예: 곡명, 재생 시간 등)와, 오디오 파일의 재생과 관련된 제어를 위한 메뉴(예: 볼륨 조절, 일시 정지, 멈춤 등)를 포함하는 화면(F450)을 표시할 수 있다.
일 실시예에 따라 외부 전자 장치는 상기 외부 전자 장치를 착용한 사용자의 움직임 정도를 결정하고(예를 들어, 전력질주 또는 걷기 운동 등), 상기 움직임 정도에 따라 오디오 및 음성의 출력 레벨을 차등적으로 변경 적용할 수 있다. 이로써 외부 전자 장치는 사용자의 청각에 최적화된 소리의 출력 레벨 및 입력 레벨(예를 들어, 마이크 등)을 제공할 수 있다.
예를 들어, 사용자가 운동을 열심히 하는 중에 통화를 하게 된 경우, 외부 전자 장치는 상기 사용자가 운동을 하지 않을 때보다 스피커 또는 마이크의 출력을 높이거나 낮출 수 있다. 외부 전자 장치는 통화 음성 레벨을 다르게 하기 위하여 예를 들어, 스피커, 마이크, 블루투스 헤드셋, 헤드폰 등의 볼륨 조정, 감도 조정, 노이즈 필터링 조정 등을 통하여 입출력 레벨을 제어할 수 있다. 이로써 사용자는 운동 중에도 용이하게 외부 전자 장치로부터의 소리를 듣거나 또는 상기 외부 전자 장치에 소리를 입력할 수 있다.
도 198은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 198의 외부 전자 장치(E104)는 도 197에 도시된 원형 손목시계타입의 웨어러블 장치로서 호스트 디바이스(E101)와 연동 상태일 수 있다.
도 198은 사용자의 움직임이 미리 설정된 기준값 이상일 때, 즉 사용자가 격렬하게 운동을 하고 있을 때에 외부 전자 장치가 사운드를 최대 레벨로 출력한 경우을 나타낸 것이다. 도 198의 외부 전자 장치(E104)는 "Let it Be"라는 제목의 노래 파일을 재생 중이며, 상기 노래 파일은 최대 볼륨으로 스피커를 통해 출력될 수 있다. 외부 전자 장치는 재생 중인 오디오 파일에 대한 정보(예: 곡명, 재생 시간 등)와, 오디오 파일의 재생과 관련된 제어를 위한 메뉴(예: 볼륨 조절, 일시 정지, 멈춤 등)를 포함하는 화면(F550)을 표시할 수 있다.
한 실시예에 따르면, 사용자의 움직임 정도가 미리 설정된 기준값 이상인 경우, 예를 들어 사용자가 하고 있는 운동의 강도가 강하면 사용자가 착용하고 있는 외부 전자 장치는 디스플레이를 통해 사용자에게 알람(notification)을 표시하는 동작을 일시적으로 중지할 수 있다.
외부 전자 장치는 알림을 표시하지 않고(Notification interrupt), 상기 알람을 외부 전자 장치의 메모리에 저장할 수 있다. 이후, 센서 모듈을 통해 감지된 사용자의 움직임 정도가 상기 미리 설정된 기준값 미만으로 결정되면, 메모리에 저장되어 있던 알람을 표시하여 사용자에게 제공할 수 있다. 이로써 외부 전자 장치는 전력 소모를 줄일 수 있고, 사용자로 하여금 편리하게 알람을 확인할 수 있도록 한다.
한 실시예에 따르면, 외부 전자 장치는 스와입(swipe), 탭(tap), 롱 패스(long press), 호버링(hovering) 등의 다양한 사용자 입력을 사용자로부터 수신할 수 있다. 한 실시예에 따르면, 웨어러블 장치로 구현된 외부 전자 장치는 사용자가 운동 중이거나 또는 사용자의 동작이 미리 설정된 기준값 이상으로 클 때에는 일부의 사용자 입력을 차단함으로써 입력 오류를 줄일 수 있다. 예를 들어, 사용자가 푸쉬-업(push-up) 동작을 하고 있거나 또는 상기 푸쉬-업 동작을 한 직후라면, 호버링 입력이 외부 전자 장치로 정확하게 입력되지 않을 수 있다. 따라서 제어 모듈(E201)은 일정 시간(예를 들어, 사용자가 푸쉬-업 동작을 하는 동안)에는 상기 호버링 입력을 입력받지 않거나 또는 입력되더라도 무시할 수 있다.
한 실시예에 따르면, 전자 장치에서 특정 어플리케이션(예를 들어 건강 관리, SNS, 전화, 알람, 이미지 뷰어, 미디어 재생 중 하나 이상과 관련된 어플리케이션)이 실행되면, 웨어러블 장치로 구현되는 외부 전자 장치는 카운터 어플리케이션(counter application)을 표시할 수 있다. 상기 카운터 어플리케이션은, 상기 전자 장치에서 실행되는 상기 특정 어플리케이션과 연관되거나 또는 상기 특정 어플리케이션의 적어도 일부의 기능을 포함하는 어플리케이션일 수 있다. 예를 들어, 호스트 디바이스(예를 들어, 전자 장치)가 사용자의 건강 관리 어플리케이션(예를 들어, 심박 센서, 음식 칼로리 관리, 칼로리 소모 체크, 운동 코칭 등과 관련된 어플리케이션)을 구동하고 있는 경우, 컴패니언 디바이스인 외부 전자 장치도 상기 사용자의 건강 관리 어플리케이션과 관련된 헬스 코칭(health coaching) 화면을 표시할 수 있다.
다른 예로서, 호스트 디바이스(예: 전자 장치)가 갤러리 어플리케이션을 통해 사진들을 표시하고 있다면, 컴패니언 디바이스인 전자 장치도 갤러리 어플리케이션을 실행하거나 또는 상기 갤러리 어플리케이션에 진입하기 위한 사용자 인터페이스(UI)를 사용자에게 제공할 수 있다. 이로써 사용자는 전자 장치를 통해서 용이하게 갤러리 어플리케이션에 접근할 수 있다. 또 다른 예로서, 사용자가 호스트 디바이스(예를 들어, 전자 장치(103))를 통해 동영상 재생 어플리케이션을 실행하는 경우, 컴패니언 디바이스인 전자 장치에서도 동영상 재생 어플리케이션이 함께 실행될 수 있다. 이때, 호스트 디바이스에서는 동영상이 재생되고, 컴패니언 디바이스에서는 상기 동영상에 대한 정보(예를 들면, TV 채널 정보, 영화 제목 또는 출연진 정보 등) 또는 재생 리스트를 스크린에 표시할 수 있다, 물론 두 장치, 즉 호스트 디바이스와 컴패니언 디바이스의 스크린들이 동시에 동일한 콘텐츠를 표시할 수도 있다.
또 다른 예로서, 사용자가 호스트 디바이스(예: 전자 장치(104))를 통해 문서 편집 어플리케이션(예를 들어, 노트, 워드 프로세서 등)을 구동하고 있다고 가정한다. 상기와 같은 경우, 웨어러블 장치로 구현된 컴패니언 디바이스인 전자 장치의 제어 모듈(E201)은 상기 문서 편집 어플리케이션을 디스플레이를 통해 스크린 상에 바로 팝업(pop-up) 표시할 수 있다. 또한 제어 모듈(E201)은 사용자에 의한 한 번의 사용자 입력에 대응하여 상기 문서 편집 어플리케이션이 실행되도록 전자 장치를 제어할 수도 있다. 예를 들어, 상기 컴패니언 디바이스인 전자 장치의 제어 모듈(E201)은 디스플레이를 통해 스크린에 상기 문서 편집 어플리케이션과 관련한 아이콘 또는 문서 내용 중 최소 일부를 포함하는 콘텐츠를 팝업(pop-up)으로 표시할 수 있다 또한 사용자가 상기 팝업을 선택하거나 조작하면, 상기 제어 모듈(E201)은 상기 문서 편집 어플리케이션을 구동하거나 상기 팝업 대신 문서 편집창을 표시하도록 디스플레이를 제어할 수 있다.
도 199는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다.
도 199에서 전자 장치와 외부 전자 장치는 연동 중인 것으로 가정한다. 일 실시예에 따라 전자 장치는 호스트 디바이스고, 외부 전자 장치는 컴패니언 디바이스일 수 있다.
전자 장치들(101, 104)이 서로 연동되고 있으므로, 호스트 디바이스인 전자 장치에서 실행되고 있는 어플리케이션이 컴패니언 디바이스인 외부 전자 장치에서도 실행될 수 있다.
도 199를 참조하면, 전자 장치(E101)에서는 노트(note)와 관련된 어플리케이션이 실행되어 디스플레이를 통해 스크린에 표시되고 있다. 그에 따라 컴패니언 디바이스인 외부 전자 장치(E104)에서도 노트와 관련된 어플리케이션이 실행되어 스크린(F650)에 표시되고 있다.
한 실시예에 따르면, 서로 연동되고 있는 전자 장치들(E101, E104)이 동일한 어플리케이션을 실행하여 표시하고 있는 경우, 전자 장치(E101) 또는 외부 전자 장치(E104)로 입력되는 사용자 입력에 따른 동작이 상기 전자 장치(E101) 및 외부 전자 장치(E104)에 동시에 실행되어 표시될 수 있다. 예를 들어, 사용자가 외부 전자 장치(E104)를 통해 새로운 노트를 생성하였다면, 외부 전자 장치(E104)는 물론이고, 호스트 디바이스인 전자 장치(E101)도 새로운 노트를 생성하여 디스플레이를 통해 스크린에 표시할 수 있다.
도 200은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 200에서 전자 장치는 디스플레이를 통해 스크린에 가로가 긴 형태의 화면을 제공하는 가로 UI를 표시하고 있다. 또한 도 200에서 사용자는 운동을 하고 있는 것으로 가정한다.
도 200의 (a)는 사용자의 운동 강도가 약한 경우와 강한 경우 각각에 따라 디스플레이를 통해 스크린에 표시될 수 있는 콘텐츠, 예를 들어 화면 이미지들(F711, F712)을 나타낸 것이다. 이때 제어 모듈(E201)은 사용자의 움직임 변화량, 움직임 속도, 운동 지속 시간, 단위 시간당 소모되는 칼로리량 등에 기초하여 상기 운동 강도를 결정될 수 있다.
도 200의 (a)를 참조하면, 사용자의 운동 강도가 약한 경우 스크린에는 사용자가 하고 있는 운동에 대한 정보, 예를 들어 운동의 종류(예를 들어, 달리기), 이동 거리(예를 들어, 6.2km), 상기 운동으로 인하여 소모된 칼로리(예를 들어, 234cal), 사용자의 심박수(예를 들어, 95) 및 운동 시간(예를 들어, 00:28:30)이 표시되고 있다. 운동 강도가 약한 경우에 사용자는 운동을 하는 동시에 전자 장치의 스크린을 확인하는 것이 용이하다. 사용자의 운동 강도는 약한 편에 속하므로, 사용자는 지속적으로 운동을 하면서 전자 장치의 디스플레이는 상기의 콘텐츠, 예를 들어 운동의 종류, 이동 거리, 칼로리 소모량, 심박수, 운동 소요 시간 등을 포함하는 제1 화면 이미지(F711)을 전자 장치로부터 제공받을 수 있다. 제1 화면 이미지(F711)에는 5가지의 콘텐츠들이 포함되고 있으나, 다른 실시예에 따라 5가지 이상의 콘텐츠들이 디스플레이를 통해 표시될 수 있다. 다른 실시예에 따라 화면 이미지가 전환되면서 다수의 콘텐츠들이 디스플레이를 통해 스크린에 표시될 수도 있다.
사용자의 운동 강도가 강해지면, 디스플레이에 의하여 사용자의 운동 시간(예를 들어, 28:30)만을 포함하는 제2 화면 이미지(F712)가 사용자에게 제공될 수 있다. 운동 강도가 강한 경우에는, 사용자가 운동을 하는 동시에 전자 장치의 스크린을 확인하는 것이 어려울 수 있다. 그에 따라 제어 모듈(E201)은 상기 사용자가 하고 있는 운동에 대한 정보 중 제한된 수의 정보를 사용자에게 제공하도록 디스플레이를 제어할 수 있다. 디스플레이를 통해 사용자에게 제공되는 콘텐츠가 제한적인 경우, 제어 모듈(E201)은 콘텐츠들 각각의 우선 순위에 따라 가장 우선 순위가 높은 콘텐츠를 먼저 표시하도록 디스플레이를 제어할 수 있다. 도 200의 (a)에서는 운동의 종류, 이동 거리, 소모된 열량, 심박수, 운동 시간 중 운동 시간이 다른 콘텐츠들보다 우선 순위가 높은 것으로 가정한다.
도 200의 (a)와 마찬가지로 도 200의 (b)는 사용자의 운동 강도가 약한 경우와 강한 경우 각각에 따라 디스플레이를 통해 표시될 수 있는 콘텐츠(예를 들어, 화면 이미지들(F721, F722)를 나타낸 것이다.
도 200의 (b)를 참조하면, 사용자의 운동 강도가 약한 경우 스크린에는 사용자의 스케줄이 제3 화면 이미지(F721)와 같이 표시될 수 있다. 제3 화면 이미지(F721)에는 현재 시각, 스케줄 내용, 날짜, 위치 등이 포함되어 있다. 운동 강도가 약한 경우가 강한 경우에 비하여 디스플레이의 스크린에 표시되는 각종 콘텐츠를 확인하기 용이하므로, 제어 모듈(E201)은 여러 콘텐츠를 하나의 화면 이미지, 예를 들어 제3 화면 이미지(F721)에 모두 포함되어 표시되도록 전자 장치를 제어할 수 있다.
반면에 사용자의 운동 강도가 강한 경우, 스크린에는 사용자의 스케줄이 제4 화면 이미지(F722)와 같이 표시될 수 있다. 제4 화면 이미지(F722)에는 스케줄 내용만이 포함되어 있다. 운동 강도가 강한 경우, 상기 운동 강도가 약한 경우에 비하여 사용자가 디스플레이의 스크린에 표시되는 각종 콘텐츠를 확인하기 어려우므로, 제어 모듈(E201)은 하나의 콘텐츠를 하나의 화면, 예를 들어 제4 화면 이미지(F722)에 포함되어 표시되도록 전자 장치를 제어할 수 있다. 이때 제어 모듈(E201)은 우선 순위에 따라 디스플레이의 스크린에 표시할 콘텐츠를 결정할 수 있다. 도 200의 (b)에서 우선 순위가 가장 높은 콘텐츠는 스케줄 내용일 수 있다. 그에 따라 제어 모듈(E201)은 스케줄 내용만을 스크린에 표시하도록 디스플레이를 제어할 수 있다.
도 200에 도시된 바와 같이, 전자 장치는 여러 정보 중 중요한 정보(예를 들어, 제2 화면 이미지(F712) 및 제4 화면 이미지(F722))만을 표시할 수 있지만, 다른 실시예에 따라 전자 장치의 제어 모듈(E201)은 여러 정보를 미리 설정된 시간마다(예를 들어, 10초) 순차적으로 화면 전환하여 표시할 수도 있다. 순차적으로 화면 이미지를 전환하여 정보를 표시하는 경우, 제어 모듈(E201)은 디스플레이를 통해 정보를 나타내기 위한 이미지, 문자, 숫자, 기호, 심볼, 애니메이션, 비디오, 아이콘, GUI 등의 크기 또는 모양을 사용자의 운동 레벨이나 운동 강도에 따라 다양하게 조절할 수 있다.
도 201은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 201에서 전자 장치는 디스플레이를 통해 가로가 긴 형태의 화면을 제공하는 가로 UI를 표시하고 있다. 또한 도 201에서 사용자는 운동으로서 조깅을 하고 있는 것으로 가정한다.
도 201의 (a) 내지 (c)는 사용자가 하고 있는 운동의 운동 강도에 따라 디스플레이에 표시되는 콘텐츠, 예를 들어 화면 이미지가 각기 달라지는 것을 나타낸다. 예를 들어, 제어 모듈(E201)은 운동 강도에 따라 스크린에 표시되는 화면 이미지에 포함되는 정보량 또는 GUI의 사이즈를 각각 다르게 할 수 있다.
운동의 강도를 강, 중, 약으로 나눌 수 있다고 가정하면, 도 201의 (a)는 운동 강도가 약일 때에 스크린에 표시되는 콘텐츠이고, (b)는 운동 강도가 중일 때에 스크린에 표시되는 콘텐츠이며, (c)는 운동 강도가 강일 때에 스크린에 표시되는 콘텐츠다.
도 201의 (a)를 참조하면, 운동 강도가 ‘약’인 경우 제어 모듈(E201)은 운동의 종류(조깅), 운동 소요 시간(00:28:30), 운동 거리(6.2 km), 소모 칼로리(234kcal) 심박수(95)를 포함하는 제1 화면 이미지(F810)를 스크린에 표시하도록 디스플레이를 제어할 수 있다. 또한 디스플레이는 메뉴 버튼(F811)을 표시할 수 있다. 사용자로부터 상기 메뉴 버튼(F811)을 선택하는 사용자 입력을 수신하면, 전자 장치는 상기 제1 화면 이미지(F810)에 표시된 콘텐츠들(운동의 종류, 운동 소요 시간, 운동 거리, 소모 칼로리, 심박수) 이외의 다른 콘텐츠를 표시할 수 있다.
또한 제어 모듈(E201)은 제1 화면 이미지(F810)와 함께 제2 화면 이미지(F818)로서 운동 경로를 표시할 수 있다. 운동 강도가 약이므로 제어 모듈(E201)은 제2 화면 이미지(F815)가 지도, 사용자의 현재 위치, 사용자의 이동 거리, 사용자의 이동 속도, 운동 소요 시간, 소모 칼로리, 심박수, 현재 시각, 이동 방향(120m 이동 후에 좌회전)을 포함하도록 디스플레이를 제어할 수 있다. 또한 디스플레이는 메뉴 버튼(F811)을 표시할 수 있다.
도 201의 (b)를 참조하면, 운동 강도가 ‘중’인 경우 제어 모듈(E201)은 운동의 종류(조깅), 운동 소요 시간(00:28:30), 운동 거리(6.2 km)를 포함하는 제1 화면 이미지(F820)를 스크린에 표시하도록 디스플레이를 제어할 수 있다. 또한 디스플레이는 스크린에 메뉴 버튼(F821)을 표시할 수 있다. 사용자로부터 상기 메뉴 버튼(F821)을 선택하는 사용자 입력을 수신하면, 전자 장치는 상기 제1 화면 이미지(F820)에 포함된 콘텐츠들(운동의 종류, 운동 소요 시간, 운동 거리) 이외의 다른 콘텐츠를 표시할 수 있다.
또한 제어 모듈(E201)은 제2 화면 이미지(F820)와 함께 제2 화면 이미지(F825)로서 운동 경로를 표시할 수 있다. 운동 강도가 중이므로 제어 모듈(E201)은 제2 화면(F825) 이미지가 지도, 사용자의 현재 위치, 사용자의 이동 거리, 사용자의 이동 속도, 운동 소요 시간, 소모 칼로리, 심박수, 이동 방향(120m 이동 후에 좌회전)을 포함하도록 디스플레이를 제어할 수 있다. 또한 디스플레이는 메뉴 버튼(F811)을 표시할 수 있으며, 도 201의 (b)에서의 제2 화면 이미지(F825)에 포함된 지도는 도 201의 (a)에서의 제2 화면 이미지(F818)에 포함된 지도보다 간략하게 표시된 것일 수 있다.
도 201의 (c)를 참조하면, 운동 강도가 ‘강’인 경우 제어 모듈(E201)은 운동 거리(6.2 km)를 포함하는 제1 화면 이미지(F830)를 스크린에 표시하도록 디스플레이를 제어할 수 있다. 또한 디스플레이는 메뉴 버튼(F831)을 표시할 수 있다. 사용자로부터 상기 메뉴 버튼(F831)을 선택하는 사용자 입력을 수신하면, 전자 장치는 상기 제1 화면 이미지(F830)에 포함된 콘텐츠들(운동 거리) 이외의 다른 콘텐츠를 표시할 수 있다.
또한 제어 모듈(E201)은 제1 화면 이미지(F830)과 함께 제2 화면 이미지(F835)로서 이동 방향을 표시할 수 있다. 운동 강도가 강이므로 제어 모듈(E201)은, 제2 화면 이미지(F835)가 잔여 거리(3km), 예상 소요 시간(00:15:20), 이동 방향(120m 이동 후에 좌회전)을 포함하도록 디스플레이를 제어할 수 있다. 또한 디스플레이는 메뉴 버튼(F831)을 표시할 수 있으며, 도 201의 (c)에서의 제2 화면(F835) 이미지는 도 201의 (a) 및 (b)에서의 제2 화면 이미지들(F818, F825)보다 더 간략하게 표시될 수 있으며, 콘텐츠들 중 지도가 생략될 수도 있다.
일 실시예에 따라 전자 장치는 디스플레이를 통해 표시되는 각종 콘텐츠의 양을 조절할 수 있다. 전자 장치의 제어 모듈(E201)은 디스플레이를 통해 표시되는 콘텐츠의 양을 레벨별로 조절할 수 있다. 이하에서는 디스플레이를 통해 표시되는 콘텐츠의 양을 레벨로 나타낸 것을 ‘표시도 레벨’이라 하기로 한다. 전자 장치의 제어 모듈(E201)은 상기 표시도 레벨에 따라 디스플레이를 통해 표시되는 콘텐츠의 양을 줄임으로써 상기 콘텐츠에 해당하는 정보를 단계별로 요약할 수 있다.
예를 들어, 일정표에 미팅 일정의 예정 시각, 장소, 목적, 참석자, 현재 시각, 상기 미팅 일정에 대응하는 아이콘 등의 상세 정보가 포함되어 있다고 가정한다. 표시도 레벨이 3이면 제어 모듈(E201)은 상기 상세 정보가 모두 하나의 화면 이미지에 포함되어 표시되도록 스크린에 표시할 수 있다. 상기 표시도 레벨이 2이면, 제어 모듈(E201)은 상기 미팅 일정의 예정 시각, 장소, 목적만 하나의 화면 이미지에 포함되도록 디스플레이를 제어할 수 있다. 표시도 레벨이 1이면, 상기 제어 모듈(E201)은 상기 미팅 일정까지의 남은 시간 및 장소만 하나의 화면에 표시하도록 디스플레이를 제어할 수 있다.
다른 예로서, 전자 장치가 콜 메시지 화면 이미지를 표시한다고 가정한다. 표시도 레벨이 3이면, 제어 모듈(E201)은 발신자의 이름, 얼굴 사진, 전화번호가 하나의 화면 이미지에 포함되도록 디스플레이를 제어할 수 있다. 표시도 레벨이 2이면, 제어 모듈(E201)은 발신자의 이름과 전화번호가 하나의 화면 이미지에 포함되도록 디스플레이를 제어할 수 있다. 표시도 레벨이 1이면, 제어 모듈(E201)은 발신자의 이름만 하나의 화면 이미지에 표시되도록 디스플레이를 제어할 수 있다.
또 다른 예로서 전자 장치가 뉴스 기사(news article) 또는 메시지(SMS 또는 MMS)를 스크린에 표시한다고 가정한다.
표시도 레벨이 3이면, 제어 모듈(E201)은 상기 뉴스 기사 또는 메시지의 상세 내용이 하나의 화면 이미지에 포함되어 표시되도록 디스플레이를 제어할 수 있다. 표시도 레벨이 2이면, 제어 모듈(E201)은 상기 뉴스 기사의 헤드라인 및 간략한 축약본 또는 상기 메시지의 축약본이 하나의 화면 이미지에 포함되어 표시되도록 디스플레이를 제어할 수 있다. 표시도 레벨이 1이면, 상기 뉴스 기사의 헤드 라인 또는 상기 메시지의 앞부분 일부만 하나의 화면 이미지에 포함되어 표시되도록 디스플레이를 제어할 수 있다. 또한 상기와 같은 데이터 처리를 위하여 자연어 처리나 통계적 기법에 의한 문서요약 엔진이 전자 장치에 미리 설치될 수 있다. 다른 실시예에 따라 상기 문서용약 엔진은 외부 장치 또는 서버에 포함될 수 있으며, 전자 장치는 통신 인터페이스(예: 통신 인터페이스(160))를 통해 상기 문서요약 엔진에 의해 요약된 뉴스 기사 또는 메시지를 수신하여 표시할 수도 있다.
또 다른 예로서, 전자 장치의 제어 모듈(E201)은 디스플레이를 통해 표시되는 콘텐츠들 각각의 중요도를 레벨 단위로 사용자의 현재 상태 또는 현재 상황에 따라 결정할 수 있다. 또한 제어 모듈(E201)은 상기 중요도에 따라 디스플레이를 통해 표시할 콘텐츠를 결정할 수 있다. 예를 들어, 도 201의 (a)와 같이 사용자가 달리기를 시작한 직후인 경우 제어 모듈(E201)은 중요도 레벨이 1인 콘텐츠들을 표시하도록 디스플레이를 제어할 수 있다. 상기 중요도 레벨이 1인 콘텐츠는, 사용자의 달리기 경로를 포함하는 상세 지도, 사용자의 칼로리 소비량, 운동량일 수 있으며, 제어 모듈(E201)은 상기 상세 지도 상에 칼로리 소비량 및 운동량이 번갈아 표시되도록 디스플레이를 제어할 수 있다. 도 201의 (b)와 같이 사용자가 달리기를 시작한 후로부터 약간의 시간이 경과한 후부터는, 제어 모듈(E201)은 중요도 레벨이 2인 콘텐츠들을 표시하도록 디스플레이를 제어할 수 있다. 상기 중요도 레벨이 2인 콘텐츠는 도 201의 (b)에 도시된 바와 같이 사용자의 달리기 경로를 간단하게 나타낸 지도, 사용자의 달리기 속도, 칼로리 소모량일 수 있다. 제어 모듈(E201)은 상기 간단한 지도 상에 사용자의 달리기 속도, 칼로리 소모량이 함께 표시되도록 디스플레이를 제어할 수 있다. 도 201의 (c)와 같이 사용자가 달리기 시작한 후로부터 상당한 시간이 경과하였을 경우에는 제어 모듈(E201)은 중요도 레벨이 3인 콘텐츠들을 표시하도록 디스플레이를 제어할 수 있다. 중요도 레벨이 3인 콘텐츠는 달리기를 하고 있는 사용자의 이동 방향으로서, 제어 모듈(E201)은 상기 이동 방향을 화살표 또는 텍스트로 간단하게 표시하도록 디스플레이를 제어할 수 있다. 도 202는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 202는 6개의 스크린 이미지들(F910, F920, F930, F940, F950, F960)이 디스플레이를 통해 표시되는 경우를 나타낸 것이다. 도 202에서 사용자는 현재 달리기를 하고 있으며, 그에 따라 제어 모듈(E201)은 각 화면 이미지들(F910-F960)이 하나의 콘텐츠 및 메뉴 버튼(F905)만을 포함할 수 있도록 디스플레이를 제어할 수 있다.
도 202를 참조하면, 제1 화면 이미지(F910)는 소모 칼로리(234kcal)와 메뉴 버튼(F905)를 포함하고, 제2 화면 이미지(F920)는 이동 거리(6.2km)와 메뉴 버튼(F905)을 포함하고, 제3 화면 이미지(F930)는 심박수와 메뉴 버튼(F905)을 포함하고, 제4 화면 이미지(F940)는 이동 속도(12.2 km/h)와 메뉴 버튼(F905)을 포함하고, 제5 화면 이미지(F950)는 운동 종류(달리기)와 메뉴 버튼(F905)을 포함하고, 제6 화면 이미지(F960)는 운동 소요 시간(00:28:30)과 메뉴 버튼(F905)을 포함할 수 있다.
일 실시예에 따라 전자 장치는 예를 들어, 스크린 상의 어느 한 지점을 선택한 상태에서 우에서 좌로 미는 사용자 입력이 입력된 경우 제1 화면 이미지(F910)에서 제2 화면 이미지(F920)로, 제2 화면 이미지(F920)에서 제3 화면 이미지(F930)로, 제3 화면 이미지(F930)에서 제4 화면 이미지(F940)로, 제4 화면 이미지(F940)에서 제5 화면 이미지(F950)로, 제5 화면 이미지(F950)에서 제6 화면 이미지(F960)로, 또는 제6 화면 이미지(F960)에서 제1 화면 이미지(F910)로 화면 이미지를 전환할 수 있다.
일 실시예에 따라 전자 장치는 디스플레이를 통해 표시되는 각각의 콘텐츠를 나타내기 위한 화면 이미지들을 미리 설정된 시간마다 순서대로 표시할 수 있다. 예를 들어, 10초마다 제1 화면 이미지(F910)에서 제2 화면 이미지(F920)로, 제2 화면 이미지(F920)에서 제3 화면 이미지(F930)로, 제3 화면 이미지(F930)에서 제4 화면 이미지(F940)로, 제4 화면 이미지(F940)에서 제5 화면 이미지(F950)로, 제5 화면 이미지(F950)에서 제6 화면 이미지(F960)로, 제6 화면 이미지(F960)에서 제1 화면 이미지(F910)로 전환할 수 있으며, 상기의 전환 동작을 반복할 수 있다. 또한 전자 장치는 상기 사용자 입력으로서, 터치, 탭, 플릭, 스와입, 음성 입력, 전자 장치에 미리 구비된 버튼 누름을 사용자로부터 입력받을 수 있다. 전자 장치는 상기 사용자 입력에 따라 사용자가 원하는 모드를 실행하거나 사용자가 원하는 화면 이미지를 표시하거나 상기 화면 이미지를 전환할 수 있다.
한 실시예에 따르면, 전자 장치는 예를 들어, 스크린 상의 어느 한 지점을 선택한 상태에서 좌에서 우로 미는 사용자 입력이 입력된 경우 제1 화면 이미지(F910)에서 제6 화면 이미지(F960)로, 제2 화면 이미지(F920)에서 제1 화면 이미지(F910)로, 제3 화면 이미지(F930)에서 제2 화면 이미지(F920)로, 제4 화면 이미지(F940)에서 제3 화면 이미지(F930)로, 제5 화면 이미지(F950)에서 제4 화면 이미지(F940)로, 또는 제6 화면 이미지(F960)에서 제5 화면 이미지(F650)로 화면 이미지를 전환할 수 있다.
도 203a 내지 도 203c는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 도 203a 내지 도 203c에서 전자 장치는 손목시계형의 웨어러블 장치로 구현된 것으로 가정한다. 또한 도 203a 내지 도 203c는 손목시계형의 웨어러블 장치로 구현된 전자 장치가 사용자에게 착용되었을 때에, 상기 사용자가 손목에 착용한 웨어러블 장치로부터 출력되는 콘텐츠를 확인하는 경우들을 나타낸 도면이다.
도 203a의 (a)는 사용자가 오른손(G01)에 전자 장치(E101)를 착용한 경우를 나타낸 것이고, 도 203a의 (c)는 왼손(G02)에 전자 장치(E101)를 착용한 경우를 나타낸 것이다. 또한 도 203a의 (b)는 사용자가 오른손(G01)에 전자 장치(E101)를 착용했을 경우의 좌표계(G51)와 전자 장치(E101)의 스크린으로 입사되는 시선 방향(G11)을 나타낸 것이다.
도 203a를 참조하면, 사용자의 오른손(G01) 또는 왼손(G02)에는 전자 장치(E101)가 착용될 수 있다. 사용자의 오른손(G01) 또는 왼손(G02)에 전자 장치(E101)가 착용되어 있는 경우, 사용자의 눈을 향하는 방향(사용자가 스크린을 바라보는 방향(G11)의 반대 방향, 즉 시선 반대 방향)(w)은 좌표계(G51)을 참조하면, 스크린의 방향(z), 즉 스크린이 향하는 방향과 일치하거나 유사하다.
스크린의 방향(z)과 시선 반대 방향(w)이 일치하거나 또는 스크린의 방향(z)와 시선 반대 방향(w)가 이루는 각의 각도가 미리 정해진 기준 각도(예를 들어, 30° 이하로서 스크린의 방향(z)과 시선 반대 방향(w)이 유사하다면, 제어 모듈(E201)은 상기 콘텐츠가, 도 203a에 도시된 바와 같이 가로 방향(좌→우)으로 출력되도록 상기 디스플레이를 제어할 수 있다. 실시예에 따라 상기 스크린의 방향(z)와 시선 반대 방향(w)이 이루는 각의 각도가 상기 미리 정해진 기준 각도를 초과하면, 즉 스크린의 방향(z)과 시선 반대 방향(w)이 유사하지 않은 경우에는 제어 모듈(E201)은 상기 스크린에 콘텐츠를 표시하지 않도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 상기 스크린의 방향(z)와 시선 반대 방향(w)이 유사하지 않은 경우, 제어 모듈(E201)은 상기 스크린의 전원을 오프(off)하거나 상기 전자 장치를 저전력 장치로 동작시키거나, 상기 콘텐츠를 대신하는 다른 콘텐츠, 예를 들어 시계, 스크린 세이버, 날씨 정보, 잠금 화면 이미지 등을 스크린에 출력하도록 상기 디스플레이를 제어할 수도 있다.
한 실시예에 따르면, 상기 스크린의 방향(z)과 시선 반대 방향(w)이 유사한 경우, 제어 모듈(E201)은 콘텐츠의 보안 레벨을 기초로 하여, 상기 디스플레이를 통한 스크린에서의 콘텐츠 출력 여부를 판단할 수 있다. 예를 들어, 전자 장치를 착용한 사용자가 콘텐츠를 확인하기 용이하지 않은 상황인 것으로 가정한다. 상기 콘텐츠의 보안 레벨이 높은 경우, 예를 들어 상기 콘텐츠가 개인 정보, 건강 정보, 인커밍 콜(incoming call)의 발신자 정보 등인 경우, 제어 모듈(E201)은 상기 콘텐츠를 표시하지 않도록 디스플레이를 제어할 수 있다. 반면에 상기 콘텐츠의 보안 레벨이 낮은 경우, 예를 들어 상기 콘텐츠가 날씨나 시각인 경우, 제어 모듈(E201)은 상기 콘텐츠를 표시하도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 보안 레벨이 낮은 콘텐츠의 경우, 사용자의 현재 상태와 관계없이 언제든지 디스플레이를 통해 스크린에 출력될 수 있다.
상기에서 언급한 바와 같이, 콘텐츠는 2단계 이상으로 구분되는 보안 레벨을 가질 수 있다. 한 실시예에 따르면, 콘텐츠 각각에 대한 보안 레벨이 미리 결정되어 있을 수 있으며, 제어 모듈(E201)에 의해 콘텐츠 각각의 보안 레벨이 결정될 수도 있다.
한 실시예에 따르면, 제어 모듈(E201)은 상기 보안 레벨이 특정 레벨 이상이거나 또는 특정 레벨 미만인 콘텐츠만을, 상기 스크린의 방향(z)과 시선 반대 방향(w)이 유사한 경우에 출력하도록 디스플레이를 제어할 수도 있다.
또한 도 203a를 참조하면, 제어 모듈(E201)은 전자 장치(E101)의 스크린이, 도 203의 (b)에 도시된 좌표계(G51)의 x축과 y축을 기준으로 하여 가로가 긴 형태를 가진 것으로 판단할 수 있다. 또한 도 203a의 (a) 및 (c)의 스크린을 통해 출력되는 콘텐츠는 가로가 긴 형태를 가지거나 또는 가로가 긴 형태로 배열되어 표시될 수 있다. 도 203의 (b)를 참조하면, 좌표계(G51)의 y축은 전자 장치(E101)의 스크린 표면(예를 들어, 스크린 표면의 중앙 지점)에서 상기 스크린의 네 변 중에서 길이가 긴 두 변과 수직으로 만나는 가상의 선분 방향이고, x축은 스크린 표면(예를 들어, 스크린 표면의 중앙 지점)에서 y축과 수직을 이루는 선분 방향이다. 제어 모듈(E201)은 x축과 y축이 만나는 지점을 이용하여 상기 스크린의 방향(z)(예를 들어, 스크린의 지향 방향, 스크린 표면 상의 노옴 벡터(norm vector))를 결정할 수 있다. 이때, 제어 모듈(E201)은 상기 사용자의 시선 반대 방향(w)이 x축보다 y축에 근접한 것으로 판단할 수 있다. 예를 들어, 제어 모듈(E201)은 상기 전자 장치의 y축 방향이 중력 혹은 중력 반대 방향에 유사하거나, 사용자의 팔 또는 손목의 움직임에 근거하여 전자 장치를 착용하고 있는 사용자의 현재 포즈를 상기 스크린의 가로변이 더 긴 상태의 포즈인 것으로 판단할 수 있다. 그에 따라 상기 제어 모듈(E201)은 콘텐츠가 가로로 긴 형태로 출력되도록 디스플레이를 제어할 수 있다.
도 203b의 (a)는 사용자가 오른손(G01)에 전자 장치(E101)를 착용한 경우를 나타낸 것이고, 도 203b의 (c)는 왼손(G02)에 전자 장치(E101)를 착용한 경우를 나타낸 것이다. 또한 도 203b의 (b)는 사용자가 오른손(G01)에 전자 장치(E101)를 착용했을 경우의 좌표계(G52)와 전자 장치의 스크린으로 입사되는 시선 방향(G12)을 나타낸 것이다.
도 203b를 참조하면, 사용자에게 전자 장치(E101)의 스크린은 좌표계(G52)의 x축과 y축을 기준으로 세로가 긴 형태를 가진다. 또한 도 203b의 (a) 및 (c)의 스크린을 통해 출력되는 콘텐츠는 세로가 긴 형태를 가지거나 또는 세로가 긴 형태로 배열되어 표시될 수 있다. 상기와 같이 스크린의 방향(z)과 시선 반대 방향(w)이 일치하거나 유사한 경우에는, 스크린의 세로가 가로보다 긴 경우라고 하더라도 제어 모듈(E201)은 콘텐츠가 가로 방향(예를 들어, ‘좌→우’ 방향 또는 ‘우→좌’ 방향)으로 출력될 수 있도록 디스플레이를 제어할 수 있다. 즉 제어 모듈(E201)은 콘텐츠가 세로로 긴 스크린에 맞도록 레이아웃을 조절하여 상기 콘텐츠가 행 단위로 배열되어 출력되도록 디스플레이를 제어할 수 있다. 다른 실시예에 따라 제어 모듈(E201)은 콘텐츠가 세로 방향, 즉 ‘상→하’로 출력되도록 디스플레이를 제어할 수도 있다. 예를 들어, 고대 한문책과 같이, 글자가 세로로 배열(열 단위로 정렬)되어 출력될 수도 있다.
한 실시예에 따르면, 스크린 상에 콘텐츠가 배치되는 방향(예: 가로 방향, 세로 방향, ‘좌→우’ 방향, ‘상→하’ 방향)은 사용자 입력에 따라 결정될 수 있다. 상기 사용자 입력은, 예를 들어, 메뉴의 선택, 버튼 선택 또는 아이콘 선택 등의 사용자의 조작일 수 있다. 상기 사용자 입력에 따른 콘텐츠의 배치 방식은 전자 장치에 미리 설정되어 저장된 정보일 수 있으며, 제어 모듈(E201)은 상기 사용자 입력에 따른 배치 방식에 따라 콘텐츠가 출력되도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 상기 콘텐츠의 배치 방식은, 상기 사용자 입력에 따라 변경될 수 있다. 예를 들어, 사용자는 전자 장치에 상기 전자 장치를 착용한 손이 무엇인지 입력함으로써, 콘텐츠 배치 방식을 제어 모듈(E201)이 조정할 수 있도록 한다. 콘텐츠가 표시되는 스크린이 정사각형 또는 직사각형인 경우, 사용자가 전자 장치를 착용한 손이 결정되면, 제어 모듈(E201)은 상기 스크린의 4개의 변들 중 어느 변을 기준을 콘텐츠를 출력할 것인지 지정할 수 있다. 이로써 상기 콘텐츠의 배치 방식이 결정될 수 있다.
한 실시예에 따르면, 전자 장치에 미리 구비된 하나 이상의 센서들은 전자 장치, 구체적으로는 스크린의 포즈를 감지하고, 그에 따른 포즈 정보(이하, 스크린 포즈 정보)를 생성할 수 있다. 예를 들어, 전자 장치는 피치(pitch)되거나, 한쪽으로 기울거나(yaw) 또는 롤(roll)될 수 있으며, 전자 장치에 미리 구비된 하나 이상의 센서들은 그 포즈들을 감지할 수 있다. 이때 전자 장치에 포함된 스크린 또한 피치되거나, 한쪽으로 기울거나(yaw) 또는 롤(roll)될 수 있다. 상기 스크린 포즈 정보는 상기 스크린이 현재 취하고 있는 포즈를 나타내는 정보를 나타낸다. 제어 모듈(E201)은 상기 스크린 포즈 정보에 기초하여 콘텐츠의 출력 여부 또는 콘텐츠의 배치 방식을 결정하거나 또는 변경할 수 있다. 예를 들어, 제어 모듈(E201)은 전자 장치에서 제공되는 가속도 센서나 자이로 센서에 의해 측정된 센싱 데이터에 기초하여 스크린의 방향(z)을 결정할 수 있다. 또한 제어 모듈(E201)은 상기 스크린의 방향(z)에 따라 가로 모드(landscape mode, horizontal mode)로 콘텐츠를 표시하거나 또는 세로 모드(portrait mode, vertical mode)로 콘텐츠를 표시하는 등의 상기 콘텐츠를 배열하는 방식을 결정할 수 있다.
한 실시예에 따르면, 상기 하나 이상의 센서들은 상기 전자 장치의 움직임을 감지하고, 그에 따른 움직임 정보(이하, 장치 움직임 정보)를 생성할 수도 있다. 예를 들어, 전자 장치는 틸트(tilt)되거나 또는 회전될 수 있으며, 상기 하나 이상의 센서들은 상기 전자 장치의 움직임을 감지할 수 있다. 상기 장치 움직임 정보는 상기 전자 장치에서 발생되는 각종 움직임에 대한 정보를 나타낸다. 제어 모듈(E201)은 상기 장치 움직임 정보에 기초하여 콘텐츠의 출력 여부 또는 콘텐츠의 배치 방식을 결정하거나 변경할 수 있다.
한 실시예에 따르면, 제어 모듈(E201)은 사용자의 눈이 디스플레이의 스크린과 이루는 각도(예를 들어, 시선이 스크린을 향한 방향(-w)과 스크린의 지향 방향(z)이 이루는 각도)를 기초로 하여 콘텐츠의 출력 여부 또는 콘텐츠의 배치 방식을 결정하거나 변경할 수도 있다.
한 실시예에 따르면, 사용자의 시선 반대 방향(w)은 전자 장치에 내장된 별도 센서(예를 들어, 카메라, IR 카메라, 또는 시선추적 장치)에 기반하여 판단될 수 있다. 예를 들어, 전자 장치에는 스크린과 같은 방향을 향하는 카메라 장치(미도시)가 장착되고, 해당 카메라를 통해 입력된 이미지에서 얼굴 영역이나 눈을 포함하는 영역을 분석하여 사용자의 시선이나 사용자의 얼굴이 스크린을 향하고 있는지 여부를 판단할 수 있다. 예를 들어, 제어 모듈(E201)은 사용자의 얼굴 또는 눈을 촬영한 이미지에서 사용자의 눈 영역, 얼굴 영역 또는 눈동자 영역을 추출할 수 있다. 제어 모듈(E201)은 상기 눈 영역, 얼굴 영역 또는 눈동자 영역 중 하나 이상을 기초로 하여 사용자의 시선 반대 방향(w)을 판단할 수 있다. 이때, 제어 모듈(E201)은 상기 눈 영역, 얼굴 영역 또는 눈동자 영역 각각의 형태 또는 면적을 기초로 상기 사용자의 시선 반대 방향(w)을 판단할 수 있다.
한 실시예에 따르면, 상기 얼굴 이미지 또는 눈 이미지를 기초로 하여 사용자의 얼굴에 대한 포즈 정보(이하, 얼굴 포즈 정보)를 확인할 수도 있다. 예를 들어, 제어 모듈(E201)은 상기 얼굴 이미지를 통하여 사용자의 눈, 코, 입 등의 얼굴을 구성하는 구성 요소들 각각의 배치 형태를 알 수 있으며, 눈 이미지를 통하여 눈들 각각의 상대적인 위치, 눈들 각각의 모양을 알 수 있다. 상기 제어 모듈(E201)은 상기 정보들을 기초로 상기 얼굴 포즈 정보, 예를 들어 상기 사용자의 얼굴 또는 동공의 지향 중 하나 이상을 감지할 수 있다.
한 실시예에 따르면, 제어 모듈(E201)은 상기 얼굴 포즈 정보를 기초로 상기 장치 포즈 정보 또는 상기 스크린 포즈 정보를 결정할 수도 있으며, 상기 장치 포즈 정보 또는 스크린 포즈 정보를 기초로 스크린을 통해 출력되는 콘텐츠의 배치 방식을 결정할 수도 있다. 즉, 제어 모듈(E201)은 얼굴 포즈 정보를 이용하여 전자 장치에 미리 구비된 카메라 모듈의 정렬 방향(orientation) 또는 장치 포즈 정보를 결정할 수 있다. 또한 제어 모듈(E201)은 상기 얼굴 포즈 정보를 이용하여 상기 스크린 포즈 정보나 상기 카메라 모듈의 정렬 방향(orientation)을 결정할 수도 있다.
한 실시예에 따르면, 상기 사용자의 시선 반대 방향(w)은, 상기 전자 장치의 움직임이나 포즈(예: pitch, yaw, roll)를 나태는 정보, 예를 들어 장치 포즈 정보, 스크린 포즈 정보 등을 기초로 결정될 수 있다. 또한 상기 전자 장치의 움직임 또는 포즈를 나타내는 정보는 가속도 센서, 자이로 센서 및 지자기 센서 중 하나 이상을 이용하여 감지되거나 결정될 수 있다.
도 203a 및 도 203b는 사용자가 전자 장치(E101)를 착용한 손목을 위에서 내려다 보는 예에 해당한다. 도 203a 및 도 203b에서, 전자 장치(E101)의 스크린의 방향(z)은 지표면 반대 방향 또는 상기 지표면 반대 방향과 유사한 방향을 향하게 된다. 전자 장치(E101)는 상술한 센서들 중 적어도 하나를 이용하여 상기 전자 장치(E101)의 움직임 또는 포즈를 나타내는 정보를 결정하고 있다. 이어서 전자 장치(E101)는 상기 전자 장치(E101)의 움직임 또는 포즈를 나타내는 정보를 기초로 하여 스크린이 지향하는 방향, 즉 스크린의 방향(z)을 결정할 수 있다. 이어서 전자 장치(E101)는 상기 스크린의 방향(z)이 지표면 반대 방향(미도시)으로부터 소정의 기준 각도 이내(예를 들어, 45°이면 콘텐츠가 상기 디스플레이를 통해 스크린에 출력되도록 제어할 수 있다.
다른 실시예에 따르면, 스크린의 방향(z)이 지표면을 향하는 경우에는 사용자가 상기 스크린을 확인할 수 없을 것으로 예측될 수 있다. 상기 스크린의 방향(z)과 지표면의 지향 방향(미도시)가 이루는 각도가 소정의 기준 각도 이내(예를 들어, 45°이면, 전자 장치의 제어 모듈(E201)은 콘텐츠가 상기 디스플레이의 스크린에 출력되지 않도록 제어할 수 있다.
한 실시예에 따르면, 스크린의 움직임 또는 포즈를 하나 이상의 센서들을 이용하여 감지함으로써, 스크린에 표시되는 콘텐츠의 배치 방향을 결정할 수도 있다. 예를 들어, 제어 모듈(E201)은 스크린에 콘텐츠가 가로가 긴 형태로 표시되는 가로 모드(landscape mode, horizontal mode) 또는 세로가 긴 형태로 표시되는 세로 모드(portrait mode, vertical mode)로 상기 콘텐츠가 표시되도록 디스플레이를 제어할 수 있다.
도 203c의 (a)는 사용자가 오른손(G01)에 전자 장치(E101)를 착용한 경우를 나타낸 것이고, 도 203c의 (c)는 왼손(G02)에 전자 장치(E101)를 착용한 경우를 나타낸 것이다. 또한 도 203c의 (b)는 사용자가 오른손(G01)에 전자 장치(E101)를 착용했을 경우의 좌표계(G53)와 전자 장치(E101)의 스크린으로 입사되는 시선 방향(G13)을 나타낸 것이다.
도 203c를 참조하면, 사용자의 오른손(G01) 또는 왼손(G02)에는 전자 장치(E101)가 착용되어 있다. 사용자의 오른손(G01) 또는 왼손(G02)에 전자 장치(E101)가 착용되어 있는 경우, 사용자의 눈을 향하는 방향(시선 방향(G13)의 반대 방향)(w)은 좌표계(G53)을 참조하면, 디스플레이에 포함된 스크린의 방향(z), 즉 디스플레이가 향하는 방향과 유사하지 않거나 서로 반대이다. 예를 들어, 사용자가 전자 장치를 착용한 상태에 따라 도 203c에 도시된 스크린의 방향(z)와 시선 반대 방향(w)이 유사하지 않거나 서로 반대일 수 있다.
스크린의 방향(z)과 시선 반대 방향(w)이 서로 반대이거나 또는 스크린의 방향(z)와 시선 반대 방향(w)이 이루는 각의 각도가 미리 정해진 기준 각도(예를 들어, 30° 이상으로서, 상기 스크린의 방향(z)과 시선 반대 방향(w)이 유사하지도 않다면, 제어 모듈(E201)은 스크린에 콘텐츠가 출력되지 않도록 디스플레이를 제어할 수 있다. 스크린의 방향(z)과 시선 반대 방향(w)이 서로 반대이거나 유사하지 않는 경우는, 상기 사용자의 시선 방향이 스크린의 방향(z)과 일치하거나 유사함을 의미할 수 있다. 따라서 스크린에 콘텐츠가 출력된다고 하더라도, 사용자는 그 콘텐츠를 확인할 수 없게 된다. 상기와 같은 경우 제어 모듈(E201)은 디스플레이가 상기 콘텐츠를 스크린에 출력하지 않도록 하거나 또는 스크린을 오프(off)시킴으로써 상기 스크린을 켜둠으로써 발생될 수 있는 전력 낭비를 방지할 수 있다.
한 실시예에 따르면, 상기 제어 모듈(E201)은, 예를 들어, 가속도 센서, 또는 자이로 센서로부터 획득한 센싱 데이터를 기초로 움직이고 있는 사용자가 착용하고 있는 전자 장치의 스크린의 방향(z)을 결정할 수도 있다. 아래 표 11은 제어 모듈(E201)이 스크린의 방향(z)을 결정하기 위해 사용할 수 있는 파라미터들을 나타낸 것이다. 상기 파라미터들은 메모리(130)에 저장된 것일 수 있다.
아래의 표 11은 전자 장치가 사용자의 손목에 착용 가능한 팔찌형 또는 손목시계형으로 구현된 웨어러블 장치인 경우를 가정한 것이다. 상기와 같은 웨어러블 장치로 전자 장치가 구현된 경우, 제어 모듈(E201)은 아래 표 11를 참조하여 상기 전자 장치가 착용된 사용자의 신체부위(예를 들어, 왼손 손목, 오른손 손목, 손등 인접 부위, 손바닥 인접 위치 등)와 상기 스크린의 방향(z)을 결정할 수 있다.
한 실시예에 따르면, 사용자는 전자 장치를 최초 착용한 후, 상기 전자 장치를 착용한 상태에서 움직일 수 있다. 특히, 사용자가 손목 부위의 회전 운동 또는 틸트 운동을 하면, 전자 장치는 상기 사용자의 원활하게 운동을 하고 있는 운동 방향을 감지함으로써, 상기 전자 장치가 장착된 사용자의 신체 부위를 판단할 수 있다.
예들 들어, 도 203b에 도시된 바와 같이 왼손 손목의 손등 인접 위치에 전자 장치를 장착했다고 가정한다. 이때 콘텐츠가 표시되는 스크린의 방향(z)는 지표면 반대 방향인 것으로 가정한다. 상기 사용자는 손바닥이 위로 향하도록, 즉 전자 장치의 스크린의 방향(z)이 지표면 방향을 향하도록 움직이거나 운동할 때, 사용자는 상기 전자 장치가 착용된 왼손 손목을 반시계 방향으로 용이하게 틸트시킬 수 있다. 그러나 사용자가 전자 장치가 착용된 왼속 손목을 시계 방향으로 틸트시켜서 전자 장치의 스크린의 방향(z)이 지표면 방향을 향하도록 움직이거나 운동하기는 용이하지 않으며, 그에 따른 회전 각도 또한 상대적으로 제한된다. 이는 사람의 신체 부위별 운동 능력에 따른 것이므로, 사용자가 전자 장치를 장착한 후의 원활한 운동 방향을 감지함으로써, 전자 장치는 상기 전자 장치가 장착된 신체상의 위치 또는 위치 후보를 판별할 수도 있다.
전자 장치가 장착된 손이 어느 쪽인지 모르는 경우, 제어 모듈(E201)은 손목의 움직임에 따라 상기 전자 장치의 장착 위치 후보를 2개씩 결정할 수 있다. 다른 실시예에 따라 표 11에서와 같이, 제어 모듈(E201)은 사람이 대부분 손등을 지표면 반대 방향으로 향하도록 하는 성향(예를 들어, 손목에 착용한 전자 장치에 내장된 스크린의 주된 방향을 판별하려는 성향)을 기초로 하여 상기 전자 장치의 장착 위치 후보를 하나로 결정할 수도 있다.
표 11
| 전자 장치의 스크린의 주된 방향(z) | 손목 틸트 운동 시 전자 장치의 원활한 회전 방향 | 손목 틸트 운동 후 스크린의 지향 방향(z) | 손목이 틸트된 상태에서 이후 틸트 운동 시 원활한 회전 방향 | 판별된 전자 장치의 장착 위치 |
| 지표면 반대 방향 | 반시계 방향(시계 방향은 상대적으로 제한됨) | 지표면 방향 | 시계 방향(반시계 방향은 상대적으로 제한됨) | 왼손 손목의 손등인접 위치 |
| 지표면 반대 방향 | 시계 방향(반시계 방향은 상대적으로 제한됨) | 지표면 방향 | 반시계 방향(시계 방향은 상대적으로 제한됨) | 오른손 손목의 손등인접 위치 |
| 지표면 방향 | 반시계 방향(시계 방향은 상대적으로 제한됨) | 지표면 반대 방향 | 시계 방향(반시계 방향은 상대적으로 제한됨) | 왼손 손목의 손바닥 인접 위치 |
| 지표면 방향 | 시계 방향(반시계 방향은 상대적으로 제한됨) | 지표면 반대 방향 | 반시계 방향(시계 방향은 상대적으로 제한됨) | 오른손 손목의 손바닥 인접 위치 |
도 203d는 전자 장치가 착용되는 사용자의 오른팔을 위에서 내려다본 모습을 나타낸 도면이다. 상기 표 11과 도 203d를 참조하여 설명하면, 웨어러블 장치로 구현된 전자 장치를 장착한 사용자의 오른손 손등이 위를 향하는 상태(전자 장치의 스크린이 지표면 반대 방향을 향한 상태)에서 상기 사용자의 손바닥이 보이도록 회전하려면, 즉 사용자가 외전 운동(supination)을 하여 전자 장치의 스크린의 방향(z)가 지표면 방향을 향하려면 사용자는 시계 방향으로 손목을 회전시킬 수 있다.
이후, 상기 사용자가, 사용자의 오른손 손바닥이 위를 향하는 상태(스크린이 지표면을 향한 상태)에서 상기 사용자의 손등이 보이도록 회전하려면, 즉 내전 운동(pronation)을 하여 전자 장치의 스크린이 지표면 반대 방향을 향하려면 사용자는 반시계 방향으로 손목을 회전시킬 수 있다.
전자 장치의 센서 모듈에 포함된 하나 이상의 센서들, 예를 들어 가속도 센서 또는 자이로 센서는 도 203d에 도시된 바와 같이 사용자가 손목을 비틀거나 또는 팔을 돌릴 때 함께 움직이게 되는 전자 장치의 기울기 또는 가속도를 획득할 수 있다. 제어 모듈(E201)은 상기와 같은 스크린의 주된 방향(z)과 사용자의 움직임에 의해 발생된 전자 장치에서의 회전 운동의 방향성을 이용하여 상기 전자 장치가 사용자의 신체에 부착되었는지 여부를 판단할 수 있다. 또한 제어 모듈(E201)은 상기 스크린의 방향(z) 및 전자 장치에서의 회전 운동의 방향성을 이용하여 상기 전자 장치가 장착된 위치를 판별할 수 있다.
도 204a 및 204b는 본 발명의 다양한 실시예에 따른 전자 장치(E101)가 디스플레이를 통해 스크린(G150)에 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 특히, 도 204a 및 204b는 웨어러블 장치의 형태로 구현된 전자 장치(E101)를 착용한 사용자가, 상기 전자 장치(E101)로부터 제공받을 수 있는 콘텐츠를 나타낸 도면이다.
도 204a를 참조하면, 전자 장치(E101)의 디스플레이에 포함된 스크린(G150)의 방향(z) 및 사용자의 시선 반대 방향(w)은 서로 일치하지 않는다. 또한 사용자의 시선 반대 방향(w)과 스크린(G150)의 방향(z) 사이의 각도는 A°이다. 즉 시선 반대 방향(w)을 기준으로 전자 장치의 스크린(G150)은 반시계 방향으로 A° 회전된 상태이다. 도 204a를 참조하면 시선 반대 방향(w)은 스크린(G150)의 좌측을 향해 있다. 이를 통하여 사용자의 시선이 스크린(G150)의 좌측에 편향되어 있음을 알 수 있다. 상기와 같이 사용자의 시선이 스크린(G150)의 한 부분에 편향되어 있는 경우, 제어 모듈(E201)은 상기 시선이 편향된 쪽으로 콘텐츠가 편향되어 표시되도록 디스플레이를 제어할 수 있다. 도 204a를 참조하면, 사용자의 시선이 좌측으로 편향되어 있으므로, 제어 모듈(E201)은, 콘텐츠가 스크린(G150)의 좌측으로 편향되어 표시되도록 디스플레이를 제어할 수 있다. 도 204a 및 도 204b에서 디스플레이를 통해 스크린(G150)에 표시되고 있는 콘텐츠는 현재 시각으로서 ‘7:06’이다. 도 204a와 같이 사용자의 시선이 전자 장치의 좌측으로부터 전자 장치의 스크린(G150)을 향하는 것이라면, 제어 모듈(E201)은 스크린(G150)의 우측을 비워두고, 좌측에 편향되도록 ‘7:06’을 표시하도록 디스플레이를 제어할 수 있다.
도 204b에서도, 전자 장치의 스크린(G150)의 방향(z) 및 사용자의 시선 반대 방향(w)은 서로 일치하지 않는다. 또한 사용자의 시선 반대 방향(w)과 스크린(G150)의 방향(z) 사이의 각도는 B°이다. 즉 시선 반대 방향(w)을 기준으로 전자 장치의 스크린(G150)은 시계 방향으로 B° 회전된 상태이다. 도 204b를 참조하면 시선 반대 방향(w)은 스크린(G150)의 우측을 향해 있다. 이를 통하여 사용자의 시선이 스크린(G150)의 우측에 편향되어 있음을 알 수 있다. 상기와 같이 사용자의 시선이 스크린(G150)의 한 부분에 편향되어 있는 경우, 제어 모듈(E201)은 상기 시선이 편향된 쪽으로 콘텐츠가 편향되어 표시되도록 디스플레이를 제어할 수 있다. 도 204b를 참조하면, 사용자의 시선이 우측으로 편향되어 있으므로, 제어 모듈(E201)은, 콘텐츠가 스크린(G150)의 우측으로 편향되어 표시되도록 디스플레이를 제어할 수 있다. 도 204a 및 204b에서 디스플레이를 통해 스크린(G150)에 표시되고 있는 콘텐츠는 현재 시각으로서 ‘7:06’이다. 도 204a와 같이 사용자의 시선이 전자 장치의 우측으로부터 전자 장치의 스크린(G150)으로 들어오는 것이라면, 제어 모듈(E201)은 스크린(G150)의 좌측을 비워두고, 우측에 편향된 상태로 ‘7:06’을 표시하도록 상기 디스플레이를 제어할 수 있다.
한 실시예에 따르면, 디스플레이는 제어 모듈(E201)의 제어 하에 스크린에 표시되는 UI를 가로 방향으로 표시하거나 세로 방향으로 표시할 수 있다. 이하에서는, 가로 방향으로 표시되는 UI를 가로 UI라 하고, 세로 방향으로 표시되는 UI를 세로 UI라 하기로 한다. 디스플레이는 제어 모듈(E201)의 제어 하에 스크린에 표시되는 UI를, 가로 UI에서 세로 UI로 전환하거나 또는 세로 UI에서 가로 UI로 전환할 수 있다.
상기 가로 UI와 세로 UI의 전환은, 미리 저장된 사용자 신체의 운동 범위와 같이 전자 장치에 미리 저장되어 있던 사용자 프로파일 등을 활용하여 예측될 수 있다. 사용자가 상기 전자 장치를 장착한 후, 제어 모듈(E201)은 미리 저장되어 있던 사용자의 프로파일을, 상기 사용자의 현재 신체 활동의 운동 범위와 비교함으로써, 상기 스크린에 표시되는 UI를 결정할 수 있다. 이때 제어 모듈(E201)은 스크린에 가로 UI를 표시할 지 또는 세로 UI를 표시할 지 여부를 결정할 수도 있다.
다른 실시예에 따르면, 전자 장치는 사용자 입력에 따라 스크린에 표시되는 UI를 결정할 수 있다. 이때 제어 모듈(E201)은 상기 사용자 입력에 따라 스크린에 가로 UI를 표시할 지 또는 세로 UI를 표시할 지 여부를 결정할 수 있다. 상기 사용자 입력은 가상 버튼을 선택하는 입력, 아이콘을 선택하는 입력 또는 하드키(hard key)와 같이 물리적인 버튼 입력이 포함될 수 있다.
한 실시예에 따르면, 제어 모듈(E201)은 전자 장치를 통해 입력되는 움직임 입력(예를 들어, 모션 입력, 제스처 입력 등)을 움직임 센서를 이용하여 감지할 수 있다. 제어 모듈(E201)은 상기 움직임 센서를 이용해 감지된 움직임 입력과, 메모리(130)에 미리 저장되어 있던 움직임 데이터를 비교하여 유사도가 기준값 이상인 경우에도 UI를 변경할 수 있다. 이때 제어 모듈(E201)은 가로 UI를 세로 UI로 변경하거나 또는 세로 UI를 가로 UI로 변경하여 표시하도록 디스플레이를 제어할 수 있다.
예를 들어, 웨어러블 장치로 구현된 전자 장치를 착용하고 있는 사용자는, 손목이나 머리 등을 틸트하거나, 손목을 흔듦(shaking)으로써, 스크린에 표시되는 UI의 방향을 변경할 수 있다. 예를 들어, 사용자는 미리 설정된 특정 각도, 특정 방향 또는 특정 속도를 가지는 제스처를 할 수 있고, 전자 장치는 상기 제스처에 대한 모션 인식을 수행할 수 있다. 제어 모듈(E201)은 상기 모션 인식 결과에 따라 스크린에 표시되는 UI의 방향을 변경할 수 있다. 다른 예로서, 사용자는 전자 장치를 팔에 착용한 후 팔로 크게 원을 그리거나, 또는 상기 전자 장치를 손목이나 손가락에 장착한 후 손을 틸트시킴으로써 상기 UI의 방향을 전환시킬 수 있다.
한 실시예에 따르면, 제어 모듈(E201)은 사용자의 운동 상태와 종류를 기초로 하여 가로 UI를 세로 UI로 전환하거나 또는 세로 UI를 가로 UI로 전환할 수 있다. 즉 디스플레이는 상기 사용자의 운동 상태 또는 종류에 따라 자동으로 UI를 변환하여 스크린에 표시할 수 있다. 제어 모듈(E201)은 전자 장치에 포함된 적어도 하나의 센서, 예를 들어 움직임 센서, 위치감지 센서, 생체 센서 중 하나 이상을 이용하여 사용자이 운동 상태 또는 종류를 판단할 수 있다.
예를 들어, 운동을 하지 않는 일반 상황에서는 가로 UI, 자전거 운동인 경우에는 가로 UI, 달리기 운동 시에는 세로 UI가 사용자에게 제공될 수 있다. 즉, 가속도 센서를 통해 소정 기준 이하의 신호 세기가 검출되거나 심박수가 소정 기준 이하이면, 제어 모듈(E201)은 사용자가 운동을 하지 않는 상태인 것으로 판단할 수 있다. 가속도 센서에 의해 사용자의 이동이 감지되고, 또한 가속도 센서에 의해 측정된 신호 패턴이 달리기와 소정 기준 이상 유사하면, 제어 모듈(E201)은 사용자가 달리기를 하고 있는 것으로 판단할 수 있다.
또 다른 예로서, 손목에 장착한 전자 장치에 구비된 가속도 센서의 신호 패턴이 달리기 상태는 아니나 사용자가 좌우로 움직이는 패턴이고, GPS 센서에 의해 측정된 사용자의 이동 거리가 소정 거리 이상이면, 제어 모듈(E201)은 사용자의 상태를 자전거 탑승 상태로 판별할 수 있다. 즉 위치와 이동 속도와 같은 상황 정보를 가속도 센서 또는 자이로 센서로 감지하고, 상기 센서들로부터 출력된 데이터를 이용하여 제어 모듈(E201)은 스크린에 가로 UI를 표시할지 또는 세로 UI를 표시할 지 결정할 수 있다. 또한 상기 센서들로부터 출력된 데이터를 이용하여 제어 모듈(E201)은 가로 UI를 세로 UI로 변경하거나 세로 UI를 가로 UI로 변경하여 표시하도록 디스플레이를 제어할 수도 있다.
한 예로서, 회사나 집, 자주 방문하는 까페, 버스나 지하철 안에서 각기 다른 방향의 UI를 원하는 사용자가 있을 수 있다. 전자 장치에 포함된 GPS 센서나 측위 센서를 이용하여 측정된 이동 속도가 소정 기준 이상이거나, 상기 사용자가 도로 위에 있는 것으로 판단되면, 제어 모듈(E201)은 상기 사용자가 자동차나 교통 수단을 이용하여 이동 중인 것으로 판단할 수 있다. 또한 가속도 센서 또는 자이로 센서를 이용하여 상기 제어 모듈(E201)은 상기 사용자의 운전 동작 여부를 판단할 수 있다.
한 실시예에 따르면, 전자 장치는 마이크(mic)와 같은 오디오 장치로 사용자 주변의 소리를 입력받아 측정함으로써, 사용자가 실내에 있는지 또는 실외에 있는지 여부를 판단할 수 있다. 예를 들어, 주변 소음이 시끄러우면 사용자는 외부 장소와 같이 복잡한 장소에 있거나 또는 대중 교통을 이용하고 있을 가능성이 높다. 이러한 판단 조건으로 버스나 지하철이라고 판단되면, 제어 모듈(E201)은 메시지나 개인 일정, 다이어리와 같은 어플리케이션을 실행할 때에는 글자의 폰트를 작게 하거나 이미지의 사이즈를 작게 표시할 수 있다. 이로써 전자 장치는 사용자의 사생활 노출을 줄이고, 사용자의 프라이버시를 지켜줄 수 있게 된다. 상기 판단 조건으로, 사용자가 운전 중이거나, 조용한 집에 혼자 있거나 또는 사무실 등의 실내에 있다고 판단되면, 제어 모듈(E201)은 글자나 이미지의 사이즈가 크게 표시되도록 디스플레이를 제어할 수 있다. 또한 제어 모듈(E201)은 전자 장치의 위치 정보를 분석하여, 전자 장치가 위치하고 있는 위치, 즉 사용자의 위치가 실내인지 실외인지 판단하고, 그 판단 결과에 따라 가로 UI를 표시하거나 세로 UI를 표시하도록 디스플레이를 제어할 수 있다.
다른 실시예에 따르면, 상기 사용자가 가독성 등을 중요시하는 경우, 제어 모듈(E201)은 상기 사용자가 버스나 지하철에 있다고 하더라도 메시지나 개인 일정, 다이어리와 같은 어플리케이션을 실행할 때에는 글자의 폰트를 크게 하거나 이미지의 사이즈를 크게 표시할 수 있다.
사용자가 위치한 공간이 무엇인지 판단하고자 하는 경우, 제어 모듈(E201)은 상기 전자 장치에 포함된 조도 센서, 온도 센서 또는 압력 센서를 이용할 수 있다. 즉 제어 모듈(E201)은 조도 센서, 온도 센서 또는 압력 센서를 통해 출력된 데이터를 이용하여 사용자가 위치한 공간을 판단할 수 있다. 또한 제어 모듈(E201)은 상기 사용자기 위치한 공간에 따라 전자 장치의 동작을 제어할 수도 있다. 예를 들어 조도가 높은 경우, 제어 모듈(E201)은 실외의 햇빛이 비치는 경우로 판단할 수 있고, 또한 상기 제어 모듈(E201)은 전자 장치의 스크린 밝기를 추가적으로 조절할 수 있다.
도 205는 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 205의 (a)는 가로 쓰기(horizontal writing) 모드를 실행 중인 전자 장치(E101)를 나타낸 것으로서, 사용자로부터 콘텐츠가 가로 방향(좌→우)으로 입력되고 있는 디스플레이의 스크린을 포함하는 전자 장치(E101)를 도시한 도면이다. 도 205의 (a)에서 사용자로부터 디스플레이의 스크린을 통해 입력되고 있는 콘텐츠(G250)는 ‘오늘 10시 긴급 미팅 예정입니다. 참석필요’라는 텍스트이다. 한 실시예에 따르면, 전자 장치는 상기 가로 쓰기 모드에서, 가로로 글씨 쓰기를 지원할 수 있으며, 사용자로부터 가로 방향으로 문자를 입력받을 수도 있다.
도 205의 (a)는 세로 쓰기(vertical writing) 모드를 실행 중인 전자 장치(E101)를 나타낸 것으로서, 사용자로부터 콘텐츠가 세로 방향(상→하)으로 입력되고 있는 디스플레이를 포함하는 전자 장치를 도시한 도면이다. 도 205의 (b)에서 사용자로부터 디스플레이를 통해 입력되고 있는 콘텐츠 또한 (a)의 디스플레이에서 입력되고 있는 ‘오늘 10시 긴급 미팅 예정입니다. 참석필요’라는 텍스트이다. 한 실시예에 따르면, 전자 장치는 상기 세로 쓰기 모드에서 세로로 글씨 쓰기를 지원할 수 있으며, 세로 방향으로 문자를 입력받을 수도 있다.
상기와 같이 전자 장치는 디스플레이의 가로 방향 또는 세로 방향으로 콘텐츠를 출력할 수 있을 뿐만 아니라 사용자로부터 입력받을 수도 있다. 실시예에 따라 전자 장치는 가상 키패드, 필기 인식(handwriting recognition) 등을 통해 사용자로부터 콘텐츠(예를 들어, 텍스트, 이미지 등)를 입력받을 수 있다. 또한 도 205의 (a)와 같은 가로 쓰기 모드와 (b)와 같은 세로 쓰기 모드는 병행될 수 있다. 예를 들어, 디스플레이의 상단은 가로 쓰기 모드로 콘텐츠가 표시되거나 입력될 수 있다. 디스플레이의 하단은 세로 쓰기로 모드로 콘텐츠가 표시되거나 입력될 수 있다.
도 205의 (c)는 디스플레이를 통해 가로 방향 및 세로 방향으로 콘텐츠(G250)가 출력되고 있는 전자 장치(E101)를 도시한 것이다. 도 205의 (c)를 참조하면, 전자 장치(E101)의 디스플레이의 일부는 가로 쓰기 모드를 실행 중이고, 나머지 일부는 세로 쓰기 모드를 실행 중이다. 디스플레이에 표시되고 있는 콘텐츠들(G201, G202, G203, G204) 중 제1 콘텐츠(G201), 제2 콘텐츠(G202) 및 제4 콘텐츠(G204)는 가로 쓰기 모드에 따라 가로 방향(좌→우)으로 출력되고 있다. 또한 제3 콘텐츠(G203)는 세로 쓰기 모드에 따라 세로 방향(상→하)으로 출력되고 있다. 도 205의 (c)에 도시된 바와 같이 가로 쓰기 모드와 세로 쓰기 모드는 하나의 화면에서 병행될 수 있으며, 이는 콘텐츠의 출력뿐만 아니라 콘텐츠의 입력에서도 적용될 수 있다.
한 실시예에 따르면, 웹브라우저 화면과 같이 다양한 콘텐츠가 포함된 화면 이미지를 사용자에게 제공하고자 하는 경우, 상기 화면 이미지를 구성하는 레이아웃 중 검색엔진명(예를 들어, NAVER)과 검색창이 배치된 가로 영역, 본문과 사진이 배치된 세로 영역, 기타 콘텐츠가 배치된 하단의 가로 영역은, 그 영역의 모양에 따라서 콘텐츠들이 가로쓰기 혹은 세로쓰기 형태로 배치될 수 있다. 한 실시예에 따르면, 제어 모듈(E201)은 디스플레이에 포함된 스크린에 대한 틸트 정보를 이용하여 세로 모드 또는 가로모드를 인식할 수 있다. 상기 제어 모듈(E201)은 상기 틸트 정보를 이용하여 가로 쓰기와 세로 쓰기 중 더 많은 정보를 표시할 수 있는 쓰기 모드를 선택하거나, 또는 화면 이미지의 레이아웃을 구성하는 영역들의 모양을 판별하여, 해당 영역이 가로로 길면, 해당 영역 내에 가로쓰기로 콘텐츠가 배치되도록 디스플레이를 제어하고, 세로로 길면, 해당 영역 내에 세로쓰기 형태로 콘텐츠가 배치되도록 디스플레이를 제어할 수 있다.
도 206은 본 발명의 다양한 실시예에 따른 전자 장치가 콘텐츠를 표시하는 또 다른 예를 나타낸 도면이다.
도 206을 참조하면, 전자 장치는 보다 적은 전력 소비량을 요구로 하는 색상 또는 상기 색상과 유사한 색상으로 콘텐츠를 표시할 수 있다. 실시예에 따라 전자 장치는 사용자로부터 콘텐츠를 입력받기 위하여 편집창(G302)를 표시하거나 또는 콘텐츠의 편집을 위하여 편집창(G302)을 표시할 수 있다.
한 실시예에 따르면, 제어 모듈(E201)은 배터리(Battery)의 잔량 및 충전 상태에 따라 전류를 절약할 수 있도록 폰트 또는 색상을 조절할 수 있다. 전자 장치가 웨어러블 장치 또는 모바일 장치로 구현되는 경우, 해당 장치의 특성상 배터리의 용량은 한정될 수 있다. 따라서 전자 장치의 각종 동작 실행에 의하여 소모되는 전력을 최대한 줄일 수 있도록 제어 모듈(E201)은 상기 전자 장치의 동작을 제어할 수 있다.
예를 들어, 전자 장치의 배터리 잔량이 30% 미만으로 떨어지면 제어 모듈(E201)은 소모되는 전력량을 최대한 줄이기 위해 스크린을 포함하는 디스플레이가 적은 전력만으로도 구동될 수 있도록 화면 이미지를 구성할 수 있다. 예를 들어, 제어 모듈(E201)은 적은 전력으로 구현 가능한 색상 또는 상기 색상에 가까운 색상으로 화면 이미지를 구성할 수 있다. 일 예로서, 상기 스크린이 LCD인 경우, 제어 모듈(E201)은 블랙(black) 색상으로 화면 이미지의 배경색을 구성할 수 있다. 일 예로서, 상기 스크린이 OLED인 경우 제어 모듈(E201)은 일부 OLED로 하여금 레드(red) 색상의 배경색을 출력하도록 제어하고, 배경 이외의 나머지 부분, 예를 들어 이미지 또는 텍스트의 색상 및 사이즈를 사용자가 용이하게 인식할 수 있는 형태로 변형할 수 있다. 또한 상기 OLED와 같이 스크린의 일부만 라이트 온(light on)시킬 수 있는 경우, 제어 모듈(E201)은 상기 OLED의 특성을 고려하여 상기 스크린의 일부만 라이트 온되도록 디스플레이를 제어할 수 있다. 예를 들면, 제어 모듈(E201)은 콘텐츠가 표시되는 스크린 중 사용자의 시선 각도를 벗어나는 영역에 대해서는 라이트 오프(light off)시키도록 디스플레이를 제어할 수 있다.
한 실시예에 따르면, 제어 모듈(E201)은 운동 종류에 따라 콘텐츠를 표시하는 스크린을 포함하는 디스플레이를 제어할 수 있다. 예를 들어, 운동 중 스크린이 사용자의 눈에 띄는 위치인지 아닌지를 판별하는 동작은, 해당 운동의 종류가 무엇인지 판별함으로써 더 용이해질 수 있다. 예를 들어, 수영의 경우에는 영법에 따른 고유의 움직임 패턴이 있으므로 제어 모듈(E201)은 상기 영법에 따른 고유의 움직임 패턴이 발생된 것으로 판단되면, 사용자의 운동을 수영으로 결정할 수 있다. 다른 예로서, 야외에서 달리기의 경우 제어 모듈(E201)은 이동 거리와 팔의 움직임 정보 등을 통해 해당 운동이 달리기임을 판변할 수 있다.
한 실시예에 따르면, 전자 장치는 사용자로부터 운동 종류를 미리 입력받을 수도 있다. 상기 사용자는 운동을 시작하기 전에 전자 장치에 해당 운동의 종류를 입력할 수 있다.
상기와 같은 운동을 나타내는 정보, 즉 운동 정보를 통하여 제어 모듈(E201)은 해당 운동 고유의 패턴을 얻어낼 수 있다. 또한 제어 모듈(E201)은 사용자의 신체 운동 범위 정보를 이용하여, 전자 장치가 장착된 위치 및 방향 정보를 알아낼 수 있다. 제어 모듈(E201)은 상기 전자 장치의 위치 또는 방향 정보를 기반으로 하여 사용자의 시선 방향이나 시선 위치 정보를 알아낼 수 있다. 또한 제어 모듈(E201)은 사용자의 시선 방향이나 시선 위치 정보를, 상기 전자 장치의 위치 및 방향 정보와 함께 인식 또는 추정할 수도 있다. 제어 모듈(E201)은 상기 사용자의 시선 방향, 시선 위치 정보, 전자 장치의 위치 및 방향 정보에 기반하여 해당 상황에 알맞은 정보, 즉 콘텐츠를 표시하도록 디스플레이를 제어하거나 또는 스크린의 라이트 오프(light off)시킬 수 있다.
특히, 전자 장치가 자동으로 사용자의 운동 종류를 인식한 경우, 제어 모듈(E201)은 사용자의 포즈, 전자 장치의 위치 및 방향 정보를 이용하여 사용자에게 필요한 정보를 제공하도록 전자 장치를 제어할 수 있다. 예를 들어, 전자 장치는 사용자에게 필요한 시점마다 필요한 정보(예를 들어, 코칭 정보, 포즈 교정 등)만을 제공할 수 있다. 반면에, 사용자에게 필요하지 않은 시점이라고 판단되면, 전자 장치는 별도의 정보를 표시하지 않음으로써 전력 소모를 줄이거나, 또는 일반적인 정보만을 표시할 수 있다.
도 207은 본 발명의 다양한 실시예들에 따른 복수의 전자 장치들이 콘텐츠를 표시하는 일 예를 나타낸 도면이다. 전자 장치(E101)는 호스트 디바이스이고, 외부 전자 장치(E104)는 컴패니언 디바이스로 구현되어, 전자 장치(E101)와 외부 전자 장치(E104)가 서로 연동될 수 있다. 도 207에서는 호스트 디바이스인 전자 장치(E101)가 컴패니언 디바이스인 외부 전자 장치(E104)를 제어하는 것으로 가정한다.
도 207을 참조하면, 컴패니언 디바이스인 외부 전자 장치(E104)는 사용자(G401)의 손목에 착용되어 있으며, 전자 장치(E101)의 제어 하에 운동 모드를 실행하고 있다. 외부 전자 장치(E104)가 사용자(G401)의 손목에 착용되어 있으므로, 전자 장치(E101)는 외부 전자 장치(E104)의 센서 모듈(미도시)이 사용자(G401)의 각종 생체 신호(예를 들어, 사용자(G401)의 혈압, 혈류, 심박수, 체온, 호흡수, 산소 포화도, 심폐음, 혈당 등) 또는 외부 전자 장치(E104)의 이동 속도, 이동 가속도, 이동 방향 또는 기울기를 측정하도록 제어할 수 있다. 전자 장치(E101)는 외부 전자 장치(E104)의 센서 모듈을 통해 측정된 센서 수치를 기초로 사용자(G401)의 현재 상태 또는 외부 전자 장치(E104)의 디스플레이의 방향을 결정할 수 있다. 전자 장치(E101)는 사용자(G401)의 현재 상태 또는 외부 전자 장치(E104)의 디스플레이의 방향에 따라 상기 디스플레이에 표시할 콘텐츠를 결정할 수 있다. 또한 전자 장치(E101)는 상기 외부 전자 장치(E104)의 디스플레이에 표시할 콘텐츠를 상기 외부 전자 장치(E104)에 전송할 수 있고, 외부 전자 장치(E104)는 전자 장치(E101)로부터 수신한 콘텐츠를 표시할 수 있다.
전자 장치(E101)는 외부 전자 장치(E104)의 센서 모듈에 의해 측정된 센서 수치를 통해 사용자(G401)가 운동 중임을 감지하고, 전자 장치(E101) 또는 외부 전자 장치(E104)를 운동 모드로 변환시킬 수 있다. 운동 모드가 실행되면 전자 장치(E101) 또는 외부 전자 장치(E104)는 운동 모드에 따른 콘텐츠를 디스플레이(190)에 표시할 수 있다.
도 207의 전자 장치(E101)는 외부 전자 장치(E104)의 센서 모듈을 통해 측정된 센서 수치를 기초로 사용자(G401)가 운동 중인 것으로 결정하였다고 가정한다. 도 207에서 전자 장치(E101)의 제어 모듈(E201)은 전자 장치(E101) 및 외부 전자 장치(E104)의 동작 모드를 모두 운동 모드로 전환하였다. 그에 따라 외부 전자 장치(E104)의 디스플레이 상에는 운동의 종류(달리기), 소모 칼로리(234Kcal), 이동 거리(6.2km), 맥박수(95) 및 운동 시간(00:28:30)이 표시되고 있다. 또한 외부 전자 장치(E104)와 연동 중인 호스트 디바이스인 전자 장치(E101)에도 운동 모드에 따른 콘텐츠가 표시될 수 있다. 또한 전자 장치(E101)의 디스플레이 상에는 전자 장치(E101)의 동작 모드(운동 모드), 소모 칼로리(234Kcal), 이동 거리(6.2km), 심박수(95), 운동 시간(00:28:30)이 표시되고 있다.
이때 외부 전자 장치(E104)의 디스플레이 상에 표시되는 콘텐츠는 전자 장치로부터 전송된 콘텐츠일 수 있다. 또한 외부 전자 장치(E104)는 전자 장치(E101)의 제어 하에 지속적으로 센서 모듈을 이용하여 사용자(G401)의 생체 신호를 측정할 수 있고, 상기 센서 모듈에 의해 계측된 센서 수치를 전자 장치(E101)에 전달할 수 있다.
본 개시에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 개시에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 프로세서 120, 210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(예: 메모리(130))가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 개시에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예들 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 발명된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 다양한 실시예들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다양한 실시예들에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A와 B 모두를 포함할 수도 있다.
다양한 실시예들 가운데 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들이 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 다양한 실시예들의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
이상, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해서 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.
Claims (29)
- 전자 장치에 있어서,적어도 하나의 센서; 및상기 적어도 하나의 센서 또는 상기 전자 장치의 통신 모듈을 이용하여 사용자의 생체 정보를 획득하고,상기 전자 장치가 지원하는 복수의 서비스들 중에서 상기 생체 정보와 연관된 적어도 하나의 서비스를 결정하고,상기 결정된 적어도 하나의 서비스를 제공하도록 구성된 프로세서를 포함하는 전자 장치.
- 제1항에 있어서,상기 사용자의 생체 정보는 상기 사용자의 식별 정보, 신체 정보, 감정 정보, 건강 정보, 질병 정보, 운동 정보, 활동 정보, 스트레스 정보, 수면 정보 중의 적어도 하나를 포함하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,미리 설정된 조건을 충족하는 상기 전자 장치의 상태 변경을 검출하고,상기 전자 장치의 상태 변경을 검출함에 따라 상기 생체 정보를 획득하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,미리 설정된 조건이 충족되는지의 여부를 결정하고,상기 미리 설정된 조건이 충족됨에 따라 상기 생체 정보를 획득하는 동작을 개시하도록 구성되고,상기 미리 설정된 조건은, 임계 값을 초과하는 상기 전자 장치의 움직임, 미리 설정된 제스처에 따른 상기 전자 장치의 움직임, 미리 설정된 영역으로의 상기 전자 장치의 위치 이동, 상기 전자 장치로의 사용자 입력, 상기 전자 장치에서 미리 설정된 이벤트의 발생, 상기 전자 장치의 슬립 상태 및 웨이크 업 상태 간의 전환 중의 적어도 하나를 포함하는 전자 장치.
- 제1항에 있어서,상기 프로세서는 상기 통신 모듈을 통해 외부 장치로부터 상기 생체 정보를 수신하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 생체 정보를 미리 설정된 값과 비교하고,상기 생체 정보와 상기 미리 설정된 값의 차이에 따라 상기 생체 정보의 획득 주기를 변경하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 통신 모듈을 통해 상기 생체 정보를 외부 장치로 전송하고,상기 통신 모듈을 통해 상기 외부 장치로부터 상기 생체 정보의 획득 주기 정보를 수신하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 전자 장치에 미리 저장된 사용자 연관 정보들 중에서 상기 생체 정보와 연관된 사용자 연관 정보를 결정하도록 구성되고,상기 전자 장치가 지원하는 상기 복수의 서비스들 중에서 상기 생체 정보 및 상기 결정된 사용자 연관 정보에 대응하는 적어도 하나의 서비스가 결정되는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 전자 장치에 미리 저장된 사용자 연관 정보들 중에서 상기 생체 정보와 연관된 사용자 연관 정보를 결정하도록 구성되고,상기 전자 장치가 지원하는 상기 복수의 서비스들 중에서 상기 생체 정보 및 상기 결정된 사용자 연관 정보에 대응하는 적어도 하나의 서비스가 결정되고,상기 사용자 연관 정보는 상기 사용자에 대한 정보, 상기 전자 장치에 대한 정보, 상기 전자 장치의 주변 환경에 대한 정보 중의 적어도 하나를 포함하는 전자 장치.
- 제1항에 있어서,상기 결정된 적어도 하나의 서비스는 사용자 인터페이스의 변경, 사용자 인증, 운동 코칭, 정보 추천, 정보 제공, 미리 설정된 콘텐츠, 기능 또는 서비스의 접근 제한, 상기 전자 장치의 환경설정 변경 중의 적어도 하나인 전자 장치.
- 제1항에 있어서,상기 사용자의 생체 정보는 상기 사용자의 연령을 포함하고,상기 결정된 적어도 하나의 서비스는 현재 표시된 사용자 인터페이스를 상기 사용자의 연령에 따른 사용자 인터페이스로 변경하는 서비스인 전자 장치.
- 제1항에 있어서,상기 사용자의 생체 정보는 상기 사용자의 연령을 포함하고,상기 결정된 적어도 하나의 서비스는 상기 전자 장치의 안내 음성 변경, 음성 볼륨 변경, 미리 설정된 콘텐츠 또는 서비스의 접근 제한, 경고 피드백의 제공, 정보 추천 중의 적어도 하나를 포함하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 생체 정보를 미리 설정된 값과 비교하고,상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 생체 정보를 미리 설정된 값과 비교하고,상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력하도록 구성되고,상기 적어도 하나의 알람 신호는 시각적 신호, 청각적 신호, 촉각적 신호 중 적어도 하나인 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 생체 정보를 미리 설정된 값과 비교하고,상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 적어도 하나의 알람 신호를 출력하도록 구성되고,상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이가 임계값보다 크면, 상기 적어도 하나의 알람 신호의 강도, 상기 적어도 하나의 알람 신호의 종류, 상기 적어도 하나의 알람 신호의 출력 횟수, 또는 상기 생체 정보의 획득 주기가 증가되는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 움직임 또는 위치 정보를 획득하고,상기 사용자의 생체 정보와 상기 움직임 또는 위치 정보에 근거하여 상기 사용자를 인증하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 현재 위치 또는 현재 시간을 획득하고,상기 사용자의 생체 정보와, 상기 현재 위치 또는 상기 현재 시간에 근거하여 상기 사용자를 인증하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 운동 강도 또는 활동 종류를 획득하고,상기 사용자의 생체 정보와, 상기 운동 강도 또는 활동 종류에 근거하여 상기 사용자를 인증하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 인증을 위해 상기 사용자의 생체 정보를 미리 설정된 제1 값과 비교하고,상기 사용자의 생체 정보와 상기 미리 설정된 제1 값의 차이가 임계값 이하인 경우, 추가적인 생체 정보를 획득하고,상기 사용자의 인증을 위해 상기 추가적인 생체 정보를 미리 설정된 제2 값과 비교하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,이벤트를 검출하고,상기 사용자의 생체 정보에 근거하여 상기 사용자를 인증하고,상기 전자 장치 또는 제1 외부 장치에 저장된 데이터베이스에서 상기 사용자 및 상기 이벤트와 일치하는 이벤트를 검색하고,상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 제어 정보에 근거하여 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치를 제어하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,이벤트를 검출하고,상기 사용자의 생체 정보에 근거하여 상기 사용자를 인증하고,상기 전자 장치 또는 제1 외부 장치에 저장된 데이터베이스에서 상기 사용자 및 상기 이벤트와 일치하는 이벤트를 검색하고,상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 제어 정보에 근거하여 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치를 제어하도록 구성되고,상기 프로세서는, 상기 전자 장치, 상기 제1 외부 장치 또는 제2 외부 장치의 볼륨 조절, 사용자 인터페이스의 변경, 밝기 변경, 채널 변경 중의 적어도 하나를 제어하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,이벤트를 검출하고,상기 사용자의 생체 정보에 근거하여 상기 사용자를 인증하고,상기 이벤트와 연관된 상기 사용자의 제어 정보를 검출하고,상기 이벤트 및 상기 제어 정보에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 생체 정보를 미리 설정된 값과 비교하고,상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 사용자 연관 정보를 획득하고,상기 생체 정보 및 상기 사용자 연관 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,상기 사용자의 생체 정보를 미리 설정된 값과 비교하고,상기 사용자의 생체 정보와 상기 미리 설정된 값의 차이에 따라 사용자 연관 정보를 획득하고,상기 생체 정보 및 상기 사용자 연관 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하도록 구성되고,상기 사용자 연관 정보는 이미지, 비디오, 오디오, 위치, 시간, 날씨 중의 적어도 하나를 포함하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,미리 설정된 복수의 카테고리들 중 상기 사용자의 생체 정보가 속하는 카테고리를 결정하고,현재 재생 중인 콘텐츠 및 상기 카테고리에 대한 정보를 상기 전자 장치 또는 외부 장치의 데이터베이스에 저장하도록 구성된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,이벤트를 검출하고,상기 이벤트에 대응하는 생체 정보를 결정하고,상기 전자 장치가 지원하는 상기 복수의 서비스들 중에서 상기 결정된 생체 정보에 대응하는 적어도 하나의 서비스를 결정하도록 구성된 전자 장치.
- 제26항에 있어서, 상기 프로세서는,상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 이벤트와 일치하는 이벤트를 검색하고,상기 검색된 이벤트에 대응하여 상기 데이터베이스에 저장된 생체 정보를 상기 이벤트에 대응하는 생체 정보로 결정하도록 구성된 전자 장치.
- 제26항에 있어서, 상기 프로세서는,상기 결정된 생체 정보에 대응하는 외부 장치의 제어 정보를 결정하고,상기 통신 모듈을 통해 상기 제어 정보를 상기 외부 장치로 전송하도록 구성된 전자 장치.
- 제26항에 있어서, 상기 프로세서는,상기 전자 장치 또는 외부 장치에 저장된 데이터베이스에서 상기 전자 장치의 위치가 속하는 영역을 검색하고,상기 검색된 영역에 대응하여 상기 데이터베이스에 저장된 생체 정보를 상기 검출된 이벤트에 대응하는 생체 정보로 결정하도록 구성된 전자 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/120,687 US10534900B2 (en) | 2014-02-21 | 2015-02-11 | Electronic device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461943004P | 2014-02-21 | 2014-02-21 | |
| US61/943,004 | 2014-02-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015126095A1 true WO2015126095A1 (ko) | 2015-08-27 |
Family
ID=53878543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2015/001391 WO2015126095A1 (ko) | 2014-02-21 | 2015-02-11 | 전자 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10534900B2 (ko) |
| KR (1) | KR102302439B1 (ko) |
| WO (1) | WO2015126095A1 (ko) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170062312A (ko) * | 2015-11-27 | 2017-06-07 | 삼성전자주식회사 | 무선 통신을 이용한 전자장치의 관리 방법과 장치 |
| WO2017102355A1 (de) * | 2015-12-17 | 2017-06-22 | Volkswagen Aktiengesellschaft | Verfahren und ein system zur geschützten kommunikation zwischen einer mit einem smartphone gekoppelten mobilen einheit und einem server |
| TWI605209B (zh) * | 2016-08-08 | 2017-11-11 | 銀泰科技股份有限公司 | 應用於線性模組之訊息回饋系統及其訊息回饋方法 |
| WO2018012785A1 (ko) * | 2016-07-12 | 2018-01-18 | 한국기술교육대학교 산학협력단 | 햅틱 인터랙션 장치 및 그 제어 방법 |
| CN107659619A (zh) * | 2017-09-03 | 2018-02-02 | 东莞华创客驿食品技术开发有限公司 | 共享设备用户切换方法 |
| CN108196672A (zh) * | 2017-12-28 | 2018-06-22 | 福州市鼓楼区智搜信息科技有限公司 | 一种能根据学生听课状况自动切换教学方式的系统及其实现方法 |
| US20190220943A1 (en) * | 2015-07-30 | 2019-07-18 | The Government of the United States of America, as represented by the Secretary of Homeland Securit | In-scope biometric information collection |
| WO2020243380A1 (en) * | 2019-05-29 | 2020-12-03 | Motorola Mobility Llc | Setting polling interval of sensor |
| US11058217B2 (en) * | 2017-08-21 | 2021-07-13 | Versa Products, Inc. | Compact, motorized, height-adjustable, software-controlled desktop system |
Families Citing this family (467)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9811818B1 (en) * | 2002-10-01 | 2017-11-07 | World Award Academy, World Award Foundation, Amobilepay, Inc. | Wearable personal digital device for facilitating mobile device payments and personal use |
| US9704154B2 (en) * | 2002-10-01 | 2017-07-11 | World Award Academy, World Award Foundation, Amobilepay, Inc. | Wearable personal digital device for facilitating mobile device payments and personal use |
| US10057676B2 (en) * | 2007-04-20 | 2018-08-21 | Lloyd Douglas Manning | Wearable wirelessly controlled enigma system |
| CN103582873B (zh) | 2011-06-05 | 2017-07-14 | 苹果公司 | 用于显示从多个应用接收到的通知的系统和方法 |
| US9339691B2 (en) | 2012-01-05 | 2016-05-17 | Icon Health & Fitness, Inc. | System and method for controlling an exercise device |
| US9804759B2 (en) | 2012-05-09 | 2017-10-31 | Apple Inc. | Context-specific user interfaces |
| EP2969058B1 (en) | 2013-03-14 | 2020-05-13 | Icon Health & Fitness, Inc. | Strength training apparatus with flywheel and related methods |
| WO2014143776A2 (en) | 2013-03-15 | 2014-09-18 | Bodhi Technology Ventures Llc | Providing remote interactions with host device using a wireless device |
| US9753436B2 (en) | 2013-06-11 | 2017-09-05 | Apple Inc. | Rotary input mechanism for an electronic device |
| KR101843940B1 (ko) | 2013-08-09 | 2018-05-14 | 애플 인크. | 전자 디바이스용 촉각 스위치 |
| US9403047B2 (en) | 2013-12-26 | 2016-08-02 | Icon Health & Fitness, Inc. | Magnetic resistance mechanism in a cable machine |
| CN105979855B (zh) | 2014-02-11 | 2019-05-28 | 苹果公司 | 检测正在穿戴可穿戴电子设备的肢体 |
| US10827268B2 (en) | 2014-02-11 | 2020-11-03 | Apple Inc. | Detecting an installation position of a wearable electronic device |
| US10048802B2 (en) | 2014-02-12 | 2018-08-14 | Apple Inc. | Rejection of false turns of rotary inputs for electronic devices |
| US10409454B2 (en) * | 2014-03-05 | 2019-09-10 | Samsung Electronics Co., Ltd. | Smart watch device and user interface thereof |
| US10433612B2 (en) | 2014-03-10 | 2019-10-08 | Icon Health & Fitness, Inc. | Pressure sensor to quantify work |
| JP2015181708A (ja) * | 2014-03-24 | 2015-10-22 | セイコーエプソン株式会社 | 運動提示装置、運動提示方法及び運動提示プログラム |
| JP6537780B2 (ja) * | 2014-04-09 | 2019-07-03 | 日立オートモティブシステムズ株式会社 | 走行制御装置、車載用表示装置、及び走行制御システム |
| JP6406624B2 (ja) * | 2014-05-13 | 2018-10-17 | パナソニックＩｐマネジメント株式会社 | 生体情報測定装置およびこの装置を備える生体情報測定システム |
| US9763049B2 (en) * | 2014-05-15 | 2017-09-12 | Pebble Technology Corp. | Contextual information usage in systems that include accessory devices |
| US20150350146A1 (en) | 2014-05-29 | 2015-12-03 | Apple Inc. | Coordination of message alert presentations across devices based on device modes |
| US10043185B2 (en) | 2014-05-29 | 2018-08-07 | Apple Inc. | User interface for payments |
| US9967401B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | User interface for phone call routing among devices |
| WO2015191445A1 (en) | 2014-06-09 | 2015-12-17 | Icon Health & Fitness, Inc. | Cable system incorporated into a treadmill |
| WO2015195965A1 (en) | 2014-06-20 | 2015-12-23 | Icon Health & Fitness, Inc. | Post workout massage device |
| US10190891B1 (en) | 2014-07-16 | 2019-01-29 | Apple Inc. | Optical encoder for detecting rotational and axial movement |
| TWI647608B (zh) | 2014-07-21 | 2019-01-11 | 美商蘋果公司 | 遠端使用者介面 |
| US10452253B2 (en) | 2014-08-15 | 2019-10-22 | Apple Inc. | Weather user interface |
| US10339293B2 (en) | 2014-08-15 | 2019-07-02 | Apple Inc. | Authenticated device used to unlock another device |
| US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
| US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
| CN111081345B (zh) | 2014-09-02 | 2023-10-10 | 苹果公司 | 身体活动和健身监视器 |
| US9547419B2 (en) | 2014-09-02 | 2017-01-17 | Apple Inc. | Reduced size configuration interface |
| WO2016036412A1 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | Remote camera user interface |
| US10066959B2 (en) | 2014-09-02 | 2018-09-04 | Apple Inc. | User interactions for a mapping application |
| US10599101B2 (en) | 2014-09-02 | 2020-03-24 | Apple Inc. | Wearable electronic device |
| CN115756151A (zh) | 2014-09-02 | 2023-03-07 | 苹果公司 | 用于可变触觉输出的语义框架 |
| WO2016036114A1 (en) * | 2014-09-03 | 2016-03-10 | Samsung Electronics Co., Ltd. | Electronic device and method for measuring vital signal |
| US9723997B1 (en) | 2014-09-26 | 2017-08-08 | Apple Inc. | Electronic device that computes health data |
| FR3026638B1 (fr) * | 2014-10-07 | 2016-12-16 | Yannick Vaillant | Ensemble environnement et interface de stimulation tactile de guidage sur une trajectoire dans l'environnement |
| US20160166161A1 (en) * | 2014-10-09 | 2016-06-16 | Bruce Yang | Novel Design Considerations in the Development of a Photoplethysmography Ring |
| US9426730B2 (en) * | 2014-10-17 | 2016-08-23 | Blackberry Limited | GNSS-assisted cellular network selection |
| CN104409263B (zh) * | 2014-11-11 | 2017-05-24 | 青岛海信移动通信技术股份有限公司 | 一种扩展按键及一种移动终端 |
| CN104376100B (zh) * | 2014-11-25 | 2018-12-18 | 北京智谷睿拓技术服务有限公司 | 搜索方法及装置 |
| US9971406B2 (en) | 2014-12-05 | 2018-05-15 | International Business Machines Corporation | Visually enhanced tactile feedback |
| WO2016105166A1 (en) * | 2014-12-26 | 2016-06-30 | Samsung Electronics Co., Ltd. | Device and method of controlling wearable device |
| US20160210434A1 (en) * | 2015-01-15 | 2016-07-21 | Umm Al-Qura University | Health information monitoring device and method |
| US20180000413A1 (en) * | 2015-01-29 | 2018-01-04 | Kyocera Corporation | Measurement apparatus and sensor system |
| CN105848086B (zh) * | 2015-01-29 | 2019-08-16 | 宏达国际电子股份有限公司 | 物联网系统以及控制方法 |
| US9574896B2 (en) | 2015-02-13 | 2017-02-21 | Apple Inc. | Navigation user interface |
| US9940521B2 (en) * | 2015-02-27 | 2018-04-10 | Sony Corporation | Visibility enhancement devices, systems, and methods |
| US10388183B2 (en) * | 2015-02-27 | 2019-08-20 | Icon Health & Fitness, Inc. | Encouraging achievement of health goals |
| US10145711B2 (en) | 2015-03-05 | 2018-12-04 | Apple Inc. | Optical encoder with direction-dependent optical properties having an optically anisotropic region to produce a first and a second light distribution |
| US10254911B2 (en) | 2015-03-08 | 2019-04-09 | Apple Inc. | Device configuration user interface |
| KR101993073B1 (ko) | 2015-03-08 | 2019-06-25 | 애플 인크. | 회전가능 및 병진가능한 입력 메커니즘을 위한 압축성 밀봉부 |
| US10389711B2 (en) * | 2015-03-10 | 2019-08-20 | Geelux Holdings, Ltd. | System and apparatus for biometric identification of a unique user and authorization of the unique user |
| USD862277S1 (en) | 2015-03-16 | 2019-10-08 | Fitbit, Inc. | Set of bands for a fitness tracker |
| US10768704B2 (en) * | 2015-03-17 | 2020-09-08 | Whirlwind VR, Inc. | System and method for modulating a peripheral device based on an unscripted feed using computer vision |
| KR20160113906A (ko) * | 2015-03-23 | 2016-10-04 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
| CN104811903A (zh) * | 2015-03-25 | 2015-07-29 | 惠州Tcl移动通信有限公司 | 一种组建交流群的方法及其可穿戴设备 |
| US9842268B1 (en) * | 2015-03-27 | 2017-12-12 | Google Llc | Determining regions of interest based on user interaction |
| JP2016195747A (ja) * | 2015-04-06 | 2016-11-24 | セイコーエプソン株式会社 | 生体情報処理装置、生体情報処理システム、生体情報処理方法及び生体情報処理プログラム |
| EP3269299B1 (en) * | 2015-04-08 | 2019-05-22 | Nipro Corporation | Blood pressure measuring device |
| US10055563B2 (en) * | 2015-04-15 | 2018-08-21 | Mediatek Inc. | Air writing and gesture system with interactive wearable device |
| WO2016168591A1 (en) * | 2015-04-16 | 2016-10-20 | Robert Bosch Gmbh | System and method for automated sign language recognition |
| US9839376B1 (en) | 2015-04-20 | 2017-12-12 | Massachusetts Mutual Life Insurance | Systems and methods for automated body mass index calculation to determine value |
| US10748217B1 (en) * | 2015-04-20 | 2020-08-18 | Massachusetts Mutual Life Insurance Company | Systems and methods for automated body mass index calculation |
| US10319473B2 (en) * | 2015-04-20 | 2019-06-11 | Kali Care, Inc. | Wearable system for healthcare management |
| US10018966B2 (en) | 2015-04-24 | 2018-07-10 | Apple Inc. | Cover member for an input mechanism of an electronic device |
| RU2593797C1 (ru) * | 2015-05-06 | 2016-08-10 | Общество С Ограниченной Ответственностью "Хилби" | Блок датчиков |
| JP2016209233A (ja) * | 2015-05-07 | 2016-12-15 | セイコーエプソン株式会社 | 生体情報処理システム、サーバーシステム、生体情報処理装置及び生体情報処理方法 |
| US10123746B2 (en) * | 2015-05-08 | 2018-11-13 | Texas Instruments Incorporated | Accuracy of heart rate estimation from photoplethysmographic (PPG) signals |
| CA2986768C (en) * | 2015-05-26 | 2022-04-26 | Safe Trek, Inc. | Systems and methods for providing assistance in an emergency |
| US10088908B1 (en) * | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
| CN104814726B (zh) * | 2015-05-28 | 2016-08-24 | 京东方科技集团股份有限公司 | 一种智能手环 |
| US10134368B2 (en) * | 2015-06-04 | 2018-11-20 | Paypal, Inc. | Movement based graphical user interface |
| JP6573104B2 (ja) * | 2015-06-05 | 2019-09-11 | ローム株式会社 | 指標導出装置、ウェアラブル機器及び携帯機器 |
| US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| US11103139B2 (en) | 2015-06-14 | 2021-08-31 | Facense Ltd. | Detecting fever from video images and a baseline |
| US10638938B1 (en) | 2015-06-14 | 2020-05-05 | Facense Ltd. | Eyeglasses to detect abnormal medical events including stroke and migraine |
| US11103140B2 (en) | 2015-06-14 | 2021-08-31 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
| US10667697B2 (en) | 2015-06-14 | 2020-06-02 | Facense Ltd. | Identification of posture-related syncope using head-mounted sensors |
| US10791938B2 (en) | 2015-06-14 | 2020-10-06 | Facense Ltd. | Smartglasses for detecting congestive heart failure |
| US10376163B1 (en) | 2015-06-14 | 2019-08-13 | Facense Ltd. | Blood pressure from inward-facing head-mounted cameras |
| US10349887B1 (en) | 2015-06-14 | 2019-07-16 | Facense Ltd. | Blood pressure measuring smartglasses |
| US10799122B2 (en) | 2015-06-14 | 2020-10-13 | Facense Ltd. | Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses |
| US11064892B2 (en) | 2015-06-14 | 2021-07-20 | Facense Ltd. | Detecting a transient ischemic attack using photoplethysmogram signals |
| US11154203B2 (en) | 2015-06-14 | 2021-10-26 | Facense Ltd. | Detecting fever from images and temperatures |
| WO2016206069A1 (en) * | 2015-06-26 | 2016-12-29 | Microsoft Technology Licensing, Llc | Passive haptics as reference for active haptics |
| US10282886B2 (en) * | 2015-06-26 | 2019-05-07 | Intel Corporation | Wearable device providing micro-visualization |
| US10523537B2 (en) | 2015-06-30 | 2019-12-31 | Amazon Technologies, Inc. | Device state management |
| US10958648B2 (en) * | 2015-06-30 | 2021-03-23 | Amazon Technologies, Inc. | Device communication environment |
| US10075422B2 (en) | 2015-06-30 | 2018-09-11 | Amazon Technologies, Inc. | Device communication environment |
| WO2017010305A1 (ja) * | 2015-07-15 | 2017-01-19 | 日本電気株式会社 | 認証装置、認証システム、認証方法、プログラム |
| US11874716B2 (en) | 2015-08-05 | 2024-01-16 | Suunto Oy | Embedded computing device management |
| US9693711B2 (en) * | 2015-08-07 | 2017-07-04 | Fitbit, Inc. | User identification via motion and heartbeat waveform data |
| KR102336601B1 (ko) * | 2015-08-11 | 2021-12-07 | 삼성전자주식회사 | 사용자의 활동 정보를 검출하기 위한 방법 및 그 전자 장치 |
| KR20170022145A (ko) * | 2015-08-19 | 2017-03-02 | 엘지전자 주식회사 | 와치 타입의 이동 단말기 |
| EP4321088A3 (en) * | 2015-08-20 | 2024-04-24 | Apple Inc. | Exercise-based watch face |
| US10398328B2 (en) * | 2015-08-25 | 2019-09-03 | Koninklijke Philips N.V. | Device and system for monitoring of pulse-related information of a subject |
| CN105183284B (zh) | 2015-08-27 | 2018-07-20 | 广东欧珀移动通信有限公司 | 一种查看短信的方法及用户终端 |
| JP6154444B2 (ja) * | 2015-08-27 | 2017-06-28 | ファナック株式会社 | 複数のティーチング装置からロボットを操作するロボットシステム |
| KR20170027606A (ko) * | 2015-09-02 | 2017-03-10 | 엘지전자 주식회사 | 와치 타입 이동단말기 및 그 제어방법 |
| US20170065039A1 (en) * | 2015-09-03 | 2017-03-09 | Flextronics Ap, Llc | Wearable technology fineware |
| KR101784074B1 (ko) * | 2015-09-03 | 2017-11-06 | 엘지전자 주식회사 | 센싱 장치 |
| WO2017041289A1 (en) | 2015-09-11 | 2017-03-16 | Intel Corporation | Scalable real-time face beautification of video images |
| US20170083101A1 (en) * | 2015-09-17 | 2017-03-23 | International Business Machines Corporation | Gesture recognition data transfer |
| US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
| KR101838967B1 (ko) * | 2015-10-08 | 2018-03-15 | 엘지전자 주식회사 | 차량용 편의 장치 및 차량 |
| US20180279889A1 (en) * | 2015-10-08 | 2018-10-04 | Charmcare Co., Ltd. | Wrist-worn blood pressure monitor |
| KR102370169B1 (ko) * | 2015-10-13 | 2022-03-04 | 엘지전자 주식회사 | 플렉서블 디스플레이 장치 및 그의 동작 방법 |
| US20170103166A1 (en) * | 2015-10-13 | 2017-04-13 | Sk Planet Co., Ltd. | Wearable device for providing service according to measurement of blood alcohol level and management server therefor |
| KR101737467B1 (ko) * | 2015-10-20 | 2017-05-18 | 최석일 | 사후 시점 및 초청 조문객별 메시지 발송 시스템 및 이를 이용한 사후 메시지 발송 방법 |
| JP6060240B1 (ja) * | 2015-10-27 | 2017-01-11 | 京セラ株式会社 | 電子機器、電子機器の認証方法および認証プログラム |
| CN106647291A (zh) * | 2015-10-30 | 2017-05-10 | 霍尼韦尔国际公司 | 用于控制受控电器的可穿戴控制装置、控制系统及方法 |
| KR102549216B1 (ko) * | 2015-11-02 | 2023-06-30 | 삼성전자 주식회사 | 사용자 프로파일을 생성하기 위한 전자 장치 및 방법 |
| US10137777B2 (en) | 2015-11-03 | 2018-11-27 | GM Global Technology Operations LLC | Systems and methods for vehicle system control based on physiological traits |
| KR102423830B1 (ko) * | 2015-11-10 | 2022-07-22 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
| KR102418360B1 (ko) * | 2015-11-12 | 2022-07-08 | 삼성전자주식회사 | 생체 신호를 이용하여 전자 장치의 기능을 수행하는 방법 및 그를 위한 전자 장치 |
| KR102520366B1 (ko) * | 2015-11-16 | 2023-04-12 | 삼성전자주식회사 | 사용자단말기 및 그 제어방법 |
| KR102163149B1 (ko) * | 2015-11-25 | 2020-10-08 | 한국전자기술연구원 | 서비스 프로토타이핑에서의 ux 프로파일링을 위한 실감형 테스트 시스템 |
| US11210299B2 (en) | 2015-12-01 | 2021-12-28 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
| US11215457B2 (en) | 2015-12-01 | 2022-01-04 | Amer Sports Digital Services Oy | Thematic map based route optimization |
| US11137820B2 (en) | 2015-12-01 | 2021-10-05 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
| US11144107B2 (en) | 2015-12-01 | 2021-10-12 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
| US10140845B1 (en) * | 2015-12-07 | 2018-11-27 | Massachusetts Mutual Life Insurance Company | Notification system for mobile devices |
| KR101645607B1 (ko) * | 2015-12-10 | 2016-08-05 | 김덕근 | 자가 충전 방식으로 동작하는 웨어러블 장치 및 이를 기반으로 스트레스를 인지하고 관리하는 방법 |
| US11284807B2 (en) | 2015-12-21 | 2022-03-29 | Amer Sports Digital Services Oy | Engaging exercising devices with a mobile device |
| US11587484B2 (en) * | 2015-12-21 | 2023-02-21 | Suunto Oy | Method for controlling a display |
| US11857842B2 (en) | 2015-12-21 | 2024-01-02 | Suunto Oy | Apparatus and exercising device |
| US11838990B2 (en) | 2015-12-21 | 2023-12-05 | Suunto Oy | Communicating sensor data in wireless communication systems |
| US11541280B2 (en) | 2015-12-21 | 2023-01-03 | Suunto Oy | Apparatus and exercising device |
| JP2017116596A (ja) * | 2015-12-21 | 2017-06-29 | カシオ計算機株式会社 | 情報取得装置、情報取得方法、及びプログラム |
| FI127926B (en) | 2015-12-21 | 2019-05-31 | Suunto Oy | Sensor-based context management |
| DE102015226185A1 (de) * | 2015-12-21 | 2017-06-22 | Robert Bosch Gmbh | Handwerkzeugsystem |
| US20170192648A1 (en) * | 2015-12-31 | 2017-07-06 | Paypal, Inc. | Merchant dashboard system |
| US10204265B2 (en) * | 2016-01-11 | 2019-02-12 | Electronics And Telecommunications Research Institute | System and method for authenticating user |
| KR101770402B1 (ko) * | 2016-01-12 | 2017-09-05 | 네이버 주식회사 | 팝업 컨텐츠 압축 표시 장치, 방법 및 컴퓨터 프로그램 |
| CA3010988C (en) * | 2016-01-13 | 2023-10-17 | Travis COPEN | Wireless tilt sensor system and method |
| US10794090B2 (en) * | 2016-01-21 | 2020-10-06 | Amadas Co., Ltd. | Input device for door lock |
| KR102635868B1 (ko) * | 2016-01-26 | 2024-02-14 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
| US9905244B2 (en) * | 2016-02-02 | 2018-02-27 | Ebay Inc. | Personalized, real-time audio processing |
| US10517531B2 (en) | 2016-02-08 | 2019-12-31 | Vardas Solutions LLC | Stress management using biofeedback |
| US10398350B2 (en) | 2016-02-08 | 2019-09-03 | Vardas Solutions LLC | Methods and systems for providing a breathing rate calibrated to a resonance breathing frequency |
| KR20170096499A (ko) * | 2016-02-16 | 2017-08-24 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US10542075B2 (en) * | 2016-02-24 | 2020-01-21 | Nokia Technologies Oy | Method and apparatus for configuration for monitoring patient information |
| JP2017152947A (ja) * | 2016-02-25 | 2017-08-31 | 京セラ株式会社 | 携帯端末 |
| US9891651B2 (en) | 2016-02-27 | 2018-02-13 | Apple Inc. | Rotatable input mechanism having adjustable output |
| KR102468133B1 (ko) * | 2016-02-29 | 2022-11-18 | 엘지전자 주식회사 | 발 정맥 인증 장치 |
| KR102556320B1 (ko) * | 2016-03-04 | 2023-07-14 | 매직 립, 인코포레이티드 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
| JP2017153879A (ja) * | 2016-03-04 | 2017-09-07 | セイコーエプソン株式会社 | 測定装置および測定方法 |
| US11617538B2 (en) * | 2016-03-14 | 2023-04-04 | Zoll Medical Corporation | Proximity based processing systems and methods |
| US10493349B2 (en) | 2016-03-18 | 2019-12-03 | Icon Health & Fitness, Inc. | Display on exercise device |
| US10272317B2 (en) | 2016-03-18 | 2019-04-30 | Icon Health & Fitness, Inc. | Lighted pace feature in a treadmill |
| US10625137B2 (en) | 2016-03-18 | 2020-04-21 | Icon Health & Fitness, Inc. | Coordinated displays in an exercise device |
| JP7181593B2 (ja) * | 2016-03-22 | 2022-12-01 | パワードット，インコーポレイテッド | コンパクト型筋肉刺激装置 |
| KR102550587B1 (ko) | 2016-03-25 | 2023-06-30 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US10877010B2 (en) * | 2016-03-31 | 2020-12-29 | Honeywell International Inc. | Clydesdale gas detector with improved screen orientation based on input from attachment sensor |
| US10635370B2 (en) * | 2016-03-31 | 2020-04-28 | Tanita Corporation | Image forming apparatus that acquires data from an activity amount meter |
| KR102548453B1 (ko) * | 2016-04-04 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| KR102463173B1 (ko) * | 2016-04-06 | 2022-11-04 | 삼성전자주식회사 | 개인화된 운동 프로그램을 생성하는 방법 및 장치 |
| JP6661452B2 (ja) * | 2016-04-18 | 2020-03-11 | 京セラ株式会社 | 携帯機器、制御方法及び制御プログラム |
| CN113411317B (zh) * | 2016-05-11 | 2023-05-26 | 创新先进技术有限公司 | 一种验证身份的方法和系统、智能穿戴设备 |
| US10551798B1 (en) | 2016-05-17 | 2020-02-04 | Apple Inc. | Rotatable crown for an electronic device |
| KR101792234B1 (ko) * | 2016-05-18 | 2017-11-20 | 주식회사 선테크 | 수면성 호흡장애 진단장치 및 표시방법 |
| US20170339100A1 (en) * | 2016-05-18 | 2017-11-23 | Empire Technology Development Llc | Device address update based on event occurrences |
| KR102478281B1 (ko) * | 2016-05-25 | 2022-12-15 | 엘지전자 주식회사 | 음향출력장치 |
| US10849508B2 (en) * | 2016-06-03 | 2020-12-01 | Fourth Frontier Technologies Pvt. Ltd. | System and method for continuous monitoring of blood pressure |
| KR102535705B1 (ko) * | 2016-06-09 | 2023-05-23 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| AU2017100667A4 (en) | 2016-06-11 | 2017-07-06 | Apple Inc. | Activity and workout updates |
| DK179823B1 (en) | 2016-06-12 | 2019-07-12 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK |
| DK201670737A1 (en) * | 2016-06-12 | 2018-01-22 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback |
| US11216119B2 (en) | 2016-06-12 | 2022-01-04 | Apple Inc. | Displaying a predetermined view of an application |
| JP6830206B2 (ja) * | 2016-06-13 | 2021-02-17 | パナソニックＩｐマネジメント株式会社 | 機器制御システム、情報処理装置および機器制御方法 |
| CN105937878B (zh) * | 2016-06-13 | 2018-10-26 | 歌尔科技有限公司 | 一种室内测距方法 |
| US11586339B2 (en) * | 2016-06-21 | 2023-02-21 | Huawei Technologies Co., Ltd. | Electronic device having flexible display screen and processing method thereof |
| KR102536864B1 (ko) | 2016-06-22 | 2023-05-25 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| KR101678880B1 (ko) | 2016-06-28 | 2016-12-06 | 재단법인 실감교류인체감응솔루션연구단 | 가상 키보드 출력 장치 및 제어 방법 |
| US10318004B2 (en) * | 2016-06-29 | 2019-06-11 | Alex Shtraym | Apparatus and method for providing feedback at a predetermined distance |
| CN108925144B (zh) * | 2016-06-30 | 2020-03-10 | 华为技术有限公司 | 一种身份认证方法及通信终端 |
| US10536568B2 (en) * | 2016-07-01 | 2020-01-14 | Huawei Technologies Co., Ltd. | Waterproof fingerprint recognition module and electronic device |
| US10061399B2 (en) | 2016-07-15 | 2018-08-28 | Apple Inc. | Capacitive gap sensor ring for an input device |
| US10438583B2 (en) * | 2016-07-20 | 2019-10-08 | Lenovo (Singapore) Pte. Ltd. | Natural language voice assistant |
| US11064893B2 (en) * | 2016-07-20 | 2021-07-20 | Samsung Electronics Co., Ltd. | Real time authentication based on blood flow parameters |
| US20180025731A1 (en) * | 2016-07-21 | 2018-01-25 | Andrew Lovitt | Cascading Specialized Recognition Engines Based on a Recognition Policy |
| US10621992B2 (en) | 2016-07-22 | 2020-04-14 | Lenovo (Singapore) Pte. Ltd. | Activating voice assistant based on at least one of user proximity and context |
| US10019097B2 (en) | 2016-07-25 | 2018-07-10 | Apple Inc. | Force-detecting input structure |
| US10973416B2 (en) * | 2016-08-02 | 2021-04-13 | Welch Allyn, Inc. | Method and apparatus for monitoring biological conditions |
| KR20180016866A (ko) | 2016-08-08 | 2018-02-20 | 엘지전자 주식회사 | 와치타입 단말기 |
| KR102602270B1 (ko) * | 2016-08-09 | 2023-11-16 | 한국전자통신연구원 | 수면상태 모니터링 서비스 제공 시스템 및 방법 |
| US10447347B2 (en) * | 2016-08-12 | 2019-10-15 | Mc10, Inc. | Wireless charger and high speed data off-loader |
| KR102650130B1 (ko) * | 2016-08-16 | 2024-03-22 | 삼성전자주식회사 | 압전소자를 이용하여 디스플레이를 제어하는 장치 및 방법 |
| KR20180022185A (ko) * | 2016-08-23 | 2018-03-06 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US9837682B1 (en) * | 2016-08-29 | 2017-12-05 | Microsoft Technology Licensing, Llc | Variable layer thickness in curved battery cell |
| DK201670720A1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs |
| DK179278B1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, methods and graphical user interfaces for haptic mixing |
| US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
| KR102181121B1 (ko) * | 2016-09-20 | 2020-11-20 | 주식회사 원익아이피에스 | 기판 이송 장치 및 기판 이송 장치의 제어 방법 |
| US10736543B2 (en) | 2016-09-22 | 2020-08-11 | Apple Inc. | Workout monitor interface |
| CN106407412A (zh) * | 2016-09-23 | 2017-02-15 | 英华达（上海）科技有限公司 | 一种好友推荐方法 |
| US10521107B2 (en) | 2016-09-24 | 2019-12-31 | Apple Inc. | Devices, methods, and graphical user interfaces for selecting and interacting with different device modes |
| JP2018055218A (ja) * | 2016-09-27 | 2018-04-05 | セイコーエプソン株式会社 | システム |
| WO2018059962A1 (en) * | 2016-09-28 | 2018-04-05 | Sony Corporation | A device, computer program and method |
| US10671705B2 (en) | 2016-09-28 | 2020-06-02 | Icon Health & Fitness, Inc. | Customizing recipe recommendations |
| US10572013B2 (en) * | 2016-10-03 | 2020-02-25 | Nokia Technologies Oy | Haptic feedback reorganization |
| KR20180037502A (ko) * | 2016-10-04 | 2018-04-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US9763285B1 (en) * | 2016-10-10 | 2017-09-12 | At&T Intellectual Property I, L.P. | Disengaging movement assistance |
| KR102655671B1 (ko) * | 2016-10-12 | 2024-04-05 | 삼성전자주식회사 | 생체정보 추정 장치 및 방법 |
| DE102017009171A1 (de) | 2016-10-17 | 2018-04-19 | Amer Sports Digital Services Oy | Eingebettete rechenvorrichtung |
| WO2018073832A1 (en) * | 2016-10-20 | 2018-04-26 | Rn Chidakashi Technologies Pvt. Ltd. | Emotionally intelligent companion device |
| US20200058209A1 (en) * | 2016-11-13 | 2020-02-20 | Ranjan Narayanaswamy SREEDHARA | System and method for automated health monitoring |
| KR101898162B1 (ko) * | 2016-11-21 | 2018-10-04 | 연세대학교 산학협력단 | 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법 |
| CA3045246A1 (en) * | 2016-11-29 | 2018-06-07 | P&P Ultra G Ltd. | Preventing unauthorized use of devices |
| US20200074838A1 (en) * | 2016-12-15 | 2020-03-05 | Holor, Llc | Wearable multi-functional personal security device |
| EP3554415A4 (en) | 2016-12-15 | 2020-08-05 | Intuitive Surgical Operations Inc. | USER TOUCH DETECTION ON A CONTROL DEVICE HANDLE |
| KR101991511B1 (ko) * | 2016-12-21 | 2019-09-30 | 주식회사 디케이아이테크놀로지 | 휴대용 스마트장치를 이용한 홈아이오티기반 장치의 환경설정 및 등록방법 |
| WO2018124809A1 (ko) * | 2016-12-29 | 2018-07-05 | 주식회사 인바디 | 착용형 단말기 및 그 동작 방법 |
| JP6852403B2 (ja) * | 2017-01-05 | 2021-03-31 | セイコーエプソン株式会社 | 紫外線計測システム |
| KR102590928B1 (ko) * | 2017-01-09 | 2023-10-19 | 삼성전자주식회사 | 전자 장치 |
| US10878301B2 (en) * | 2017-01-13 | 2020-12-29 | Sensormatic Electronics, LLC | Systems and methods for providing smart electronic labels and tags |
| US10831796B2 (en) * | 2017-01-15 | 2020-11-10 | International Business Machines Corporation | Tone optimization for digital content |
| US10304447B2 (en) | 2017-01-25 | 2019-05-28 | International Business Machines Corporation | Conflict resolution enhancement system |
| US10835802B1 (en) | 2017-02-07 | 2020-11-17 | The Catherine Mayer Foundation | Physiological response management using computer-implemented activities |
| JP6766710B2 (ja) * | 2017-03-15 | 2020-10-14 | オムロンヘルスケア株式会社 | 血圧測定装置、方法及びプログラム |
| US10135822B2 (en) | 2017-03-21 | 2018-11-20 | YouaretheID, LLC | Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures |
| KR102360492B1 (ko) * | 2017-03-24 | 2022-02-09 | 삼성전자주식회사 | 플렉시블 디스플레이 및 이를 포함하는 전자 장치 |
| CN107391983B (zh) | 2017-03-31 | 2020-10-16 | 创新先进技术有限公司 | 一种基于物联网的信息处理方法及装置 |
| RU181997U1 (ru) * | 2017-04-03 | 2018-07-31 | Евгения Анатольевна Филиппова | Коммуникатор для людей с нарушениями речи |
| US10624561B2 (en) | 2017-04-12 | 2020-04-21 | Fitbit, Inc. | User identification by biometric monitoring device |
| US10748531B2 (en) * | 2017-04-13 | 2020-08-18 | Harman International Industries, Incorporated | Management layer for multiple intelligent personal assistant services |
| US11119566B2 (en) * | 2017-04-14 | 2021-09-14 | Kevin Chang | System and method for a virtual reality motion controller |
| JP6876295B2 (ja) * | 2017-04-14 | 2021-05-26 | 株式会社Ｎｔｔドコモ | サーバ装置 |
| KR101863500B1 (ko) | 2017-04-28 | 2018-06-01 | 김성규 | 공기유해 물질의 비산을 원천 차단하는 바람벽 장치 |
| US20180322248A1 (en) * | 2017-05-02 | 2018-11-08 | Coranet Solutions, Inc. | Mobile interoperable personal health information exchange with biometrics data analytics |
| US10806375B2 (en) * | 2017-05-03 | 2020-10-20 | The Florida International University Board Of Trustees | Wearable device and methods of using the same |
| US10707672B2 (en) * | 2017-05-04 | 2020-07-07 | Intel Corporation | Methods and apparatus for battery current monitoring |
| DK179412B1 (en) | 2017-05-12 | 2018-06-06 | Apple Inc | Context-Specific User Interfaces |
| US10845955B2 (en) | 2017-05-15 | 2020-11-24 | Apple Inc. | Displaying a scrollable list of affordances associated with physical activities |
| US10591972B2 (en) | 2017-05-22 | 2020-03-17 | Gao Shu An Fu (Hangzhou) Technology | Adaptively controlling a tradeoff between computational accuracy and power consumption of a mobile device that operates to select a condition of a subject or device |
| US10664533B2 (en) | 2017-05-24 | 2020-05-26 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to determine response cue for digital assistant based on context |
| US10317990B2 (en) | 2017-05-25 | 2019-06-11 | International Business Machines Corporation | Augmented reality to facilitate accessibility |
| KR20180135505A (ko) * | 2017-06-12 | 2018-12-21 | 주식회사 라이프사이언스테크놀로지 | 패치형전극을 이용한 수면상태 판단장치 |
| KR102403257B1 (ko) * | 2017-06-12 | 2022-05-30 | 삼성전자주식회사 | 홈 디바이스 제어 장치 및 동작 방법 |
| US10664074B2 (en) | 2017-06-19 | 2020-05-26 | Apple Inc. | Contact-sensitive crown for an electronic watch |
| WO2018235018A1 (en) * | 2017-06-23 | 2018-12-27 | 3M Innovative Properties Company | WIRELESS AUTHENTICATION SYSTEMS |
| US11170095B2 (en) * | 2017-06-28 | 2021-11-09 | GE Precision Healthcare LLC | Catheter authorization system and method |
| US10482229B2 (en) * | 2017-06-30 | 2019-11-19 | Wipro Limited | Method of providing content access permission to a user and a device thereof |
| US10962935B1 (en) | 2017-07-18 | 2021-03-30 | Apple Inc. | Tri-axis force sensor |
| GB201712210D0 (en) * | 2017-07-29 | 2017-09-13 | Tillotson Jenny Ruth | Scent bubble personalised scent dispersal system from wearable items |
| JP6891072B2 (ja) * | 2017-08-09 | 2021-06-18 | オムロンヘルスケア株式会社 | 情報処理装置、受信方法、およびプログラム |
| US10075846B1 (en) * | 2017-08-10 | 2018-09-11 | The Florida International University Board Of Trustees | Method for continuous user authentication with wearables |
| CA3014380A1 (en) * | 2017-08-16 | 2019-02-16 | Ccl Label, Inc. | Heat transfer sheet assembly with improved peeling |
| US11558187B2 (en) * | 2017-08-18 | 2023-01-17 | Samsung Electronics Co., Ltd. | Method and an apparatus for onboarding in an IoT network |
| KR102463281B1 (ko) * | 2017-08-25 | 2022-11-07 | 삼성전자주식회사 | 모드 스위칭을 제공하는 전자 장치 및 저장 매체 |
| KR102384518B1 (ko) * | 2017-08-28 | 2022-04-08 | 삼성전자 주식회사 | 메시지 처리 방법 및 이를 지원하는 전자 장치 |
| US11432757B2 (en) | 2017-08-31 | 2022-09-06 | Zeto, Inc. | Method for hosting mobile access to high-resolution electroencephalography data |
| AT520401B1 (de) * | 2017-09-04 | 2021-04-15 | R Hauschild Mmag Dr Peter | Portables Messgerät zum nichtinvasiven Erfassen bioelektrischer Signale |
| ES2963483T3 (es) | 2017-09-05 | 2024-03-27 | Apple Inc | Dispositivo electrónico usable con electrodos para detectar parámetros biológicos |
| US10977910B1 (en) * | 2017-09-06 | 2021-04-13 | Apple Inc. | Tactile outputs for input structures of electronic devices |
| JP6991022B2 (ja) * | 2017-09-12 | 2022-02-03 | オムロンヘルスケア株式会社 | 表示制御装置およびプログラム |
| KR101882281B1 (ko) * | 2017-09-15 | 2018-08-24 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 생체 인증 방법 |
| KR102171308B1 (ko) * | 2017-09-15 | 2020-10-28 | 쓰리에이로직스(주) | 지능형 반도체를 포함한 피부 부착용 체온 센서모듈 |
| JP2019057069A (ja) * | 2017-09-20 | 2019-04-11 | カシオ計算機株式会社 | 電子機器、サーバ、特典情報提供方法及びプログラム |
| KR101882282B1 (ko) * | 2017-09-22 | 2018-08-24 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 생체 인증 방법 |
| US20190096216A1 (en) * | 2017-09-25 | 2019-03-28 | Annie Eaton | Personal distress alert system and method |
| EP3459447A3 (en) | 2017-09-26 | 2019-07-10 | Apple Inc. | Optical sensor subsystem adjacent a cover of an electronic device housing |
| US10496172B2 (en) * | 2017-09-27 | 2019-12-03 | Qualcomm Incorporated | Method and apparatus for haptic feedback |
| US10394342B2 (en) * | 2017-09-27 | 2019-08-27 | Facebook Technologies, Llc | Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space |
| CN111032135B (zh) * | 2017-09-28 | 2021-09-28 | 松下知识产权经营株式会社 | 自律神经控制装置、自律神经控制系统、以及自律神经控制方法 |
| US10698497B2 (en) * | 2017-09-29 | 2020-06-30 | Apple Inc. | Vein scanning device for automatic gesture and finger recognition |
| US20190110744A1 (en) * | 2017-10-18 | 2019-04-18 | Jiping Zhu | Interchangeable wearable device |
| KR102399533B1 (ko) | 2017-10-18 | 2022-05-19 | 삼성전자주식회사 | 사용자의 활동에 대응하는 스트레스 지수를 제공하는 방법 및 전자 장치 |
| US10490129B2 (en) * | 2017-10-30 | 2019-11-26 | Wuhan China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | AMOLED display device |
| TWI680277B (zh) | 2017-10-31 | 2019-12-21 | 芬蘭商亞瑪芬體育數字服務公司 | 用於確定物體的運動方向的方法和系統 |
| GB2595065B (en) | 2017-10-31 | 2022-05-11 | Amer Sports Digital Services Oy | Method and system for tracking and determining an indoor position of an object |
| US20190125267A1 (en) * | 2017-11-02 | 2019-05-02 | K-Jump Health Co., Ltd. | Physiological signal monitoring apparatus |
| CN109745013A (zh) * | 2017-11-02 | 2019-05-14 | 凯健企业股份有限公司 | 生理信号监控设备 |
| KR102502889B1 (ko) * | 2017-11-03 | 2023-02-24 | 삼성전자 주식회사 | 시간 정보를 제공하는 전자 장치 및 전자 장치의 동작 방법 |
| US11195118B2 (en) | 2017-11-20 | 2021-12-07 | International Business Machines Corporation | Detecting human input activity in a cognitive environment using wearable inertia and audio sensors |
| WO2019108968A1 (en) | 2017-12-01 | 2019-06-06 | Zeto, Inc. | Headset and electrodes for sensing bioelectrical potential and methods of operation thereof |
| KR102480875B1 (ko) * | 2017-12-04 | 2022-12-26 | 삼성전자주식회사 | 블루투스 통신을 재연결하는 방법 및 장치 |
| WO2019112545A1 (en) * | 2017-12-04 | 2019-06-13 | Hewlett-Packard Development Company, L.P. | Haptic touch buttons with sensors for devices |
| US10783329B2 (en) * | 2017-12-07 | 2020-09-22 | Shanghai Xiaoi Robot Technology Co., Ltd. | Method, device and computer readable storage medium for presenting emotion |
| US11392194B1 (en) * | 2017-12-08 | 2022-07-19 | Nextgen Capital Ventures, LLC | Method and system for detecting, interpreting and communicating touch, physiological responses or emotional responses between mobile user devices |
| US10898087B2 (en) | 2017-12-08 | 2021-01-26 | Texas Instruments Incorporated | Motion detection and cancellation using ambient light |
| EP3749217A4 (en) * | 2017-12-17 | 2022-09-21 | Lady Technologies, Inc. | VAGINAL DEVICE AND METHOD FOR MEASURING PARAMETERS RELATED TO FERTILITY |
| WO2019119192A1 (en) * | 2017-12-18 | 2019-06-27 | Arris Enterprises Llc | Method to automatically highlight special program in the electronic program guide (epg) when user's physical condition is not healthy |
| US10957451B2 (en) * | 2017-12-27 | 2021-03-23 | General Electric Company | Patient healthcare interaction device and methods for implementing the same |
| EP3732672A4 (en) * | 2017-12-27 | 2021-09-15 | Adesanya, Olaoluwa O. | PORTABLE COMPUTER DEVICE FOR AUGMENTED REALITY, VIRTUAL REALITY AND ARTIFICIAL INTELLIGENCE INTERACTIONS, AND RELATED PROCESSES |
| KR20190088128A (ko) | 2018-01-05 | 2019-07-26 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
| CN110059819B (zh) * | 2018-01-17 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 器件的工作控制方法、装置、系统、控制设备及存储介质 |
| US11323556B2 (en) * | 2018-01-18 | 2022-05-03 | Samsung Electronics Co., Ltd. | Electronic device and method of operating electronic device in virtual reality |
| EP3743789A4 (en) * | 2018-01-22 | 2021-11-10 | HRL Laboratories, LLC | NEURO-ADAPTIVE BODY DETECTION FOR USER STATE FRAMEWORK (NABSUS) |
| CN110069147B (zh) * | 2018-01-23 | 2023-02-03 | 可赛尔内存股份有限公司 | 操控装置及其控制方法 |
| JP2019133471A (ja) * | 2018-01-31 | 2019-08-08 | Ｄｙｎａｂｏｏｋ株式会社 | 電子機器、及び電子機器の起動方法 |
| KR102533993B1 (ko) * | 2018-02-02 | 2023-05-19 | 삼성전자주식회사 | 복수의 생체 신호에 기반하여 건강 정보를 생성하는 전자 장치 및 이의 동작 방법 |
| US11281878B2 (en) * | 2018-02-20 | 2022-03-22 | Fresenius Medical Care Holdings, Inc. | Wetness detection with biometric sensor device for use in blood treatment |
| US10216231B1 (en) * | 2018-02-20 | 2019-02-26 | Nvf Tech Ltd | Moving magnet actuator for haptic alerts |
| KR102599926B1 (ko) * | 2018-02-21 | 2023-11-09 | 삼성전자주식회사 | 혈압 정보에 기반하여 캘리브레이션 데이터를 업데이트하는 전자 장치 및 제어 방법 |
| WO2019162272A1 (en) | 2018-02-21 | 2019-08-29 | T.J.Smith And Nephew, Limited | Monitoring of body loading and body position for the treatment of pressure ulcers or other injuries |
| KR102580702B1 (ko) * | 2018-02-22 | 2023-09-20 | 삼성전자주식회사 | 습기 유도 구조를 포함하는 전자 장치 |
| US11210961B2 (en) | 2018-03-12 | 2021-12-28 | Neurological Rehabilitation Virtual Reality, LLC | Systems and methods for neural pathways creation/reinforcement by neural detection with virtual feedback |
| JP7098982B2 (ja) * | 2018-03-19 | 2022-07-12 | セイコーエプソン株式会社 | 携帯型電子機器 |
| CN108509107A (zh) * | 2018-03-26 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 应用功能信息显示方法、装置及终端设备 |
| EP3748481A4 (en) | 2018-03-26 | 2021-03-03 | Huawei Technologies Co., Ltd. | CONTROL PROCEDURE AND ELECTRONIC DEVICE |
| US11237639B2 (en) * | 2018-03-27 | 2022-02-01 | Iowa Adaptive Technologies, Inc. | Method and system for electronic communication by persons with disabilities |
| US20190302949A1 (en) * | 2018-04-02 | 2019-10-03 | Maxlinear, Inc. | Methods and systems for enhanced force-touch based gesture solutions |
| CN114610197A (zh) | 2018-04-19 | 2022-06-10 | 华为技术有限公司 | 一种应用退出时的显示方法及终端 |
| US20190321255A1 (en) * | 2018-04-22 | 2019-10-24 | Heng-Shiuan Jang | Cpr assist device |
| US11534615B2 (en) * | 2018-04-26 | 2022-12-27 | West Affum Holdings Dac | Wearable Cardioverter Defibrillator (WCD) system logging events and broadcasting state changes and system status information to external clients |
| US11317833B2 (en) | 2018-05-07 | 2022-05-03 | Apple Inc. | Displaying user interfaces associated with physical activities |
| US11327650B2 (en) | 2018-05-07 | 2022-05-10 | Apple Inc. | User interfaces having a collection of complications |
| DK201870380A1 (en) | 2018-05-07 | 2020-01-29 | Apple Inc. | DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
| DK201870335A1 (en) | 2018-05-07 | 2019-12-04 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROACTIVE MANAGEMENT OF NOTIFICATIONS |
| US10705596B2 (en) * | 2018-05-09 | 2020-07-07 | Neurolofical Rehabilitation Virtual Reality, LLC | Systems and methods for responsively adaptable virtual environments |
| CN108852323A (zh) * | 2018-05-10 | 2018-11-23 | 京东方科技集团股份有限公司 | 一种可穿戴设备和调整可穿戴设备的方法 |
| ZA201803142B (en) * | 2018-05-14 | 2021-06-30 | Keith Ashwin Terrence | A message forwarding wifi authentication sensor |
| US20190351287A1 (en) * | 2018-05-15 | 2019-11-21 | Gimi Alvin S. Puentevella | Personal Stat Tracker (PST) for Volitional Input of a Statistical Event with Incidental Contact Avoidance |
| US10872604B2 (en) * | 2018-05-17 | 2020-12-22 | Qualcomm Incorporated | User experience evaluation |
| KR102452937B1 (ko) * | 2018-05-21 | 2022-10-11 | 삼성전자 주식회사 | 진동발생 부품의 방진 고정 구조체 및 이를 포함하는 전자장치 |
| WO2019231042A1 (ko) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | 생체 인증 장치 |
| US10887193B2 (en) | 2018-06-03 | 2021-01-05 | Apple Inc. | User interfaces for updating network connection settings of external devices |
| US11451965B2 (en) | 2018-06-04 | 2022-09-20 | T.J.Smith And Nephew, Limited | Device communication management in user activity monitoring systems |
| EP4155782B1 (en) * | 2018-06-05 | 2024-04-03 | Google LLC | Systems and methods of ultrasonic sensing in smart devices |
| US11360440B2 (en) | 2018-06-25 | 2022-06-14 | Apple Inc. | Crown for an electronic watch |
| US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| US11561515B2 (en) | 2018-08-02 | 2023-01-24 | Apple Inc. | Crown for an electronic watch |
| US11099647B2 (en) | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
| US10802598B2 (en) * | 2018-08-05 | 2020-10-13 | Pison Technology, Inc. | User interface control of responsive devices |
| KR102521194B1 (ko) * | 2018-08-08 | 2023-04-13 | 삼성전자주식회사 | 알림 메시지를 제공하는 전자 장치 및 방법 |
| EP3611575A1 (en) * | 2018-08-14 | 2020-02-19 | Invoxia | Computer-implemented method and system for diagnosing mechanical default of a mechanical watch, and mechanical watch for implementing said method |
| CN209560398U (zh) | 2018-08-24 | 2019-10-29 | 苹果公司 | 电子表 |
| US20200065513A1 (en) * | 2018-08-24 | 2020-02-27 | International Business Machines Corporation | Controlling content and content sources according to situational context |
| US11181863B2 (en) | 2018-08-24 | 2021-11-23 | Apple Inc. | Conductive cap for watch crown |
| CN209625187U (zh) | 2018-08-30 | 2019-11-12 | 苹果公司 | 电子手表和电子设备 |
| US11194298B2 (en) | 2018-08-30 | 2021-12-07 | Apple Inc. | Crown assembly for an electronic watch |
| CN109068000B (zh) * | 2018-09-21 | 2020-12-22 | Oppo广东移动通信有限公司 | 传感器控制方法、移动终端以及计算机可读存储介质 |
| WO2020068876A1 (en) * | 2018-09-24 | 2020-04-02 | Interlink Electronics, Inc. | Multi-modal touchpad |
| KR20200039982A (ko) * | 2018-10-08 | 2020-04-17 | 현대자동차주식회사 | 멀티 디바이스 시스템 및 그 제어방법 |
| KR102563630B1 (ko) * | 2018-10-10 | 2023-08-04 | 삼성전자 주식회사 | 전자 장치, 외부 전자 장치 및 전자 장치를 이용한 외부 전자 장치를 제어하는 방법 |
| KR20200042660A (ko) * | 2018-10-16 | 2020-04-24 | 현대자동차주식회사 | 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법 |
| US10692606B2 (en) * | 2018-10-23 | 2020-06-23 | International Business Machines Corporation | Stress level reduction using haptic feedback |
| US11244035B2 (en) * | 2018-10-30 | 2022-02-08 | Qualcomm Incorporated | Apparatus and methods for biometric verification |
| US11619747B2 (en) | 2018-11-04 | 2023-04-04 | Chenyu Wang | Location monitoring apparatuses configured for low-power operation |
| US10891916B2 (en) * | 2018-11-29 | 2021-01-12 | International Business Machines Corporation | Automated smart watch complication selection based upon derived visibility score |
| FR3089319A1 (fr) * | 2018-12-04 | 2020-06-05 | Orange | Procédé d’évaluation de l’activité corporelle d’un utilisateur |
| KR102183574B1 (ko) * | 2018-12-10 | 2020-11-26 | (주)에이알씨엔에스 | 오프라인 촬영 영상물을 이용한 가상현실 쇼핑몰의 구축 시스템 및 그 방법 |
| CN109473159B (zh) * | 2018-12-29 | 2022-11-01 | Oppo广东移动通信有限公司 | 信息推送方法及相关产品 |
| US10983482B2 (en) | 2019-01-03 | 2021-04-20 | Apple Inc. | Electronic devices with display burn-in mitigation |
| US11133002B2 (en) * | 2019-01-14 | 2021-09-28 | Ford Global Technologies, Llc | Systems and methods of real-time vehicle-based analytics and uses thereof |
| KR102569000B1 (ko) | 2019-01-16 | 2023-08-23 | 한국전자통신연구원 | 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치 |
| US10948976B1 (en) * | 2019-02-06 | 2021-03-16 | Facebook Technologies, Llc | Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems |
| US11194299B1 (en) * | 2019-02-12 | 2021-12-07 | Apple Inc. | Variable frictional feedback device for a digital crown of an electronic watch |
| KR102243012B1 (ko) * | 2019-02-13 | 2021-04-22 | 와이케이씨테크(주) | 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법 |
| US20200253507A1 (en) | 2019-02-13 | 2020-08-13 | Vardas Solutions LLC | Measuring user respiration at extremities |
| KR20200100487A (ko) * | 2019-02-18 | 2020-08-26 | 삼성전자주식회사 | 생체 센서를 포함하는 웨어러블 전자 장치 |
| KR102252100B1 (ko) * | 2019-02-20 | 2021-05-18 | 한국전자통신연구원 | 위치 및 신원 관리 시스템 |
| GB201902766D0 (en) * | 2019-03-01 | 2019-04-17 | Smith & Nephew | Device communicatio management in user activity monitoring systems |
| KR102221236B1 (ko) * | 2019-03-29 | 2021-02-26 | 주식회사 엘지유플러스 | 음성을 제공하는 방법 및 장치 |
| JP7413658B2 (ja) | 2019-04-22 | 2024-01-16 | カシオ計算機株式会社 | 運動支援システム、運動支援装置、運動支援方法及び運動支援プログラム |
| KR102296615B1 (ko) * | 2019-04-23 | 2021-09-02 | 주식회사 포스코건설 | 빅데이터 분석 기반의 시공 품질 관리 장치, 방법 및 컴퓨터로 독출 가능한 기록 매체 |
| WO2020225734A1 (en) * | 2019-05-05 | 2020-11-12 | Rehn Annabelle | Smart band for alerting during emergencies |
| US11960701B2 (en) | 2019-05-06 | 2024-04-16 | Apple Inc. | Using an illustration to show the passing of time |
| JP6921338B2 (ja) * | 2019-05-06 | 2021-08-18 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | 電子デバイスの制限された動作 |
| US11131967B2 (en) | 2019-05-06 | 2021-09-28 | Apple Inc. | Clock faces for an electronic device |
| DK201970532A1 (en) | 2019-05-06 | 2021-05-03 | Apple Inc | Activity trends and workouts |
| US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
| DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
| US11477609B2 (en) | 2019-06-01 | 2022-10-18 | Apple Inc. | User interfaces for location-related communications |
| JP7297940B2 (ja) | 2019-06-01 | 2023-06-26 | アップル インコーポレイテッド | マルチモードの活動追跡ユーザインタフェース |
| US11481094B2 (en) | 2019-06-01 | 2022-10-25 | Apple Inc. | User interfaces for location-related communications |
| KR102305309B1 (ko) * | 2019-06-07 | 2021-09-27 | 와이케이씨테크(주) | 영상 이미지를 통해 사용자의 피부 및 건강 지표를 측정하는 방법 및 그를 이용한 장치 |
| US10575425B1 (en) * | 2019-06-11 | 2020-02-25 | Shenzhen Xiwxi Technology Co., Ltd | Waterproof housing for wearable device |
| CN112148114A (zh) * | 2019-06-27 | 2020-12-29 | 奇酷互联网络科技（深圳）有限公司 | 可穿戴设备显示图标的方法、可穿戴设备和存储介质 |
| CN210156587U (zh) * | 2019-07-11 | 2020-03-17 | Oppo广东移动通信有限公司 | 电子设备和可穿戴设备 |
| CN110391959B (zh) * | 2019-07-16 | 2021-11-02 | 青岛海尔科技有限公司 | 基于智能家居控制系统的控制权限的设置方法及装置 |
| JP2021018546A (ja) * | 2019-07-18 | 2021-02-15 | トヨタ自動車株式会社 | 車両用コミュニケーション装置および車両用コミュニケーションシステム |
| KR102187254B1 (ko) * | 2019-07-22 | 2020-12-04 | 주식회사 카모스 | 차량 dvr용 데이터 전송시스템 |
| JP7366618B2 (ja) * | 2019-07-23 | 2023-10-23 | 東芝エネルギーシステムズ株式会社 | 現場連携システムおよび管理装置 |
| JP7384587B2 (ja) * | 2019-07-25 | 2023-11-21 | 株式会社オカムラ | 情報処理装置、情報処理システム、情報処理方法、およびプログラム |
| WO2021024125A1 (en) | 2019-08-02 | 2021-02-11 | Bionime Corporation | Physiological signal monitoring device |
| CN110354489B (zh) * | 2019-08-08 | 2022-02-18 | 腾讯科技（深圳）有限公司 | 虚拟对象的控制方法、装置、终端及存储介质 |
| IT201900016142A1 (it) * | 2019-09-12 | 2021-03-12 | St Microelectronics Srl | Sistema e metodo di rilevamento di passi a doppia convalida |
| CN110568966A (zh) * | 2019-09-12 | 2019-12-13 | 云谷（固安）科技有限公司 | 显示面板、移动终端和移动终端显示界面的调整方法 |
| KR102323328B1 (ko) * | 2019-09-17 | 2021-11-09 | 주식회사 날마다자라는아이 | 스마트 체중계를 이용한 어린이의 성장 상태 측정 시스템 |
| US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
| USD924231S1 (en) * | 2019-10-12 | 2021-07-06 | Shenzhen Yawell Intelligent Technology Co., Ltd. | Smart watch |
| WO2021076642A1 (en) | 2019-10-15 | 2021-04-22 | Imperative Care, Inc. | Systems and methods for multivariate stroke detection |
| CN112671956B (zh) * | 2019-10-16 | 2023-06-30 | 北京小米移动软件有限公司 | 电子设备的人体距离检测模组、电子设备及其控制方法 |
| US11284809B1 (en) * | 2019-10-30 | 2022-03-29 | Brigham Young University | Impedance sensors for detecting heart wave forms |
| KR20210057896A (ko) * | 2019-11-12 | 2021-05-24 | 현대자동차주식회사 | 후석 엔터테인먼트 시스템, 후석 엔터테인먼트 원격 제어 장치 및 그 방법 |
| CN112842330A (zh) * | 2019-11-27 | 2021-05-28 | 康泰医学系统（秦皇岛）股份有限公司 | 血氧仪及血氧仪的界面显示方法 |
| US11172836B1 (en) * | 2019-12-05 | 2021-11-16 | Sergio Lara Pereira Monteiro | Method and means to measure heart rate with fitbit devices |
| KR102294983B1 (ko) * | 2019-12-17 | 2021-08-26 | 김한림 | 접촉단자에 의해 패드부와 동작장치가 전기적으로 연결되는 이갈이 감지장치 시스템 |
| KR102295000B1 (ko) * | 2019-12-17 | 2021-08-26 | 김한림 | 이어폰형 이갈이 측정장치 시스템 |
| KR20210081998A (ko) * | 2019-12-24 | 2021-07-02 | 삼성전자주식회사 | 생체 신호를 처리하기 위한 방법, 이를 위한 착탈식 웨어러블 전자 장치 및 저장 매체 |
| TWI724729B (zh) * | 2020-01-02 | 2021-04-11 | 廣達電腦股份有限公司 | 瞳距調整裝置以及頭戴式顯示設備 |
| DE112020005588B9 (de) | 2020-01-08 | 2024-02-15 | Mitsubishi Electric Corporation | Biometrische Authentifizierungsvorrichtung, biometrisches Authentifizierungsverfahren und biometrisches Authentifizierungsprogramm |
| US11869666B2 (en) * | 2020-01-10 | 2024-01-09 | Kristen M. Heimerl | Computer system for crisis state detection and intervention |
| US11869213B2 (en) * | 2020-01-17 | 2024-01-09 | Samsung Electronics Co., Ltd. | Electronic device for analyzing skin image and method for controlling the same |
| US11199908B2 (en) | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
| US11157086B2 (en) | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
| DK202070616A1 (en) | 2020-02-14 | 2022-01-14 | Apple Inc | User interfaces for workout content |
| WO2021183132A1 (en) * | 2020-03-12 | 2021-09-16 | Google Llc | Controlling haptic feedback based on proximity of contact to sensor |
| JP2021152816A (ja) * | 2020-03-24 | 2021-09-30 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム、情報処理装置及びプログラム |
| US11282523B2 (en) * | 2020-03-25 | 2022-03-22 | Lucyd Ltd | Voice assistant management |
| US20210314768A1 (en) * | 2020-04-01 | 2021-10-07 | Google Llc | Bluetooth multipoint algorithm and private notifications |
| US11372659B2 (en) | 2020-05-11 | 2022-06-28 | Apple Inc. | User interfaces for managing user interface sharing |
| AU2020233622B2 (en) | 2020-05-11 | 2022-03-10 | Apple Inc. | System, method and user interface for supporting scheduled mode changes on electronic devices |
| DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11526256B2 (en) | 2020-05-11 | 2022-12-13 | Apple Inc. | User interfaces for managing user interface sharing |
| CN111564213B (zh) * | 2020-05-12 | 2023-06-23 | 成都铂润信息技术有限公司 | 一种适用于反刍家畜的健康状态预警方法及系统 |
| US11550268B2 (en) | 2020-06-02 | 2023-01-10 | Apple Inc. | Switch module for electronic crown assembly |
| US11513604B2 (en) | 2020-06-17 | 2022-11-29 | Motorola Mobility Llc | Selectable response options displayed based-on device grip position |
| US11850069B1 (en) * | 2020-06-18 | 2023-12-26 | Oura Health Oy | Wearable device and methods of manufacturing |
| KR102409891B1 (ko) * | 2020-06-18 | 2022-06-17 | 주식회사 레몬헬스케어 | 환자생성 생체바이오 데이터(pghd) 및 dna분석 데이터 기반의 원격진료시 다중 진료과 선정 및 사후 모니터링 방법 및 시스템 |
| KR20220000451A (ko) * | 2020-06-25 | 2022-01-04 | 삼성디스플레이 주식회사 | 헤드 마운트 표시 장치 및 이를 이용한 컨텐츠 제공 방법 |
| US11501501B1 (en) * | 2020-06-26 | 2022-11-15 | Gresham Smith | Biometric feedback system |
| GB2596541B (en) * | 2020-06-30 | 2023-09-13 | Sony Interactive Entertainment Inc | Video processing |
| CN112790740A (zh) * | 2020-07-22 | 2021-05-14 | 华东理工大学 | 可拓展的穿戴式中医脉诊手环 |
| KR20220013157A (ko) | 2020-07-24 | 2022-02-04 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| KR102520806B1 (ko) * | 2020-07-27 | 2023-04-13 | (주)에스엔디글로벌 | 생체신호를 이용한 개인 상태 모니터링 시스템 |
| USD929879S1 (en) | 2020-08-06 | 2021-09-07 | Fitbit, Inc. | Body of a fitness tracker |
| KR102648210B1 (ko) * | 2020-08-21 | 2024-03-14 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 객체 제어 방법 및 장치, 단말, 및 저장 매체 |
| KR102268730B1 (ko) * | 2020-08-26 | 2021-06-25 | 박중진 | 핫팩 장갑 |
| JP7241981B2 (ja) * | 2020-09-01 | 2023-03-17 | 三菱電機株式会社 | 誘導装置、プログラム及び誘導方法 |
| WO2022050457A1 (ko) * | 2020-09-04 | 2022-03-10 | 주식회사 클리엔 | 머리 적응형 근적외선 분광기 |
| US20220071527A1 (en) * | 2020-09-09 | 2022-03-10 | Know Labs, Inc. | Interchangeable sensor and system |
| US11880237B1 (en) * | 2020-09-25 | 2024-01-23 | Amazon Technologies, Inc. | Wearable device with display |
| WO2022077054A1 (en) * | 2020-10-12 | 2022-04-21 | Marni Nicole Johnston | Nutrition and fitness system |
| US11537756B2 (en) * | 2020-11-23 | 2022-12-27 | Verizon Patent And Licensing Inc. | Systems and methods for providing surrogate credentials and a secure guest mode for mobile devices |
| KR102283866B1 (ko) * | 2020-11-25 | 2021-07-30 | 주식회사 리앙커뮤니케이션즈 | 감염병 의심대상자 모니터링 시스템 |
| USD957978S1 (en) | 2020-12-03 | 2022-07-19 | Fitbit, Inc. | Set of bands for a fitness tracker |
| CN214712540U (zh) * | 2020-12-03 | 2021-11-16 | Oppo广东移动通信有限公司 | 血压检测模块、绑带组件及可穿戴设备 |
| KR102569413B1 (ko) * | 2020-12-14 | 2023-08-24 | 주식회사 아이센스 | 생체 정보를 연속하여 측정하는 신체 부착 장치 |
| US11694590B2 (en) | 2020-12-21 | 2023-07-04 | Apple Inc. | Dynamic user interface with time indicator |
| KR102341788B1 (ko) * | 2020-12-29 | 2021-12-23 | 아이콘에이아이 주식회사 | 헬스케어 서비스 제공 장치와 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| US11720239B2 (en) | 2021-01-07 | 2023-08-08 | Apple Inc. | Techniques for user interfaces related to an event |
| US11106309B1 (en) | 2021-01-07 | 2021-08-31 | Anexa Labs Llc | Electrode touch display |
| KR102463765B1 (ko) * | 2021-01-26 | 2022-11-04 | (주)이플마인드 | 기기 착용 여부를 고려한 제어를 수행하는 웨어러블 디바이스, 그 제어 방법 및 컴퓨터 프로그램 |
| CN113058252A (zh) * | 2021-02-24 | 2021-07-02 | 北京小童科技有限公司 | 一种智能运动设备及运动统计方法 |
| KR102302207B1 (ko) * | 2021-02-26 | 2021-09-16 | (주)유신씨앤씨 | 비대면 진료서비스 제공방법 및 장치 |
| CN113126623B (zh) * | 2021-04-13 | 2022-04-12 | 吉林大学 | 一种考虑输入饱和的自适应动态滑模自动驾驶车辆路径跟踪控制方法 |
| KR102313630B1 (ko) * | 2021-04-27 | 2021-10-15 | 성균관대학교산학협력단 | 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법 |
| US20220365640A1 (en) | 2021-05-12 | 2022-11-17 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Adjusting the Provision of Notifications |
| US11921992B2 (en) | 2021-05-14 | 2024-03-05 | Apple Inc. | User interfaces related to time |
| EP4323992A1 (en) | 2021-05-15 | 2024-02-21 | Apple Inc. | User interfaces for group workouts |
| KR20220157783A (ko) * | 2021-05-21 | 2022-11-29 | 삼성전자주식회사 | 생체 데이터를 이용하여 개인 맞춤형 코칭을 제공하는 전자 장치 |
| USD985554S1 (en) | 2021-07-02 | 2023-05-09 | Google Llc | Wearable device |
| KR20230012133A (ko) * | 2021-07-14 | 2023-01-26 | 삼성전자주식회사 | 수면 상태에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그의 동작 방법 |
| TWI796761B (zh) * | 2021-08-19 | 2023-03-21 | 崑山科技大學 | 具有顯示功能的廣告包 |
| CN113642489B (zh) * | 2021-08-19 | 2024-02-23 | 青岛奥美克生物信息科技有限公司 | 非接触生物识别方法及系统 |
| CN113742688A (zh) * | 2021-08-31 | 2021-12-03 | 广州朗国电子科技股份有限公司 | 一种解锁权限处理方法及系统 |
| WO2023049449A1 (en) * | 2021-09-25 | 2023-03-30 | Murphy Heather | Bioharmonic device |
| WO2023076130A1 (en) * | 2021-10-25 | 2023-05-04 | James Aman | Measurement authenticating wellness devices |
| WO2023096082A1 (ko) * | 2021-11-29 | 2023-06-01 | 삼성전자 주식회사 | 사용자의 체온에 기반하여 서비스를 제공하기 위한 웨어러블 장치 및 방법 |
| EP4369153A1 (en) | 2021-12-09 | 2024-05-15 | Samsung Electronics Co., Ltd. | Gesture recognition method using wearable device, and device therefor |
| EP4201309A1 (en) * | 2021-12-21 | 2023-06-28 | Swatch Ag | Method for archiving a particular event in a life of a wearer of a connected watch |
| US20230207098A1 (en) * | 2021-12-23 | 2023-06-29 | Luvo LLC | Vibratory output health device |
| US11726734B2 (en) * | 2022-01-13 | 2023-08-15 | Motorola Mobility Llc | Configuring an external presentation device based on an impairment of a user |
| CN114944214A (zh) * | 2022-04-21 | 2022-08-26 | 成都尚医信息科技有限公司 | 一种根据运动中心率反馈自动调整运动处方的装置及方法 |
| US11977729B2 (en) | 2022-06-05 | 2024-05-07 | Apple Inc. | Physical activity information user interfaces |
| US11896871B2 (en) | 2022-06-05 | 2024-02-13 | Apple Inc. | User interfaces for physical activity information |
| TWI822096B (zh) * | 2022-06-08 | 2023-11-11 | 和碩聯合科技股份有限公司 | 用於控制電動助行裝置的控制系統以及控制方法 |
| US20240020092A1 (en) * | 2022-07-14 | 2024-01-18 | Edwards Lifesciences Corporation | Contactless control of physiological monitors |
| CN117275459B (zh) * | 2023-09-15 | 2024-03-29 | 深圳市优讯佳电子科技有限公司 | 一种基于大数据服务的信息采集设备及信息采集方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090019365A (ko) * | 2007-08-21 | 2009-02-25 | 주식회사 에스씨티 | 생체신호 측정기 |
| KR20100019084A (ko) * | 2008-08-08 | 2010-02-18 | 주식회사 제노웰 | 휴대용 의료 단말기 및 이를 이용하는 의료 정보 전송시스템 |
| KR20100114110A (ko) * | 2008-01-29 | 2010-10-22 | 퀄컴 인코포레이티드 | 생체인식 데이터를 사용하여 무선 통신 디바이스 내의 변조방지 저장 디바이스에 액세스하는 시스템 및 방법 |
| KR20120045921A (ko) * | 2010-11-01 | 2012-05-09 | 한국전자통신연구원 | 휴대용 센서 장치 및 이를 포함하는 생체인식 기반의 서비스 시스템 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8015592B2 (en) * | 2002-03-28 | 2011-09-06 | Innovation Connection Corporation | System, method and apparatus for enabling transactions using a biometrically enabled programmable magnetic stripe |
| US20030179229A1 (en) * | 2002-03-25 | 2003-09-25 | Julian Van Erlach | Biometrically-determined device interface and content |
| KR20040032451A (ko) * | 2002-10-09 | 2004-04-17 | 삼성전자주식회사 | 생체신호 기반의 건강 관리 기능을 갖는 모바일 기기 및이를 이용한 건강 관리 방법 |
| US20060184800A1 (en) * | 2005-02-16 | 2006-08-17 | Outland Research, Llc | Method and apparatus for using age and/or gender recognition techniques to customize a user interface |
| US9411944B2 (en) * | 2006-11-15 | 2016-08-09 | Cfph, Llc | Biometric access sensitivity |
| JP2008167783A (ja) * | 2007-01-09 | 2008-07-24 | Seiko Epson Corp | 運動支援情報提供装置、運動支援情報提供装置の制御方法および制御プログラム |
| JP2008198028A (ja) * | 2007-02-14 | 2008-08-28 | Sony Corp | ウェアラブル装置、認証方法、およびプログラム |
| US8125314B2 (en) * | 2008-02-05 | 2012-02-28 | International Business Machines Corporation | Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream |
| JP4845057B2 (ja) * | 2008-04-14 | 2011-12-28 | 京セラ株式会社 | 携帯電子機器及びプログラム |
| KR20100001681A (ko) | 2008-06-27 | 2010-01-06 | 주식회사 케이티 | 다이어트 관리 시스템 및 방법 |
| KR20100064099A (ko) * | 2008-12-04 | 2010-06-14 | 엘지이노텍 주식회사 | 화면모드 제어 장치 및 그 동작 방법 |
| EP2425302B1 (en) | 2009-04-26 | 2019-03-13 | NIKE Innovate C.V. | Athletic watch |
| BR112012016026A2 (pt) | 2009-12-09 | 2018-05-29 | Nike Int Ltd | sistema de monitoramento de desempenho atlético utilizando informações de frequência cardíaca |
| CN106861139B (zh) | 2010-11-01 | 2020-04-21 | 耐克创新有限合伙公司 | 具有运动功能的可佩戴装置组件 |
| US20120317024A1 (en) * | 2011-06-10 | 2012-12-13 | Aliphcom | Wearable device data security |
| US8947239B1 (en) * | 2012-03-05 | 2015-02-03 | Fitbit, Inc. | Near field communication system, and method of operating same |
| US9041530B2 (en) * | 2012-04-18 | 2015-05-26 | Qualcomm Incorporated | Biometric attribute anomaly detection system with adjusting notifications |
| US8954135B2 (en) * | 2012-06-22 | 2015-02-10 | Fitbit, Inc. | Portable biometric monitoring devices and methods of operating same |
| WO2015060867A1 (en) * | 2013-10-25 | 2015-04-30 | Intel Corporation | Techniques for preventing voice replay attacks |
-
2015
- 2015-02-11 KR KR1020150021112A patent/KR102302439B1/ko active IP Right Grant
- 2015-02-11 US US15/120,687 patent/US10534900B2/en active Active
- 2015-02-11 WO PCT/KR2015/001391 patent/WO2015126095A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090019365A (ko) * | 2007-08-21 | 2009-02-25 | 주식회사 에스씨티 | 생체신호 측정기 |
| KR20100114110A (ko) * | 2008-01-29 | 2010-10-22 | 퀄컴 인코포레이티드 | 생체인식 데이터를 사용하여 무선 통신 디바이스 내의 변조방지 저장 디바이스에 액세스하는 시스템 및 방법 |
| KR20100019084A (ko) * | 2008-08-08 | 2010-02-18 | 주식회사 제노웰 | 휴대용 의료 단말기 및 이를 이용하는 의료 정보 전송시스템 |
| KR20120045921A (ko) * | 2010-11-01 | 2012-05-09 | 한국전자통신연구원 | 휴대용 센서 장치 및 이를 포함하는 생체인식 기반의 서비스 시스템 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220943A1 (en) * | 2015-07-30 | 2019-07-18 | The Government of the United States of America, as represented by the Secretary of Homeland Securit | In-scope biometric information collection |
| KR20170062312A (ko) * | 2015-11-27 | 2017-06-07 | 삼성전자주식회사 | 무선 통신을 이용한 전자장치의 관리 방법과 장치 |
| KR102374677B1 (ko) * | 2015-11-27 | 2022-03-15 | 삼성전자 주식회사 | 무선 통신을 이용한 전자장치의 관리 방법과 장치 |
| WO2017102355A1 (de) * | 2015-12-17 | 2017-06-22 | Volkswagen Aktiengesellschaft | Verfahren und ein system zur geschützten kommunikation zwischen einer mit einem smartphone gekoppelten mobilen einheit und einem server |
| CN108701181A (zh) * | 2015-12-17 | 2018-10-23 | 大众汽车有限公司 | 用于在与智能手机耦合的移动单元和服务器之间受保护地通信的方法和系统 |
| US10841795B2 (en) | 2015-12-17 | 2020-11-17 | Volkswagen Aktiengesellschaft | Method and system for protected communication between a mobile unit coupled to a smartphone and a server |
| WO2018012785A1 (ko) * | 2016-07-12 | 2018-01-18 | 한국기술교육대학교 산학협력단 | 햅틱 인터랙션 장치 및 그 제어 방법 |
| TWI605209B (zh) * | 2016-08-08 | 2017-11-11 | 銀泰科技股份有限公司 | 應用於線性模組之訊息回饋系統及其訊息回饋方法 |
| US11058217B2 (en) * | 2017-08-21 | 2021-07-13 | Versa Products, Inc. | Compact, motorized, height-adjustable, software-controlled desktop system |
| CN107659619A (zh) * | 2017-09-03 | 2018-02-02 | 东莞华创客驿食品技术开发有限公司 | 共享设备用户切换方法 |
| CN108196672A (zh) * | 2017-12-28 | 2018-06-22 | 福州市鼓楼区智搜信息科技有限公司 | 一种能根据学生听课状况自动切换教学方式的系统及其实现方法 |
| WO2020243380A1 (en) * | 2019-05-29 | 2020-12-03 | Motorola Mobility Llc | Setting polling interval of sensor |
| US11157058B2 (en) | 2019-05-29 | 2021-10-26 | Motorola Mobility Llc | Setting polling interval of open/closed position sensor for a movable portion of an electronic device based on activity state of the electronic device |
| CN113874808A (zh) * | 2019-05-29 | 2021-12-31 | 摩托罗拉移动有限责任公司 | 设置传感器的轮询间隔 |
| GB2599266A (en) * | 2019-05-29 | 2022-03-30 | Motorola Mobility Llc | Setting polling interval of sensor |
| GB2599266B (en) * | 2019-05-29 | 2023-04-26 | Motorola Mobility Llc | Setting polling interval of sensor |
| CN113874808B (zh) * | 2019-05-29 | 2024-04-23 | 摩托罗拉移动有限责任公司 | 设置传感器的轮询间隔 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150099430A (ko) | 2015-08-31 |
| US10534900B2 (en) | 2020-01-14 |
| US20170011210A1 (en) | 2017-01-12 |
| KR102302439B1 (ko) | 2021-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2015126095A1 (ko) | 전자 장치 | |
| US11868939B2 (en) | Fitness challenge e-awards | |
| WO2016144058A1 (en) | Wearable electronic device and method for controlling the same | |
| US10854103B2 (en) | Modular wearable device for conveying affective state | |
| US9467553B2 (en) | Mobile terminal and method of controlling the same | |
| US10366778B2 (en) | Method and device for processing content based on bio-signals | |
| KR101809131B1 (ko) | 웨어러블 디바이스 및 그것의 동작방법 | |
| TWI598076B (zh) | 體能活動及健身監控器 | |
| KR102299076B1 (ko) | 콘텐츠를 표시하는 방법 및 이를 위한 전자 장치 | |
| EP2891044B1 (en) | Systems and methods for a wearable touch-sensitive device | |
| US20150278498A1 (en) | Mobile terminal and method for controlling the same | |
| WO2016076376A1 (ja) | ウェアラブル装置 | |
| JP2002358149A (ja) | ユーザ入力装置 | |
| WO2017087642A1 (en) | Scale-based parameter acquisition methods and apparatuses | |
| US20170331505A1 (en) | Watch type terminal | |
| Lu et al. | Designing and evaluating hand-to-hand gestures with dual commodity wrist-worn devices | |
| Duente et al. | Muscleio: Muscle-based input and output for casual notifications | |
| US20220113799A1 (en) | Multiple switching electromyography (emg) assistive communications device | |
| JP2020502608A (ja) | 携帯用通信ターミナル、方向性入力ユニット及びこれと関連した方法 | |
| KR20170136297A (ko) | 상황 정보를 고려하여 적합한 운동을 결정하는 전자 장치, 시스템 및 방법 | |
| Motti et al. | Introduction to wearable computers | |
| WO2017091440A1 (en) | Remote physiologic parameter assessment methods and platform apparatuses | |
| EP3660633A1 (en) | Hand-worn data-input device | |
| Harrison | The human body as an interactive computing platform | |
| Saponas | Supporting Everyday Activities through Always-Available Mobile Computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15751566 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15120687 Country of ref document: US |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15751566 Country of ref document: EP Kind code of ref document: A1 |