KR20190117100A - 전자 장치에서 생체 정보 측정 방법 및 장치 - Google Patents
전자 장치에서 생체 정보 측정 방법 및 장치 Download PDFInfo
- Publication number
- KR20190117100A KR20190117100A KR1020180040198A KR20180040198A KR20190117100A KR 20190117100 A KR20190117100 A KR 20190117100A KR 1020180040198 A KR1020180040198 A KR 1020180040198A KR 20180040198 A KR20180040198 A KR 20180040198A KR 20190117100 A KR20190117100 A KR 20190117100A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- biometric information
- electronic device
- present disclosure
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000036541 health Effects 0.000 claims abstract description 258
- 238000005259 measurement Methods 0.000 claims description 204
- 238000012545 processing Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 27
- 230000003190 augmentative effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims 1
- 238000004904 shortening Methods 0.000 claims 1
- 230000036772 blood pressure Effects 0.000 description 56
- 238000013186 photoplethysmography Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 34
- 230000008451 emotion Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 230000008859 change Effects 0.000 description 18
- 239000008280 blood Substances 0.000 description 15
- 230000001960 triggered effect Effects 0.000 description 15
- 210000004369 blood Anatomy 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 14
- 238000012805 post-processing Methods 0.000 description 14
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 229910052760 oxygen Inorganic materials 0.000 description 11
- 239000001301 oxygen Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 239000008103 glucose Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000002996 emotional effect Effects 0.000 description 7
- 238000002565 electrocardiography Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 208000002874 Acne Vulgaris Diseases 0.000 description 2
- 206010015150 Erythema Diseases 0.000 description 2
- 206010000496 acne Diseases 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 231100000321 erythema Toxicity 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000035882 stress Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 206010040954 Skin wrinkling Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000035487 diastolic blood pressure Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000037067 skin hydration Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
-
- H04M1/72519—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6843—Monitoring or controlling sensor contact pressure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/38—Displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Cardiology (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 다양한 실시 예들은 전자 장치에서 사용자의 생체 정보를 측정하고, 생체 정보에 관련된 정보를 제공하는 방법 및 장치에 관하여 개시한다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치에 있어서, 센서 모듈, 카메라 모듈, 표시 장치, 및 프로세서를 포함하고, 상기 프로세서는, 어플리케이션을 실행하고, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈에 기반하여 사용자의 제1 생체 정보를 획득하고, 상기 제1 생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하고, 상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 상기 표시 장치를 통해 표시하도록 구성할 수 있다. 다양한 실시 예들이 가능하다.
Description
본 발명의 다양한 실시 예들은 전자 장치에서 사용자의 생체 정보를 측정하고, 생체 정보에 관련된 정보를 제공하는 방법 및 장치에 관하여 개시한다.
디지털 기술의 발달과 함께 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device), 또는 디지털 카메라(digital camera) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
최근에는, 전자 장치를 이용하여 사용자의 헬스 케어(health care)를 위한 다양한 서비스(또는 기능)가 제공되고 있다. 예를 들면, 전자 장치는 사용자의 헬스 케어(health care)에 관련된 생체 정보를 획득하고, 획득된 생체 정보에 기반하여 사용자에게 다양한 헬스 정보(예: 심박 정보, 혈당 정보, 스트레스 정보 등)를 제공하거나, 또는 생체 정보에 따른 운동 코칭(exercise coaching)을 제공할 수 있다.
전자 장치에서 생체 정보 측정은, 사용자의 의지를 기반으로 하는 일련의 수행 동작을 필요로 할 수 있다. 예를 들면, 사용자는 전자 장치에서 생체 정보를 측정할 수 있는 어플리케이션을 실행하고, 생체 정보 측정을 위한 준비(예: 측정하고자 하는 생체 정보에 관련된 센서에 생체 인식을 위한 준비 자세)를 수행하고, 해당 생체 정보를 획득하기 위해 설정된 최소 측정 시간 동안 연속적인 측정이 이루어지도록 고정된 자세를 유지하는 등의 수행해야 한다. 사용자는 생체 정보를 측정하기 위한 일련의 수행 동작의 번거로움으로 인해, 전자 장치에서 생체 정보 측정 기능 및 관련 어플리케이션의 사용성이 낮아질 수 있다. 또한, 전자 장치는 생체 정보 별로 개별적 측정 및 측정 정보를 제공함에 따라, 사용자는 생체 정보 별로 정해진 각각의 시간만큼 반복적인 측정 동작 수행과 대응하는 시간만큼 대기해야 하는 번거로움이 있다. 예를 들어, 다양한 생체 정보가 동일한 센서를 이용할 수 있고, 사용자의 동일한 자세에서 측정이 가능한 반면, 측정 시간에 따라 추정 가능한 생체 정보가 다를 수 있으므로, 전자 장치에서는 생체 정보 별로 개별적인 측정을 제공하고 있다.
다양한 실시 예들에서는, 전자 장치에서 생체 정보 측정과 관련하여 자각되지 않은, 전자 장치의 일반적 사용 환경(또는 일반적인 사용자 경험)에서 사용자에 관련된 적어도 하나의 생체 정보를 측정할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 전자 장치의 일반적 사용 환경에서 적어도 하나의 생체 정보에 관련된 비연속적 측정 데이터를 통합하여, 생체 정보를 추정할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 전자 장치에서 어플리케이션의 실행 시에, 어플리케이션에 관련된 동작을 처리하면서 생체 정보의 획득 여부를 모니터링하고, 모니터링 결과에 기반하여 측정 가능한 생체 정보를 수집하고, 수집된 생체 정보에 대한 후처리를 통해 어플리케이션과 연관지어 사용자에게 제공할 수 있는 방법 및 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 센서 모듈, 카메라 모듈, 표시 장치, 및 프로세서를 포함하고, 상기 프로세서는, 어플리케이션을 실행하고, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈에 기반하여 사용자의 제1 생체 정보를 획득하고, 상기 제1 생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하고, 상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 상기 표시 장치를 통해 표시할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 어플리케이션을 실행하는 동작, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 센서 모듈에 기반하여 사용자의 제1 생체 정보를 획득하는 동작, 상기 제1 생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하는 동작, 상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 표시 장치를 통해 표시하는 동작을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 다양한 실시 예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 그의 동작 방법에 따르면, 사용자가 어플리케이션을 실행 시에, 사용자의 의지가 필요 없거나 적게 필요로 하는 무자각 인증으로 사용자의 생체 정보를 자연스럽게 측정할 수 있다. 예를 들어, 다양한 실시 예들에 따르면, 일반적인 사용자 경험(user experience)(예: 셀피(selfie) 촬영, 음성 통화, 영상 통화 등)에서 사용자의 생체 센싱 적합 시간 및 상황에 기반하여 사용자 자각 없이(또는 무자각 인증으로) 생체 정보를 측정할 수 있다.
다양한 실시 예들에 따르면, 무자각 인증 시에, 비연속적 측정의 결과를 통합하여 사용자로 하여금 측정 시 소요되는 시간의 감소를 유도할 수 있다. 다양한 실시 예들에 따르면, 사용자의 생체 센싱 시간에 따라 제공되는 생체 정보를 제공함에 있어서 실시간으로 가상 현실 데이터를 표현하는 증강 현실 (Augmented Reality) 기법을 활용하여 이를 일반적인 사용자 경험에 정보를 더하는 방식으로 직관적인 정보로 제공할 수 있다. 다양한 실시 예들에 따르면, 생체 정보 측정의 시간적인 분할을 허용하여, 생체 측정에 요구되는 연속 측정에 따른 실패를 줄이고, 사용자가 일상 생활에서 사용자의 생체 정보의 획득 빈도 및 활용성(또는 사용성)을 높일 수 있다.
도 1은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시 예들에 따른 표시 장치의 블록도이다.
도 3은 다양한 실시 예들에 따른 전자 장치의 전면 사시도의 예를 도시하는 도면이다.
도 4는 다양한 실시 예들에 따른 전자 장치의 후면 사시도의 예를 도시하는 도면이다.
도 5는 다양한 실시 예들에 따른 전자 장치에서 기능 처리 모듈의 예를 도시하는 도면이다.
도 6은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 7A 및 도 7B는 다양한 실시 예들에 따른 전자 장치에서 생체 정보가 측정되는 예를 설명하기 위해 도시하는 도면들이다.
도 8은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 추정하는 예를 설명하기 위한 도면이다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 헬스 센싱 모델의 예를 설명하기 위한 도면이다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 추정하는 예를 설명하기 위한 도면이다.
도 11 및 도 12는 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 통합하는 예를 설명하기 위해 도시하는 도면들이다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 처리하는 방법을 도시하는 흐름도이다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 통합하는 예를 도시하는 도면이다.
도 15는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 16은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 일 예를 도시하는 도면이다.
도 17은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 다른 예를 도시하는 도면이다.
도 18은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 다른 예를 도시하는 도면이다.
도 2는 다양한 실시 예들에 따른 표시 장치의 블록도이다.
도 3은 다양한 실시 예들에 따른 전자 장치의 전면 사시도의 예를 도시하는 도면이다.
도 4는 다양한 실시 예들에 따른 전자 장치의 후면 사시도의 예를 도시하는 도면이다.
도 5는 다양한 실시 예들에 따른 전자 장치에서 기능 처리 모듈의 예를 도시하는 도면이다.
도 6은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 7A 및 도 7B는 다양한 실시 예들에 따른 전자 장치에서 생체 정보가 측정되는 예를 설명하기 위해 도시하는 도면들이다.
도 8은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 추정하는 예를 설명하기 위한 도면이다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 헬스 센싱 모델의 예를 설명하기 위한 도면이다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 추정하는 예를 설명하기 위한 도면이다.
도 11 및 도 12는 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 통합하는 예를 설명하기 위해 도시하는 도면들이다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 처리하는 방법을 도시하는 흐름도이다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 통합하는 예를 도시하는 도면이다.
도 15는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 16은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 일 예를 도시하는 도면이다.
도 17은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 다른 예를 도시하는 도면이다.
도 18은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 다른 예를 도시하는 도면이다.
도 1은 다양한 실시 예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성 요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드(embedded)된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성 요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(volatile memory)(132)에 로드(load)하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(non-volatile memory)(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(active)(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성 요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성 요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 또는 키보드 등을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커(speaker) 또는 리시버(receiver)를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서(pressure sensor))를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 기압 센서(barometer sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 또는 조도 센서(illuminance sensor) 등을 포함할 수 있다.
인터페이스(177)는 전자 장치(101)의 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜(protocol)들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스 등을 포함할 수 있다.
연결 단자(connection terminal)(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터) 등을 포함할 수 있다.
햅틱 모듈(haptic module)(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터(motor), 압전 소자(piezoelectric element), 또는 전기 자극 장치(electrical stimulation device) 등을 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지(fuel cell)를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI, international mobile subscriber identity))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나, 수신될 수 있다.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고, 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들(102, 104)에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들(102, 104)은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 다양한 실시 예들에 따른 표시 장치(160)의 블록도(200)이다.
도 2를 참조하면, 표시 장치(160)는 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI, display driver IC)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 맵핑 모듈(237)을 포함할 수 있다.
DDI(230)는, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(231)을 통해 전자 장치(101)의 다른 구성 요소로부터 수신할 수 있다. 예를 들면, 영상 정보는 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123)(예: 그래픽 처리 장치))로부터 수신될 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176) 등과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션 할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다.
이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리(pre-processing) 또는 후처리(post-processing)(예: 해상도, 밝기, 또는 크기 조정 등)를 수행할 수 있다.
맵핑 모듈(237)은 이미지 처리 모듈(235)을 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일 실시 예에 따르면, 전압 값 또는 전류 값의 생성은, 예를 들면, 디스플레이(210)의 픽셀(pixel)들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)를 통해 표시될 수 있다.
일 실시 예에 따르면, 표시 장치(160)는 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는, 예를 들면, 디스플레이(210)의 특정 위치에 대한 터치 입력 또는 호버링(hovering) 입력을 감지하기 위해 터치 센서(251)를 제어할 수 있다. 예를 들면, 터치 센서 IC(253)는 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량 등)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(253)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간 등)를 프로세서(120)에 제공할 수 있다. 일 실시 예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 DDI(230), 또는 디스플레이(210)의 일부로, 또는 표시 장치(160)의 외부에 배치된 다른 구성 요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시 예에 따르면, 표시 장치(160)는 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서 등), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 표시 장치(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드될 수 있다. 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일 실시 예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어(pixel layer)의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치(101)는 다양한 형태의 장치가 될 수 있다. 전자 장치(101)는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치(wearable device), 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치(101)는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경(modifications), 균등물(equivalents), 또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 “A, B, 또는 C 중 적어도 하나”와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성 요소를 다른 해당 구성 요소와 구분하기 위해 사용될 수 있으며, 해당 구성 요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성 요소가 다른(예: 제2) 구성 요소에 "기능적으로” 또는 “통신적으로"라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성 요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구현된 유닛(unit)을 포함할 수 있으며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들(instructions)을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러(compiler) 생성된 코드 또는 인터프리터(interpreter)에 의해 실행될 수 있는 코드(code)를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM, compact disc read only memory)의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 상기 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 다양한 실시 예들에 따른 전자 장치의 전면 사시도의 예를 도시하는 도면이다. 도 4는 다양한 실시 예들에 따른 전자 장치의 후면 사시도의 예를 도시하는 도면이다.
도 3 및 도 4를 참조하면, 다양한 실시 예들에 따른 전자 장치(300)는, 도 1에 도시된 전자 장치(101)의 전부 또는 일부를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(300)는, 제1 면(또는 전면)(310A), 제2 면(또는 후면)(310B), 및 제1 면(310A) 및 제2 면(310B) 사이의 공간을 둘러싸는 측면(310C)을 포함하는 하우징(310)을 포함할 수 있다. 다른 실시 예(미도시)에 따르면, 하우징(310)은, 도 3의 제1 면(310A), 제2 면(310B) 및 측면(310C)들 중 일부를 형성하는 구조를 지칭할 수도 있다. 일 실시 예에 따르면, 제1 면(310A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(plate)(302)에 의하여 형성될 수 있다. 제2 면(310B)은 실질적으로 불투명한 후면 플레이트(311)에 의하여 형성될 수 있다. 상기 측면(310C)은, 전면 플레이트(302) 및 후면 플레이트(311)와 결합하며, 측면 베젤 구조(또는 “측면 부재”)(318)에 의하여 형성될 수 있다. 어떤 실시 예에서는, 후면 플레이트(311) 및 측면 베젤 구조(318)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다.
도시된 실시 예에서는, 상기 전면 플레이트(302)는, 상기 제1 면(310A)으로부터 상기 후면 플레이트(311) 쪽으로 휘어져 심리스하게(seamless) 연장된 2개의 제1 영역(310D)들을, 상기 전면 플레이트(302)의 긴 엣지(long edge) 양단에 포함할 수 있다. 도시된 실시 예(예: 도 4 참조)에서, 상기 후면 플레이트(311)는, 상기 제2 면(310B)으로부터 상기 전면 플레이트(302) 쪽으로 휘어져 심리스하게 연장된 2개의 제2 영역(310E)들을 긴 엣지 양단에 포함할 수 있다. 어떤 실시 예에서는, 상기 전면 플레이트(302)(또는 상기 후면 플레이트(311))가 상기 제1 영역(310D)들(또는 상기 제2 영역(310E)들) 중 하나 만을 포함할 수 있다. 다른 실시 예에서는, 상기 제1 영역(310D)들 또는 제2 영역(310E)들 중 일부가 포함되지 않을 수 있다.
일 실시 예에 따르면, 전자 장치(300)는, 디스플레이(301)(예: 도 1 또는 도 2의 표시 장치(160)의 전부 또는 일부), 오디오 모듈(303, 307, 314)(예: 도 1의 오디오 모듈(170), 센서 모듈(304, 316, 319)(예: 도 1의 센서 모듈(176)의 전부 또는 일부), 카메라 모듈(305, 312, 313)(예: 도 1의 카메라 모듈(180)의 전부 또는 일부), 키 입력 장치(317)(예: 도 1의 입력 장치(150)의 전부 또는 일부), 발광 소자(306), 및 커넥터 홀(308, 309) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시 예에서, 전자 장치(300)는, 구성 요소들 중 적어도 하나(예: 키 입력 장치(317), 또는 발광 소자(306))를 생략하거나 다른 구성 요소를 추가적으로 포함할 수 있다.
디스플레이(301)는, 예를 들어, 전면 플레이트(302)의 상당 부분을 통하여 노출될 수 있다. 어떤 실시 예에서는, 디스플레이(301)의 화면 표시 영역의 배면에, 오디오 모듈(314), 센서 모듈(304), 카메라 모듈(305), 지문 센서(316), 및 발광 소자(306) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시 예에서는, 디스플레이(301)에 내장되는 센서(예: 지문 센서, 생체 센서 등)를 통해 터치된 사용자의 손가락으로부터 맥파 정보를 수집할 수 있고, 수집된 맥파 정보에 기반하여 추정된 헬스 정보가 디스플레이(301)를 통해 표시될 수 있다. 어떤 실시 예에서는, 상기 센서 모듈(304, 319)의 적어도 일부, 및/또는 키 입력 장치(317)의 적어도 일부가, 상기 제1 영역(310D), 및/또는 상기 제2 영역(310E)에 배치될 수 있다.
오디오 모듈(303, 307, 314)은, 마이크 홀(303) 및 스피커 홀(307, 314)을 포함할 수 있다. 마이크 홀(303)은 외부의 소리를 획득하기 위한 마이크가 내부에 배치될 수 있다. 스피커 홀(307, 314)은, 외부 스피커 홀(307) 및 통화용 리시버 홀(314)을 포함할 수 있다.
센서 모듈(304, 316, 319)은, 전자 장치(300)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(304, 316, 319)은, 예를 들어, 하우징(310)의 제1 면(310A)에 배치된 제1 센서 모듈(304)(예: 근접 센서) 및/또는 제2 센서 모듈(미도시)(예: 지문 센서), 및/또는 상기 하우징(310)의 제2 면(310B)에 배치된 제3 센서 모듈(319)(예: HRM(heart rate monitoring) 센서, PPG(photoplethysmography) 센서) 및/또는 제4 센서 모듈(316)(예: 지문 센서)을 포함할 수 있다. 어떤 실시 예에서는, 상기 제3 센서 모듈(319)(예: PPG 센서)는 하우징(310)의 제2면(310B) 뿐만 아니라 제1면(310A)에 배치될 수 있다.어떤 실시 예에서, 사용자의 생체 정보를 측정(또는 획득)하기 센서의 동작으로서, 제1면(310A) 및/또는 제2면(310B)에 센서 모듈(304, 316, 319)의 적어도 하나, 또는 이들의 조합이 이용될 수 있다.
카메라 모듈(305, 312, 313)은, 전자 장치(300)의 제1 면(310A)에 배치된 제1 카메라 장치(305), 및 제2 면(310B)에 배치된 제2 카메라 장치(312), 및/또는 플래시(313)를 포함할 수 있다. 상기 카메라 모듈(305, 312)은, 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서(ISP)를 포함할 수 있다. 플래시(313)는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다. 어떤 실시 예에서는, 2개 이상의 렌즈들(예: 적외선 카메라, 광각 및 망원 렌즈) 및 이미지 센서들이 전자 장치(300)의 한 면에 배치될 수 있다. 어떤 실시 예에서, 카메라 모듈(305, 312, 313)은 사용자에 관한 생체 정보를 수집하는 생체 센서(예: 홍채 센서)로서 동작하거나, 생체 센서(예: 홍채 센서)를 포함하도록 형성될 수 있다. 어떤 실시 예에서, 제1 카메라 장치(305)와 발광 소자(306)의 연계, 또는 제2 카메라 장치(312)와 플래시(313)의 연계를 통해 사용자에 관한 생체 정보(예: 피부 색, 눈의 건강 상태 등)을 추정하는 데 이용될 수 있다.
키 입력 장치(317)는, 하우징(310)의 측면(310C)에 배치될 수 있다. 어떤 실시 예에서는, 키 입력 장치(317)는 디스플레이(301) 상에 소프트 키 등 다른 형태로 구현될 수 있다. 어떤 실시 예에서, 키 입력 장치(317)는 하우징(310)의 제2면(310B)에 배치된 센서 모듈(316)을 포함할 수 있다.
발광 소자(306)는, 예를 들어, 하우징(310)의 제1 면(310A)에 배치될 수 있다. 발광 소자(306)는, 예를 들어, 전자 장치(300)의 상태 정보를 광 형태로 제공할 수 있다. 다른 실시 예에서는, 발광 소자(306)는, 예를 들어, 카메라 모듈(305)의 동작과 연동되는 광원을 제공할 수 있다. 발광 소자(306)는, 예를 들어, LED, IR LED 및 제논 램프를 포함할 수 있다.
커넥터 홀(308, 309)은, 외부 전자 장치(예: 도 1의 전자 장치(102, 104))와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예: USB 커넥터)를 수용할 수 있는 제1 커넥터 홀(308), 및/또는 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 제2 커넥터 홀(예: 이어폰 잭)(309)을 포함할 수 있다.
본 문서의 “무자각(unconscious)”이라는 용어와 함께 또는 이런 용어 없이, “측정”, “인증” 또는 “센싱”이라고 언급된 경우, 그것은 사용자가 생체 측정을 위한 직접적인 의지(intent)(예: 생체 측정과 관련된 어플리케이션 실행 및 생체 측정에 관련된 일련의 동작 수행)없이, 전자 장치(101)의 일반적인 사용 환경(또는 사용자 경험(user experience))에서 생체 정보를 획득할 수 있다는 것을 의미한다.
다양한 실시 예들에서, 생체 측정은 사용자의 의지(intent)에 기반한 자각 인증과, 사용자의 의지가 필요 없거나 적게 필요로 하는 무자각 인증으로 구분할 수 있다. 다양한 실시 예들에서, 자각 기반의 생체 측정(또는 자각 인증)은, 사용자의 건강과 관련된 것으로, 비교적 사용자의 의지가 직접적으로 개입되어 이루어질 수 있다. 예를 들면, 사용자는 혈압 측정을 위해 설정된 시간(예: 약 30초 등) 동안 측정 기기를 사용해야 혈압 측정이 가능할 수 있다. 다양한 실시 예들에서, 무자각 기반의 생체 측정(또는 무자각 인증)은, 사용자가 다른 주요 액티비티(activity)에 집중되어 있는 상태(예: 전자 장치(101)의 어플리케이션을 실행하여 사용하고 있는 상태)에서, 부가적으로 자연스럽게 생체 측정이 이루어지도록 하여, 생체 측정에 따른 번거로움이나, 측정 시간에 대한 지루함을 없앨 수 있는 인증 방법을 포괄적으로 의미할 수 있다. 예를 들면, 전자 장치(101)를 이용한 대표적인 액티비티는 사용자가 통화 (예: 음성 통화, 영상 통화)를 수행하거나, 또는 촬영(예: 셀피 촬영)를 수행과 같은 일반적인 사용자 경험(UX, user experience)을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 사용자가 액티비티를 수행 중일 때, 부가적인 생체 측정을 통해, 사용자에게 자연스러우면서도 통화나 촬영이라는 일상적인 행위에 더해 유의미한 생체 정보를 제공할 수 있다.
최근, 전자 장치(101)는 사용자 경험의 개선을 위해 뜻밖의 사건(serendipity)에 기반한 사용자 인터페이스(예: UI 또는 GUI)를 설계하는 추세에 있으며, 이를 통해 무자각 센싱을 하도록 유도할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 증강 현실(AR, augmented reality)의 사용성을 위해 카메라를 활성화(또는 온(on))할 때 자동으로 사물(thing)(또는 객체(object))을 추적(tracking) 하는 것과 같이, 사용자의 액티비티 동안, 센서에 기반하여 생체 정보를 무자각 센싱 할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 생체 정보의 무자각 센싱 시, 여러 생체 정보(예: 카메라를 통한 생체 정보, 센서(예: PPG 센서)를 통한 생체 정보)를 동시 처리(concurrent processing)(또는 병합 처리)할 수 있다.
도 5는 다양한 실시 예들에 따른 전자 장치에서 기능 처리 모듈의 예를 도시하는 도면이다.
도 5에 도시한 바와 같이, 도 5는 다양한 실시 예들에서 전자 장치(101)(또는 도 3 및 도 4의 전자 장치(300))를 이용하여 사용자의 생체 정보를 획득할 때, 사용자가 생체 측정을 위해 의도하지 않은 상황(예: 생체 정보 획득과 관련된 기능(또는 어플리케이션)을 실행하지 않는 상태)에서 사용자의 생체 정보를 획득하는 것에 관련된 기능을 실행하는 모듈(즉, 기능 처리 모듈)(500)의 예를 나타낼 수 있다. 예를 들면, 도 5는 사용자가 전자 장치(101)를 사용하는 중에(예: 일반적 사용 환경(또는 일반적인 사용자 경험) 무자각 인증으로 사용자의 생체 정보와 관련된 데이터를 추정하여(estimating) 사용자에게 제공하는 것과 관련된 기능 처리 모듈(500)의 예를 나타낼 수 있다. 다양한 실시 예들에서, 기능 처리 모듈(500)은 프로세싱 회로(processing circuitry)를 포함하는 프로세서(예: 도 1의 프로세서(120))에 하드웨어 모듈(hardware module)로 포함되거나, 또는 소프트웨어 모듈(software module)로 포함될 수 있다.
도 5를 참조하면, 기능 처리 모듈(500)은 실행 감지 모듈(510), 모니터링 모듈(520), 추정 모듈(530), 및 후처리 모듈(540) 등을 포함할 수 있다.
일 실시 예에 따라, 실행 감지 모듈(510)은 전자 장치(101)에서 어플리케이션이 실행되는 것을 감지할 수 있다. 실행 감지 모듈(510)은 어플리케이션 실행을 감지하는 것에 응답하여, 생체 정보의 측정 시작에 관련된 정보(예: 제1 트리거 신호)를 모니터링 모듈(520)에 전달할 수 있다. 다양한 실시 예들에서, 어플리케이션 실행은, 사용자의 생체 정보 측정을 위한 설정된 어플리케이션(예: 헬스 케어 어플리케이션)을 제외한, 전자 장치(101)에서 실행될 수 있는(또는 사용자에 의해 자주 사용되는) 다른 어플리케이션(예: 촬영, 통화, 메신저, 인터넷, 또는 설정 등에 관련된 어플리케이션)을 포함할 수 있다. 일 실시 예에 따라, 어플리케이션 실행은, 상기 다른 어플리케이션 외에, 사용자가 전자 장치(101)를 사용(또는 조작)하는 상황(예: 사용자에 의한 전자 장치(100) 파지 행위, 사용자에 의한 잠금 화면 해제 행위, 사용자에 의한 홈 화면 표시 등)을 포함할 수 있다.
일 실시 예에 따라, 모니터링 모듈(520)은 어플리케이션이 실행되는 것에 응답하여, 적어도 하나의 센서(예: 도 1의 센서 모듈(176))에 기반하여 생체 정보의 획득(또는 입력) 여부를 모니터링 할 수 있다. 일 실시 예에 따라, 모니터링 모듈(520)은 실행 감지 모듈(510)로부터 제1 트리거 신호를 수신하는 것에 응답하여, 적어도 하나의 센서를 모니터링 하고, 적어도 하나의 센서로부터의 생체 정보의 획득 여부를 판단할 수 있다. 일 실시 예에 따르면, 적어도 하나의 센서는 사용자의 상태(예: 얼굴 영상, 눈 영상)를 획득할 수 있는 센서(예: 이미지 센서(image sensor)(또는 카메라 모듈, 적외선 카메라), 홍채(또는 망막) 센서 등) 또는 사용자의 생체 정보를 직접적으로 획득할 수 있는 센서(예: 지문 센서, 또는 전극(Electrode) 등)를 포함할 수 있다. 다양한 실시 예들에서, 생체 센서는 전자 장치(101)의 후면에 사용자가 파지할 수 있는 위치, 전면의 표시 장치(160) 내, 또는 전자 장치(101)의 측면 중 적어도 하나의 위치에 배치될 수 있다. 다양한 실시 예들에서, 생체 센서는, 전자 장치(101) 내에 포함된 센서 외에, 외부 전자 장치(예: 웨어러블 장치)에 포함된 센서를 포함할 수 있다. 예를 들면, 사용자의 신체에 착용된 웨어러블 장치를 통해 측정된 생체 정보를 통신 모듈을 통해 수신하여 사용자에게 제공될 수 있다.
일 실시 예에 따라, 모니터링 모듈(520)은 실행 감지 모듈(510)로부터 트리거 신호를 수신하는 것에 응답하여, 실행된 어플리케이션과 연관된 센서를 우선으로 생체 정보의 획득 여부를 판단할 수 있다. 예를 들면, 실행되는 어플리케이션이 셀피 촬영 어플리케이션인 경우, 전자 장치(101)의 전면(예: 도 3의 제1 면(310A))에 배치된 센서(예: 카메라 센서, 근접 센서, 지문 센서, 홍채 인식 센서, 또는 전극(Electrode) 중 적어도 하나)와 전자 장치(101)의 후면(예: 도 4의 제2 면(310B))에 배치된 센서(예: HRM 센서, 지문 센서 또는 전극 중 적어도 하나)에 적어도 기반하여 생체 정보를 모니터링 할 수 있다. 일 실시 예에 따라, 모니터링 모듈(520)은 생체 정보의 모니터링 결과에 기반하여, 생체 정보의 추정 시작에 관련된 정보(예: 제2 트리거 신호)를 추정 모듈(530)에 전달할 수 있다.
일 실시 예에 따라, 추정 모듈(530)은 모니터링 모듈(520)의 모니터링 결과에 기반하여 적어도 하나의 센서로부터 측정되는 생체 정보를 수집할 수 있다. 일 실시 예에 따라, 추정 모듈(530)은 모니터링 모듈(520)로부터 제2 트리거 신호를 수신하는 것에 응답하여, 적어도 하나의 센서로부터 측정되는 생체 정보를 수집할 수 있다. 추정 모듈(530)은 수집되는 생체 정보에 기반하여 헬스 정보를 추정할 수 있다. 예를 들면, 추정 모듈(530)은 생체 정보에 적어도 일부 기반하여 제1 헬스 정보(예: HR 데이터, SpO2 데이터)를 추정하고, 생체 정보에 적어도 일부 기반하여 제2 헬스 정보(예: 스트레스 데이터)를 추정할 수 있다. 예를 들면, 추정 모듈(530)은 제1 헬스 정보와 제2 헬스 정보를 위해 필요한 측정 조건(또는 측정 시간 또는 측정 데이터 양)에 기반하여, 각각의 헬스 정보를 추정할 수 있다. 일 실시 예에 따라, 추정 모듈(530)은 현재 측정되는 생체 정보(또는 제1 생체 정보 또는 현재 생체 정보)에 더하여, 이전에 누적 저장된 생체 정보(또는 제2 생체 정보 또는 이전 생체 정보)를 통합하여, 헬스 정보를 추정할 수 있다. 예를 들면, 추정 모듈(530)은 생체 정보에 관련된 비연속적 측정 데이터를 통합하여 헬스 정보 별로 추정할 수 있다. 다양한 실시 예들에서, 비연속적 측정 데이터를 통합하는 것에 대해 후술하는 도면들을 참조하여 설명된다.
일 실시 예에 따라, 후처리 모듈(540)은, 추정된 헬스 정보를 사용자에게 제공(또는 표시)하기 위한 후처리를 수행할 수 있다. 일 실시 예에 따르면, 후처리 모듈(540)은 추정된 헬스 정보를 실행 중인 어플리케이션에 연관지어, 헬스 정보가 표현될 영역을 선별할 수 있다. 후처리 모듈(540)은 해당 헬스 정보가 제공(또는 표시)된 경우, 표시된 헬스 정보를 증강(또는 업데이트)하여 사용자에게 제공되도록 후처리 할 수 있다. 다양한 실시 예들에서, 헬스 정보의 후처리 동작과 관련하여 후술하는 도면들을 참조하여 설명된다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)는, 센서 모듈(176), 카메라 모듈(180), 표시 장치(160), 및 프로세서(120)를 포함하고, 상기 프로세서(120)는, 어플리케이션을 실행하고, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈(176)에 기반하여 사용자의 제1 생체 정보를 획득하고, 상기 제1 생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하고, 상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 상기 표시 장치(160)를 통해 표시할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈(176)로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 유지하는 상태에서, 감지된 상기 제1 생체 정보에 기반한 동작을 수행하기 위한 헬스 모드를 실행할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 센서 모듈(176)로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 이전에 측정된 제1 생체 정보가 있는지 여부를 판단할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 이전에 측정된 제2 생체 정보와 상기 제1 생체 정보를 통합(merge)하여 통합 생체 정보를 획득할 수 있다.
다양한 실시 예들에 따라, 상기 제1 생체 정보와 상기 제2 생체 정보는, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈(176)에 의해 다른 접촉 세션에서 각각 측정되는 비연속적 정보일 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 통합 생체 정보에 기반하여 상기 헬스 정보의 추정 타이밍을 단축할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 제1 생체 정보에 소요된 측정 시간을 계산하고, 상기 측정 시간에 기반하여 추정 가능한 적어도 하나의 헬스 정보를 판단하고, 상기 적어도 하나의 헬스 정보에 관련된 제1 객체를 상기 표시 장치(160)의 설정된 영역에 표시할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 측정 시간에 기반하여, 상기 표시 장치(160)를 통해 표시된 상기 제1 객체를 증강하여 표시하고, 상기 측정 시간에 기반하여, 상기 헬스 정보에 관련된 제2 객체를 상기 표시 장치(160)를 통해 추가 표시할 수 있다.
다양한 실시 예들에 따라, 상기 헬스 정보의 제1객체를 획득하기 위한 제1 측정 시간이 상기 헬스 정보의 제2 객체를 획득하기 위한 제2 측정 시간 보다 짧은 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 센서 모듈(176)에 기반하여 상기 제1 생체 정보를 획득하면서, 상기 어플리케이션의 동작을 수행하는 것에 관련된 모듈(예: 카메라 모듈(180), 입력 장치(150)(예: 마이크))에 기반하여 추가적인 제3 생체 정보(예: 음성 정보, 이미지 정보 등)를 획득하여, 상기 제1 생체 정보와 동시 처리(concurrent processing)할 수 있다.
도 6은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도(600)이다.
도 6을 참조하면, 동작(601)에서, 전자 장치(101)의 프로세서(120)(예: 프로세싱 회로를 포함하는 적어도 하나의 프로세서)(또는 도 5의 기능 처리 모듈(500))는 어플리케이션을 실행할 수 있다. 일 실시 예에 따르면, 사용자는 통화 또는 촬영(예: 셀피 촬영)과 같은 기능을 수행하기 위해 해당 어플리케이션을 실행하도록 실행 명령을 입력(예: 어플리케이션 아이콘 터치)할 수 있고, 프로세서(120)는 실행 명령에 기반하여 어플리케이션을 실행할 수 있다. 프로세서(120)는 요청된 어플리케이션을 실행하여 관련 모드(예: 셀피 촬영 모드, 통화 모드)로 진입할 수 있다.
동작(603)에서, 프로세서(120)는 생체 정보를 모니터링 할 수 있다. 일 실시 예에 따라, 프로세서(120)는 어플리케이션을 실행하는 것에 응답하여, 적어도 하나의 센서로부터 생체 정보가 획득되는지 여부를 모니터링 할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)에 구비된 생체 센서를 모니터링 하여, 생체 정보의 입력이 있는지 판단할 수 있다. 일 실시 예에 따르면, 사용자는 생체 센서에 신체의 일부인 손가락을 근접 또는 접촉(contact)할 수 있고, 생체 센서는 물체(예: 손가락)의 근접 또는 접촉에 따른 이벤트를 발생하여 프로세서(120)에 전달할 수 있다. 프로세서(120)는 생체 센서의 이벤트에 기반하여 생체 정보를 모니터링 할 수 있다.
동작(605)에서, 프로세서(120)는 헬스 정보를 추정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 적어도 하나의 센서로부터 측정되는 생체 정보를 수집하고, 수집하는 생체 정보에 적어도 일부 기반하여 헬스 정보를 추정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 생체 정보에 적어도 일부 기반하여 제1 헬스 정보를 추정하고, 생체 정보에 적어도 일부 기반하여 제2 헬스 정보를 추정할 수 있다. 제1 헬스 정보와 제2 헬스 정보는 필요한 측정 조건(또는 측정 시간 또는 측정 데이터 양)이 다를 수 있다. 다양한 실시 예들에 따르면, 프로세서(120)는 현재 측정되는 제1 생체 정보와 연관된 제2 생체 정보(예: 이전에 측정되어 메모리(예: 도 1의 메모리(130))에 저장된 생체 정보)가 존재하는 경우, 제2 생체 정보와 제1 생체 정보를 통합하여, 헬스 정보를 추정할 수 있다. 예를 들면, 프로세서(120)는 생체 정보에 관련된 비연속적 측정 데이터(예: 제1 생체 정보와 제2 생체 정보)를 통합하여 헬스 정보 별로 추정할 수 있다. 다양한 실시 예들에서, 센서를 통해 측정할 수 있는 헬스 정보는, 아래 <표 1>의 예시와 같이 다양할 수 있으며, 각 헬스 정보(예: 측정 항목)는 헬스 정보 마다 측정을 위한 필요 시간이 다를 수 있으며, 일부 헬스 정보는 동일 또는 유사한 필요 시간을 포함할 수 있다.
| 측정항목 | 내용 | 최초 측정을 위한 필요 시간 |
| Heart Rate | - 1분당 심장 박동 수 - PPG, ECG 및 카메라로도 측정 가능 |
5~20초 |
| SpO2 | - 혈중산소포화도- PPG 센서(복수의 파장)로 측정 가능 | 5~20초 |
| Heart Rate Variation | - 심박 변이도- PPG, ECG 및 카메라로도 측정 가능 | 5~20초 |
| Blood pressure | - 수축기압(SBP), 이완기압(DBP), 평균동맥압(MAP)- PPG 신호의 파형 분석, 혹은 복수의 센서를 활용하여 맥파전달시간(pulse transition time) 측정을 통한 혈압 추정 | 30초~1분 |
| Stress | - PPG, ECG의 심박, 심박 변이도 기반으로 측정- 혈압 등 정보가 추가시 정확도 향상 | 20초~1분 |
| Blood Glucose | - 혈액 속에 함유되어 있는 포도당의 농도 측정- PPG 센서를 이용해 측정 가능 | 30초~1분 |
| Body Composition | - 체성분을 정량적으로 제공- 전극을 이용해 측정 가능 (생체전기 임피던스법) | 5~20초 |
| Skin | - 카메라를 이용해 피부톤, 주름, 홍반, 여드름 검출 | 5초 이내 |
| Emotion | - 센서(PPG, ECG 등)으로부터 측정된 정보와 카메라로부터 획득된 얼굴의 특징점을 분석하여 감정상태 측정 | 1분 이상 |
동작(607)에서, 프로세서(120)는 헬스 정보를 출력할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 추정된 적어도 하나의 헬스 정보를 사용자에게 제공(또는 표시)하기 위한 후처리를 수행할 수 있다. 예를 들면, 프로세서(120)는 추정된 헬스 정보를 실행 중인 어플리케이션에 연관지어, 헬스 정보가 표현될 영역을 선별하고, 선별된 영역에 헬스 정보를 관련 객체(object)(또는 아이템)(예: 텍스트, 숫자, 아이콘, 그래프, 파형 등)로 변환하여 제공(또는 표시)할 수 있다.
도 7A 및 도 7B는 다양한 실시 예들에 따른 전자 장치에서 생체 정보가 측정되는 예를 설명하기 위해 도시하는 도면들이다.
도 7A 및 도 7 B에 도시한 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)에서, 생체 정보 측정은 센서의 위치에 따라 달라질 수 있다. 일 실시 예에 따르면, 어플리케이션의 실행 모드(예: 셀피 모드(selfie mode), 통화 모드 등)의 영향을 주지 않도록, 인체공학적인 자세가 결정될 수 있다.
일 예로, 도 7A에 도시된 예시와 같이, 전자 장치(101)의 후면 센서(710)(예: PPG 센서)를 활용하여 생체 정보를 측정하는 방식을 포함할 수 있다. 일 실시 예에 따라, 전자 장치(101)의 후면에 배치된 후면 센서(710)(예: PPG 센서)에 검지 손가락을 가져가면, 후면 센서(710)에서 물체(예: 검지 손가락)의 근접 또는 접촉(contact) 여부를 판단하고, 그 결과에 기반하여 후면 센서(710)에 기반한 생체 정보 측정 동작을 수행할 수 있다. 예를 들면, <표 1>에서 살펴본 바와 같은 다양한 생체 정보들을 한 번의 터치 상태에서 측정할 수 있다. 일 실시 예에 따라, 각 측정 항목(예: 헬스 정보)에 따라 측정 시간이 다를 수 있다.
일 예로, 도 7B에 도시된 예시와 같이, 전자 장치(101)의 디스플레이(720)(예: 도 1의 표시 장치(160)) 상의 생체 센서(미도시)를 통해 생체 정보를 측정하는 방식을 포함할 수 있다. 예를 들면, 디스플레이(720) 층에 추가로 구성된 투명 전극(730)을 통해 ECG(electrocardiography) 측정이 가능할 수 있다. 다른 예를 들면, 디스플레이(720)의 RGB LED와 배면의 후면 센서(710)를 통해 PPG(photoplethysmography) 측정이 가능할 수 있다.
다양한 실시 예들에서, 생체 센서는, 예를 들면, PPG 센서, ECG 센서를 포함할 수 있다. 일 실시 예에 따라, PPG 센서는 IR(Infrared)이나 가시광(Red, Green, Blue)을 신체 부위에 쏘고 반사되는 신호를 포토다이오드(Photodiode)를 통해 측정하여 신호 패턴의 모양이나 시간에 따른 변화에 기반하여 생체 상태(예: 심박)를 측정할 수 있다. 일 실시 예에 따라, 전극(Electrode)을 이용한 ECG 센서는, 예를 들면, PPG 센서와 방식은 다르지만 동일하게 사용자의 심박을 측정할 수 있다. 전극은 전자 장치(101)의 전면, 후면 또는 측면 중 적어도 일부에 위치할 수 있고, 디스플레이(720) 상에 투명 전극(730)으로 구성되어 스크린 상에서 생체 측정이 가능하도록 할 수 있다.
다양한 실시 예들에 따르면, 카메라(예: 이미지 센서)를 이용하여 생체 정보의 측정이 가능할 수 있다. 예를 들면, 전면 카메라(740)를 활성화 시 사용자의 눈에는 보이지 않지만 얼굴의 혈관이 흐르는 패턴을 카메라로 촬영할 수 있고, 이를 기반으로 심박을 측정할 수 있다.
다양한 실시 예들에서, 각각의 센서(예: 생체 센서(710, 730), 전면 카메라(740))는 측정 환경 및 센서의 성능에 따라 정확도가 달라질 수 있다. 따라서 여러 센서를 선택 가능하더라도 가장 성능이 좋은 센서의 값을 선택할 수 있으며, 또는 하나의 센서 측정에 다른 값과의 조합으로 더 정확하고 빠르게 측정값을 결정하도록 할 수 있다. 다양한 실시 예들에서, 적어도 하나의 센서를 통해 측정할 수 있는 헬스 정보는 <표 1>에 예시와 같이 다양할 수 있다.
다양한 실시 예들에 따르면, 사용자는 “전화”나 “카메라”와 같은 특정 기능에 관련된 어플리케이션을 실행하여 해당 기능을 사용할 수 있다. 다양한 실시 예들에서는, 사용자가 상기의 예시와 같이 일반적인 사용자 경험을 수행하는 동안, 해당 사용자 경험(예: 실행 어플리케이션)의 목적에 부합하는 생체 정보를 측정할 수 있다.
일 실시 예에 따르면, 사용자가 셀피 촬영을 위한 포즈를 취하고, 셀피 카메라(예: 전면 카메라)를 활성화 하였을 때, 전자 장치(101)는 셀피 촬영 모드로 진입할 수 있다. 여기서, 사용자가 전자 장치(101)의 후면에 부착된 센서에 손가락을 접촉하면, 전자 장치(101)는 셀피 촬영 모드에 더하여(또는 셀피 촬영 모드를 유지하는 상태에서), 헬스 모드로 진입할 수 있다. 예를 들면, 셀피 촬영 모드는 포그라운드(foreground) 프로세스로 제공하고, 헬스 모드는 백그라운드(background) 프로세스로 제공할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 생체 센서를 통해 사용자의 손가락이 인지되지 않는다면, 셀피 모드를 유지할 수 있다.
다양한 실시 예들에서는, 셀피 모드 외에도 전화 통화(예: 음성 통화 모드, 영상 통화 모드)를 수행하는 경우에서도, 생체 정보의 측정이 가능할 수 있다. 이러한 셀피 촬영과 전화 통화는 사용자에 의해 가장 많이 사용하는 기능이면서 사용자 경험적으로 사용자를 중심으로 실행되는 기능일 수 있다. 또한, 카메라를 통해 촬영되는 사용자의 이미지 정보와, 전화 통화 중 센싱할 수 있는 사용자의 정보(예: 영상 통화에서 이미지 정보)를 많이 획득할 수 있다. 이에, 사용자에 관한 생체 정보를 측정하고 연계시키기에 가장 자연스러운 시나리오일 수 있고, 사용자의 생체 정보 실행에 대한 거부감이나 불편함이 적을 수 있다.
도 8은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 추정하는 예를 설명하기 위한 도면이다.
도 8에 도시한 바와 같이, 도 8은 셀피 촬영 모드에서 전자 장치(101)의 후면에 위치된 생체 센서(예: PPG 센서)에 기반하여 사용자의 생체 정보를 측정하고, 관련된 헬스 정보를 추정하여 사용자에게 제공하는 예를 나타낼 수 있다. 다양한 실시 예들에 따르면, 어플리케이션(예: 셀피 촬영 모드)이 실행이 되는 조건에서 사용자의 생체 정보를 측정할 조건이 되면, 측정 가능한 생체 정보를 수집(aggregation)하고, 이를 기반으로 헬스 정보를 증강(augmentation)할 수 있다.
도 8을 참조하면, 도 8의 엘리먼트 (A)는, 사용자가 셀피 모드를 수행하는 상태의 예를 나타낼 수 있다. 일 실시 예에 따라, 전자 장치(101)는 셀피 모드를 실행하는 것에 응답하여, 전자 장치(101)의 전면 카메라(810)를 활성화 하고, 전면 카메라(810)를 통해 사용자의 이미지(820)(예: 셀피 이미지)를 획득(또는 촬영)하여 표시 장치(160)(예: 디스플레이(210) 상에 프리뷰(preview)로 표시할 수 있다.
도 8의 엘리먼트 (B)는, 셀피 모드가 수행된 상태에서, 사용자가 손가락으로 전자 장치(101) 후면의 생체 센서(830)에 접촉하는 상태의 예를 나타낼 수 있다. 일 실시 예에 따라, 전자 장치(101)는 셀피 모드를 실행하는 동안, 생체 센서(830)로부터 손가락의 접촉에 따른 이벤트를 감지(예: 생체 정보 검출)할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 이벤트를 감지하는 것에 응답하여 생체 센서(830)를 통해 생체 정보를 획득할 수 있다.
도 8의 엘리먼트 (C), 엘리먼트 (D), 엘리먼트 (E)를 참조하면, 전자 장치(101)는 셀피 모드를 실행하는 동안, 생체 센서(830)로부터 생체 정보가 검출되면, 셀피 모드를 위한 카메라(810)의 동작을 실행하면서, 동시에(concurrently) 생체 센서(830)에 기반하여 생체 정보를 측정할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 전술한 <표 1>에 예시한 바와 같은 다양한 생체 정보를 측정할 수 있고, 생체 정보를 이용하여 헬스 정보를 추정할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 각 헬스 정보들에 필요한 측정 시간에 기반하여 해당 헬스 정보를 순차적으로 사용자에게 제공할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 필요 측정 시간이 짧은 적어도 하나의 헬스 정보부터 순차적으로 추정하여 표시 장치(160)를 통해 사용자에 시각적으로 제공할 수 있다.
일 실시 예에 따르면, 도 8의 엘리먼트 (C)에 도시한 바와 같이, 전자 장치(101)는 초기에는 조건(예: 필요 측정 시간, 또는 필요 측정 량)이 먼저(또는 최초) 만족되는(또는 필요 측정 시간이 짧은) 제1 헬스 정보(예: 심박(heart rate) 정보(예: 필요 측정 시간: 약 5~20초))를 추정할 수 있다. 전자 장치(101)는 추정된 심박 정보에 관련된 제1 객체(840)(예: 수치적 데이터를 포함하는 아이콘)를 표시 장치(160) 상의 일 영역(예: 심박 정보 표시를 위한 설정된 영역)을 통해 표시할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 제1 객체(840)를 셀피 이미지(820)에 오버레이(overlay) 하여 제공할 수 있다.
일 실시 예에 따르면, 도 8의 엘리먼트 (D)에 도시한 바와 같이, 전자 장치(101)는 생체 센서(830)에 물체(예: 손가락)가 접촉된 제1 상태(예: attached session)가 유지(예: 제2 헬스 정보를 측정할 수 있는 필요 측정 시간 만족)되면, 필요 측정 시간이 다음으로 만족되는 제2 헬스 정보(예: 혈압(blood pressure) 정보(예: 필요 측정 시간: 약 30초~1분)를 추정할 수 있다. 전자 장치(101)는 추정된 혈압 정보에 관련된 제2 객체(850)를 표시 장치(160) 상의 일 영역(예: 혈압 정보 표시를 위한 설정된 영역)을 통해 표시할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 제2 객체(840)를 셀피 이미지(820)에 오버레이 하여 제공할 수 있다. 예를 들면, 전자 장치(101)는 혈압 정보에 따라 사용자의 얼굴이 붉어지는 효과를 보여줄 수 있다.
일 실시 예에 따르면, 도 8의 엘리먼트 (E)에 도시한 바와 같이, 전자 장치(101)는 생체 센서(830)에 물체(예: 손가락)가 접촉된 제1 상태가 유지(예: 제3 헬스 정보를 측정할 수 있는 필요 측정 시간 만족)되면, 필요 측정 시간이 다음으로 만족되는 제3 헬스 정보(예: 감정(emotion) 정보(예: 필요 측정 시간: 약 1분 이상))를 추정할 수 있다. 일 실시 예에 따라, 감정 정보는, 사용자의 감정 상태(예: 평온, 화남, 슬픔, 우울 등)를 나타낼 수 있다. 전자 장치(101)는 추정된 감정 정보에 관련된 제3 객체(860)(예: 감정 상태에 대응하는 아이콘(또는 이모티콘))를 표시 장치(160) 상의 일 영역(예: 감정 정보 표시를 위한 설정된 영역)을 통해 표시할 수 있다.
일 실시 예에 따라, 도 8의 엘리먼트 (F)에 도시한 바와 같이, 사용자는 셀피 모드는 유지하는 상태에서 생체 센서(830)에 접속된 손가락을 떼어낼 수 있다. 일 실시 예에 따라, 전자 장치(101)는 제1 상태(예: attached session)가 해제(detached)를 감지하고, 제2 상태(예: 생체 센서(830)에 손가락이 접촉되지 않은 상태)로 전환할 수 있다.
일 실시 예에 따르면, 도 8의 엘리먼트 (G)에 도시한 바와 같이, 전자 장치(101)는 제1 상태(예: 사용자의 터치 상태)가 해제되면, 관련 정보(예: 상태 정보와 시간 정보)를 저장할 수 있다. 예를 들면, 전자 장치(101)는 측정된 생체 정보(예: 생체 정보를 이루는 생체 데이터(예: raw data))를 저장하고, 사용자에게 제공된 각 헬스 정보들(예: 제1 헬스 정보, 제2 헬스 정보, 제3 헬스 정보)의 종류와 해당 헬스 정보에 측정된 시간을 연관지어(또는 매핑하여) 저장할 수 있다. 일 실시 예에 따라, 생체 데이터(예: 원시 데이터(raw data))는 측정되는 시간(또는 신호(예: 파장) 길이)에 대응하는 시간 정보가 포함될 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 관련 정보(예: 상태 정보, 시간 정보)의 저장을 완료하면, 저장된 정보를 호출할 수 있는 제4 객체(870)(예: 호출 아이콘, 호출 메뉴)를 제공할 수도 있다. 일 실시 예에 따르면, 관련 정보의 저장이 사용자의 선택에 의해 수행될 수 있도록, 제4 객체(870)를, 정보의 저장을 명령하는 용도로 제공할 수도 있다. 예를 들면, 전자 장치(101)는 전자 장치(101)는 제1 상태가 해제되면, 관련 정보의 저장 이전에, 제4 객체(870)를 제공하고, 사용자에 의해 선택적으로 관련 정보의 저장이 이루어지도록 할 수도 있다. 다양한 실시 예들에서는, 관련 정보를 사용자에 의해 선택적으로 저장하도록 하는 경우에도, 생체 데이터는 백그라운드에서 계속(또는 자동) 저장하도록 할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 도 8의 예시와 같이 어플리케이션이 실행되고, 어플리케이션 실행동안, 어플리케이션에 연관지어(또는 매핑하여) 관련 정보를 저장할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 셀피 모드를 통해 사진이나 동영상과 같은 컨텐츠가 생성되면, 생성된 컨텐츠의 메타 정보에 관련 정보를 연관지어(또는 매핑하여) 저장할 수 있다. 다른 실시 예에 따르면, 전자 장치(101)는 통화 모드를 통해 통화(예: 음성 통화, 영상 통화)가 수행되면, 통화 로그(call log)에 관련 정보를 연관지어(또는 매핑하여 저장할 수 있다.
다양한 실시 예들에 따라, 생체 센서는 생체 물리적 변화 또는 화학적 변화 중 적어도 하나를 측정할 수 있는 다양한 센서들을 포함하는 것으로, 예를 들면, 광학 센서, 전기신호 측정 센서, 압력 센서 등이 포함될 수 있다.
다양한 실시 예들에 따르면, 생체 센서로부터 측정된 신호를 기반으로 산출 가능한 헬스 센싱 모델(health sensing model)을 포함할 수 있다. 예를 들어, 하나의 PPG 센서로부터 다양한 파장(wavelength)에서의 신호를 추출할 수 있고, 이를 기반으로 각 파장의 LED가 반사되는 특성에 기반하여 다양한 생체 정보를 추출할 수 있다. 이하에서, 광학 센서를 일 예로 하여, 산출 가능한 헬스 센싱 모델을 설명한다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 헬스 센싱 모델의 예를 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시 예에 따라, 셀피 촬영을 수행하는데 있어서, 센서(예: 생체 센서)의 경우 셀피 촬영 동작을 트리거로 사용 가능하며, 이를 통해 사용자가 자연스럽게 생체 센서에 손가락을 올려놓도록 유도할 수 있다.
다양한 실시 예들에 따라, 사용자의 손가락이 센서에 놓여 있는 동안, 전자 장치(101)는 카메라(예: 전면 카메라)와 센서(예: 생체 센서)로부터 사용자의 이미지(예: 셀피 이미지)와 생체 정보를 측정 또는 수집할 수 있다.
다양한 실시 예들에서, 센서로부터 측정 가능한 생체 정보는, 예를 들면, <표 1>에 예시한 바와 같이, 심박(HR, heart rate), 심박 변이도(HRV, heart rate variation), 산소포화도(SpO2, oxygen saturation), 혈압(BP, blood pressure), 혈당(BG, blood glucose), 스트레스(stress), 감정(emotion), 또는 피부 수화도 등이 포함될 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)(또는 전자 장치(101)의 센서)는 상기와 같은 생체 정보의 측정에 관련된 헬스 센싱 모델을 포함할 수 있다.
도 9에 도시한 바와 같이, 센서(예: 광학 센서)의 헬스 센싱 모델(900)은, 예를 들면, 심박 엔진(heart rate engine)(910), 심박 변이도 엔진(heart rate variability engine)(920), 산소포화도 엔진(SpO2 engine)(930), 혈압 엔진(blood pressure engine)(940), 혈당 엔진(blood glucose engine)(950), 스킨 엔진(skin engine)(960), 체성분 엔진(body composition engine)(970), 스트레스 엔진(stress engine)(980), 또는 감정 엔진(emotion engine)(990) 등을 포함할 수 있다.
다양한 실시 예들에서, 광학 센서의 헬스 센싱 모델(900)에 기반하여 생체 정보를 측정하는 예를 살펴보면 다음과 같다.
일 실시 예에 따라, 심박과 심박 변이도(HR/HRV)는, 심박 엔진(910)과 심박 변이도 엔진(920)에서, 광학 센서로부터 측정된 신호를 통해 측정할 수 있다. 일 실시 예에 따라, SpO2는, 두 개 이상의 파장에서 측정이 가능한 광학 센서의 사용을 통해 산소포화도 엔진(930)에서 측정할 수 있다.
일 실시 예에 따라, 혈압(BP)은, 혈압 엔진(940)에서, 광학 센서로부터 측정된 신호의 파형 분석(PWA, pulse wave analysis)을 통해 추정할 수 있다. 예를 들면, 측정된 파형으로부터 여러 특징점(feature points)을 추출하고, 미리 정해진 모델(예: 혈압 엔진(940))에 해당 특징점 값을 대입하여 혈압(BP)을 추정할 수 있다. 또한, 카메라(예: 전면 카메라, 셀피 카메라)로부터 획득되는 이미지에서 얼굴 색의 미세한 변화를 측정하여 실시간으로 파형을 추출하고, 광학 센서로부터 측정된 신호와의 전달 시간(예: 맥파 전달 시간(PTT, pulse transit time)) 차이를 측정하여 혈압(BP)을 추정할 수 있다. 또한, 상기 두 가지 방법을 같이 이용하여 혈압(BP)을 추정하는 것도 가능할 수 있다.
일 실시 예에 따라, 혈당(BG)은, 혈당 엔진(950)에서, 두 개 이상의 파장에서 측정이 가능한 광학 센서로부터 측정된 신호의 흡수 정도 및 특징점을 추출하여 혈액 내의 글루코스(glucose) 농도 변화를 추정할 수 있다.
일 실시 예에 따라, 스킨(skin)은, 스킨 엔진(960)에서, 카메라(예: 전면 카메라)로부터 획득된 사용자의 얼굴 영상(예: 셀피 이미지)을 분석하여, 피부톤, 주름, 홍반, 또는 여드름 등을 실시간으로 정량화 할 수 있다.
일 실시 예에 따라, 체성분(예: 체수분, 체지방, 근육량 등)은, 체성분 엔진(970)을 통해, 전극으로부터 측정된 생체 전기 저항을 분석하여 추정할 수 있다. 예를 들면, 전류가 신체의 다양한 부분을 지나갈 때, 전압 강하가 발생하는데, 측정된 전압 강하의 정도를 통해 해당 부분의 물리적 특성에 대한 간접적 정보를 획득할 수 있고, 이를 통해, 체수분, 지방량 등을 정량화 할 수 있다.
일 실시 예에 따라, 스트레스(stress)는, 스트레스 엔진(980)을 통해, 기 측정된 HR/HRV을 활용하여 일정 시간 동안의 변화 양상을 분석하여 추정할 수 있다, 일 실시 예에 따르면, 일정 시간 동안의 변화 양상에, BP 정보도 함께 반영하여 스트레스의 추정 정확도를 향상시킬 수 있다.
일 실시 예에 따라, 감정(emotion)은, 감정 엔진(990)을 통해, 측정된 생체 정보에 더하여, 카메라로부터 획득된 영상(예: 셀피 이미지)으로부터 사용자 얼굴 표정의 특징을 추출하여, 사용자에 관련된 행복, 슬픔, 분노 등의 감정을 미리 정해진 모델로부터 추정하여 수치화할 수 있다. 일 실시 예에 따르면, 감정 엔진(990)은 스트레스 및/또는 심박에 관한 측정 정보를 이용하여 사용자의 특정 감정(예: 긴장, 흥분 등)을 검출할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 사용자의 손가락이 센서(예: 생체 센서)에 접촉되어 있는 동안, 측정된 생체 정보와 함께 카메라 영상에 대한 후처리 동작을 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 후처리 동작 시 사용자의 손가락이 센서에 놓인 시간(또는 접촉된 시간)에 기반하여, 신뢰할 수 있고 추정할 수 있는 생체 정보에 한해 사용자에게 표시하도록 할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 제1 시간(예: 짧은 시간) 동안 측정 가능한 생체 정보는 먼저 후처리 하고, 이후 순차적으로 가능한 생체 정보를 증강(augmented)해서 처리할 수 있다. 일 예로, 심박(HR) 또는 산소포화도(SpO2)의 경우 짧은 시간(예: 약 5~20초)에 추정이 가능할 수 있다. 일 예로, 제1 시간을 경과한 제2 시간(예: 제1 시간 보다 긴 시간) 동안 생체 정보를 더 측정하면, 예를 들어, 심박 변이도(HRV), 스트레스, 혈압(BP), 또는 혈당(BG) 등이 시간 순에 따라 순차적으로(또는 복수의 헬스 정보가 대체적으로 동시에) 추정될 수 있다. 일 예로, 제2 시간을 경과한 제3 시간(예: 제2 시간 보다 긴 시간) 동안 생체 정보를 더 측정하면, 예를 들어, 감정 정보가 추정될 수 있다.
이하에서는, 다양한 실시 예들에서 전술한 예시와 같은 헬스 센싱 모델에 기반하여 각 헬스 정보를 추정하는 것에 관련된 트리거(또는 이벤트)에 따라 헬스 정보를 추정하는 예를 설명한다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 추정하는 예를 설명하기 위한 도면이다.
도 10을 참조하면, 도 10은 도 9에 예시한 바와 같은 헬스 센싱 모델에 기반하여 각 헬스 정보를 위한 측정 이벤트가 발생되는 일 예를 나타낼 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 N개의 생체 센서(예: PPG 센서, 전극(electrode), 이미지 센서(예: 카메라(camera)), 가속도(accelerometer) 센서 등)로부터 M개의 헬스 정보(또는 생체 데이터)(예: 심박(HR), 스트레스(stress), 혈당(BG), 혈압(BP), 감정(emotion) 등)를 추출할 수 있다. 일 실시 예에 따라, 하나의 생체 센서에 기반하여 측정 가능한 헬스 정보는 복수 개일 수 있으며, 예를 들면, 헬스 정보의 개수 M은 생체 센서의 개수 N보다 크거나 같은 수를 포함할 수 있다(예: N ≤ M).
다양한 실시 예들에 따르면, 전자 장치(101)는 동시에 여러 모델들을 추출할 수 있으며, 이를 위해 여려 개의 엔진(예: 심박 엔진, 스트레스 엔진, 혈당 엔진, 혈압 엔진, 감정 엔진 등)이 동시에 동작할 수 있다. 다양한 실시 예들에 따르면, 각 엔진의 입력 신호(input signal)는 동일할 수 있지만, 처리 엔진은 독립적으로 구동되기 때문에 결과 이벤트가 다른 타이밍(timing)에 전송될 수 있다. 예를 들면, 생체 센서(1000)(예: PPG 센서)를 통해 입력되는 입력 신호(예: 이벤트(event)(1001))는 하나일 수 있고, 생체 센서(1000)에 의한 입력 신호에 기반하여 동작 가능한 엔진은 복수(예: 심박 엔진(910), 산소포화도(SpO2) 엔진(930), 스트레스 엔진(980), 혈압 엔진(940), 혈당 엔진(950), 감정 엔진(990) 등)일 수 있다. 다양한 실시 예들에서, 복수의 엔진들은 독립적으로 구동될 수 있고, 해당 헬스 정보를 추정하기 위해 필요한 기준 시간(또는 최소 시간)에 적어도 기반하여 각각의 타이밍에 측정 이벤트를 발생할 수 있다.
도 10에 도시한 바와 같이, 일 실시 예에 따르면, 전자 장치(101)는 먼저, 제1 타이밍(1010)에서, 심박 엔진(910)에 기반하여, 심박(HR) 정보에 관련된 이벤트를 발생할 수 있다. 다양한 실시 예들에 따르면, 심박 정보는 계속하여 실시간 모니터링을 수행해야하므로, 심박 엔진(910)은 최초 이벤트 이후에도 지속적으로 관련 이벤트를 프로세서(120)에 전달할 수 있다. 일 실시 예에 따르면, 심박 변이도와 산소포화도는 심박 정보와 대체적으로 동일(또는 유사)한 측정 시간을 가질 수 있다. 일 실시 예에 따라, 제1 타이밍(1010)에서, 산소포화도 엔진(930)에 의해 산소포화도 정보에 관련된 이벤트와, 심박 변이도 엔진(920)(도 10에서 미도시)에 의해 심박 변이도 정보에 관련된 이벤트도 대체적으로 동시에 발생될 수 있다. 일 실시 예에 따라, 심박 변이도는 오랜 시간 관찰할수록 정확해지기 때문에, 심박보다 이벤트 전달 타이밍이 늦을 수도 있다. 예를 들면, 심박 변이도는 계산을 위해 수집하는 생체 데이터가 많을수록 정확할 수 있으므로, 적절한 신뢰도를 주기 위한 결정 타이밍이 심박보다 늦어질 수 있다.
일 실시 예에 따르면, 전자 장치(101)는, 제2 타이밍(1020)에서, 스트레스 엔진(980)에 기반하여, 스트레스 정보에 관련된 이벤트를 발생할 수 있다. 다양한 실시 예들에서, 스트레스 엔진(980)은 심박 변이도를 기반으로 스테레스를 측정할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 표시 장치(160)를 통해 표시된 화면(예: 어플리케이션 실행 화면으로, 예를 들면, 셀피 모드에 따른 화면, 영상 통화 모드에 따른 화면 등) 상에 스트레스 정보를 표시하기 위해서, 불완전한 심박 변이도(예: 제1 타이밍(1010)의 심박 변이도) 기반으로 스트레스를 측정하고, 손가락의 생체 센서(1000)에 접촉(또는 부착) 시간(예: 제1 타이밍(1010)보다 늦은 타이밍)에 기반하여 정확도가 올라가는 가변 객체(예: 스트레스 정도가 가변되는 GUI 객체 등)로 표현할 수 있다. 예를 들면, 화면 상에 헬스 정보에 관련된 정보(또는 객체)를 표시할 때, 해당 헬스 정보에 대한 정확한 숫자(예: quantitative value)를 표시하는 것이 아니라, 해당 헬스 정보를 사용자에게 가이드(또는 코칭(coaching) 하는 용도로서 헬스 정보에 대한 추세(trend)(예: qualitative value)를 표시할 수 있다. 예를 들면, 헬스 정보의 가이드의 경우, 헬스 정보의 정확도나 신뢰도에 대해 받아들이는 사용자의 민감도가 적을 수 있기 때문에 짧은 측정 시간에도 해당 헬스 정보에 대한 표시가 가능할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는, 제3 타이밍(1030)에서, 혈압 엔진(940)에 기반하여, 혈압 정보에 관련된 이벤트를 발생할 수 있다. 일 실시 예에 따라, 전자 장치(101)는, 제3 타이밍(1030)에서, 혈당 엔진(950)에 기반하여, 혈당 정보에 관련된 이벤트를 함께 발생할 수도 있다. 일 실시 예에 따라, 혈압의 경우 최적의 신호 파형을 추출하는 것이 중요할 수 있으며, 이를 위해 복수의 파형의 획득을 통한 파형의 ‘대표성’ 혹은 ‘통계적 신뢰성’을 높여야 하고, 그 여부에 따라서 측정 시간(예: 이벤트 발생 타이밍)이 매우 짧을 수도 있고, 길어질 수도 있다.
일 실시 예에 따르면, 전자 장치(101)는, 제4 타이밍(1040)에서, 감정 엔진(990)에 기반하여, 감정 정보에 관련된 이벤트를 발생할 수 있다. 일 실시 예에 따라, 감정의 경우 스트레스와 연관성을 가질 수 있으므로, 스트레스 값에 기반하여 이벤트를 제공할 수도 있다. 일 실시 예에 따라, 전자 장치(101)는 사용자의 음성이나 얼굴 표정 정보를 합쳐서 단편적인 감정 상태가 아니라 복잡하고 정밀한 감정을 표현할 수 있다. 예를 들면, 셀피 모드에서는 이미지 센서(예: 카메라)를 통해 이미지 정보(예: 카메라 이미지(1050))가 획득될 수 있고, 획득된 이미지 정보와 생체 센서(1000)에 의한 생체 정보(예: 스트레스 정보)를 기반으로 사용자의 감정 상태를 결정할 수 있고, 통화 중에서는 음성 정보와 생체 정보를 기반으로 사용자의 감정 상태를 결정할 수도 있다.
다양한 실시 예들에 따르면, 도 9 및 도 10에 예시한 바와 같은 사용자의 생체 정보 측정에 관련된 다양한 측정 엔진들은, 각 측정 엔진들의 측정 방식과 측정에 요구되는 조건(예: 측정 필요 시간 등)이 다를 수 있다. 따라서, 도 10에서 각 측정 엔진들에 관한 측정 이벤트는 측정 엔진들 마다 조건이 만족되는(갖추어지는) 순서대로 발생할 수 있고, 측정 이벤트가 발생되는 시점 역시 상황 별로 달라질 수 있다.
일 실시 예에 따르면, 심박 또는 심박 변이도의 경우, 측정 시 샘플링 데이터가 많을수록 정확도가 향상될 수 있으므로 일정 시간을 필요로 하는 방식을 포함할 수 있다. 일 실시 예에 따르면, 산소포화도(SpO2)의 경우, IR(infrared) 광과 레드(Red) 광의 2가지 광에 대한 생체 변화를 모두 감지해야 하는 방식을 포함할 수 있다. 예를 들면, 심박, 심박 변이도, 또는 산소포화도의 경우 순차적으로 측정해야 하는 기본 시간이 존재할 수 있다. 일 실시 예에 따르면, 혈압 또는 혈당의 경우, 완전한(또는 깨끗한(예: 잡음(noise)이 포함되지 않음)) 하나의 파형을 필요로 하는 방식이지만, 측정 상황에 따라 한 번에 완전한 파형이 획득되지 않을 수 있다. 이와 같이, 각 측정 엔진들 마다 측정에 요구되는 최소 시간과 최대 시간이 상황에 따라 달라질 있다. 따라서 각 측정 엔진에 관련된 측정 이벤트는 측정 환경이나, 또는 미리 측정된 신호 파형과의 정합 여부 등 여러 상황에 따라 다르게 발생할 수 있다. 이상에서 도 10에서는, 어플리케이션을 실행하고, 해당 시점에서 생체 정보를 측정하여 헬스 정보에 관련된 각각의 측정 이벤트를 설정된 해당 타이밍에 발생하는 예를 설명하였다. 다양한 실시 예들에 따르면, 어플리케이션 실행 동안 획득(또는 측정)하는 생체 정보(예: 생체 데이터, 원시 데이터(raw data), 또는 소스 데이터(source data))를 누적(또는 저장)하여 관리할 수 있고, 측정 이벤트를 발생할 때, 누적 데이터를 이용하여 관련 헬스 정보의 측정 이벤트를 발생하는 타이밍을 단축할 수 있다. 예를 들면, 다양한 실시 예들에서는, 비연속적 측정 데이터를 통합하여 헬스 정보에 관련된 이벤트를 발생할 수 있다. 이하에서, 도 11 내지 도 13을 참조하여, 비연속적 측정 데이터를 통합하는 예시에 대하여 살펴보기로 한다.
도 11 및 도 12는 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 통합하는 예를 설명하기 위해 도시하는 도면들이다.
도 11 및 도 12에 도시한 바와 같이, 도 11은 비연속적 측정 데이터의 통합하는 동작을 나타낼 수 있고, 도 12는 실제 데이터(예: PPG 신호)에 대해 비연속적 측정을 통해 테스트한 결과의 예를 나타낼 수 있다.
도 11 및 도 12를 참조하면, 동작(1110)에서, 전자 장치(101)의 프로세서(120)(또는 도 5의 기능 처리 모듈(500))는 헬스 정보에 관련된 데이터(예: 원시 데이터(raw data))를 수집(collect)할 수 있다. 다양한 실시 예들에서, 원시 데이터는 전자 장치(101)의 생체 센서를 통해 전자 장치(101)가 받아들일 수 있는 데이터로, 헬스 정보로 가공되기 이전의, 예를 들면, 처리되지 않은, 생체 정보를 포함할 수 있다. 일 실시 예에 따라, 도 12의 예시 (A)에 도시한 바와 같이, 생체 센서(예: PPG 센서) 상에서 사용자 손가락의 접촉에 따라, 생체 센서로부터 전달되는 입력 신호를 포함할 수 있다. 일 실시 예에서, 도 12의 예시 (A)는 사용자가 생체 센서 상에 손가락을 접촉(attached) 및 해제(detached)를 반복함에 따른 비연속적 원시 데이터(예: raw PPG signal)가 입력되는 예를 나타낼 수 있다. 예를 들면, 도 12의 예시 (A)는 비연속적 입력 신호(예: discontinuous PPG signal)의 예를 나타낼 수 있다.
동작(1120)에서, 프로세서(120)는 수집된 데이터에 기반하여 전처리(pre-processing)를 수행할 수 있다. 일 실시 예에 따라, 전처리 동작(1120)은, DC(direct current) 필터링(filtering) 동작(1121), 임펄스 제거(impulse removal) 동작(1123), 대역 필터링(band-pass filtering) 동작(1125)를 포함할 수 있다.
일 실시 예에 따라, 동작(1121)에서, 프로세서(120)는 입력 신호에서 DC 성분을 필터링 하여 DC 성분은 차단하고, 입력 신호에서 AC(alternation current) 성분만을 출력할 수 있다. 일 실시 예에 따라, 동작(1120)에서, 프로세서(120)는 AC 성분에서 임펄스 잡음(noise)를 제거할 수 있다. 예를 들면, 프로세서(120)는 임펄스 잡음에 의해 발생하는 거짓 에지(false edge)를 제거할 수 있다. 일 실시 예에 따라, 동작(1125)에서, 프로세서(120)는 대역 필터링을 통해 특정 범위의 주파수에 존재하는 신호만을 통과시키고 특정 범위를 벗어난 신호를 제거하여 출력할 수 있다. 일 실시 예에 따라, 입력 신호(예: PPG signal)에 대해 전처리 동작(1120)으로 전처리된 결과(예: pre-processed PPG signal)의 예가 도 12의 예시 (B)에 도시된다.
동작(1130)에서, 프로세서(120)는 전처리된 신호(예: pre-processed PPG signal)를 세그먼테이션(segmentation) 할 수 있다. 일 실시 예에 따라, 세그먼테이션 동작(1130)은 특징점 검출(keypoint detection)(1131) 동작을 포함 할 수 있다. 일 실시 예에 따라, 파형의 특징점으로는 피크(peak), 골(valley), 또는 변곡점(inflection point) 등이 포함될 수 있다. 일 실시 예에 따라, 특징점 검출 동작(1131)은, 전처리된 신호에서 시간적 피크 값을 검출할 수 있다. 예를 들면, 프로세서(120)는 전처리된 신호에 따른 파형에서 피크를 검출하여 심박 지점을 검출하고, 심박 발생 시마다 직전 심박과의 시간 간격을 계산할 수 있다. 일 실시 예에 따라, 전처리된 신호를 특징점 검출 동작(1131)으로 세그먼테이션된 결과(예: segmented PPG signal)의 예가 도 12의 (C)에 도시된다.
동작(1140)에서, 프로세서(120)는 세그먼테이션된 신호들(예: segmented PPG signals)을 통합(merge) 할 수 있다. 일 실시 예에 따라, 통합 동작(1140)은 유사성 확인 및 검증(similarity check & validation) 동작(1141)을 포함할 수 있다. 일 실시 예에 따라, 유사성 확인 및 검증 동작(1141)은, 세그먼테이션된 신호들(예: set of plural PPG signals) 간의 유사성을 확인하여 검증하는 동작을 포함할 수 있다. 일 실시 예에 따라, 제1 세그먼테이션 신호와 제2 세그먼테이션 신호 간에 유사성이 검증되지 않을 시 제1 세그먼테이션 신호는 제외되고, 제2 세그먼테이션 신호와 제3 세그먼테이션 신호 간의 유사성을 판단할 수 있다. 일 실시 예에 따라, 비연속적 측정 데이터들에 대한 각각의 세그먼테이션된 신호들의 통합 결과(예: merged PPG signal)의 예가 도 12의 (D)에 도시된다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 처리하는 방법을 도시하는 흐름도(1300)이다.
도 13을 참조하면, 동작(1301)에서, 전자 장치(101)의 프로세서(120)(또는 도 5의 기능 처리 모듈(500))는 어플리케이션을 실행할 수 있다. 일 실시 예에 따르면, 사용자는 통화 또는 촬영(예: 셀피 촬영)과 같은 기능을 수행하기 위해 해당 어플리케이션을 실행하도록 실행 명령을 입력(예: 어플리케이션 아이콘 터치)할 수 있고, 프로세서(120)는 실행 명령에 기반하여 어플리케이션을 실행할 수 있다. 일 실시 예에 따라, 동작(1301)은 어플리케이션을 최초 실행하는 상태이거나, 어플리케이션이 실행 중인 상태를 포함할 수 있다.
동작(1303)에서, 프로세서(120)는 생체 센서를 통해 외부 물체(예: 사용자 손가락)의 접촉(attached)을 감지할 수 있다. 일 실시 예에 따라, 사용자는 전자 장치(101)를 통해 실행된 어플리케이션을 이용(예: 셀피 촬영과 관련된 사용 또는 통화와 관련된 사용 등)하는 중에, 생체 센서에 사용자의 손가락을 접촉할 수 있다. 프로세서(120)는 어플리케이션을 실행하는 동안 생체 센서를 모니터링 하여 생체 정보에 대응하는 입력 신호(예: PPG signal input)가 감지되는지 여부를 판단할 수 있다.
동작(1305)에서, 프로세서(120)는 생체 센서에 접촉을 감지하는 것에 응답하여, 이전에 저장된 생체 정보(이하, 도 13의 설명에서 ‘제1 생체 정보’라 한다)가 있는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 생체 센서에 기반하여 측정(또는 수집)하는 생체 정보(예: raw PPG signal)를 메모리(예: 도 1의 메모리(130))에 저장할 수 있다. 프로세서(120)는 생체 센서에 접촉을 감지하는 경우, 메모리(130)를 참조하여 제1 생체 정보의 존재 여부를 판단할 수 있다. 일 실시 예에 따라, 제1 생체 정보는 생체 센서에 의해 생체 정보의 측정이 중단되는 시점(예: 생체 센서에 접촉된 손가락이 해제되는 시점)에 저장되는 정보일 수 있다.
다양한 실시 예들에서, 제1 생체 정보는, 경과 시간 또는 전자 장치(101)(또는 사용자)의 상태 변화(예: 운동량 또는 위치 중 적어도 하나의 변화 등)에 적어도 기반하여 관리될 수 있다. 일 실시 예에 따르면, 제1 생체 정보는, 현재 시간을 기준으로 설정된 제1 범위(예: 일정 시간으로, 예를 들면, 3초, 5초, 1분, 10분, 30분, 1시간, 하루 등) 내에 포함된 정보일 수 있다. 예를 들면, 설정된 범위가 1분인 경우, 동작(1305)을 수행하는 시점에서 10분 전까지 포함된 정보이고, 1분이 경과된 정보는 제1 생체 정보에 포함하지 않을 수 있다. 일 실시 예에 따르면, 제1 생체 정보는, 전자 장치(101)의 상태 변화가 설정된 제2 범위 내에 포함된 정보일 수 있다. 예를 들면, 사용자의 운동 상태(또는 움직임 상태)에 따라 이전에 측정된 생체 정보 A와 현재 측정된 생체 정보 B는 판이(completely different)할 수 있다. 일 예로, 생체 정보 A가 사용자가 운동 시의 정보이고, 생체 정보 B가 사용자가 휴식 시의 정보이거나, 그 반대인 경우, 생체 정보의 성질(예: PPG signal의 파형)이 전혀 다를 수 있다. 이와 같이, 전자 장치(101)의 상태 변화가 설정된 범위를 초과(예: 상태 변화가 설정 기준 변화를 초과)하는 경우, 제1 생체 정보로서 제외할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 상태 변화는 다양한 상황 인지 기반, 또는 헬스 케어 어플리케이션에 의해 관리되는 사용자에 관련된 다양한 측정 정보 등에 적어도 기반하여 판단할 수 있다. 다양한 실시 예들에 따라, 제1 범위와 제2 범위를 함께 고려하여 제1 생체 정보의 사용 여부를 결정할 수 있다. 다양한 실시 예들에서는, 제1 생체 정보와 관련하여, 제1 범위 또는 제2 범위와 같은 적어도 하나의 기준 범위를 기반으로 제1 생체 정보의 유효성을 검증하고, 검증 결과에 적어도 기반하여, 제1 생체 정보가 기준 범위 내의 정보인 경우에 비연속적 측정 데이터의 통합에 사용될 수 있다. 이는 현재 측정하는 생체 정보와 판이한 제1 생체 정보의 사용으로 인해, 정확하지 않은 헬스 정보 추정(또는 오류 데이터 제공)을 방지하기 위함일 수 있다.
동작(1305)에서, 프로세서(120)는 제1 생체 정보가 존재하지 않으면(동작(1305)의 아니오), 동작(1307)에서, 생체 센서에 기반하여 생체 정보의 수집 및 저장하는 동작을 수행할 수 있다. 프로세서(120)는 동작(1307)에 순차적으로 또는 병렬적으로, 동작(1311)을 수행할 수 있다.
동작(1305)에서, 프로세서(120)는 제1 생체 정보가 존재하면(동작(1305)의 예), 동작(1309)에서, 제1 생체 정보와 현재 측정되는 생체 정보(이하, 도 13의 설명에서 ‘제2 생체 정보’라 한다)를 통합(merge) 할 수 있다. 일 실시 예에 따라, 제1 생체 정보와 제2 생체 정보의 통합은 전술한 도 11 및 도 12를 참조한 설명 부분에서 설명한 바에 대응할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제1 생체 정보와 제2 생체 정보와 같은 비연속적 측정 데이터를 통합하는 것에 순차 적으로 또는 병렬적으로, 생체 센서에 기반한 생체 정보의 수집 및 저장은 계속 수행할 수 있다. 일 실시 예에 따라, 프로세서(120)는 동작(1309)을 수행할 때, 제1 생체 정보에 대해, 제1 범위 또는 제2 범위에 적어도 기반하여 유효성 검증을 수행할 수 있고, 제1 생체 정보가 존재하더라도, 유효하지 않은 것으로 판단할 시 동작(1307)을 수행하도록 할 수 있다.
동작(1311)에서, 프로세서(120)는 동작(1307) 또는 동작(1309)을 수행하는 것에 순차적으로 또는 병렬적으로, 이벤트가 트리거 되는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 헬스 정보(예: 심박 정보)에 관련된 이벤트가 발생되는지 여부를 판단할 수 있다. 예를 들면, 프로세서(120)는 헬스 정보를 추정 가능한 정도의 생체 정보가 누적되었는지 여부를 판단할 수 있다.
동작(1311)에서, 프로세서(120)는 이벤트가 트리거 되면(동작(1311)의 예), 동작(1313)에서, 생체 정보에 기반하여 헬스 정보를 추정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 추정된 헬스 정보를 후처리 하여, 표시 장치(160)를 통해 제공하는 동작을 수행할 수 있다.
동작(1315)에서, 프로세서(120)는 동작(1313)에 순차적으로 또는 병렬적으로, 생체 정보를 계속하여 수집 및 저장할 수 있고, 동작(1311)로 진행하여 다른 헬스 정보의 추정에 관련된 동작을 수행할 수 있다. 프로세서(120)는 어플리케이션의 실행이 종료되거나, 또는 생체 센서로부터 사용자 손가락의 해제를 감지하는 시점까지 동작(1311) 내지 동작(1315)를 수행할 수 있다.
동작(1311)에서, 프로세서(120)는 이벤트가 트리거 되지 않으면(동작(1311)의 아니오), 동작(1317)에서, 생체 센서를 통해 외부 물체(예: 사용자 손가락)의 해제(detached) 여부를 판단할 수 있다. 예를 들면, 프로세서(120)는 동작(1303)에서 접촉된 사용자 손가락이 해제되는지 여부를 판단할 수 있다.
동작(1317)에서, 프로세서(120)는 해제가 감지되지 않으면(또는 접촉이 유지되면)(동작(1317)의 아니오), 동작(1319)에서, 제1 생체 정보와 제2 생체 정보가 통합된 통합 생체 정보에 연속하여 생체 정보를 수집 및 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 동작(1309)에 순차적으로 또는 병렬적으로 동작(1319)를 수행하면서, 동작(1311) 또는 동작(1317)에 따른 트리거를 판단할 수 있다.
동작(1317)에서, 프로세서(120)는 해제가 감지되면(동작(1317)의 예), 동작(1321)에서, 해제 감지 시까지 측정된 생체 정보를 저장할 수 있다. 일 실시 예에 따라, 측정된 생체 정보는 통합 생체 정보를 포함하고, 통합 생체 정보에 연속되어 해제 시까지 수집된 생체 정보를 포함할 수 있다. 일 실시 예에 따라, 프로세서(120)는 동작(1321) 이후, 동작(1303)으로 진행하여, 동작(1303) 이하의 동작을 수행할 수 있다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 비연속적 측정 데이터를 통합하는 예를 도시하는 도면이다.
도 14에 도시한 바와 같이, 도 14는 전자 장치(101)에서 어플리케이션이 실행되는 동안, 사용자가 생체 센서에 손가락을 접촉 또는 해제를 반복하고, 접촉 세션(attach session) 마다(또는 짧은 시간 간격(예: 약 3초~5초 정도) 동안) 측정된 각각의 비연속적 측정 데이터들을 통합하는 예를 나타낼 수 있다. 다양한 실시 예들에 따르면, 각각의 비연속적 측정 데이터들을 통합하여 연속 측정된 하나의 데이터로 구성할 수 있다.
도 14를 참조하면, 예시 (A), 예시 (B), 및 예시 (C)는 사용자가 전자 장치(101)의 생체 센서에 손가락을 접촉하고 있는 접촉 세션(attach session)(또는 접촉 구간)을 나타낼 수 있다. 예시 (A)와 예시 (B) 사이, 및 예시 (B)와 예시 (C) 사이는 사용자가 전자 장치(101)의 생체 센서에서 손가락을 해제하고 있는 해제 세센(detach session)(또는 해제 구간)을 나타낼 수 있다. 예를 들면, 사용자는 예시 (A)에서 손가락을 접촉하고, 제1 일정 시간(예: 약 2초~5초 등) 후 손가락 접촉을 해제하고, 다시 예시 (B)에서 손가락을 접촉하고, 제2 일정 시간(예: 약 2초~5초 등) 후 손가락 접촉을 해제하는 것과 같이, 접촉과 해제를 반복하는 경우일 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 생체 센서를 통해, 예시 (A), 예시 (B), 및 예시 (C)에서 접촉 세션을 인지할 수 있다. 전자 장치(101)는 접촉 세션이 시작되는 시점(또는 이벤트가 발생되는 시점)(예: 제1 타이밍(T1), 제2 타이밍(T2), 제3 타이밍(T3))에서 접촉 세션이 끝나는 시점까지, 각 접촉 세션에 대응하는 각각의 생체 정보들(1410, 1420, 1430)(이하, 도 14에서는 ‘측정 데이터’라 한다)을 측정할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 생체 센서(예: PPG 센서)에 의해 측정되는 생체 신호(예: PPG signal)에 기반하여, 예시 (A)에 따른 제1 접촉 세션 동안 제1 측정 데이터(1410)를 획득하고, 예시 (B)에 따른 제2 접촉 세션 동안 제2 측정 데이터(1420)를 획득하고, 예시 (C)에 따른 제3 접촉 세션 동안 제3 측정 데이터(1430)를 각각 획득할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 제1 접촉 세션(예시 (A)), 제2 접촉 세션(예시 (B)), 및 제3 접촉 세션(예시 (C))에서 획득된 제1 측정 데이터(1410), 제2 측정 데이터(1420), 및 제3 측정 데이터(1430)와 같은 생체 정보에 관련된 비연속적 측정 데이터를 통합할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 제1 접촉 세션에서 획득된 제1 측정 데이터(1410)를 저장하는 상태에서, 제2 접촉 세션의 제2 타이밍(T2)에서 생체 신호가 감지될 시, 제1 측정 데이터(1410)에 제2 접촉 세션 동안 감지되는 제2 측정 데이터(1420)를 통합할 수 있다. 예를 들면, 전자 장치(101)는 제2 접촉 세션이 만료될 시 제1 측정 데이터(1410)와 제2 측정 데이터(1420)를 통합하여 하나의 측정 데이터(또는 생체 정보)로 저장 및 관리할 수 있다. 이러한 동작을 통해, 전자 장치(101)는 제1 접촉 세션, 제2 접촉 세션, 및 제3 접촉 세션에 대응하는 각각의 비연속적 측정 데이터들(예: 제1 측정 데이터(1410), 제2 측정 데이터(1420), 제3 측정 데이터(1430))를 하나의 측정 데이터(1440)(또는 생체 정보)로 통합할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 통합된 측정 데이터에 기반하여 헬스 정보를 추정할 수 있다.
일 실시 예에 따르면, 제1 접촉 세션의 제1 측정 데이터(1410)와 제2 접촉 세션의 제2 측정 데이터(1420)는 제1 헬스 정보(예: 심박 정보) 추정에 필요한 조건(예: 측정 시간 또는 측정 량)에 포함되지 않으며, 제3 접촉 세션의 제3 측정 데이터(1430)는 제1 헬스 정보(예: 심박 정보) 추정에 필요한 조건에 포함되는 것을 가정할 수 있다. 제1 접촉 세션과 제2 접촉 세션 각각에서, 독립적인 제1 측정 데이터(1410)와 제2 측정 데이터(1420)에 의해서는 제1 헬스 정보(예: 심박 정보)가 추정되지 않으며, 제3 접촉 세션의 제3 측정 데이터(1430)에 의해 제1 헬스 정보(예: 심박 정보)가 추정될 수 있다. 따라서, 전자 장치(101)가 어플리케이션을 실행하는 동안, 예시 (A), 예시 (B), 및 예시 (C)와 같은 상태가 반복되는 경우, 종래에서는 실질적으로 엘리먼트 1450에 예시한 바와 같이, 예시 (C)의 제3 접촉 세션의 제3 측정 데이터(1430)에 기반하여, 제N 타이밍(1460)에서 제1 헬스 정보(예: 심박 정보)를 추정할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 예시 (A)의 제1 접촉 세션의 제1 측정 데이터(1410)와 예시 (B)의 제2 접촉 세션의 제2 측정 데이터(1420)가 통합된 통합 데이터에 기반하여, 제M 타이밍(1470)에서 제1 헬스 정보(예: 심박 정보)를 추정할 수 있다. 예를 들면, 심박 엔진(910)은 제N 타이밍(1460) 보다 빠른 제M 타이밍(1470)에서, 제1 헬스 정보에 관련된 이벤트를 발생할 수 있다. 예를 들면, 전자 장치(101)는 예시 (B)의 제2 접촉 세션 동안에 제1 헬스 정보를 추정하여 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 제1 접촉 세션의 제1 측정 데이터(1410), 제2 접촉 세션의 제2 측정 데이터(1420), 및 제3 접촉 세션의 제3 측정 데이터(1430)는 제1 헬스 정보(예: 심박 정보) 보다 조건(예: 측정 시간 또는 측정 량)이 더 필요한 제2 헬스 정보(예: 스트레스 정보) 추정에 필요한 조건에 포함되지 않을 수 있다. 따라서, 전자 장치(101)가 어플리케이션을 실행하는 동안, 예시 (A), 예시 (B), 및 예시 (C)와 같은 상태가 반복되는 경우, 종래에서는 예시 (A), 예시 (B), 및 예시 (C)의 각 접촉 세션 동안에서 제2 헬스 정보(예: 스트레스 정보)를 추정할 수 없다.
다양한 실시 예들에 따르면, 전자 장치(101)는 예시 (A)의 제1 접촉 세션의 제1 측정 데이터(1410), 예시 (B)의 제2 접촉 세션의 제2 측정 데이터(1420), 및 예시 (C)의 제3 접촉 세션의 제3 측정 데이터(1430)가 통합된 통합 데이터에 기반하여, 제X 타이밍(1480)에서 제2 헬스 정보(예: 스트레스 정보)를 추정할 수 있다. 예를 들면, 스트레스 엔진(980)은 제X 타이밍(1480)에서, 제2 헬스 정보에 관련된 이벤트를 발생할 수 있다. 예를 들면, 전자 장치(101)는 예시 (C)의 제3 접촉 세션 동안에 제2 헬스 정보를 추정하여 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 파형 분석 기반의 제3 헬스 정보(예: 혈압 정보)의 분석에서는 일정 개수 이상의 파형이 추출되기 전에는 신뢰할 수 있는 제3 헬스 정보(예: 혈압 측정 값)의 제공이 어려울 수 있다. 예를 들면, 혈압의 경우 완전한(또는 깨끗한(예: 잡음(noise)이 포함되지 않음)) 하나의 파형을 필요로 하는 방식이지만, 측정 상황에 따라 한 번에 완전한 파형이 획득되지 않을 수 있다. 예를 들면, 제1 접촉 세션의 제1 측정 데이터(1410), 제2 접촉 세션의 제2 측정 데이터(1420), 및 제3 접촉 세션의 제3 측정 데이터(1430)에서 각각 완전한 파형이 도출되지 않을 경우, 제3 헬스 정보(예: 헬스 정보) 추정에 필요한 조건에 맞는(예: 혈압 계산이 가능하고 잡음(noise)가 포함되지 않은 신호를 가지는) 완전한 파형을 추출되지 않을 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 예시 (A)의 제1 접촉 세션의 제1 측정 데이터(1410), 예시 (B)의 제2 접촉 세션의 제2 측정 데이터(1420), 및 예시 (C)의 제3 접촉 세션의 제3 측정 데이터(1430)가 통합된 통합 데이터(예: 엘리먼트 1490)에 기반하여, 복수의 파형 획득 분석을 가능하도록 할 수 있다. 일 실시 예에 따르면, 파형 분석 기반의 제3 헬스 정보(예: 혈압 정보)는 파형의 개수보다는 조건에 맞는(예: 혈압 계산이 가능하고 잡음(noise)가 포함되지 않은 신호를 가지는) 완전한 하나의 파형을 추출하는 것이 보다 중요할 수 있다. 따라서, 다양한 실시 예들에서와 같이, 일정 개수의 파형들이 통합된 통합 데이터(1490)에서 완전한 파형을 추출하여 신뢰성 있는 제3 헬스 정보(예: 혈압 정보)를 추정할 수 있다. 예를 들면, 혈압 엔진(940)은 개별 파형에 비해 통합 데이터(1490)의 복수의 파형들(1490)에서 계산이 용이한 파형을 찾거나, 파형을 계산이 용이한 수준까지 중첩(ensemble average)시키거나, 또는 잡음(noise)이 있는 파형을 배제하여 완전한 파형을 추출하고, 추출된 완전한 파형으로부터 제3 헬스 정보(예: 혈압 정보)를 추정하여 사용자에게 제공할 수 있다. 일 실시 예에 따라, 통합 데이터(1490)의 예시는 제1 측정 데이터(1410), 제2 측정 데이터(1420), 및 제3 측정 데이터(1430)에 대응하는 파형들을 계산이 용이하도록 중첩된 예를 나타낼 수 있다.
도 14를 참조하여 일 예를 살펴본 바와 같이, 전자 장치(101)는 시간에 따른 비연속적 측정 데이터를 통합할 수 있다. 다양한 실시 예들에서, 비연속적 측정 데이터에 기반한 통합 데이터가 증가할수록, 그에 대체적으로 비례하여 획득(또는 추정)할 수 있는 생체 정보가 증강(augmentation)될 수 있다. 다양한 실시 예들에 따르면, 짧은 시간의 비연속적 측정 데이터들의 통합을 통해 긴 연속 측정이 필요한 생체 정보까지 획득 가능할 수 있다. 다양한 실시 예들에 따르면, 생체 센서로부터 획득된 생체 정보 이외에도, 이미지 센서(예: 카메라)로부터 획득하는 이미지(예: 셀피 이미지)에 기반한 이미지 정보를 융합하여, 보다 사실적인 감정 정보를 제공할 수 있다.
다양한 실시 예들에 따르면, 도 14에 예시한 바와 같이, 미리 저장된 생체 정보를 활용하여, 생체 정보에 대한 초기 측정 시간을 감소할 수 있다. 일 실시 예에 따르면, 보통 측정 시간이 상대적으로 긴(예: 샘플 맥파의 개수가 많은) 생체 정보의 경우, 동일한 환경 내에서 연속적으로 복수의 파형들을 획득하여 분석할 수 있다. 일 실시 예에 따르면, 스트레스의 경우, 파형의 모양보다는 파형의 피크 타이밍(peak timing)을 판단하는 방식으로, 기본적으로 최소한의 샘플 개수(예: 최소 3개 이상)가 요구될 수 있다. 예를 들면, 기존의 스트레스 측정 시 초기화 동작에서 연속적으로 정해진 시간 동안 측정이 이루어지지 않으면, 측정 값을 도출하기 어렵다. 다양한 실시 예들에 따르면, 각 접촉 세션에서 요구되는 샘플 개수가 충족되지 않더라도, 통합 데이터에 의해 요구되는 최소한의 샘플 개수를 빠르게 충족하여 측정에 소요되는 시간을 줄일 수 있다.
일 실시 예에 따르면, 혈압의 경우, 파형을 판단하는 방식으로, 샘플 개수 보다는 완전한 하나의 파형이 요구될 수 있다. 따라서, 혈압의 경우, 이론적으로는 단 한번의 파형으로도 측정이 가능한 반면, 완전한 파형이 아닌 경우에는 측정이 이루어지지 않을 수 있다. 예를 들면, 파형 분석 기반 혈압 분석에서도 일정 개수 이상의 파형에 기반하여 신뢰할 수 있는 혈압 측정 값의 제공이 필요할 수 있다. 다양한 실시 예들에 따르면, 통합 데이터에 기반하여 한 주기의 파형만 분석하는 경우에 발생되는 측정 값의 불확실성을 줄이고 신뢰성을 높일 수 있다, 예를 들면, 혈압은 일정 개수가 중요한 것이 아니라, 조건에 맞는(예: 혈압 계산이 가능하고 잡음이 포함되지 않은 신호를 가지는) 완전한 파형의 추출이 중요할 수 있다. 다양한 실시 예들에서는, 통합 데이터에 기반하여 계산이 용이한 파형을 보다 빠르게 찾을 수 있다. 다양한 실시 예들에서는, 각각의 개별 파형들에서는 완전한 파형이 없더라도, 통합 데이터(예: 중첩 파형들)에 의해 완전한 파형의 도출이 가능할 수 있다.
다양한 실시 예들에 따르면, 무자각 측정 동작 시나리오에서, 사용자가 의도적으로 긴 시간 동안 센서에 연속적으로 측정을 유도하기보다는 센서로부터 신호를 측정하는 순간의 비연속적 측정 데이터들을 통합(또는 결합)하여 복수의 파형들을 획득하여 분석이 가능하도록 한다. 일 실시 예에 따르면, 짧은 시간 내에 같은 환경 및 동작에서 획득된 복수의 비연속적 파형들을 분석하고, 기 획득된 파형 대비 유사한 경우 비연속적 파형들을 통합하여, 연속적으로 획득된 하나의 신호처럼 생성할 수 있다. 일 실시 예에 따르면, 통합된 신호에 기반하여 생체 정보를 측정하게 되면, 측정 값의 신뢰성은 유지하면서 측정에 소요되는 시간을 줄일 수 있다.
일 실시 예에 따르면, 사용자가 셀피 모드를 이용하는 중에, 사용자는 전자 장치(101)의 센서에 손가락을 지속적으로 접촉(attached) 및 해제(detached)를 반복할 수 있다. 이러한 경우, 기존의 연속 측정 시나리오에서는, 스트레스 정보나 혈압 정보와 같이 긴 시간 동안 복수의 측정 파형들을 요구하는 생체 정보의 경우 그 획득이 불가능할 수 있다. 또한, 짧은 시간 동안의 사용자의 생체 정보는 거의 변화가 없을 수 있고, 충분히 유사성을 가질 수 있으며, 비연속적으로 측정된 신호라도 연속적으로 획득된 신호와 큰 차이가 없을 수 있다. 이에, 다양한 실시 예들에 따른 시나리오에서는, 사용자가 셀피 모드를 이용하는 중에, 센서에 손가락을 접촉 및 해제를 반복하는 것에 따라, 어느 시점 이후부터 계속적으로 스트레스 정보나 혈압 정보를 제공할 수 있다. 즉, 다양한 실시 예들에 따르면, 어느 시점 이후(예: 비연속적 측정 데이터들의 통합되어 측정에 필요한 조건이 만족되는 이후)부터는 사용자가 짧은 시간 동안만 손가락을 접촉하더라도 바로 스트레스 정보나 혈압 정보 등의 획득이 가능할 수 있다.
다양한 실시 예들에 따르면, 비연속적 데이터를 통합함에 있어서, 일정 조건에 해당하는 측정 데이터(또는 파형)은 측정 대상에서 제외할 수 있다. 예를 들면, 접촉 세션들 중에서 최소한의 파형이 나오지 않을 만큼 측정 시간이 짧거나, 파형에 잡음이 많이 포함(예: 동작 잡음 발생)되거나, 이전 접촉 세션 이후 설정된 일정 시간 이상 경과된 후 접촉 세션이 발생(예: 제1 접촉 세션과 제2 접촉 세션 간의 시간적 차이가 큰 경우)하거나, 측정 대상이 변경되거나, 외부 환경(예: 온도, 습도 등)이 크게 변경되거나, 센서의 상태 이상이 감지되거나, 또는 사용자의 생체 변화 감지(예: 체중, 운동) 하는 경우 등에서는 해당 측정 데이터(또는 파형, 신호)를 통합하는 것에서 제외할 수 있다.
도 15는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도(1500)이다.
도 15에 도시한 바와 같이, 도 15는 전자 장치(101)에서 어플리케이션(예: 셀피 모드) 실행 동안, 생체 정보를 측정하여 관련 헬스 정보를 사용자에게 제공하는 시나리오를 나타낼 수 있다.
도 15를 참조하면, 동작(1501)에서, 전자 장치(101)의 프로세서(120)(또는 도 5의 기능 처리 모듈(500))는 어플리케이션을 실행할 수 있다. 일 실시 예에 따르면, 사용자는 셀피 촬영을 위해 카메라 어플리케이션을 선택할 수 있고, 프로세서(120)는 카메라 어플리케이션 선택을 감지하는 것에 응답하여, 셀피 모드로 진입할 수 있다. 일 실시 예에 따라, 프로세서(120)는 셀피 모드 진입에 응답하여, 표시 장치(160)를 통해 셀피 이미지(예: 사용자 이미지)를 포함하는 화면을 표시할 수 있다.
동작(1503)에서, 프로세서(120)는 생체 센서로부터 생체 정보가 검출되는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 생체 센서를 모니터링 하여, 생체 센서를 통해 외부 물체(예: 사용자 손가락)의 접촉에 의한 생체 정보에 대응하는 입력 신호(예: PPG signal input)가 감지되는지 여부를 판단할 수 있다.
동작(1503)에서, 프로세서(120)는 생체 센서를 통해 생체 정보의 검출이 없으면(동작(1503)의 아니오), 동작(1505)에서, 해당 동작을 수행할 수 있다. 일 실시 예에 따라, 프로세서(120)는 어플리케이션 기능과 관련하여 사용자 요청에 대응하는 동작을 수행할 수 있다. 예를 들면, 프로세서(120)는 셀피 모드에서 프리뷰 화면을 표시하는 중에 사용자의 촬영 요청에 따라, 셀피 이미지를 촬영하여 저장하는 등의 동작을 수행할 수 있다. 일 실시 예에 따라, 프로세서(120)는 어플리케이션 실행의 종료 시까지 해당 동작을 수행하면서, 동작(1503)을 병렬적으로 수행할 수 있다.
동작(1503)에서, 프로세서(120)는 생체 센서를 통해 생체 정보가 검출되면(동작(1503)의 예), 동작(1507)에서, 헬스 모드로 진입할 수 있다. 일 실시 예에 따라, 프로세서(120)는 실행 중인 셀피 모드(예: 제1 동작 모드)를 유지하면서, 헬스 모드(예: 제2 동작 모드)를 병렬적으로 실행할 수 있다. 일 실시 예에 따라, 제1 동작 모드는 실행 중인 어플리케이션에 대응하는 모드로, 포그라운드(foreground) 동작으로 수행될 수 있다. 일 실시 예에 따라, 제2 동작 모드는 실행 중인 어플리케이션과 별도로, 다양한 실시 예들에서 무자각 기반의 생체 정보를 측정하여 관련 헬스 정보를 시각적으로 제공하기 위한 모드(예: 비전 헬스 모드(vision health mode))로, 백그라운드(background) 동작으로 수행될 수 있다. 일 실시 예에 따라, 프로세서(120)는 백그라운드 동작으로 수행된 제2 동작 모드의 수행 결과를 포그라운드로 동작하는 제1 동작 모드의 화면 상에 제공할 수 있다. 일 실시 예에 따라, 제2 동작 모드(예: 헬스 모드)는 어플리케이션 실행 동안, 생체 센서에 사용자 손가락의 접촉이 유지되는 동안 수행될 수 있다. 예를 들면, 제2 동작 모드는 생체 센서에 사용자 손가락의 접촉 동안 활성화 될 수 있고, 사용자 손가락의 해제 동안 비활성화 될 수 있으며, 접촉과 해제의 반복에 따라 활성화와 비활성화가 토글(toggle)될 수 있다.
동작(1509)에서, 프로세서(120)는 생체 센서에 기반하여 생체 정보를 수집할 수 있다. 일 실시 예에 따라, 프로세서(120)는 생체 정보의 수집에 순차적으로 또는 병렬적으로, 이미지 센서에 기반하여 이미지 정보(예: 사용자의 셀피 이미지)를 획득할 수 있다. 일 실시 예에 따라, 수집하는 생체 정보는 현재 측정하는 생체 정보와 이전에 수집되어 저장된 생체 정보를 포함할 수 있다.
동작(1511)에서, 프로세서(120)는 이벤트가 트리거 되는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 수집하는 생체 정보에 기반하여, 헬스 정보의 추정이 가능한 지 여부를 판단할 수 있다. 예를 들면, 프로세서(120)는 헬스 정보를 추정 가능한 정도의 생체 정보가 수집되는 것에 응답하여 이벤트를 발생할 수 있다.
동작(1511)에서, 프로세서(120)는 이벤트가 트리거 되지 않으면(동작(1511)의 아니오), 동작(1509)로 진행하여 동작(1509) 이하의 동작을 수행할 수 있다. 일 실시 예에 따라, 프로세서(120)는 생체 정보를 수집하는 동안 이벤트가 트리거 되지 않는 경우, 헬스 모드의 해제, 예를 들면, 생체 센서의 접촉이 해제되는지 여부를 판단하는 동작을 병렬적으로 수행할 수 있다.
동작(1511)에서, 프로세서(120)는 이벤트가 트리거 되면(동작(1511)의 예), 동작(1513)에서, 생체 정보에 기반하여 헬스 정보를 추정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 측정된 생체 정보에 기반하여 추정 가능한 복수의 헬스 정보들을 추정할 수 있고, 시간 흐름에 따라 증가되는 생체 정보에 기반하여 순차적으로 추가적인 헬스 정보들을 추정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 증가되는 생체 정보에 기반하여, 예를 들면, 감정 정보의 추정이 가능한 경우, 이미지 센서로부터 획득된 이미지 정보를 융합하여, 보다 직관적이거나 사실적인 감정 정보를 표현하도록 할 수 있다. 다양한 실시 예들에서, 감정 정보를 표현하는 것과 관련하여 후술하는 도면들을 참조하여 설명된다.
동작(1515)에서, 프로세서(120)는 헬스 정보에 관련된 시각적인 객체(또는 아이템)를 생성할 수 있다. 일 실시 예에 따라, 프로세서(120)는 추정된 적어도 하나의 헬스 정보를 사용자에게 제공(또는 표시)하기 위한 후처리를 수행할 수 있다. 예를 들면, 프로세서(120)는 추정된 헬스 정보를 실행 중인 어플리케이션에 연관지어, 헬스 정보를 시각적으로 표현 가능하도록 관련 객체(예: 텍스트, 숫자, 아이콘, 그래프, 파형, 이모티콘 등)를 생성할 수 있다.
동작(1517)에서, 프로세서(120)는 객체를 출력할 수 있다. 일 실시 예에 따라, 프로세서(120)는 표시 장치(150)의 화면 상에 헬스 정보의 객체가 표현될 영역을 선별하고, 선별된 영역에 관련 객체를 표시할 수 있다. 일 실시 예에 따라, 프로세서(120)는 실행 중인 어플리케이션에 연관지어 객체가 표현될 영역을 결정할 수 있다. 예를 들면, 프로세서(120)는 어플리케이션의 화면 구성을 식별하고, 화면 구성에서 실행 중인 어플리케이션에 영향을 주지 않는(또는 화면을 가리지 않는) 영역을 선택하거나, 헬스 정보의 종류(또는 객체의 종류)에 따라 지정된 영역(예: 사용자의 얼굴 영역)을 선택할 수도 있다. 다양한 실시 예들에서, 프로세서(120)는 헬스 정보에 관련된 객체를 제공할 때, 시간에 따라 증강하여 표시할 수 있다. 다양한 실시 예들에서, 헬스 정보에 관련된 객체를 제공하는 것과 관련하여 후술하는 도면들을 참조하여 설명된다.
동작(1519)에서, 프로세서(120)는 어플리케이션 관련 이벤트가 트리거 되는지 여부를 판단할 수 있다. 일 실시 예에 따라, 어플리케이션 관련 이벤트는, 예를 들면, 셀피 모드에서 사용자에 의한 촬영 명령 입력, 또는 통화(예: 음성 통화, 영상 통화) 모드에서 사용자에 의한 헬스 정보 전송 명령 입력 등을 포함할 수 있다. 일 실시 예에 따라, 어플리케이션 관련 이벤트는 헬스 정보를 저장하기 위한 설정된 입력을 포함할 수도 있다.
동작(1519)에서, 프로세서(120)는 어플리케이션 관련 이벤트가 트리거 되지 않으면(동작(1519)의 아니오), 동작(1523)으로 진행하여, 동작(1523) 이하의 동작을 수행할 수 있다.
동작(1519)에서, 프로세서(120)는 어플리케이션 관련 이벤트가 트리거 되면(동작(1519)의 예), 동작(1521)에서, 헬스 정보를 저장할 수 있다. 일 실시 예에 따라, 프로세서(120)는 셀피 모드에서 촬영 명령에 기반하여 컨텐츠(예: 셀피 이미지)를 생성할 수 있고, 컨텐츠의 메타 정보(예: 컨텐츠 이름, 생성 위치, 생성 시간, 저장 주소, 또는 컨텐츠 포맷 등)에 헬스 정보를 연관지어(또는 매핑하여) 저장할 수 있다. 일 실시 예에 따라, 프로세서(120)는 통화 모드에서 전송 명령에 기반하여 컨텐츠(예: 메시지)를 생성할 수 있고, 컨텐츠의 메타 정보(예: 메시지 포맷, 수신 번호, 전송 번호, 메시지 제목, 또는 첨부 내용 등)에 헬스 정보를 연관지어(또는 매핑하여) 저장할 수 있다. 일 실시 예에 따라, 프로세서(120)는 통화 모드에서는 헬스 정보(예: 텍스트 기반, 또는 이미지 기반의 정보)를 포함하는 메시지를 통화 모드의 상대 전자 장치로 전송하는 동작을 더 수행할 수 있다.
동작(1523)에서, 프로세서(120)는 어플리케이션의 실행이 종료되는지 여부를 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 실행 중인 어플리케이션과 관련하여 사용자(예: 셀피 모드, 통화 모드) 또는 외부(예: 통화 모드)에 의해 종료가 요청되는지 판단할 수 있다.
동작(1523)에서, 프로세서(120)는 종료 이벤트가 트리거 되는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 어플리케이션의 실행이 종료(예: 셀피 모드 종료)되거나, 또는 생체 센서로부터 사용자 손가락이 해제(예: 헬스 모드 종료)되는 경우, 종료 이벤트가 트리거 될 수 있다.
동작(1523)에서, 프로세서(120)는 종료 이벤트가 트리거 되지 않으면(동작(1523)의 아니오), 동작(1509)로 진행하여, 동작(1509) 이하의 동작을 수행할 수 있다.
동작(1523)에서, 프로세서(120)는 종료 이벤트가 트리거 되면(동작(1523)의 예), 동작(1525)에서, 관련 정보를 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 종료 이벤트에 응답하여, 종료 이벤트가 트리거 되는 시점까지 측정된 생체 정보를 저장할 수 있다. 일 실시 예에 따라, 프로세서(120)는 생체 정보를 저장할 때, 생체 정보가 저장(또는 생성)된 시간 정보(예: 타임 스탬프(time stamp))를 생체 정보에 매핑하여 저장할 수 있다.
도 16은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 일 예를 도시하는 도면이다.
도 16에 도시한 바와 같이, 도 16은 전자 장치(101)가 셀피 모드를 수행하는 동안, 사용자에 관련된 헬스 정보를 제공하는 동작 예를 나타낼 수 있다. 일 실시 예에 따라, 도 16에 도시된 예시 (A) 내지 예시 (E)는 시간 흐름(또는 생체 정보 측정 시간)에 따라 표현된 예를 나타낼 수 있다.
도 16을 참조하면, 예시 (A)에서, 전자 장치(101)는 셀피 모드에 진입하고, 표시 장치(160)를 통해 셀피 모드에 관련된 실행 화면을 표시할 수 있다. 일 실시 예에 따라, 실행 화면은 전면 카메라(1601)를 통해 획득하는 사용자 이미지(1600)(예: 셀피 이미지)와 사용자로부터 촬영 요청을 입력 받을 수 있는 촬영 버튼(1605) 등을 포함할 수 있다.
다양한 실시 예들에 따라, 사용자는 셀피 모드를 사용하는 중에, 도 7A에 예시한 바와 같이, 전자 장치(101)의 후면에 배치된 센서(710)에 손가락을 접촉할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 셀피 모드를 수행하는 중에, 사용자의 손가락이 센서(710)에 접촉 되는지 여부를 모니터링 할 수 있고, 센서(710)에 접촉이 감지되면 생체 정보를 수집할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 셀피 모드를 수행하는 중에 센서(710)에 의한 접촉을 감지하는 것에 응답하여 헬스 모드로 진입하고, 사용자의 생체 정보를 시간 흐름에 따라 계속하여 수집(또는 측정)할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 손가락이 센서(710)에 위치하고 있는 상태에서 헬스 모드의 접촉 세션이 유지되는 동안, 센서(710)에 의한 센서 측정 값(즉, 생체 정보)과 전면 카메라(1601)를 통해 촬영되는 이미지 정보를 수집할 수 있다. 일 실시 예에 따라, 전차 장치(101)는 타임 카운터(time counter)(미도시)를 이용하여, 현재까지 소요된 측정 시간(예: 헬스 정보 추정을 위한 조건)을 계산할 수 있고, 측정 시간에 기반하여 활용(또는 추정)이 가능한 헬스 정보를 추정할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 추정된 헬스 정보를 관련 객체에 기반하여 사용자에게 제공할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 시간 흐름에 따라 획득(또는 누적)되는 생체 정보에 기반하여, 적어도 하나의 헬스 정보를 추정할 수 있고, 추정(또는 업데이트)되는 헬스 정보를 추가적으로 표시하거나, 기존 헬스 정보에 증강하여 표시할 수 있다.
일 실시 예에 따라, 예시 (B)에서, 전자 장치(101)는 제1 헬스 정보(예: 심박 정보)에 관련된 적어도 하나의 객체(예: 제1 객체(1610), 제2 객체(1620), 또는 제3 객체(1630) 중 적어도 하나)를 제공할 수 있다. 예를 들면, 제1 객체(1610)는 수치적 데이터를 포함하는 아이콘 형태로 심박 정보를 표현한 예이고, 제2 객체(1620)는 개략적인 파형 형태로 심박 정보(또는 심박 변이도)를 표현한 예이고, 제3 객체(1630)는 심장 박동을 그래픽 이펙트(또는 애니메이션 효과)에 기반하여, 사용자 이미지(예: 사용자의 심장 부근)에 표현한 예일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 제1 헬스 정보와 대체적으로 동일(또는 유사)한 측정 시간을 가지는 적어도 하나의 제2 헬스 정보(예: 산소포화도, 심박 변이도 등)를 순차적으로 또는 병렬적으로 추정할 수 있고, 제1 헬스 정보에 관련된 객체와 함께, 제2 헬스 정보에 관련된 객체를 함께 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 시간 흐름에 따라 측정되는 생체 정보에 기반하여 헬스 정보를 증강하여 표시하고, 추가적인 헬스 정보를 기존 헬스 정보에 추가 또는 대체하여 표시할 수 있다.
일 실시 예에 따라, 예시 (C), 예시 (D), 및 예시 (E)에서, 전자 장치(101)는 생체 정보의 측정 정도에 따라, 제1 헬스 정보(예: 심박 정보)가 업데이트되면, 제1 헬스 정보에 관련된 적어도 하나의 객체를 증강하여 표시할 수 있다. 예를 들면, 제1 객체(1610)를 업데이트된 수치적 데이터(예: 72 -> 71 -> 69 -> 75)로 변경하여 표시할 수 있다.
일 실시 예에 따라, 예시 (C)에서, 전자 장치(101)는 생체 정보의 측정 정도에 따라, 제3 헬스 정보(예: 스트레스 정보)에 대한 이벤트가 발생하면, 기존의 제1 헬스 정보(예: 심박 정보)와 더불어, 제3 헬스 정보(예: 스트레스 정보)에 관련된 적어도 하나의 객체(예: 제4 객체(1640), 제5 객체(1650))를 화면 상에 추가하거나, 또는 기존 객체를 대체하여 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 기존 제3 객체(1630)의 표시 영역에서, 스트레스 지수를 나타내는 제4 객체(1640)를 제3 객체(1630)와 대체하여 표시할 수 있고, 스트레스 지수에 대응하는 제5 객체(1650)(예: 그래픽 이펙트)를 사용자 이미지(1600)에 오버레이(또는 증강) 하여 표시할 수 있다.
일 실시 예에 따라, 예시 (D)와 예시 (E)에서, 전자 장치(101)는 생체 정보의 측정 정도에 따라, 제4 헬스 정보(예: 혈압 정보)에 대한 이벤트가 발생하면, 기존의 헬스 정보(예: 심박 정보, 스트레스 정보)와 더불어, 제4 헬스 정보(예: 혈압 정보)에 관련된 적어도 하나의 객체(예: 제6 객체(1660), 제7 객체(1670))를 화면 상에 추가하거나, 또는 기존 객체를 대체하여 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 혈압 수치(예: 140/95 mmHg)를 나타내는 제6 객체(1660)를 설정된 영역을 통해 표시할 수 있고, 혈압 수치에 대응하는 제7 객체(1670)(예: 혈압 정도에 대응하는 사용자 얼굴의 색상)를 사용자 이미지(1600)(예: 얼굴 영역)에 오버레이(또는 증강) 하여 표시할 수 있다. 예를 들면, 전자 장치(101)는 얼굴의 색상을 혈압 수치에 따라 변경하여 표시하여, 사용자의 혈압이 높아지거나 낮아짐을 직관적으로 표시할 수 있다.
일 실시 예에 따라, 예시 (E)에서, 전자 장치(101)는 생체 정보의 측정 정도에 따라, 제5 헬스 정보(예: 감정 정보)에 대한 이벤트가 발생하면, 기존의 헬스 정보(예: 심박 정보, 스트레스 정보, 혈압 정보)와 더불어, 제5 헬스 정보(예: 감정 정보)에 관련된 적어도 하나의 객체(예: 제8 객체(1680))를 화면 상에 추가하거나, 또는 기존 객체를 대체하여 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 아바타 또는 감정 이모티콘(또는 이모지(Emoji)) 등과 같은 그래픽 객체를 사용자 이미지(1600)에 오버레이(또는 증강) 하여 표시할 수 있다.
다양한 실시 예들에 따르면, 도 16에 예시한 바와 같이, 사용자의 생체 정보와 관련하여 구체적인 실측치 대신, 그래픽 효과나 애니메이션 효과를 적용하여, 사용자가 직관적으로 사용자의 상태를 알 수 있도록 하고, 생체 정보를 기반으로 다양한 효과를 지정할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 헬스 정보(또는 헬스 정보에 관련된 객체)를 화면 상에 증강하여 표시하는 것과 관련하여, 이미지를 이용한 프로세싱(image processing)을 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 헬스 정보에 관련된 적어도 하나의 객체가 표시될 영역을 선별하기 위해, 사용자 이미지에서 특징점 추출, 얼굴 인식(또는 안면 인식), 학습(예: 기계 학습(machine learning) 등) 등에 적어도 기반한 프로세싱을 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 객체(또는 헬스 정보)에 따라 미리 설정된 영역과, 프로세싱에 따른 영역(예: 심장 부근, 눈 부근, 얼굴 영역 등)을 선별할 수 있고, 선별된 영역에 해당 객체를 표시할 수 있다.
예를 들면, 전자 장치(101)는 카메라를 통해 획득하는 이미지(예: 프리뷰 이미지) 상에 실시간으로 가상 현실(VR, virtual reality) 데이터(예: 객체)를 표현하는 증강 현실(AR, augmented reality) 기법의 활용이 가능하다. 일 실시 예에 따르면, 이미지에서 이미지의 형태 및 위치를 추정하고, 수집된 생체 정보가 표현될 영역을 선별한 뒤, 해당 영역에 생체 정보 기반 후처리를 적용할 수 있다. 예를 들면, 후처리 내용에는 새로운 텍스트 또는 이미지 제공, 객체의 색 또는 형태 변화, 배경 색 또는 형태 변화 등을 포함할 수 있다. 다양한 실시 예들에서, 후처리된 이미지(예: 객체 및 사용자 이미지)는 표시 장치(160)의 화면 상에 출력될 수 있고, 사용자는 후처리된 이미지를 실시간으로 확인할 수 있다. 다양한 실시 예들에 따르면, 카메라 촬영이 수행되고, 센서로부터 손가락이 접촉되어 있는 동안, 사용자는 실시간으로 촬영되는 이미지와 증강되는 생체 정보를 확인할 수 있다.
다양한 실시 예들에 따르면, 예시 (B) 내지 예시 (E) 중 어느 하나의 상태에서, 센서에 접촉된 손가락이 해제되면, 해당 시점까지 측정된 생체 정보를 저장할 수 있다. 다양한 실시 예들에 따르면, 예시 (B) 내지 예시 (E) 중 어느 하나의 상태에서, 촬영 명령이 수신되면, 사용자 이미지를 촬영하여 저장하고, 촬영 시점까지 측정된 생체 정보를 이미지의 메타 정보에 함께 저장할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 촬영 명령이 수신되는 경우, 해당 시점의 화면을 캡쳐하여 저장할 수도 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 센서에 접촉된 손가락이 해제되는 경우, 전자 장치(101)의 설정 정보에 따라, 해당 시점까지의 헬스 정보에 관련된 객체의 표시 상태를 유지하거나, 또는 화면 상에서 객체를 표시하지 않을 수 있다.
다양한 실시 예들에 따르면, 사용자가 센서로부터 손가락을 해제되면, 전자 장치(101)는 화면에 표시되는 후처리 이미지를 캡쳐 하고, 저장 여부를 묻는 메시지를 사용자에게 출력할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 사용자에 의해 저장 요청이 수신되면, 후처리된 이미지를 전자 장치(101)의 메모리에 저장할 수 있다. 다양한 실시 예들에서, 후처리된 이미지를 저장하는 형태는, 예를 들면, 사용자에 의해 미리 정해진 옵션(option)에 따라 다양하게 결정 가능하다. 예를 들면, 옵션에는 후처리 이미지 저장, 원본 이미지 저장, 생체 정보 분리 저장, 또는 생체 정보 통합 저장 등의 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 전자 장치(101)는 사용자에 의해 미리 설정된 외장 저장 공간이 있는 경우, 직접(예: 유선) 통신 또는 무선 통신을 통해, 해당 외장 저장 공간에 전송 및 저장할 수 있다.
다양한 실시 예들에 따르면, 사용자에 의해 저장 요청이 없고, 다시 센서에 손가락의 접촉이 감지되면, 전자 장치(101)는 캡쳐된 후처리 이미지를 저장하지 않고 다시 셀피 모드로 진입하여, 사용자의 종료 입력이 있기 전까지 다양한 실시 예들의 동작을 반복할 수 있다.
도 17은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오 다른 예를 도시하는 도면이다.
도 17에 도시한 바와 같이, 도 17은 전자 장치(101)가 음성 통화 모드를 수행하는 동안, 사용자에 관련된 헬스 정보를 제공하는 동작 예를 나타낼 수 있다. 일 실시 예에 따라, 도 17에 도시된 예시는 도 16을 참조한 설명 부분에서 설명한 바에 대응하는 동작으로, 생체 정보를 획득하고, 생체 정보에 기반하여 추정된 헬스 정보에 대한 관련 객체들이 표시된 예를 나타낼 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 음성 통화 모드에 진입하고, 표시 장치(160)를 통해 음성 통화 모드에 관련된 실행 화면을 표시할 수 있다.
다양한 실시 예들에 따라, 사용자는 음성 통화 모드를 사용하는 중에, 도 7A에 예시한 바와 같이, 전자 장치(101)의 후면에 배치된 센서(710)에 손가락을 접촉할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 음성 통화 모드를 수행하는 중에, 사용자의 손가락이 센서(710)에 접촉되는지 여부를 모니터링 할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 센서(710)에 접촉을 감지하는 것에 응답하여 헬스 모드로 진입하고, 사용자의 생체 정보를 시간 흐름에 따라 계속하여 수집(또는 측정)할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 추정된 헬스 정보를 관련 객체에 기반하여 사용자에게 제공할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 시간 흐름에 따라 획득(또는 누적)되는 생체 정보에 기반하여, 적어도 하나의 헬스 정보를 추정할 수 있고, 추정(또는 업데이트)되는 헬스 정보를 추가적으로 표시하거나, 기존 헬스 정보에 증강하여 표시할 수 있다.
일 실시 예에 따라, 도 17의 예시 (A)에 예시한 바와 같이, 전자 장치(101)는 다른 전자 장치(예: 상대방 전자 장치)와 음성 통화 모드를 수행하는 중에, 센서(710)에 손가락의 접촉을 감지하면, 사용자의 생체 정보를 측정할 수 있다. 전자 장치(101)는 생체 정보의 측정 시간에 기반하여 적어도 하나의 헬스 정보를 추정하고, 추정된 헬스 정보에 대응하는 객체(1710, 1720, 1730)를 선별된 영역을 통해 표시할 수 있다.
다양한 실시 예들에서, 제공되는 헬스 정보(예: 감정 정보, 스트레스 정보, 심박 정보 등)는 다른 전자 장치와의 통화 기록(예: 전화 통화 목록)이나, 또는 전자 장치(101)의 연락처에 등록된 상대 정보(예: 이름, 닉네임 또는 전화번호 등)에 연관지어(또는 매핑하여) 저장할 수 있다.
예를 들면, 도 17의 예시 (B)에 예시한 바와 같이, 전자 장치(101)는 연락처에서 상대 정보(예: Zoe Taylor)에 연관하여 헬스 정보의 객체(1710, 1720, 1730)에 대응하는 헬스 아이템(1715, 1725, 1735)을 표시할 수 있다. 일 실시 예에 따라, 헬스 아이템(1715, 1725, 1735)은 텍스트, 아이콘, 파형 등으로 나타낼 수 있고, 도 17의 예시 (A)에서 추정된 헬스 정보의 객체(1710, 1720, 1730)에 대응하는 형태로 제공될 수 있다. 일 실시 예에 따르면, 헬스 아이템(1715, 1725, 1735)은 상대 정보와 관련하여 사용자의 헬스 정보가 있음을 직관적으로 알릴 수 있는 다양한 형태의 아이템으로 제공할 수 있고, 헬스 정보의 존재를 알리기 위한 하나의 지정된 통합 아이콘 형태로 제공될 수 있다. 다양한 실시 예들에서, 헬스 아이템(1715, 1725, 1735)에 대응하는 헬스 정보는, 수행된 통화 별로 저장될 수 있고, 도 17의 예시 (B)에서 제공되는 헬스 아이템(1715, 1725, 1735)는 마지막 통화에서 추정된 헬스 정보에 대응할 수 있다. 이를 통해, 사용자는 상대방과 음성 통화를 수행하는 시점에서 느낀 감정 상태를 기록 및 확인할 수 있다.
일 실시 예에 따르면, 음성 통화 모드에서는 사용자의 음성 정보가 포함될 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 음성 통화 모드에서 입력되는 사용자의 음성 정보에 기반하여, 사용자의 감정 상태를 측정하기 위한 데이터로 사용할 수 있고, 생체 정보와 음성 정보 분석 결과를 분석하여 보다 정밀한 감정 상태를 추출하여 제공할 수도 있다.
도 18은 다양한 실시 예들에 따른 전자 장치에서 헬스 정보를 사용자에게 제공하는 동작 시나리오의 다른 예를 도시하는 도면이다.
도 18에 도시한 바와 같이, 도 18은 전자 장치(101)가 영상 통화 모드를 수행하는 동안, 사용자에 관련된 헬스 정보를 제공하는 동작 예를 나타낼 수 있다. 일 실시 예에 따라, 도 18에 도시된 예시는 도 16을 참조한 설명에 부분에서 설명한 바에 대응하는 동작으로, 생체 정보를 획득하고, 생체 정보에 기반하여 추정된 헬스 정보에 대한 관련 객체들이 표시된 예를 나타낼 수 있다.
도 18을 참조하면, 전자 장치(101)는 영상 통화 모드에 진입하고, 표시 장치(160)를 통해 영상 통화 모드에 관련된 실행 화면을 표시할 수 있다. 일 실시 예에 따라, 영상 통화 모드에 관련된 실행 화면은 전자 장치(101)의 카메라를 통해 촬영되는 사용자의 제1 사용자 이미지(1801)와, 다른 전자 장치(예: 상대방 전자 장치)의 카메라를 통해 촬영되는 상대방 사용자의 제2 사용자 이미지(1803)를 포함할 수 있다. 일 실시 예에 따라, 제1 사용자 이미지(1801)와 제2 사용자 이미지(1802)는 전자 장치(101)의 영상 통화 모드에 관련된 설정에 적어도 기반하여, 설정된 영역을 통해 각각 제공될 수 있다.
다양한 실시 예들에 따라, 사용자는 영상 통화 모드를 사용하는 중에, 도 7A에 예시한 바와 같이, 전자 장치(101)의 후면에 배치된 센서(710)에 손가락을 접촉할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 영상 통화 모드를 수행하는 중에, 사용자의 손가락이 센서(710)에 접촉되는지 여부를 모니터링 할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 센서(710)에 접촉을 감지하는 것에 응답하여 헬스 모드로 진입하고, 사용자의 생체 정보를 시간 흐름에 따라 계속하여 수집(또는 측정)할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 추정된 헬스 정보를 관련 객체에 기반하여 사용자에게 제공할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 시간 흐름에 따라 획득(또는 누적)되는 생체 정보에 기반하여, 적어도 하나의 헬스 정보를 추정할 수 있고, 추정(또는 업데이트)되는 헬스 정보를 추가적으로 표시하거나, 기존 헬스 정보에 증강하여 표시할 수 있다.
일 실시 예에 따라, 도 18에 예시한 바와 같이, 전자 장치(101)는 다른 전자 장치(예: 상대방 전자 장치)와 영상 통화 모드를 수행하는 중에, 센서(710)에 손가락의 접촉을 감지하면, 사용자의 생체 정보를 측정할 수 있다. 전자 장치(101)는 생체 정보의 측정 시간에 기반하여 적어도 하나의 헬스 정보를 추정하고, 추정된 헬스 정보에 대응하는 객체(1810, 1820, 1830)를 선별된 영역을 통해 표시할 수 있다.
일 실시 예들에 따르면, 영상 통화 모드에서는 사용자의 음성 정보 및 영상 정보가 포함될 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 영상 통화 모드에서 입력되는 사용자의 음성 정보와 영상 정보를, 생체 정보와 함께 분석하여, 영상 통화 모드 수행 동안 상대방에 대한 사용자의 감정의 변화, 스트레스, 또는 혈압 등의 변화를 화면 상에 표시할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 사용자의 헬스 정보(예: 감정, 스트레스, 또는 혈압 등)의 변화가 기준 이상인 경우에 관련 객체에 기반하여 화면 상에 표시하도록 할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 사용자의 헬스 정보를 통화 중인 다른 전자 장치로 전송하여, 다른 전자 장치에서 사용자의 헬스 정보에 대해 그래픽 효과나 아바타의 상태 등에 적어도 기반하여 자동으로 표시하도록 할 수 있다.
다양한 실시 예들에서, 제공되는 헬스 정보(예: 감정 정보, 스트레스 정보, 심박 정보 등)는 다른 전자 장치와의 통화 기록(예: 다른 전자 장치와 통화 중 제공되는 헬스 정보(예: 감정 정보, 스트레스 정보, 심박 정보 등)는 다른 전자 장치와의 통화 기록이나, 또는 전자 장치(101)의 연락처에 등록된 상대 정보(예: 이름, 닉네임 또는 전화번호 등)에 연관지어(또는 매핑하여) 저장할 수 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)의 동작 방법은, 어플리케이션을 실행하는 동작, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 센서 모듈(176)에 기반하여 사용자의 제1 생체 정보를 획득하는 동작, 상기 제1 생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하고, 상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 표시 장치(160)를 통해 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 획득하는 동작은, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈(176)로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 유지하는 상태에서, 감지된 상기 제1 생체 정보에 기반한 동작을 수행하기 위한 헬스 모드를 실행하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 획득하는 동작은, 상기 센서 모듈(176)로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 이전에 측정된 제1 생체 정보가 있는지 여부를 판단하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 획득하는 동작은, 이전에 측정된 제2 생체 정보와 상기 제1 생체 정보를 통합(merge)하여 통합 생체 정보를 획득하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 제1 생체 정보와 상기 제2 생체 정보는, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈(176)에 의해 다른 접촉 세션에서 각각 측정되는 비연속적 정보일 수 있다.
다양한 실시 예들에 따라, 상기 추정하는 동작은, 상기 통합 생체 정보에 기반하여 상기 헬스 정보의 추정 타이밍을 단축할 수 있다.
다양한 실시 예들에 따라, 상기 표시하는 동작은, 상기 제1 생체 정보에 소요된 측정 시간에 기반하여 적어도 하나의 헬스 정보를 판단하고, 상기 적어도 하나의 헬스 정보에 관련된 제1 객체를 상기 표시 장치(160)의 설정된 영역에 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 표시하는 동작은, 상기 측정 시간에 기반하여, 상기 표시 장치(160)를 통해 표시된 상기 제1 객체를 증강하여 표시하는 동작, 상기 측정 시간에 기반하여, 상기 헬스 정보에 관련된 제2 객체를 상기 표시 장치(160)를 통해 추가 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 헬스 정보의 제1 객체를 획득하기 위한 제1 측정 시간이 상기 헬스 정보의 제2 객체를 획득하기 위한 제2 측정 시간 보다 짧은 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 획득하는 동작은, 상기 센서 모듈(176)에 기반하여 상기 제1 생체 정보를 획득하면서, 상기 어플리케이션의 동작을 수행하는 것에 관련된 모듈(예: 카메라 모듈(180), 입력 장치(150)(예: 마이크))에 기반하여 추가적인 제3 생체 정보(예: 음성 정보, 이미지 정보 등)를 획득하여, 상기 제1 생체 정보와 동시 처리(concurrent processing)하는 동작을 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
101, 300: 전자 장치
120: 프로세서
160: 표시 장치
176: 센서 모듈
319, 710, 830, 1000: 생체 센서(예: PPG 센서, HRM 센서)
210: 디스플레이
500: 기능 처리 모듈
120: 프로세서
160: 표시 장치
176: 센서 모듈
319, 710, 830, 1000: 생체 센서(예: PPG 센서, HRM 센서)
210: 디스플레이
500: 기능 처리 모듈
Claims (20)
- 전자 장치에 있어서,
센서 모듈;
카메라 모듈;
표시 장치; 및
프로세서를 포함하고, 상기 프로세서는,
어플리케이션을 실행하고,
상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈에 기반하여 사용자의 제1 생체 정보를 획득하고,
상기 제1생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하고,
상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 상기 표시 장치를 통해 표시하도록 설정된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈로부터 상기 제1생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 유지하는 상태에서, 감지된 상기 제1 생체 정보에 기반한 동작을 수행하기 위한 헬스 모드를 실행하도록 설정된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 센서 모듈로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 이전에 측정된 제2 생체 정보가 있는지 여부를 판단하도록 설정된 전자 장치.
- 제3항에 있어서, 상기 프로세서는,
이전에 측정된 제2 생체 정보와 상기 제1 생체 정보를 통합(merge)하여 통합 생체 정보를 획득하도록 설정된 전자 장치.
- 제4항에 있어서,
상기 제1 생체 정보와 상기 제2 생체 정보는, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈에 의해 다른 접촉 세션에서 각각 측정되는 비연속적 정보인 것을 특징으로 하는 전자 장치.
- 제4항에 있어서, 상기 프로세서는,
상기 통합 생체 정보에 기반하여 상기 헬스 정보의 추정 타이밍을 단축하도록 설정된 전자 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 제1 생체 정보에 소요된 측정 시간을 계산하고,
상기 측정 시간에 기반하여 추정 가능한 적어도 하나의 헬스 정보를 판단하고,
상기 적어도 하나의 헬스 정보에 관련된 제1객체를 상기 표시 장치의 설정된 영역에 표시하도록 설정된 전자 장치.
- 제7항에 있어서, 상기 프로세서는,
상기 측정 시간에 기반하여, 상기 표시 장치를 통해 표시된 상기 제1 객체를 증강하여 표시하고,
상기 측정 시간에 기반하여, 상기 헬스 정보에 관련된 제 2 객체를 상기 표시 장치를 통해 추가 표시하도록 설정된 전자 장치.
- 제8항에 있어서,
상기 헬스 정보의 제1 객체를 획득하기 위한 제1 측정 시간이 상기 헬스 정보의 제2 객체를 획득하기 위한 제2 측정 시간 보다 짧은 것을 특징으로 하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 센서 모듈에 기반하여 상기 제1 생체 정보를 획득하면서, 상기 어플리케이션의 동작을 수행하는 것에 관련된 모듈에 기반하여 추가적인 제3 생체 정보를 획득하여, 상기 제1 생체 정보와 동시 처리(concurrent processing)하도록 설정된 전자 장치.
- 전자 장치의 동작 방법에 있어서,
어플리케이션을 실행하는 동작,
상기 어플리케이션에 관련된 동작을 수행하는 동안, 센서 모듈에 기반하여 사용자의 제1 생체 정보를 획득하는 동작,
상기 제1 생체 정보에 적어도 기반하여 상기 사용자의 헬스 정보를 추정하는 동작,
상기 헬스 정보를 상기 어플리케이션에 관련된 동작에 연관지어 표시 장치를 통해 표시하는 동작을 포함하는 방법.
- 제11항에 있어서, 상기 획득하는 동작은,
상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 유지하는 상태에서, 감지된 상기 제1 생체 정보에 기반한 동작을 수행하기 위한 헬스 모드를 실행하는 동작을 포함하는 방법.
- 제11항에 있어서, 상기 획득하는 동작은,
상기 센서 모듈로부터 상기 제1 생체 정보를 감지하는 것에 응답하여, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 이전에 측정된 제1 생체 정보가 있는지 여부를 판단하는 동작을 포함하는 방법.
- 제13항에 있어서, 상기 획득하는 동작은,
이전에 측정된 제2 생체 정보와 상기 제1 생체 정보를 통합(merge)하여 통합 생체 정보를 획득하는 동작을 포함하는 방법.
- 제14항에 있어서,
상기 제1 생체 정보와 상기 제2 생체 정보는, 상기 어플리케이션에 관련된 동작을 수행하는 동안, 상기 센서 모듈에 의해 다른 접촉 세션에서 각각 측정되는 비연속적 정보인 것을 특징으로 하는 방법.
- 제14항에 있어서, 상기 추정하는 동작은,
상기 통합 생체 정보에 기반하여 상기 헬스 정보의 추정 타이밍을 단축하는 것을 특징으로 하는 방법.
- 제11항에 있어서, 상기 표시하는 동작은,
상기 제1 생체 정보에 소요된 측정 시간에 기반하여 적어도 하나의 헬스 정보를 판단하고, 상기 적어도 하나의 헬스 정보에 관련된 제1 객체를 상기 표시 장치의 설정된 영역에 표시하는 동작을 포함하는 방법.
- 제17항에 있어서, 상기 표시하는 동작은,
상기 측정 시간에 기반하여, 상기 표시 장치를 통해 표시된 상기 제1 객체를 증강하여 표시하는 동작,
상기 측정 시간에 기반하여, 상기 헬스 정보에 관련된 제2 객체를 상기 표시 장치를 통해 추가 표시하는 동작을 포함하는 방법.
- 제18항에 있어서,
상기 헬스 정보의 제1 객체를 획득하기 위한 제1 측정 시간이 상기 헬스 정보의 제2 객체를 획득하기 위한 제2 측정 시간 보다 짧은 것을 특징으로 하는 방법.
- 제11항에 있어서, 상기 획득하는 동작은,
상기 센서 모듈에 기반하여 상기 제1 생체 정보를 획득하면서, 상기 어플리케이션의 동작을 수행하는 것에 관련된 모듈에 기반하여 추가적인 제3 생체 정보를 획득하여, 상기 제1 생체 정보와 동시 처리(concurrent processing)하는 동작을 포함하는 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180040198A KR102526951B1 (ko) | 2018-04-06 | 2018-04-06 | 전자 장치에서 생체 정보 측정 방법 및 장치 |
| US17/040,709 US20210012130A1 (en) | 2018-04-06 | 2019-04-05 | Method and device for measuring biometric information in electronic device |
| PCT/KR2019/004098 WO2019194651A1 (ko) | 2018-04-06 | 2019-04-05 | 전자 장치에서 생체 정보 측정 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180040198A KR102526951B1 (ko) | 2018-04-06 | 2018-04-06 | 전자 장치에서 생체 정보 측정 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190117100A true KR20190117100A (ko) | 2019-10-16 |
| KR102526951B1 KR102526951B1 (ko) | 2023-04-28 |
Family
ID=68101009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180040198A KR102526951B1 (ko) | 2018-04-06 | 2018-04-06 | 전자 장치에서 생체 정보 측정 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210012130A1 (ko) |
| KR (1) | KR102526951B1 (ko) |
| WO (1) | WO2019194651A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11354933B2 (en) | 2020-05-22 | 2022-06-07 | Samsung Electronics Co., Ltd. | Wearable device and method for estimating bio-information |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308618B2 (en) | 2019-04-14 | 2022-04-19 | Holovisions LLC | Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone |
| US12014500B2 (en) | 2019-04-14 | 2024-06-18 | Holovisions LLC | Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070011685A (ko) * | 2005-07-21 | 2007-01-25 | 삼성전자주식회사 | 생체신호 측정장치를 구비한 휴대 단말기 |
| KR100869242B1 (ko) * | 2007-12-13 | 2008-11-18 | 한국전자통신연구원 | 이동 통신 단말기를 이용한 건강 관리 시스템 및 방법 |
| KR20160028093A (ko) * | 2014-09-02 | 2016-03-11 | 삼성전자주식회사 | 생체 신호를 이용한 카메라 모듈의 제어 |
| KR20170143477A (ko) * | 2015-06-11 | 2017-12-29 | 이창근 | 스마트폰의 이벤트로그와 연계한 에너지 하베스팅 기술이 적용된 생체신호 감지모듈을 이용한 임산부와 태아의 생체신호 제공시스템과 그 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9811818B1 (en) * | 2002-10-01 | 2017-11-07 | World Award Academy, World Award Foundation, Amobilepay, Inc. | Wearable personal digital device for facilitating mobile device payments and personal use |
| EP3212071A4 (en) * | 2014-10-27 | 2018-08-29 | LifeQ Global Limited | Biologically inspired motion compensation and real-time physiological load estimation using a dynamic heart rate prediction model |
| KR20160057837A (ko) * | 2014-11-14 | 2016-05-24 | 삼성전자주식회사 | 전자 기기의 사용자 인터페이스 표시 방법 및 장치 |
| US10318958B2 (en) * | 2015-07-28 | 2019-06-11 | Jong Ho Kim | Smart watch and operating method using the same |
| KR20170049280A (ko) * | 2015-10-28 | 2017-05-10 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| KR102493491B1 (ko) * | 2016-03-04 | 2023-01-31 | 삼성전자주식회사 | 생체 정보를 측정하는 전자 장치와 이의 동작 방법 |
| KR20170105262A (ko) * | 2016-03-09 | 2017-09-19 | 삼성전자주식회사 | 전자장치 및 그의 생체 정보 획득 방법 |
| KR102331464B1 (ko) * | 2017-04-18 | 2021-11-29 | 삼성전자주식회사 | 디스플레이 영역에 형성된 생체 정보 센싱 영역을 이용한 생체 정보 획득 방법 및 이를 지원하는 전자 장치 |
| KR102532412B1 (ko) * | 2018-02-13 | 2023-05-16 | 삼성전자주식회사 | 생체 정보에 기반한 건강 정보를 제공하기 위한 전자 장치 및 그 제어 방법 |
-
2018
- 2018-04-06 KR KR1020180040198A patent/KR102526951B1/ko active IP Right Grant
-
2019
- 2019-04-05 WO PCT/KR2019/004098 patent/WO2019194651A1/ko active Application Filing
- 2019-04-05 US US17/040,709 patent/US20210012130A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070011685A (ko) * | 2005-07-21 | 2007-01-25 | 삼성전자주식회사 | 생체신호 측정장치를 구비한 휴대 단말기 |
| KR100869242B1 (ko) * | 2007-12-13 | 2008-11-18 | 한국전자통신연구원 | 이동 통신 단말기를 이용한 건강 관리 시스템 및 방법 |
| KR20160028093A (ko) * | 2014-09-02 | 2016-03-11 | 삼성전자주식회사 | 생체 신호를 이용한 카메라 모듈의 제어 |
| KR20170143477A (ko) * | 2015-06-11 | 2017-12-29 | 이창근 | 스마트폰의 이벤트로그와 연계한 에너지 하베스팅 기술이 적용된 생체신호 감지모듈을 이용한 임산부와 태아의 생체신호 제공시스템과 그 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11354933B2 (en) | 2020-05-22 | 2022-06-07 | Samsung Electronics Co., Ltd. | Wearable device and method for estimating bio-information |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102526951B1 (ko) | 2023-04-28 |
| US20210012130A1 (en) | 2021-01-14 |
| WO2019194651A1 (ko) | 2019-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10341554B2 (en) | Method for control of camera module based on physiological signal | |
| EP3705032A1 (en) | Open api-based medical information providing method and system | |
| KR102606689B1 (ko) | 전자 장치에서 생체 정보 제공 방법 및 장치 | |
| KR20170001490A (ko) | 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법 | |
| KR102401774B1 (ko) | 전자 장치 및 그의 스트레스 측정 방법 | |
| KR20200060850A (ko) | Pwv 알고리즘을 이용하여 혈압 값을 산출하는 전자 장치 및 그 혈압 값 산출 방법 | |
| JP6742380B2 (ja) | 電子装置 | |
| KR102526951B1 (ko) | 전자 장치에서 생체 정보 측정 방법 및 장치 | |
| WO2018137300A1 (zh) | 一种生理信号质量判断方法及装置 | |
| US11596764B2 (en) | Electronic device and method for providing information for stress relief by same | |
| US11832925B2 (en) | Electronic device for measuring biometric information and method for operating the same | |
| CN109938722B (zh) | 数据采集方法、装置、智能穿戴设备及存储介质 | |
| KR20210060246A (ko) | 생체 데이터를 획득하는 장치 및 그 방법 | |
| KR20210048930A (ko) | 심전도 데이터를 이용한 사용자 검증 장치 및 그 방법 | |
| KR20190088847A (ko) | 전자 장치에서 혈압 보정 시점을 결정하기 위한 장치 및 방법 | |
| WO2018090254A1 (zh) | 一种生物测定数据存储方法、电子设备及系统 | |
| JP7147317B2 (ja) | 端末装置、情報処理方法、及びプログラム | |
| US11806169B2 (en) | Electronic device for integrating and presenting physiological data between multiple devices and method thereof | |
| US20230020039A1 (en) | Biometric detection using photodetector array | |
| CN116685271A (zh) | 心律失常状态检测支援装置及程序 | |
| CN117711565A (zh) | 一种运动恢复时间确定方法及电子设备 | |
| CN112927800A (zh) | 向用户推送消息的方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |