WO2024048948A1 - 사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법 - Google Patents

사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법 Download PDF

Info

Publication number
WO2024048948A1
WO2024048948A1 PCT/KR2023/009111 KR2023009111W WO2024048948A1 WO 2024048948 A1 WO2024048948 A1 WO 2024048948A1 KR 2023009111 W KR2023009111 W KR 2023009111W WO 2024048948 A1 WO2024048948 A1 WO 2024048948A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
state
processor
data
wearable device
Prior art date
Application number
PCT/KR2023/009111
Other languages
English (en)
French (fr)
Inventor
최성수
김성오
여형석
김범수
김지현
문종원
프루신스키발레리
염동현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220119668A external-priority patent/KR20240031818A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024048948A1 publication Critical patent/WO2024048948A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/297—Bioelectric electrodes therefor specially adapted for particular uses for electrooculography [EOG]: for electroretinography [ERG]

Definitions

  • the descriptions below relate to wearable devices and methods for obtaining data about users.
  • a wearable device can operate while worn on a part of the user's body.
  • a wearable device can identify a user's biometric information while worn on a part of the user's body and provide services based on the user's biometric information. For example, a wearable device can identify a user's biometric information using a plurality of sensors.
  • a wearable device can identify various activity states of a user based on the identified user's biometric information.
  • a wearable device includes a temperature sensor, a pupil recognition sensor, an EEG sensor, a camera, a memory, a communication circuit, and operatively coupled to the temperature sensor, a pupil recognition sensor, an EEG sensor, the camera, and the memory.
  • the processor may include a processor.
  • the processor may be set to acquire first data representing the temperature of the user's head in contact with the wearable device through the temperature sensor.
  • the processor may be set to recognize the user's condition as an emergency state based on the first data indicating the temperature within a first reference range.
  • the processor based on recognizing the user's state as the emergency state, from a second time point that is a predefined time before the first time point when the user's state is recognized as the emergency state through the camera, From the first time point using the pupil recognition sensor and the brain wave sensor, activated in response to the recognition of the emergency condition and first content acquired from the first time point to a third time point after the predefined time.
  • the processor may be set to recognize the user's state as a risk monitoring state based on the first data indicating the temperature within a second reference range different from the first reference range.
  • the processor based on recognizing the user's state as the risk monitoring state, from a fourth time when the user's state is recognized as the risk monitoring state through the camera, at the fourth time, the predefined Store second content acquired up to a fifth point in time after time in the memory, provide information indicating warning of a possible danger, transmit the first request to the second wearable device, and send the first request to the second wearable device. Receive the second data from the second wearable device in response to and identify whether the user's state changes from the risk monitoring state to the emergency state using the first data and the second data. It can be set to do so.
  • the method of using a wearable device may include acquiring first data representing the temperature of the head of a user in contact with the wearable device through a temperature sensor of the wearable device.
  • the method may include recognizing the user's condition as an emergency based on the first data indicating the temperature within a first reference range.
  • the method is based on recognizing the user's state as the emergency state, and at a second time point before a predefined time from the first time point when the user's state is recognized as the emergency state through the camera of the wearable device.
  • a pupil recognition sensor of the wearable device and an EEG sensor of the wearable device activated in response to the recognition of the emergency condition and the first content obtained from the first time point to a third time point after the predefined time.
  • information about the user's state of consciousness obtained from the first time point to the third time point is stored in the memory of the wearable device, and a first request to obtain second data about the user's heart rate is sent to the wrist and the An operation of transmitting to a second wearable device in contact, and transmitting a second request to the first external electronic device to transmit information indicating the emergency state of the user and information about the state of consciousness of the user to the second external electronic device.
  • the method may include recognizing the user's state as a risk monitoring state based on the first data indicating the temperature within a second reference range different from the first reference range.
  • the method is based on recognizing the user's state as the risk monitoring state, from a fourth time point when the user's state is recognized as the risk monitoring state through the camera, and at the fourth time point, the predefined Store second content acquired up to a fifth point in time after time in the memory, provide information indicating warning of a possible danger, transmit the first request to the second wearable device, and send the first request to the second wearable device.
  • Receive the second data from the second wearable device in response to and identify whether the user's state changes from the risk monitoring state to the emergency state using the first data and the second data. It may include actions such as:
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • Figure 2 is an example of a perspective view showing a wearable device, according to an embodiment.
  • Figure 3 is a simplified block diagram of a wearable device, according to one embodiment.
  • Figure 4 shows a specific example of a sensor of a wearable device, according to an embodiment.
  • FIG. 5A shows an example of an environment in which a wearable device operates, according to an embodiment.
  • FIG. 5B shows an example of an environment in which a wearable device operates, according to an embodiment.
  • Figure 6 shows an example of a data processing process within a wearable device, according to an embodiment.
  • FIG. 7A shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 7B shows an example of operation of a wearable device, according to one embodiment.
  • Figure 7C shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 7D shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 8 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • Figure 9A shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 9B shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 10 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • FIG. 11 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • FIG. 12 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit signals or power to or receive signals or power from the outside (e.g., an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Figure 2 is an example of a perspective view showing a wearable device, according to one embodiment.
  • the wearable device 200 may include at least some of the components included in the electronic device 101 of FIG. 1 .
  • the frame 270 of the wearable device 200 may have a physical structure that is worn on a part of the user's body.
  • the frame 270 is configured such that when the wearable device 200 is worn, the first display 240-1 in the display 240 is positioned in front of the user's right eye and the second display 240 in the display 240 is positioned in front of the user's right eye. -2) may be configured to be located in front of the user's left eye.
  • the display 240 including the first display 240-1 and the second display 240-2 is a liquid crystal display (LCD), a digital mirror device (DMD), or a liquid crystal on display (LCoS). silicon), organic light emitting diode (OLED), or micro LED.
  • LCD liquid crystal display
  • DMD digital mirror device
  • LCD liquid crystal on display
  • OLED organic light emitting diode
  • micro LED micro LED.
  • wearable device 200 when display 240 is comprised of an LCD, DMD, or LCoS, wearable device 200 includes a light source (not shown in Figure 2B) that emits light toward the display area of display 240. Poetry) may be included.
  • the display 240 is composed of OLED or micro LED, the wearable device 200 may not include a light source. However, it is not limited to this.
  • the wearable device 200 may further include a first transparent member 280-1 and a second transparent member 280-2.
  • each of the first transparent member 280-1 and the second transparent member 280-2 may be formed of a glass plate, a plastic plate, or a polymer.
  • each of the first transparent member 280-1 and the second transparent member 280-2 may be transparent or translucent.
  • the wearable device 200 may include a waveguide 272.
  • the waveguide 272 may be used to transmit the light source generated by the display 240 to the eyes of a user wearing the wearable device 200.
  • waveguide 272 may be formed of glass, plastic, or polymer.
  • the waveguide 272 may include a nanopattern configured with a polygonal or curved lattice structure within the waveguide 272 or on the surface of the waveguide 272 .
  • light incident on one end of the waveguide 272 may be provided to the user through the nanopattern.
  • the waveguide 272 may include at least one of at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (e.g., a reflective mirror).
  • at least one diffractive or reflective element may be used to direct light to the user's eyes.
  • the at least one diffractive element may include an input optical member and/or an output optical member.
  • the input optical member may refer to an input grating area used as an input end of light
  • the output optical member may refer to an output grating area used as an output end of light.
  • the reflective element may include a total internal reflection (TIR) optical element or a total internal reflection waveguide.
  • TIR total internal reflection
  • the camera 230 in the wearable device 200 may include a first camera 230-1, a second camera 230-2, and/or a third camera 230-3. there is.
  • the first camera 230-1, the second camera 230-2, and/or the third camera 230-3 may each be comprised of at least one camera.
  • the first camera 230-1 is referred to as a high resolution (HR) or photo video (PV) camera and may provide an auto focusing (AF) function or an optical image stabilization (OIS) function.
  • the first camera 230-1 may be configured as a GS camera or a remote shutter (RS) camera.
  • the second camera 230-2 may be used for three degrees of freedom (3DoF) or six degrees of freedom (6DoF) motion recognition or space recognition.
  • the second camera 230-2 may be used for head tracking or hand detection.
  • the second camera 230-2 may be configured as a GS (global shutter) camera.
  • the second camera 230-2 may be configured as a stereo camera.
  • the second camera 230-2 may be used for gesture recognition.
  • the second camera 230-2 may identify information about a part of the user's body (eg, mouth).
  • the second camera 230-2 may identify information about the movement of a part of the user's body.
  • the third camera 230-3 may be used to detect and track the pupil.
  • the third camera 230-3 may be configured as a GS camera.
  • the third camera 230-3 may be used to identify user input defined by the user's gaze.
  • the wearable device 200 may further include an LED unit 274.
  • the LED unit 274 may be used to assist in tracking the eye through the third camera 230-3.
  • the LED unit 274 may be composed of an IR LED.
  • the LED unit 274 can be used to compensate for brightness when the illuminance around the wearable device 200 is low.
  • the wearable device 200 may further include a first PCB 276-1 and a second PCB 276-2.
  • each of the first PCB 276-1 and the second PCB 276-2 is used to transmit electrical signals to components of the wearable device 200, such as the camera 230 or the display 240. It can be used.
  • the wearable device 200 may further include an interposer disposed between the first PCB 276-1 and the second PCB 276-2. However, it is not limited to this.
  • a wearable device may be worn on the user in various forms (e.g., a watch, glasses, or a band) to monitor the user's biosignals.
  • Wearable devices can obtain data about the user's biological signals.
  • a wearable device can identify various states of a user based on data about the user's biosignals.
  • Wearable devices can perform designated operations or control the operations of external electronic devices according to various states of the user. In the following specification, examples of operations of a wearable device for identifying various states of a user and performing operations accordingly will be described.
  • Figure 3 is a simplified block diagram of a wearable device, according to one embodiment.
  • the wearable device 300 may correspond to the electronic device 101 of FIG. 1 and/or the electronic device 200 of FIG. 2 .
  • the wearable device 300 may include a processor 310, a sensor 320, a camera 330, a memory 340, and/or a communication circuit 350.
  • the wearable device 300 may include at least one of a processor 310, a sensor 320, a camera 330, a memory 340, and a communication circuit 350.
  • the processor 310, sensor 320, camera 330, memory 340, and communication circuit 350 may be omitted depending on the embodiment.
  • the processor 310 may correspond to the processor 120 of FIG. 1.
  • the processor 310 may be operatively or operably coupled with or connected with the sensor 320, the camera 330, the memory 340, and the communication circuit 350.
  • the processor 310 is operatively coupled or connected to the sensor 320, the camera 330, the memory 340, and the communication circuit 350.
  • the processor 410 is connected to the sensor 320, the camera 330, and the ), the memory 340, and the communication circuit 350 can be controlled.
  • sensor 320, camera 330, memory 340, and communication circuit 350 may be controlled by processor 310.
  • the processor 310 may be comprised of at least one processor.
  • Processor 310 may include at least one processor.
  • the processor 310 may be comprised of a main processor that performs high-performance processing and a secondary processor that performs low-power processing.
  • At least some of the sensors 320 may be connected to an auxiliary processor.
  • At least some of the sensors connected to the coprocessor may acquire data about the user for 24 hours.
  • one of the main processor and the auxiliary processor may be activated depending on the state and/or operation of the wearable device 300. For example, when the battery of the wearable device 300 is low, the auxiliary processor may be activated. For example, in situations where accurate data about a user is required, the main processor may be activated.
  • the processor 310 may include hardware components for processing data based on one or more instructions.
  • Hardware components for processing data may include, for example, an arithmetic and logic unit (ALU), a field programmable gate array (FPGA), and/or a central processing unit (CPU).
  • ALU arithmetic and logic unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • the wearable device 300 may include a sensor 320.
  • the sensor 320 may be used to obtain various information about the user.
  • Sensor 320 may be used to obtain data about the user's body.
  • sensor 320 may be used to obtain data regarding the user's body temperature, data regarding the user's motion, data regarding pupil movement, and/or data regarding brain waves.
  • sensor 320 may be comprised of at least one sensor.
  • Sensor 320 may include at least one sensor.
  • sensor 320 may correspond to sensor module 176 in FIG. 1 .
  • the senor 320 may include at least one of a temperature sensor (or body temperature sensor), a pupil recognition sensor, an brain wave sensor, and an inertial sensor.
  • a temperature sensor or body temperature sensor
  • a pupil recognition sensor or an EEG sensor
  • an inertial sensor A specific example of the sensor 320 including a temperature sensor, a pupil recognition sensor, an EEG sensor, and an inertial sensor will be described later with reference to FIG. 4 .
  • the wearable device 300 may include a camera 330.
  • camera 330 may include at least one camera.
  • a first camera among at least one camera may be used to acquire content (eg, video or image) about the external environment.
  • the first camera may correspond to the first camera 230-1 shown in FIG. 2.
  • a second camera of the at least one camera may be used to obtain an image of a part of the user's body (eg, face or hand).
  • a second camera among the at least one camera may correspond to the second camera 230-2 shown in FIG. 2.
  • the wearable device 300 may include a memory 340.
  • Memory 340 may be used to store information or data.
  • memory 340 may be used to store data obtained from a user.
  • memory 340 may correspond to memory 130 of FIG. 1 .
  • memory 340 may be a volatile memory unit or units.
  • memory 340 may be a non-volatile memory unit or units.
  • memory 340 may be another form of computer-readable medium, such as a magnetic or optical disk.
  • the memory 340 may store data obtained based on an operation performed by the processor 410 (eg, an algorithm execution operation).
  • the memory 340 may store data obtained from the sensor 430.
  • the memory 340 may include a buffer.
  • the processor 310 may temporarily store data acquired during a specified time in a buffer configured within the memory 340. When the data stored in the buffer is needed, the processor 310 can use the stored data, or when it is not needed, the processor 310 can delete the data stored in the buffer. For example, data stored in the buffer may be set to be deleted after a certain period of time has elapsed.
  • the wearable device 300 may include a communication circuit 350.
  • Communication circuit 350 may correspond to at least a portion of communication module 190 of FIG. 1 .
  • communication circuitry 350 may be used for various radio access technologies (RATs).
  • RATs radio access technologies
  • the communication circuit 350 may be used to perform Bluetooth communication or wireless local area network (WLAN) communication.
  • WLAN wireless local area network
  • communications circuitry 350 may be used to perform cellular communications.
  • the processor 310 may establish a connection with an external electronic device through the communication circuit 350.
  • Figure 4 shows a specific example of a sensor of a wearable device, according to an embodiment.
  • the sensor 320 may include a temperature sensor 401, a pupil recognition sensor 402, an brain wave sensor 403, and/or an inertial sensor 404.
  • temperature sensor 401 may be used to identify a user's body temperature.
  • the temperature sensor 401 may include a non-contact infrared radiation (IR) temperature sensor or a contact-type temperature sensor.
  • the processor 310 may measure the temperature of an object or skin while the contact temperature sensor is in contact with a part of the user's body (eg, temple).
  • Contact temperature sensors may include thermocouples, resistance temperature detectors, and thermistors.
  • the processor 310 can measure temperature based on infrared light through a non-contact IR temperature sensor disposed spaced apart from a part of the user's body.
  • the pupil recognition sensor 402 can be used to obtain data about the user's pupils.
  • the pupil recognition sensor 402 may include a camera used to identify the user's gaze or pupil size and/or a sensor for iris recognition.
  • the pupil recognition sensor 402 may correspond to the third camera 230-3 of FIG. 2.
  • the brain wave sensor 403 (or electroencephalogram (EEG) sensor) may be used to electrically detect the user's brain waves (electroencephalogram).
  • the brain wave sensor 403 may include at least one electrode.
  • at least one electrode of the brain wave sensor 403 may be in contact with the user's head (or temple).
  • the processor 310 can use the brain wave sensor 403 to identify potential changes that occur according to the user's brain activity state.
  • inertial sensor 404 may include an acceleration sensor and/or a gyro sensor.
  • the inertial sensor 404 identifies (or measures, detects) the acceleration of the wearable device 300 in three directions: x-axis, y-axis, and z-axis, thereby (or the user's) motion can be identified.
  • the inertial sensor 404 monitors the motion of the wearable device 300 (or the user) by identifying (or measuring or detecting) the angular velocity of the wearable device 300 in three directions: x-axis, y-axis, and z-axis. can be identified.
  • the sensors shown in FIG. 4 are examples, and the sensor 320 collects the user's biometric data. It may further include sensors for acquisition.
  • the sensor 320 measures blood pressure, electrocardiogram, heart rate variability (HRV), heart rate monitor (HRM), photoplethysmography (PPG), sleep zone, skin temperature, heart rate, blood flow, blood sugar, oxygen saturation, pulse wave, and electrocardiogram (ECG). It can be used to identify (or detect) at least one of.
  • the processor 310 may acquire the waveform of a biosignal based on PPG or ECG through the sensor 320.
  • the biosignal may include a pulse wave, a pulse wave, or an electrocardiogram.
  • the processor 310 may identify at least one of blood pressure, HRV, HRM, skin temperature, blood flow, blood sugar, and oxygen saturation based on the waveform of the biological signal.
  • FIG. 5A shows an example of an environment in which a wearable device operates, according to an embodiment.
  • FIG. 5B shows an example of an environment in which a wearable device operates, according to an embodiment.
  • the wearable device 300 may operate independently without being connected to (or interlocked with) an external electronic device (eg, a second wearable device).
  • the processor 310 of the wearable device 300 uses the inertial signal detection module 361 (e.g., the inertial sensor 404) to collect data about the motion of the wearable device 300 (or the user). It can be obtained.
  • the processor 310 of the wearable device 300 uses the biosignal detection module 364 (e.g., temperature sensor 401, pupil recognition sensor 402, and brainwave sensor 403) to detect the user's biosignal. Data can be obtained.
  • the processor 310 may store data about the motion of the wearable device 300 and data about the user's biological signals in the memory 340 .
  • the processor 310 may perform predefined operations based on data about the motion of the wearable device 300 and data about the user's motion. As an example, the processor 310 may communicate with an external electronic device through a network based on data about the motion of the wearable device 300 and data about the user's motion.
  • the wearable device 300 includes an inertial signal detection module 361, an audio signal input/output (I/O) module 362, an image signal input/output module 363, and/or a biosignal detection module 364.
  • the inertial signal detection module 361 may include an inertial sensor 404.
  • the voice signal input/output module 362 may include a microphone and/or speaker.
  • the video signal input/output module 363 may include a camera and/or a display.
  • the biosignal detection module 364 may include a temperature sensor 401, a pupil recognition sensor 402, an electroencephalography sensor 403, a photoplethysmography (PPG) sensor, and/or an electro-ocular graph (EOG) sensor. You can.
  • the processor 310 may include an inertial signal processing module 311, an audio signal processing module 312, an image signal processing module 313, and/or a biological signal processing module 314. .
  • the processor 310 may process data obtained from the inertial signal detection module 361 using the inertial signal processing module 311.
  • the processor 310 may process data obtained from the voice signal input/output module 362 using the voice signal processing module 312.
  • the processor 310 may process data obtained from the image signal input/output module 363 using the image signal processing module 313.
  • the processor 310 may process data obtained from the biometric signal detection module 364 using the biometric signal processing module 314.
  • the processor 310 selects a normal state and an emergency state (e.g., a state in which a user has fallen) among the user's states, and data on acceleration acquired through the inertial sensor 404. Based on this, it can be distinguished.
  • the processor 310 can distinguish between a state in which the user continues walking and a state in which movement is stopped after a fall, based on data on angular velocity acquired through the inertial sensor 404.
  • the processor 310 may obtain data about EOG, data about EEG, and/or data about PPG from the biosignal detection module 364.
  • the processor 310 may use the EOG sensor to obtain data regarding EOG while an electrode related to the EOG sensor is in contact with the skin around the user's eyeballs.
  • the processor 310 may use the EEG sensor 403 to acquire EEG data while the electrode related to the EEG sensor 403 is in contact with the skin of the user's forehead or temple area.
  • the processor 310 can obtain data about PPG using a PPG sensor.
  • a PPG sensor uses a light emitting unit to emit light of a predefined wavelength and detect reflected light to obtain data about PPG in the user's ear (or earlobe). It may include an ear tip unit including a light receiving unit.
  • the wearable device 300 (eg, a first wearable electronic device) may be connected to an external electronic device 520 and a second wearable device 510. Unlike the wearable device 300 shown in FIG. 5A, the wearable device 300 operates while connected (or interlocked) with an external electronic device (e.g., external electronic device 520, second wearable device 510). can do.
  • an external electronic device e.g., external electronic device 520, second wearable device 510.
  • the wearable device 300 may include an audio signal input/output (I/O) module 362 and/or a video signal input/output module 363.
  • the voice signal input/output module 362 may include a microphone and/or speaker.
  • the video signal input/output module 363 may include a camera and/or a display.
  • the processor 310 may include an audio signal processing module 312 and/or an image signal processing module 313.
  • the processor 310 may process data obtained from the voice signal input/output module 362 using the voice signal processing module 312.
  • the processor 310 may process data obtained from the image signal input/output module 363 using the image signal processing module 313.
  • the second wearable device 510 may operate while worn on a part of the user's body (eg, hand or wrist).
  • the second wearable device 510 may obtain data on heart rate, data on blood pressure, and/or data on electrocardiogram.
  • the second wearable device 510 may include an inertial sensor.
  • the second wearable device 510 may acquire data about the motion of the second wearable device 510 using an inertial sensor included in the second wearable device 510 .
  • the second wearable device 510 may transmit at least one of data about heart rate, data about blood pressure, data about electrocardiogram, and data about motion of the second wearable device 510 to the wearable device 300.
  • the external electronic device 520 may be connected to a second external electronic device (eg, a server).
  • the external electronic device 520 may be connected to a second external electronic device using cellular communication.
  • the external electronic device 520 may receive a request from the wearable device 300 to transmit information indicating the user's emergency state and/or information about the user's state of consciousness to the second external electronic device. Based on the received request, the external electronic device 520 may transmit information indicating the user's emergency state and/or information about the user's state of consciousness to the second external electronic device.
  • the processor 310 of the wearable device 300 may receive various data not included in the wearable device 300 from the second wearable device 510 and/or the external electronic device 520. .
  • the wearable device 300 does not include the inertial sensor 404
  • data about the motion of the second wearable device 510 (or the user) from the second wearable device 510 that includes the inertial sensor can receive.
  • the processor 310 may store data received from the second wearable device 510 and/or the external electronic device 520 and identify (or recognize) the user's state based on the received data.
  • the processor 310 may identify a trend (or graph) about acceleration based on data about the acceleration of the wearable device 300 (or the user).
  • the processor 310 may identify a trend for acceleration that is greater than a predefined amplitude and consists of an irregular pattern.
  • the processor 310 may identify that the user's state is an emergency state (or a state in which the user has fallen) based on a trend for acceleration that is greater than a predefined amplitude and consists of an irregular pattern.
  • the processor 310 may identify that the user's condition is an emergency based on data about the acceleration of the wearable device 300 (or the user), as well as data about the audio signal and/or data about the video signal. You can.
  • the processor 310 sets at least one of acceleration data, audio signal data, and video signal data as an input value of a predefined model indicated by a plurality of parameters.
  • a predefined model may be indicated by a plurality of parameters related to a neural network.
  • a predefined model may include a set of parameters related to a neural network.
  • a neural network is a recognition model implemented in software or hardware that imitates the computational ability of a biological system using a large number of artificial neurons (or nodes).
  • a neural network can perform human cognitive functions or learning processes through artificial neurons.
  • parameters related to a neural network may indicate weights assigned to a plurality of nodes included in the neural network and/or connections between the plurality of nodes.
  • Figure 6 shows an example of a data processing process within a wearable device, according to an embodiment.
  • the processor 310 may process data acquired through various components of the wearable device 300 and the external electronic device 610.
  • the configurations of the wearable device 300 and the external electronic device 610 shown in FIG. 6 are exemplary, and depending on the embodiment, the wearable device 300 and the external electronic device 610 may be configured differently.
  • the processor 310 uses the image signal processing module 313 to process data and/or an external electronic device ( 610) (e.g., the second wearable device 510 and the external electronic device 520 in FIG. 5B) may process data about the image signal acquired through a camera (not shown).
  • the processor 310 may identify the user's behavior using the image signal processing module 313.
  • the processor 310 may use the image signal processing module 313 to identify that the user is walking.
  • the processor 310 may use the image signal processing module 313 to identify that the user is resting.
  • the processor 310 may use the image signal processing module 313 to identify that the user has fallen.
  • the processor 310 may include information about the identified user's actions, data about the image signal acquired through the camera 330, and/or information about the image signal acquired through the camera (not shown). Data can be stored in the buffer 620.
  • the processor 310 uses the voice signal processing module 312 to process data and/or an external electronic device ( Data about the voice signal acquired through the microphone 611 included in 610) can be processed.
  • the processor 310 can identify the user's voice state using the voice signal processing module 312.
  • the processor 310 may use the voice signal processing module 312 to identify that the user's voice is in a normal state.
  • the processor 310 may use the voice signal processing module 312 to identify that the user's voice is in an abnormal state.
  • the processor 310 stores information about the user's voice state, data about the voice signal acquired through the microphone 601, and data about the voice signal acquired through the microphone 611 into the buffer 620. ) can be saved in .
  • the processor 310 uses the inertial signal processing module 311 to detect the motion of the wearable device 300 (or the user) obtained through the inertial sensor 404 included in the wearable device 300. Data on (or inertial signals) and/or data on motion of the external electronic device 610 (or the user) acquired through the inertial sensor 612 included in the external electronic device 610 may be processed. For example, the processor 310 may identify the user's behavior using the inertial signal processing module 311. As an example, the processor 310 may use the inertial signal processing module 311 to identify that the user is walking. As an example, the processor 310 may use the inertial signal processing module 311 to identify that the user is resting.
  • the processor 310 may use the inertial signal processing module 311 to identify that the user has fallen. According to one embodiment, the processor 310 stores information about the identified user's behavior, data about the motion of the wearable device 300 (or the user) acquired through the inertial sensor 404, and the inertial sensor 612. Data about the motion of the external electronic device 610 (or the user) obtained through the data may be stored in the buffer 620.
  • the processor 310 stores data about the location of the wearable device 300 acquired through the GPS circuit 602 included in the wearable device 300 and/or included in the external electronic device 610. Data on the location of the external electronic device obtained through the GPS circuit 613 may be stored in the buffer 620. According to one embodiment, the processor 310 may store data on the user's brain waves acquired through the brain wave sensor 403 included in the wearable device 300 in the buffer 620. According to one embodiment, the processor 310 may store data on the user's heart rate acquired through the PPG sensor 614 included in the external electronic device 610 in the buffer 620.
  • the image signal processing module 313, the audio signal processing module 312, the inertial signal processing module 311, and the buffer 620 may be included in the processor 310 of the wearable device 300.
  • at least some of the video signal processing module 313, the audio signal processing module 312, the inertial signal processing module 311, and the buffer 620 are connected to a second external electronic device (e.g., a server). may be included.
  • the processor 310 may delete data stored in the buffer 620 after a predetermined time has elapsed.
  • the processor 310 may delete unused data within a predetermined time.
  • the processor 310 may perform a continuous monitoring operation using data stored in the buffer 620. For example, the processor 310 uses data about the video signal stored in the buffer 620, data about the audio signal stored in the buffer 620, and data about the motion (or inertial signal) stored in the buffer 620. Thus, a constant monitoring operation can be performed.
  • the processor 310 may perform a periodic monitoring operation using data stored in the buffer 620.
  • the processor 310 may perform a periodic monitoring operation using the user's biometric data (eg, brain wave data, heart rate data).
  • the processor 310 may perform a manual monitoring operation using data stored in the buffer 620.
  • the processor 310 performs monitoring operations (e.g., continuous monitoring operations, periodic monitoring operations, manual monitoring operations) to identify the user's state as one of a normal state, a critical monitoring state, and an emergency state.
  • monitoring operations e.g., continuous monitoring operations, periodic monitoring operations, manual monitoring operations
  • a normal state may mean a state in which no special problems (or events) occur while the user performs daily life.
  • the risk monitoring state may refer to a situation in which a symptom or event that is expected to be dangerous is identified, although it is not an emergency state that requires urgency from the user.
  • An emergency state may mean a state in which an accidental risk such as a fall or cardiac arrest has been identified regardless of the user's will.
  • the processor 310 can learn a predefined model indicated by a plurality of parameters using data about motion (or inertial signal) acquired through the inertial sensor 404.
  • a predefined model may be indicated by a plurality of parameters related to a neural network.
  • a predefined model may include a set of parameters related to a neural network.
  • parameters related to a neural network may indicate weights assigned to a plurality of nodes included in the neural network and/or connections between the plurality of nodes.
  • the processor 310 may use the inertial sensor 404 (eg, an acceleration sensor or a gyro sensor) to identify an event for a sudden change in the user's behavior.
  • the processor 310 may use the inertial sensor 404 to identify an event in which the user stands up from a sitting state, an event in which the user starts walking while standing, and an event in which the user starts running in a walking state.
  • the processor 310 may basically use an acceleration sensor and, complementarily, a gyro sensor to identify an event for a sudden change in behavior of the user.
  • the processor 310 can identify the user's state based on data acquired using various components (e.g., sensor 320, camera 330) of the wearable device 300. there is. For example, the processor 310 may identify that an event related to the user's status occurs. The processor 310 may monitor biosignals and/or identifiable (detectable) data for events that have occurred. The processor 310 can monitor and store visual signals for generated events.
  • various components e.g., sensor 320, camera 330
  • the processor 310 may identify that an event related to the user's status occurs.
  • the processor 310 may monitor biosignals and/or identifiable (detectable) data for events that have occurred.
  • the processor 310 can monitor and store visual signals for generated events.
  • the processor 310 may identify that the user's state is normal. While the user's state is in a normal state, the processor 310 can use the acceleration sensor among the inertial sensors 404 to identify when an event related to the user's state occurs. Additionally, the processor 310 may monitor the user's behavioral state and the event by using a gyro sensor to detect minute changes in static motion. For example, the processor 310 may identify and store (or record) the user's biosignals (e.g., body temperature, heart rate, blood pressure) and visual signals at the time an event occurs.
  • biosignals e.g., body temperature, heart rate, blood pressure
  • the processor 310 may identify whether the user's biosignal is within the first reference range or the second reference range, thereby identifying that the user's state has changed to one of a risk monitoring state and an emergency state. For example, the processor 310 may identify that the user's state is normal based on the user's body temperature being within a normal range (eg, 35.5 degrees or higher and 37.5 degrees or lower). For example, the processor 310 may identify that the user's state is normal based on the user's heart rate being within a normal range (eg, 50 or more and 120 or less). For example, the processor 310 may identify that the user's condition is normal based on the user's blood pressure being within a normal range (e.g., 80 [mmHg] or higher and 120 [mmHg] or lower).
  • a normal range e.g., 80 [mmHg] or higher and 120 [mmHg] or lower.
  • the processor 310 may identify that the user's state is in a risk monitoring state.
  • the processor 310 may identify that the user's state is in a risk monitoring state based on identifying whether the user's biosignal is within the second reference range.
  • processor 310 may identify that the user's condition is in a critical monitoring state based on identifying that the user's body temperature is outside a normal range.
  • processor 310 may identify that the user's status is in a critical monitoring state based on identifying that the user's heart rate is outside a normal range.
  • processor 310 may identify that the user's condition is in a risk monitoring state based on identifying that the user's blood pressure is outside a normal range.
  • the processor 310 controls the user from a second time point before a predefined time from a first time point at which the user's biosignal is identified as being within the second reference range to a third time point after a predefined time from the time point.
  • Biosignals e.g. body temperature, heart rate, blood pressure
  • visual signals can be identified and stored (or recorded).
  • the processor 310 may identify that an external object is approaching the user based on a visual signal.
  • the processor 310 may identify information about the size and speed of the external object.
  • the processor 310 may identify that an external object is approaching the user at high speed.
  • the processor 310 can identify possible risks to the user.
  • the processor 310 may identify that noise greater than the standard noise level is generated based on the voice signal.
  • the processor 310 may identify possible risks to the user based on the voice signal.
  • the processor 310 may identify that the user's status is an emergency. For example, in a risk monitoring state, the processor 310 determines whether the biosignal changes from the second reference range to the first reference range, or based on the number or time of changes to the first reference range satisfying a specified condition, The condition can be identified as an emergency. For example, the processor 310 may identify the user's condition as an emergency based on identifying that a fall or impact occurred to the user.
  • the processor 310 may, based on the visual signal and/or audio signal, identify the user's motion (e.g., falling) greater than the standard movement size and/or the occurrence of noise greater than the reference size.
  • the condition can be identified as an emergency.
  • the processor 310 may identify and store data about an event related to an emergency state based on the user's state being an emergency state.
  • the processor 310 may transmit information indicating that the user is in an emergency state to an external electronic device.
  • the processor 310 may provide a notification to inform the user that he or she is in an emergency state.
  • the first reference range and the second reference range for identifying the user's status described above may be set based on the user's gender, age, and body mass index (BMI). If the size of the data acquired during a specified time after use of the wearable device 300 is appropriate for performing machine learning, the processor 310 uses machine learning based on data about the user to determine the first reference range and The second reference range can be set (or updated).
  • BMI body mass index
  • FIG. 7A shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 7B shows an example of operation of a wearable device, according to one embodiment.
  • Figure 7C shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 7D shows an example of operation of a wearable device, according to one embodiment.
  • the wearable device 300 can operate independently without being connected to an external electronic device.
  • the wearable device 300 may be connected to an external electronic device (eg, server) through a network.
  • an external electronic device eg, server
  • the wearable device 300 may include a temperature sensor 401, a camera 330, a pupil recognition sensor 402, an inertial sensor 404, and/or a PPG sensor.
  • a temperature sensor 401 may be disposed on the frame of the wearable device 300.
  • the eartip unit of the PPG sensor may be in contact with the user's ear (or earlobe).
  • the processor 310 uses the inertial sensor 404 (e.g., an acceleration sensor, a gyro sensor) to collect data about the user's motion (or inertial signal). can be identified.
  • the processor 310 may identify an event for a change in user behavior.
  • the processor 310 may monitor the user's biosignals (e.g., body temperature, PPG, heart rate) at the time of occurrence of the identified event.
  • the processor 310 may identify the user's condition as an emergency based on identifying that the user's biosignals (eg, body temperature, PPG, heart rate) are within the first reference range.
  • the processor 310 may identify the user's state as an emergency state based on the number or time of changes in the user's biosignal to the first reference range satisfying a specified condition. For example, the processor 310 may identify that a fall has occurred in the user based on data on motion (or inertial signal) obtained through the inertial sensor 404. The processor 310 may identify the user's condition as an emergency based on identifying that the user has fallen.
  • the processor 310 may identify the user's state as an emergency state. For example, the processor 310 may identify the first time when an event that caused a change to the emergency state occurred while the user's state was in an emergency state. The processor 310 identifies data about the visual signal using the camera 330 from a second time point before a predefined time from the first time point to a third time point after a predefined time from the first time point, You can save it. For example, processor 310 may provide information indicating a warning about an emergency situation. The processor 310 may transmit information indicating a warning about an emergency situation to an external electronic device (eg, a server) using the communication circuit 350. The processor 310 may provide information indicating a warning about an emergency situation to the user.
  • an external electronic device eg, a server
  • the processor 310 may identify the user's state as a risk monitoring state based on identifying that the user's biosignal changes within the second reference range.
  • the processor 310 may identify the fourth time when an event that caused a change to the expected risk state occurred while the user's state was in the expected risk state.
  • the processor 310 identifies data about the visual signal using the camera 330 from a fifth time point before a predefined time from the fourth time point to a sixth time point after a predefined time from the first time point, You can save it.
  • the processor 310 may identify and store data about the visual signal using the camera 330 from the fourth to the sixth viewpoint.
  • the processor 310 may identify whether the user's state changes from the risk monitoring state to the emergency state while the user's state is in the risk expected state.
  • the processor 310 may monitor the user's heart rate and/or heart rate variability using the PPG sensor to identify whether the user's condition changes from a critical monitoring state to an emergency state.
  • the processor 310 may identify whether the user's state changes from a risk monitoring state to an emergency state by performing a pupil reaction test and/or a pupil constriction/relaxation test using the pupil recognition sensor 402.
  • the processor 310 may use components included in the wearable device 300 to identify (or recognize) the user's state.
  • the processor 310 may change the detection period of signals (e.g., biological signals, inertial signals, visual signals) depending on the user's state.
  • processor 310 may store data about the identified user before and after the event that caused the change to the expected risk state (e.g., data about vital signs, data about motion (or inertial signals), data about visual signals). data) can be identified and stored.
  • processor 310 may store data about the identified user before and after the event that caused the change to an emergency state (e.g., data about vital signs, data about motion (or inertial signals), data about visual signals). ) can be identified and stored.
  • examples of operations of components of the wearable device 300 according to the user's state may be set as shown in Table 1.
  • the wearable device 300 can operate while connected to an external electronic device 520.
  • the external electronic device 520 may include an inertial sensor to identify the user's motion.
  • the processor 310 of the wearable device 300 may receive data about the user's motion from the external electronic device 520.
  • the processor 310 may identify the user's state based on data about the user's motion.
  • the processor 310 may identify the user's state as a normal state.
  • the processor 310 may monitor the user's biosignals while the user's condition is normal.
  • the processor 310 may identify data about the user's motion using the external electronic device 520 while the user's status is normal.
  • the processor 310 may identify an event for a change in user behavior by receiving data about the user's motion.
  • the processor 310 may receive information from the external electronic device 520 about when an event regarding a change in user behavior occurs.
  • the processor 310 may identify the user's state as an emergency state.
  • the operation of the wearable device 300 while the user's condition is in an emergency state may correspond to the operation of the wearable device 300 in FIG. 7A.
  • the processor 310 may identify the user's state as a risk monitoring state.
  • the operation of the wearable device 300 while the user's state is in a risk monitoring state may correspond to the operation of the wearable device 300 in FIG. 7A.
  • the wearable device 300 may identify data about the user's motion using an inertial sensor included in the external electronic device 520.
  • the processor 310 can reduce power consumption of the wearable device 300 by using the external electronic device 520 to identify data about the user's motion.
  • the processor 310 of the wearable device 300 may identify the user's state by controlling the operation of components included in the external electronic device 520. For example, when a component included in the wearable device 300 is also included in the external electronic device 520, the processor 310 processes the component included in the wearable device 300 and the external electronic device 520. Using at least one of the above components, data about the user can be identified. As an example, when both the component included in the wearable device 300 and the component included in the external electronic device 520 are used, the processor 310 may be used to control the external electronic device 520 and the wearable device 300. By combining (or comparing) the data obtained separately, more accurate data can be obtained.
  • the external electronic device 520 may include a larger capacity battery and various sensors than the wearable device 300. Accordingly, when the wearable device 300 operates while connected (or interlocked) with the external electronic device 520, power consumption of the wearable device 300 can be reduced and the user's status can be identified.
  • the external electronic device 520 may operate with the inertial sensor and the illuminance sensor always turned on. Accordingly, when the user wears the wearable device 300 while carrying the external electronic device 520, the external electronic device 520 can detect the user's motion in real time.
  • the processor 310 activates the camera 330 of the wearable device 300 only when a specified event occurs based on the user's motion, identifies (or monitors) data about visual signals before and after the specified event, and , can be saved (or recorded).
  • an example of the operation of components of the external electronic device 520 according to the user's status may be set as shown in Table 2.
  • the wearable device 300 may operate while connected to the second wearable device 510.
  • the second wearable device 510 may include various components for identifying biosignals (eg, PPG, heart rate, body temperature, and/or blood pressure).
  • the processor 310 of the wearable device 300 may receive data about biological signals from the second wearable device 510.
  • the processor 310 may identify the user's state based on data on biometric signals.
  • the processor 310 may identify the user's state as a normal state.
  • the wearable device 300 and the second wearable device 510 may each identify data about the user's motion using an inertial sensor.
  • the processor 310 of the wearable device 300 may receive data about the user's motion from the second wearable device 510.
  • the processor 310 identifies an event for a change in user behavior based on data about the user's motion identified in the wearable device 300 and data about the user's motion received from the second wearable device 510. You can.
  • the processor 310 may identify the user's state as an emergency state. For example, the processor 310 may identify the first time when an event that caused a change to the emergency state occurred while the user's state was in an emergency state. The processor 310 identifies data about the visual signal using the camera 330 from a second time point before a predefined time from the first time point to a third time point after a predefined time from the first time point, You can save it. For example, processor 310 may provide information indicating a warning about an emergency situation. The processor 310 may transmit information indicating a warning about an emergency situation to an external electronic device (eg, a server) using the communication circuit 350. The processor 310 may provide information indicating a warning about an emergency situation to the user.
  • an external electronic device eg, a server
  • the second wearable device 510 uses a sensor (e.g., temperature sensor, PPG sensor) to identify the user's biosignals from the second time to the third time. , data on biological signals can be identified.
  • the second wearable device 510 may transmit data about biological signals to the wearable device 300.
  • the processor 310 may identify the user's state as a risk monitoring state based on identifying that the user's biosignal changes within the second reference range.
  • the processor 310 may identify the fourth time when an event that caused a change to the expected risk state occurred while the user's state was in the expected risk state.
  • the processor 310 identifies data about the visual signal using the camera 330 from a fifth time point before a predefined time from the fourth time point to a sixth time point after a predefined time from the first time point, You can save it.
  • the second wearable device 510 uses a sensor (e.g., temperature sensor, PPG sensor) to identify the user's biosignal from the fifth to the sixth time point. , data on biological signals can be identified.
  • the second wearable device 510 may transmit data about biological signals to the wearable device 300.
  • the wearable device 300 may be worn on a first part of the user's body (eg, head).
  • the second wearable device 510 may be worn on a second part of the user's body (eg, wrist).
  • data about motion may be obtained from both the wearable device 300 and the second wearable device 510.
  • the processor 310 of the wearable device 300 may be set to acquire data about motion (or inertial signals) and data about biometric signals from the second wearable device 510 in order to increase the efficiency of computational operations.
  • the processor 310 may acquire data on time signals while data on motion (or inertial signals) and data on biological signals are acquired from the second wearable device 510 .
  • the processor 310 can reduce power consumption by setting the second wearable device 510 to acquire data about motion (or inertial signals) and data about biological signals.
  • an example of the operation of the components of the second wearable device 510 according to the user's state may be set as shown in Table 3.
  • the wearable device 300 may operate while connected to the second wearable device 510 and the external electronic device 520.
  • the second wearable device 510 may include various components for identifying biosignals (eg, PPG, heart rate, body temperature, and/or blood pressure).
  • the processor 310 of the wearable device 300 may receive data about biological signals from the second wearable device 510.
  • the external electronic device 520 may include an inertial sensor to identify the user's motion.
  • the processor 310 of the wearable device 300 may receive data about the user's motion from the external electronic device 520.
  • the processor 310 may identify the user's state based on data about the biosignal received from the second wearable device 510 and data about the user's motion received from the external electronic device 520.
  • the processor 310 sets the second wearable device 510 and the external electronic device 520 to perform some of the operations performed by the wearable device 300 shown in FIG. 7A, thereby allowing the user Data monitoring operations can be performed efficiently.
  • FIG. 8 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • the processor 310 may start monitoring the user's biological signals using the sensor 320.
  • the processor 310 may start monitoring the user's biological signals in response to a user input.
  • the processor 310 may receive a user input instructing to monitor the user's biological signals.
  • the processor 310 may begin monitoring the user's biological signals in response to the received user input.
  • the processor 310 may start monitoring the user's biological signals based on identifying that a specified event occurs.
  • the processor 310 may identify whether the wearable device 300 is operating in a constant monitoring mode.
  • the wearable device 300 may operate in either a continuous monitoring mode or a periodic monitoring mode.
  • the processor 310 can continuously monitor vital signs for elderly people and/or people with severe cardiovascular disease whose condition may suddenly change due to an emergency.
  • the processor 310 can operate in a periodic monitoring mode to periodically monitor biosignals (e.g., body temperature, blood pressure, heart rate variation) for users with chronic adult diseases (e.g., diabetes, high blood pressure). there is.
  • biosignals e.g., body temperature, blood pressure, heart rate variation
  • chronic adult diseases e.g., diabetes, high blood pressure
  • the processor 310 may obtain data about the user's biological signals according to the constant monitoring mode. For example, the processor 310 may continuously (or for 24 hours) identify whether the user's biosignal is within a normal range.
  • the processor 310 may obtain data about the user's biological signals according to the periodic monitoring mode.
  • the processor 310 may obtain data about the user's biosignals based on a designated time interval (eg, 24 hours).
  • Figure 9A shows an example of operation of a wearable device, according to one embodiment.
  • FIG. 9B shows an example of operation of a wearable device, according to one embodiment.
  • the processor 310 sets the wearable device 300 in a manual monitoring mode and a predefined mode for acquiring data about the user in response to user input. Based on satisfying conditions, it may operate in one of the automatic monitoring modes to obtain data about the user.
  • manual monitoring mode and automatic monitoring mode can be distinguished depending on whether user input is received.
  • the constant monitoring mode and periodic monitoring mode can be divided according to the acquisition (or measurement) period of data for the user.
  • the processor 310 may operate in a passive monitoring mode.
  • the processor 310 may operate in either a continuous monitoring mode or a periodic monitoring mode based on user input.
  • the processor 310 may obtain data about the user by operating in either a constant monitoring mode or a periodic monitoring mode based on user input.
  • the processor 310 may reduce power consumption by acquiring data about the user (eg, data about biological signals, data about motion (or inertial signals)) based on user input.
  • the processor 310 may receive a first user input for obtaining data about the user at point 901 from a user who feels an abnormality in his or her condition.
  • the processor 310 may recognize the user's state as a risk monitoring state based on the first user input.
  • the processor 310 may obtain and store (or record) data on biosignals (eg, electrocardiogram, blood pressure, body temperature) based on the first user input.
  • biosignals eg, electrocardiogram, blood pressure, body temperature
  • the first user input may be set as one of an input to a button included in the housing of the wearable device 300, an input through voice recognition, and a touch input to the display of the wearable device 300.
  • the processor 310 may obtain data about the user's biosignals from the time point 901 to the time point 903, which is a predefined time after the time point 901. According to one embodiment, the processor 310 may obtain data about the user's biosignal from the time point 901 until another user input that is different from the first user input is received.
  • the processor 310 may identify that the user's state changes from a normal state or a risk monitoring state to an emergency state. For example, the processor 310 may recognize the user's condition as an emergency based on identifying that the user has fallen. According to one embodiment, the processor 310 may receive a second user input at time 902 after recognizing the user's state as an emergency state. Processor 310, in response to a second user input received at time point 902, provides data about the user's biological signals and data about visual signals from time point 902 to time point 904, which is a predefined time later. can be identified and stored.
  • the processor 310 may use the pupil recognition sensor 402 and the brain wave sensor 403 activated in response to identifying that the user's state has changed to an emergency state based on the second user input, Information about the user's state of consciousness can be identified and stored from point 902 to point 904.
  • the processor 310 may operate in an automatic monitoring mode.
  • the processor 310 may operate in one of a continuous monitoring mode and a periodic monitoring mode based on satisfying predefined conditions.
  • the processor 310 may obtain data about the user by operating in either a continuous monitoring mode or a periodic monitoring mode based on satisfying predefined conditions.
  • the processor 310 may obtain data about the user based on the user's behavior or state satisfying predefined conditions.
  • the processor 310 may operate in an automatic monitoring mode when it is necessary to continuously monitor abnormal symptoms of the user.
  • the processor 310 may identify that the user's action or state satisfies a predefined condition.
  • the processor 310 may acquire and store (or record) data on biosignals (e.g., electrocardiogram, blood pressure, body temperature) based on identifying that the user's behavior or state satisfies predefined conditions. there is.
  • the processor 310 may obtain data about the user's biosignals from the time point 901 to the time point 903, which is a predefined time after the time point 901.
  • the processor 310 may acquire data on the user's biosignals from the time point 901 until other predefined conditions are satisfied.
  • processor 310 may identify that, at point 902, the user's state has changed from a normal state or a critical monitoring state to an emergency state.
  • Processor 310 in response to identifying that the user's condition has changed to an emergency condition, collects data about the user's vital signs and visual signals from time point 902 until time point 904, which is a predefined time later. Data can be identified and stored.
  • processor 310 may use pupil recognition sensor 402 and brain wave sensor 403 activated in response to identifying that the user's state has changed to an emergency state, from time point 902 to time point 904. Information about the user's state of consciousness can be identified and stored.
  • the processor 310 may operate in a passive monitoring mode.
  • the processor 310 may receive a first user input for obtaining data about the user at point 901 from a user who feels an abnormality in his or her condition.
  • the processor 310 may recognize the user's state as a risk monitoring state based on the first user input.
  • the processor 310 may obtain and store (or record) data on biosignals (eg, electrocardiogram, blood pressure, body temperature) based on the first user input.
  • biosignals eg, electrocardiogram, blood pressure, body temperature
  • the processor 310 may store data about the user's biological signals from a time point 913, which is before a predefined time from the time point 901, to a time point 914, which is after a predefined time from the time point 901. can be obtained.
  • the processor 310 may obtain data on biometric signals from time point 913 to time 901, and store the acquired data on biological signals in a buffer configured in memory 340.
  • the processor 310 may obtain data about the user's biosignal from time point 901 to time 914 based on receiving the first user input at time point 901.
  • the processor 310 combines the data on the biosignals from the time point 913 to the time point 901 stored in the buffer and the data on the user's biological signals from the time point 901 to the time point 914, thereby generating the data at the time point 913. Data on the user's biological signals from time point 914 can be obtained.
  • processor 310 may identify that the user's state has changed from a normal state or a risk monitoring state to an emergency state.
  • the processor 310 may receive a second user input at time 902 after recognizing the user's state as an emergency state.
  • Processor 310 is responsive to a second user input received at time 902, from a time point 915 that is before a predefined time in time 902 to a time point that is after a predefined time in time 902 ( Up to 916), data on the user's biological signals and data on visual signals can be identified and stored.
  • the processor 310 may use the pupil recognition sensor 402 and the brain wave sensor 403 activated in response to identifying that the user's state has changed to an emergency state based on the second user input, Information about the user's state of consciousness can be identified and stored from point 915 to point 916.
  • the processor 310 may operate in an automatic monitoring mode.
  • the processor 310 may operate in one of a continuous monitoring mode and a periodic monitoring mode based on satisfying predefined conditions.
  • the processor 310 may obtain data about the user based on the user's behavior or state satisfying predefined conditions.
  • the processor 310 may identify that the user's action or state satisfies a predefined condition.
  • Processor 310 based on identifying that the user's action or state satisfies a predefined condition, starts from time 913, which is before a predefined time at time 901, and Until time 914, which is later, data on the user's biosignals can be obtained.
  • the processor 310 may obtain data on biometric signals from time point 913 to time 901, and store the acquired data on biological signals in a buffer configured in memory 340.
  • the processor 310 may obtain data about the user's biosignals from time 901 to time 914, based on whether the user's behavior or state satisfies a predefined condition at time 901.
  • the processor 310 combines the data on the biosignal acquired from the time point 913 to the time point 901 stored in the buffer and the data on the user's biological signal from the time point 901 to the time point 914, thereby ) can obtain data on the user's biosignals acquired from time point 914.
  • processor 310 may identify that the user's state has changed from a normal state or a risk monitoring state to an emergency state.
  • Processor 310 may, at point 902, identify that the user's action or state satisfies other predefined conditions.
  • Processor 310 may recognize the user's condition as an emergency in response to identifying that the user's actions or condition satisfies other predefined conditions at time 902.
  • processor 310 may, from time point 915 to time 902, be prior to a predefined time at time 902, based on identifying that the user's action or state satisfies a predefined condition.
  • point 916 which is after a predefined time
  • data on the user's biological signals and data on the visual signals can be identified and stored.
  • the processor 310 may activate the pupil recognition sensor 402 in response to identifying that the user's state has changed to an emergency state, based on identifying that the user's actions or state satisfies a predefined condition.
  • the brain wave sensor 403 information about the user's state of consciousness can be identified and stored from the time point 915 to the time point 916.
  • the processor 310 may set data about the user to be acquired while the user's status is in an emergency state.
  • the processor 310 may be set to obtain data on visual signals and data on brainwave signals while the user's condition is in an emergency state.
  • the processor 310 may determine data about the user obtained according to the user's state, based on components included in the wearable device 300. For example, when the wearable device 300 is set to operate independently without being connected (or interlocked) with an external electronic device, the processor 310 stores data about motion (or inertial signals) and the user's biological signals. data can be obtained.
  • the processor 310 uses an inertial sensor included in the external electronic device 520.
  • the external electronic device 520 can be controlled to obtain data about motion (or inertial signals) using .
  • the processor 310 may control the second wearable device 510 to obtain data about the biological signal using a sensor for detecting the biological signal included in the second wearable device 510.
  • the processor 310 may acquire data on visual signals using the camera 330 while data on motion (or inertial signals) and data on biological signals are acquired.
  • FIG. 10 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • the processor 310 may detect that the wearable device 300 is being worn. For example, the processor 310 may detect wearing of the wearable device 300 based on identifying changes in the impedance of electrodes included in the wearable device 300 (e.g., electrodes associated with an ECG sensor). there is. For example, the processor 310 may detect wearing of the wearable device 300 based on identifying the user's pupils using the pupil recognition sensor 402.
  • the processor 310 may detect wearing of the wearable device 300 based on identifying the user's pupils using the pupil recognition sensor 402.
  • the processor 310 may determine sensors to activate according to the connection status of the wearable device 300.
  • the processor 310 may identify an external electronic device (eg, the second wearable device 510 and the external electronic device 520) connected to the wearable device 300.
  • the processor 310 may identify sensors included in an external electronic device connected to the wearable device 300.
  • the processor 310 may determine sensors to activate based on identifying sensors included in the external electronic device. For example, the processor 310 operates while worn on the user's wrist and can identify an external electronic device that includes a PPG sensor.
  • the processor 310 may cause the external electronic device to acquire data about the user's heart rate using a PPG sensor included in the external electronic device. For example, if at least one sensor included in the wearable device 300 is also included in an external electronic device, the processor 310 deactivates at least one sensor of the wearable device 300 and detects the sensor included in the external electronic device. At least one sensor can be activated.
  • the processor 310 may monitor the user's status using sensors with low power consumption (eg, the pupil recognition sensor 402) in the wearable device 300.
  • the processor 310 may additionally activate sensors with high power consumption (eg, the brain wave sensor 403) based on whether the user's state satisfies a specified condition.
  • the processor 310 may additionally activate sensors with high power consumption (eg, the brain wave sensor 403) based on whether the user's state is recognized as a risk monitoring state and/or an emergency state.
  • the processor 310 may identify whether an abnormal pattern occurs or whether the acquired data is outside a threshold range based on data acquired using sensors with low power consumption.
  • the processor 310 may additionally activate sensors with high power consumption based on identifying that an abnormal pattern occurs in the acquired data.
  • the processor 310 may additionally activate sensors with high power consumption based on identifying that the acquired data is outside the threshold range.
  • the processor 310 may identify whether permission for the sensors to be activated has been obtained.
  • the processor 310 may identify whether permission has been obtained for not only the sensors included in the wearable device 300 but also the sensors included in an external electronic device connected to the wearable device 300.
  • the processor 310 may request permission for the sensor to be activated from the user using the wearable device 300 or an external electronic device connected to the wearable device 300.
  • the processor 310 may stop the monitoring operation. For example, processor 310 may suspend a monitoring operation to obtain data for a user based on identifying that permission for the sensors to be activated has not been obtained. For example, processor 310 may refrain from monitoring operations to obtain data about the user.
  • the processor 310 may monitor data about the user while the user's status is normal. For example, processor 310 may monitor data about a user based on identifying whether permission for the sensors to be activated has been obtained. For example, the processor 310 may acquire data about motion (or an inertial signal) using an inertial sensor included in the wearable device 300 or an external electronic device connected to the wearable device 300. The processor 310 may obtain data about the user's motion by acquiring data about the motion (or inertial signal).
  • processor 310 may identify whether the user's state changes. Processor 310 may identify whether the user's status changes while monitoring data about the user. According to one embodiment, if the user's status does not change, the processor 310 may perform operation 1050 again.
  • processor 310 may identify whether the user's state changes from a normal state to a risk monitoring state. For example, processor 310 may identify whether the user's state changes from a normal state to an emergency state.
  • the processor 310 may store (or record) data about the user. For example, based on identifying that the user's status has changed, processor 310 may store data about the user.
  • the processor 310 may store data about the user based on identifying that the user's state changes from a normal state to a risk monitoring state or an emergency state. For example, processor 310 may identify when the user's state changes from a normal state to a risk monitoring state or an emergency state. Processor 310 may identify data about the user before and after the identified time point. As an example, the processor 310 stores content (e.g., video, image, voice, call record (or content), location information of the wearable device 300, information about the running application) acquired before and after the identified point in time. You can. As an example, the processor 310 may store data on the user's biosignals obtained before and after the identified time point.
  • content e.g., video, image, voice, call record (or content)
  • location information of the wearable device 300 e.g., information about the running application
  • the processor 310 may provide the user with a notification indicating whether to share data about the user before and after the time of identification with designated contacts or emergency agencies. After the notification is provided, the processor 310 may share data about the user with a designated contact or emergency agency, or store data about the user in the memory 340, according to user input.
  • FIG. 11 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • the processor 310 may acquire first data indicating the temperature of a part of the user's body (eg, head). For example, the processor 310 may obtain first data representing the temperature of the user's head in contact with the wearable device 300 through the temperature sensor 401.
  • the wearable device 300 may be worn on the user's head.
  • a part (eg, electrode) of the wearable device 300 may be in contact with the user's head.
  • the processor 310 may obtain first data indicating the temperature of the user's head through the temperature sensor 401, based on identifying that the wearable device 300 is worn by the user.
  • the processor 310 may obtain first data based on a first time interval.
  • the first time interval can be set by the user.
  • the processor 310 may identify whether the user's condition is in an emergency state. For example, the processor 310 may identify whether the user's condition is an emergency based on first data indicating a temperature within a first reference range.
  • the processor 310 may identify a first value that represents the number of times the temperature obtained based on a first time interval within a predefined time resource is identified as being within a first reference range.
  • the processor 310 may identify whether the user's state is an emergency state depending on whether the first value is greater than or equal to a predefined value.
  • the processor 310 generates first content (e.g., video, image, voice, call record (or content), wearable device 300) based on the user's condition being identified (or recognized) as an emergency. location information, information about the running application) and information about the user's state of consciousness, send a first request to obtain second data about the user's heart rate to the second wearable device, and determine the user's emergency state.
  • a second request to transmit information indicating and information about the user's state of consciousness to a second external electronic device (eg, a server) may be transmitted to the first external electronic device.
  • the processor 310 may identify that the user's state is an emergency state based on identifying that the first value representing the number of times identified as being within the first reference range is greater than or equal to a predefined value.
  • the processor 310 may operate from a second time point before a predefined time from a first time point when the user's condition is identified (or recognized) as an emergency state, and from a third time point after a predefined time from the first time point.
  • First content e.g., video, image, voice, call record (or content), location information of the wearable device 300, information about the running application
  • the processor 310 may use the camera 330 to acquire the first content obtained from the second viewpoint to the third viewpoint.
  • the processor 310 may store the acquired first content in the memory 340 .
  • the processor 310 stores third content (e.g., video, image, voice, call record (or content), wearable device 300) acquired using the camera 330 from the second viewpoint to the first viewpoint.
  • location information, information about the running application can be stored in a buffer configured within the memory 340.
  • the processor 310 In response to recognizing the user's condition as an emergency, the processor 310 generates fourth content (e.g., video, image, voice, call record (or content), wearable device 300) from the first time to the third time. location information and information about the running application) can be obtained.
  • the processor 310 may obtain the first content by combining the third content and the fourth content stored in the buffer.
  • the third content may be a first image of the user's surrounding environment obtained from the second viewpoint to the first viewpoint.
  • the fourth content may be a second image of the user's surrounding environment obtained from the first viewpoint to the third viewpoint.
  • the processor 310 may acquire a third image by spliceing the first image and the second image based on the first viewpoint.
  • the processor 310 may obtain the first content by acquiring the third image from the second viewpoint to the third viewpoint.
  • the processor 310 may activate the pupil recognition sensor 402 and the EEG sensor 403 in response to identification (or recognition) of an emergency condition.
  • the processor 310 uses the activated pupil recognition sensor 402 and the brain wave sensor 403, from a first time point when the user's condition is identified (or recognized) as an emergency state, after a predefined time from the first time point.
  • Information about the user's state of consciousness obtained up to the third time point can be obtained.
  • the processor 310 may store information about the user's state of consciousness obtained from the first to the third time point in the memory 340.
  • the processor 310 may transmit a first request to obtain second data about the user's heart rate to a second wearable device in contact with the user's wrist.
  • Processor 310 may identify that the second wearable device includes a PPG sensor.
  • the processor 310 may control acquisition of second data about the user's heart rate by transmitting a first request to the second wearable device.
  • the processor 310 may transmit a second request to the first external electronic device to transmit information indicating the user's emergency state and information about the user's state of consciousness to the second external electronic device.
  • the first external electronic device and the wearable device 300 may be connected based on a first radio access technology (RAT) (eg, Bluetooth communication).
  • the first external electronic device may be connected to the second external electronic device based on a second RAT (eg, cellular communication).
  • the processor 310 transmits information indicating the user's emergency state and information about the user's state of consciousness to a second external electronic device (e.g., a server for rescue request) connected to the first external electronic device through the second RAT.
  • the second request may be transmitted to the first external electronic device.
  • the processor 310 may transmit information indicating the user's emergency state and information about the user's state of consciousness to the first external electronic device (e.g., a server for requesting rescue).
  • the processor 310 may acquire first data based on a first time interval while the user's state is in a normal state.
  • the first data may represent the temperature of a part of the user's body (eg, head).
  • the processor 310 may obtain the first data based on the first time interval from the second time point to the first time point.
  • Processor 310 in response to identifying (or recognizing) the user's condition as an emergency condition, is configured to: Until the third time point, the first data may be acquired based on a second time interval that is shorter than the first time interval.
  • the processor 310 may receive third data about the user's motion from a second wearable device including an acceleration sensor and a gyro sensor. The processor 310 may identify that a fall has occurred in the user based on the first data and the third data. The processor 310 may recognize the user's condition as an emergency in response to identifying that the user has suffered a fall.
  • the processor 310 may identify whether the user's state is in a risk monitoring state based on the user's state not being identified (or recognized) as an emergency state. For example, the processor 310 may identify whether the user's state is in a risk monitoring state based on first data indicating a temperature within a second reference range that is different from the first reference range.
  • processor 310 may identify a second value that represents the number of times the temperature obtained based on a first time interval within a predefined time resource was identified as being within a second reference range. The processor 310 may identify whether the user's state is in a risk monitoring state, depending on whether the second value is greater than or equal to a predefined value.
  • the processor 310 may perform an operation according to the normal state. For example, the processor 310 may perform an operation according to a normal state based on identifying that the user's state is not in a risk monitoring state. For example, processor 310 may identify the user's state as a normal state based on identifying that the user's state is not an emergency state and a risk monitoring state. The processor 310 may perform operations according to a normal state. As an example, the processor 310 may acquire data about motion (or an inertial signal) using an inertial sensor while the user's state is in a normal state. The inertial sensor may be included in one of the wearable device 300, a second wearable device, and a first external electronic device.
  • the processor 310 stores second content (e.g., video, image, voice, call record (or content), location information of the wearable device 300, and a running application. information) may be stored in the memory, information indicating a warning of possible danger may be provided, and the first request may be transmitted to the second wearable device.
  • second content e.g., video, image, voice, call record (or content)
  • location information of the wearable device 300 e.g., location information of the wearable device 300
  • a running application e.g., information
  • information indicating a warning of possible danger may be provided, and the first request may be transmitted to the second wearable device.
  • processor 310 may identify a second value representing the number of times the temperature obtained based on a first time interval within a predefined time resource was identified as being within a second reference range as being greater than or equal to the predefined value. Based on this, it can be identified that the user's status is in a risk monitoring state.
  • the processor 310 predefines the fourth time point from the fourth time point when the user's state is recognized as a risk monitoring state through the camera 330.
  • second content e.g., video, image, voice, call record (or content), location information of the wearable device 300, information about the running application
  • the processor 310 may store the second content obtained from the fourth to the fifth time point.
  • the processor 310 may acquire the fifth content from the sixth point in time to the fourth point in time, a predefined time before the fourth point in time.
  • the processor 310 may store the fifth content in a buffer configured in the memory 340.
  • the processor 310 may delete the fifth content stored in the buffer based on recognizing the user's state as a risk monitoring state.
  • the processor 310 may delete the fifth content, obtain and store the second content using the camera 330 from the fourth to the fifth viewpoint.
  • the processor 310 may store acquired content (eg, second content) from the time when the user's state is recognized as a risk monitoring state (eg, the fourth time) until a predefined time. Accordingly, since the buffer stores content (eg, fifth content) acquired from a time before the time when the user's state is recognized as a risk monitoring state, the fifth content can be deleted from the buffer.
  • the processor 310 can secure buffer capacity by deleting the fifth content.
  • the processor 310 may provide information indicating a warning of a possible risk based on recognizing the user's state as a risk monitoring state.
  • Processor 310 may identify possible risks.
  • the processor 310 may provide information indicating a warning of possible danger through sound and/or a screen.
  • the processor 310 may use the camera 330 to identify that an external object is approaching the user.
  • the processor 310 may identify information about the size and speed of an external object approaching the user using the camera 330.
  • the processor 310 may identify possible risks to the user based on information about the size and speed of the external object.
  • the processor 310 may recognize the user's state as a risk monitoring state.
  • the processor 310 may provide information indicating that a collision may occur due to access by an external object.
  • the processor 310 may acquire first data based on a first time interval while the user's state is in a normal state.
  • the first data may represent the temperature of a part of the user's body (eg, head).
  • Processor 310 in response to identifying (or recognizing) the user's state as being in a risk monitoring state, determines a predefined time from the fourth time point in time at which the user's state is identified (or recognized) as being in a risk monitoring state.
  • the first data may be acquired based on a third time interval that is longer than the second time interval.
  • the second time interval may be an interval in which the first data is acquired by the processor 310 while the user's condition is in an emergency state.
  • the processor 310 may acquire the first data based on the first time interval while the user's state is in a normal state.
  • the processor 310 may acquire first data based on a third time interval while the user's state is in a risk monitoring state.
  • the processor 310 may obtain first data based on a second time interval while the user's state is in an emergency state.
  • the first time interval may be set to be larger than the second time interval.
  • the second time interval may be set to be larger than the third time interval.
  • the processor 310 may maintain the pupil recognition sensor 402 and the brainwave sensor 403 in a deactivated state based on recognizing the user's state as a risk monitoring state.
  • the processor 310 may refrain from sending the second request to the first external electronic device based on recognizing the user's state as a risk monitoring state.
  • the processor 310 may transmit a first request to obtain second data about the user's heart rate to the second wearable device based on recognizing the user's state as a risk monitoring state.
  • the processor 310 may control acquisition of second data about the user's heart rate by transmitting a first request to the second wearable device.
  • the processor 310 may receive second data from the second wearable device in response to the first request. For example, the processor 310 may receive second data about the user's heart rate from the second wearable device in response to the first request.
  • processor 310 may identify whether the user's state changes from a risk monitoring state to an emergency state. For example, processor 310 may identify whether the user's state changes from a risk monitoring state to an emergency state based on the second data.
  • the processor 310 may set the first data and the second data as input values of a predefined model indicated by a plurality of parameters stored in the memory 340.
  • the first data may represent the temperature of a part of the user's body (eg, head).
  • the second data may represent the user's heart rate.
  • a predefined model may be indicated by a plurality of parameters related to a neural network.
  • a predefined model may include a set of parameters related to a neural network.
  • parameters related to a neural network may indicate weights assigned to a plurality of nodes included in the neural network and/or connections between the plurality of nodes.
  • the processor 310 may identify whether the user's state changes from the risk monitoring state to the emergency state by identifying the output value of the predefined model. Depending on the embodiment, the processor 310 may learn a predefined model based on the first data and the second data.
  • the processor 310 may operate according to operation 1130. For example, if the user's state does not change from the risk monitoring state to the emergency state, the processor 310 may operate according to operation 1150. As an example, processor 310 may change the user's state from a risk monitoring state to a normal state based on identifying that the user's state remains in the risk monitoring state for a specified period of time. The processor 310 may change the user's state from the risk monitoring state to the normal state and then operate according to operation 1150.
  • the processor 310 may identify a trend (or graph) regarding the user's body temperature.
  • the processor 310 may determine the first reference range and the second reference range based on trends regarding the user's body temperature. Trends regarding the user's body temperature may change depending on at least one of the user's age, BMI, and gender. Accordingly, processor 310 may identify a trend regarding the user's body temperature and, based on the identified trend, determine a first reference range for identifying an emergency condition and a second reference range for identifying a risk monitoring condition. .
  • the processor 310 may recognize the user's status according to user input.
  • the processor 310 may recognize the user's state as a risk monitoring state based on the first user input.
  • the processor 310 may set the mode associated with the wearable device 300, the second wearable device, and the first external electronic device to the first mode based on recognizing the user's state as a risk monitoring state.
  • the first mode activates a first set of sensors used to identify possible risks among a plurality of sensors (or components) included in the wearable device 300, the second wearable device, and the first external electronic device. It may include a mode that is set to work.
  • the processor 310 may recognize the user's state as an emergency state based on the second user input.
  • the processor 310 may set the mode related to the wearable device 300, the second wearable device, and the first external electronic device to the second mode based on recognizing the user's state as an emergency state.
  • the second mode acquires information about the first set of sensors (or components) included in the wearable device 300, the second wearable device, and the first external electronic device and the user's state of consciousness. and a mode in which the second set of sensors used to do so are set to be activated.
  • FIG. 12 is a flowchart illustrating the operation of a wearable device according to an embodiment.
  • the processor 310 may request permission to use the pupil recognition sensor 402 and the brain wave sensor 403 and permission to use the heart rate sensor included in the second wearable device. there is. For example, based on recognizing the user's state as a risk monitoring state, the processor 310 authorizes the use of the pupil recognition sensor 402 and the brain wave sensor 403 and the heart rate sensor included in the second wearable device. You may request permission to use .
  • the processor 310 uses at least one of the wearable device 300 and the second wearable device to detect the pupil recognition sensor 402 and the brain wave sensor 403 included in the wearable device 300 and the second wearable. You may request permission to use the heart rate sensor included with your device. As an example, the processor 310 may use the wearable device 300 to request permission to use a heart rate sensor included in the second wearable device. As an example, the processor 310 may request permission to use the pupil recognition sensor 402 and the brain wave sensor 403 included in the wearable device 300 using the second wearable device.
  • processor 310 may identify that the user's state has changed from a risk monitoring state to an emergency state. For example, the processor 310 has permission to use the pupil recognition sensor 402 and the brain wave sensor 403 included in the wearable device 300 and the permission to use the heart rate sensor included in the second wearable device. After acquisition, it can be identified that the user's status changes from a risk monitoring state to an emergency state.
  • the processor 310 changes the pupil recognition sensor 402 and the brain wave sensor 403 from the deactivated state to the activated state, and sends a signal for controlling to activate the heart rate sensor included in the second wearable device to the second wearable device. It can be transmitted to a wearable device.
  • the processor 310 changes the pupil recognition sensor 402 and the EEG sensor 403 from a deactivated state to an activated state based on authority for use of the pupil recognition sensor 402 and the EEG sensor 403. You can.
  • the processor 310 transmits a signal to the second wearable device to control activating the heart rate sensor included in the second wearable device, based on the authority to use the heart rate sensor included in the second wearable device. can do.
  • the second wearable device may change the heart rate sensor from a deactivated state to an activated state based on the signal.
  • the second wearable device may acquire second data about the user's heart rate using a heart rate sensor.
  • the second wearable device may transmit second data about the user's heart rate to the wearable device 300.
  • a wearable device e.g., wearable device 300
  • a temperature sensor e.g., temperature sensor 401
  • a pupil recognition sensor e.g., pupil recognition sensor 402
  • a brain wave sensor e.g., EEG sensor 403
  • camera e.g., camera 330
  • memory e.g., memory 340
  • communication circuit e.g., communication circuit 350
  • the processor may be set to acquire first data representing the temperature of the user's head in contact with the wearable device through the temperature sensor.
  • the processor may be set to recognize the user's condition as an emergency state based on the first data indicating the temperature within a first reference range.
  • the processor based on recognizing the user's state as the emergency state, from a second time point that is a predefined time before the first time point when the user's state is recognized as the emergency state through the camera, From the first time point using the pupil recognition sensor and the brain wave sensor, activated in response to the recognition of the emergency condition and first content acquired from the first time point to a third time point after the predefined time.
  • the processor may be set to recognize the user's state as a risk monitoring state based on the first data indicating the temperature within a second reference range different from the first reference range.
  • the processor based on recognizing the user's state as the risk monitoring state, from a fourth time when the user's state is recognized as the risk monitoring state through the camera, at the fourth time, the predefined Store second content acquired up to a fifth point in time after time in the memory, provide information indicating warning of a possible danger, transmit the first request to the second wearable device, and send the first request to the second wearable device. Receive the second data from the second wearable device in response to and identify whether the user's state changes from the risk monitoring state to the emergency state using the first data and the second data. It can be set to do so.
  • the processor may be set to obtain the first data based on a first time interval from the second time point to the first time point.
  • the processor in response to recognizing the user's condition as the emergency state, obtains the first data based on a second time interval from the first time point to the third time point that is shorter than the first time interval. It can be set to do so.
  • the processor in response to recognizing the user's state as the risk monitoring state, is configured to run from the fourth time point to the fifth time point that is less than the first time interval and is less than the second time interval. It may be set to acquire the first data based on a long, third time interval.
  • the processor may be set to identify a trend regarding the user's body temperature based on the first data.
  • the processor may be set to determine the first reference range and the second reference range based on trends regarding the user's body temperature.
  • the processor maintains a deactivated state of the pupil recognition sensor and the brain wave sensor based on recognizing the user's state as the risk monitoring state, and transmits the first external electronic device to the first external electronic device. 2 Can be set to refrain from sending requests.
  • the processor may be set to store third content acquired using the camera from the second time point to the first time point in a buffer configured in the memory.
  • the processor in response to recognizing the user's state as the emergency state, combines the fourth content obtained from the first time point to the third time point and the third content stored in the buffer. , may be set to acquire the first content.
  • the processor may be set to store the fifth content acquired from a sixth time point before the predefined time from the fourth time point to the fourth time point in a buffer configured in the memory.
  • the processor may be set to delete the fifth content stored in the buffer based on recognizing the user's state as the risk monitoring state.
  • the processor may be set to acquire the second content using the camera from the fourth viewpoint to the fifth viewpoint.
  • the processor based on recognizing the user's state as the risk monitoring state, authorizes the use of the pupil recognition sensor and the brain wave sensor and the heart rate sensor included in the second wearable device. It can be set to request permission for use. After obtaining permission to use the pupil recognition sensor and the brain wave sensor and permission to use the heart rate sensor included in the second wearable device, the processor changes the user's state from the risk monitoring state to the above. It can be set to identify a change to an emergency state.
  • the processor in response to identifying that the user's state changes from the risk monitoring state to the emergency state, changes the pupil recognition sensor and the brain wave sensor from a deactivated state to an activated state, and configures the second wearable device to It may be set to transmit a signal for controlling activation of the included heart rate sensor to the second wearable device.
  • the processor may be set to recognize the user's state as the risk monitoring state based on a first user input.
  • the processor may be set to set the mode associated with the wearable device, the second wearable device, and the first external electronic device to a first mode based on recognizing the user's state as the risk monitoring state.
  • the processor may be set to recognize the user's state as the emergency state based on a second user input that is distinct from the first user input while the wearable device operates in the first mode.
  • the processor may be set to set the mode to a second mode that is distinct from the first mode, based on recognizing the user's state as the emergency state.
  • the first mode is such that, among the plurality of sensors included in the wearable device, the second wearable device, and the first external electronic device, a first set of sensors used to identify the possible risk are activated. May include modes to be set.
  • the second mode may include a mode in which, among the plurality of sensors, the first set of sensors and a second set of sensors used to obtain information about the user's state of consciousness are set to be activated. there is.
  • the processor may be set to set the first data and the second data as input values of a predefined model indicated by a plurality of parameters stored in the memory. there is.
  • the processor may be configured to identify whether the user's state changes from the risk monitoring state to the emergency state by identifying output values of the predefined model.
  • the processor may be set to learn the predefined model based on the first data and the second data.
  • the processor may be configured to identify a first value representing the number of times the temperature was identified as being within the first reference range, obtained based on a first time interval within a predefined time resource. there is.
  • the processor may be configured to recognize the user's state as the emergency state in response to identifying that the first value is greater than or equal to a predefined value.
  • the processor may be configured to identify a second value representative of the number of times the temperature was identified as being within the second reference range, obtained based on the first time interval within the predefined time resource.
  • the processor may be configured to recognize the user's state as the risk monitoring state in response to identifying the second value as being greater than or equal to the predefined value.
  • the camera may be arranged to correspond to the user's gaze.
  • the processor may be configured to identify that the external object is approaching the user using the camera.
  • the processor may be set to identify information about the size and speed of the external object approaching the user using the camera.
  • the processor may be configured to identify the possible risk to the user based on information about the size and speed of the external object.
  • the processor may be configured to recognize the user's state as the risk monitoring state in response to identifying the possible risk to the user.
  • the processor may be set to receive third data about the user's motion from the second wearable device including an acceleration sensor and a gyro sensor.
  • the processor may be set to identify that a fall has occurred in the user based on the first data and the third data.
  • the processor may be configured to recognize the user's condition as the emergency state in response to identifying that the user has suffered a fall.
  • the first content may include at least one of video, image, voice, call records, location information of the wearable device, and information about a running application.
  • the second content may include at least one of video, image, voice, call records, location information of the wearable device, and information about a running application.
  • the method of using a wearable device may include acquiring first data representing the temperature of the head of a user in contact with the wearable device through a temperature sensor of the wearable device.
  • the operation may include recognizing the user's condition as an emergency based on the first data indicating the temperature within a first reference range.
  • the operation is based on recognizing the user's state as the emergency state, at a second time point that is before a predefined time from the first time point when the user's state is recognized as the emergency state through the camera of the wearable device.
  • a pupil recognition sensor of the wearable device and an EEG sensor of the wearable device activated in response to the recognition of the emergency condition and the first content obtained from the first time point to a third time point after the predefined time.
  • information about the user's state of consciousness obtained from the first time point to the third time point is stored in the memory of the wearable device, and a first request to obtain second data about the user's heart rate is sent to the wrist and the An operation of transmitting to a second wearable device in contact, and transmitting a second request to the first external electronic device to transmit information indicating the emergency state of the user and information about the state of consciousness of the user to the second external electronic device.
  • the operation may include recognizing the user's state as a risk monitoring state based on the first data indicating the temperature within a second reference range different from the first reference range.
  • the operation is based on recognizing the user's state as the risk monitoring state, from a fourth time point when the user's state is recognized as the risk monitoring state through the camera, and at the fourth time point, the predefined Store second content acquired up to a fifth point in time after time in the memory, provide information indicating warning of a possible danger, transmit the first request to the second wearable device, and send the first request to the second wearable device.
  • Receive the second data from the second wearable device in response to and identify whether the user's state changes from the risk monitoring state to the emergency state using the first data and the second data. It may include actions such as:
  • the method may include acquiring the first data based on a first time interval from the second time point to the first time point.
  • the operation in response to recognizing the user's condition as the emergency condition, obtains the first data based on a second time interval from the first time point to the third time point that is shorter than the first time interval. It may include actions such as:
  • the method is, in response to recognizing the user's condition as the risk monitoring condition, from the fourth time point to the fifth time point is less than the first time interval and is less than the second time interval. It may include an operation of acquiring the first data based on a long, third time interval.
  • the method maintains a deactivated state of the pupil recognition sensor and the brain wave sensor based on recognizing the user's state as the risk monitoring state, and transmits the first external electronic device to the first external electronic device. 2 May include the action of refraining from sending the request.
  • the method may include storing third content acquired using the camera from the second time point to the first time point in a buffer configured in the memory.
  • the operation is, in response to recognizing the user's state as the emergency state, by combining the fourth content obtained from the first time point to the third time point and the third content stored in the buffer. , may include an operation of acquiring the first content.
  • the method may include storing the fifth content acquired from a sixth time point before the predefined time to the fourth time point in a buffer configured in the memory. there is.
  • the operation may include deleting the fifth content stored in the buffer based on recognizing the user's state as the risk monitoring state.
  • the operation may include acquiring the second content using the camera from the fourth viewpoint to the fifth viewpoint.
  • a wearable device e.g., wearable device 300
  • includes at least one sensor e.g., sensor 320), a camera (e.g., camera 330), and a memory (e.g., memory 340).
  • a processor e.g., processor 310
  • the processor transmits first data about the user's body obtained from a first part of the user's body in contact with the wearable device to the at least one sensor.
  • the second content may be set to be stored in the memory.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, secondary, or first or second may be used simply to distinguish one element from another and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”. Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store), or on two user devices (e.g. : Smartphones) can be distributed (e.g. downloaded or uploaded) directly or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store
  • two user devices e.g. : Smartphones
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Abstract

일 실시 예에 따르면, 웨어러블 장치는, 온도 센서, 동공 인식 센서, 뇌파 센서, 카메라, 메모리, 통신 회로, 및 프로세서를 포함하고, 상기 프로세서는, 상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 획득하고, 제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하고, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 제1 콘텐트 및 사용자의 의식 상태에 대한 정보를 저장하고, 상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하고, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 제2 콘텐트를 저장하도록 설정된다.

Description

사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법
아래의 설명들은, 사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법에 관한 것이다.
웨어러블 장치를 통해 다양한 서비스가 제공되고 있다. 웨어러블 장치는 사용자의 신체의 일부에 착용되어 동작할 수 있다. 웨어러블 장치는 사용자의 신체의 일부에 착용된 상태에서 사용자의 생체 정보를 식별하고, 사용자의 생체 정보에 기반하여 서비스를 제공할 수 있다. 예를 들어, 웨어러블 장치는 복수의 센서들을 이용하여 사용자의 생체 정보를 식별할 수 있다. 웨어러블 장치는 식별된 사용자의 생체 정보에 기반하여, 사용자의 다양한 활동 상태를 식별할 수 있다.
일 실시 예에 따르면, 웨어러블 장치는, 온도 센서, 동공 인식 센서, 뇌파 센서, 카메라, 메모리, 통신 회로, 및 상기 온도 센서, 동공 인식 센서, 뇌파 센서, 상기 카메라, 및 상기 메모리와 작동적으로 결합된 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 상기 온도 센서를 통해 획득하도록 설정될 수 있다. 상기 프로세서는, 제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트 및 상기 응급 상태의 상기 인식에 응답하여 활성화된, 상기 동공 인식 센서 및 상기 뇌파 센서를 이용하여 상기 제1 시점으로부터 상기 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 상기 메모리 내에 저장하고, 상기 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 손목과 접촉된 제2 웨어러블 장치에게 송신하고, 상기 사용자의 상기 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 상기 제1 요청을 상기 제2 웨어러블 장치에게 송신하고, 상기 제1 요청에 대한 응답으로 상기 제2 데이터를 상기 제2 웨어러블 장치로부터 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 이용하여, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 웨어러블 장치의 방법은, 상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 상기 웨어러블 장치의 온도 센서를 통해 획득하는 동작을 포함할 수 있다. 상기 방법은, 제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하는 동작을 포함할 수 있다. 상기 방법은, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 웨어러블 장치의 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트 및 상기 응급 상태의 상기 인식에 응답하여 활성화된, 상기 웨어러블 장치의 동공 인식 센서 및 상기 웨어러블 장치의 뇌파 센서를 이용하여 상기 제1 시점으로부터 상기 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 상기 웨어러블 장치의 메모리 내에 저장하고, 상기 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 손목과 접촉된 제2 웨어러블 장치에게 송신하고, 상기 사용자의 상기 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하는 동작을 포함할 수 있다. 상기 방법은, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 상기 제1 요청을 상기 제2 웨어러블 장치에게 송신하고, 상기 제1 요청에 대한 응답으로 상기 제2 데이터를 상기 제2 웨어러블 장치로부터 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 이용하여, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하는 동작을 포함할 수 있다.
도 1은, 일 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 일 실시 예에 따른, 웨어러블 장치를 도시하는 투시도의 예이다.
도 3은, 일 실시 예에 따른, 웨어러블 장치의 간소화된 블록도(simplified block diagram)이다.
도 4는, 일 실시 예에 따른, 웨어러블 장치의 센서의 구체적인 예를 도시한다.
도 5a는 일 실시 예에 따른, 웨어러블 장치가 동작되는 환경의 예를 도시한다.
도 5b는 일 실시 예에 따른, 웨어러블 장치가 동작되는 환경의 예를 도시한다.
도 6은 일 실시 예에 따른, 웨어러블 장치 내의 데이터 처리 과정의 예를 도시한다.
도 7a는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7b는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7c는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7d는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 8은, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 9a는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 9b는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 10은, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 11은, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 12는, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 1은, 일 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나 와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는, 일 실시 예에 따른, 웨어러블 장치를 도시하는 투시도의 예이다.
도 2를 참조하면, 웨어러블 장치(200)는 도 1의 전자 장치(101)에 포함된 구성들 중 적어도 일부를 포함할 수 있다.
일 실시 예에서, 웨어러블 장치(200)의 프레임(270)은, 사용자의 신체의 일부 상에 착용되는 물리적 구조를 가질 수 있다. 예를 들면, 프레임(270)은, 웨어러블 장치(200)가 착용될 시, 디스플레이(240) 내의 제1 디스플레이(240-1)가 사용자의 우안 앞에 위치되고 디스플레이(240) 내의 제2 디스플레이(240-2)가 사용자의 좌안 앞에 위치되도록, 구성될 수 있다.
일 실시예에서, 제1 디스플레이(240-1) 및 제2 디스플레이(240-2)를 포함하는 디스플레이(240)는, LCD(liquid crystal display), DMD(digital mirror device), LCoS(liquid crystal on silicon), OLED(organic light emitting diode), 또는 마이크로 LED를 포함할 수 있다. 일 실시예에서, 디스플레이(240)가 LCD, DMD, 또는 LCoS로 구성되는 경우, 웨어러블 장치(200)는 디스플레이(240)의 표시 영역을 향해 빛을 방출하는(emit) 광원(도 2b 내에서 미도시)을 포함할 수 있다. 일 실시예에서, 디스플레이(240)가 OLED 또는 마이크로 LED로 구성되는 경우, 웨어러블 장치(200)는, 광원을 포함하지 않을 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 웨어러블 장치(200)는, 제1 투명 부재(280-1) 및 제2 투명 부재(280-2)를 더 포함할 수 있다. 예를 들면, 제1 투명 부재(280-1) 및 제2 투명 부재(280-2) 각각은, 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있다. 예를 들면, 제1 투명 부재(280-1) 및 제2 투명 부재(280-2) 각각은, 투명하거나 반투명할 수 있다.
일 실시예에서, 웨어러블 장치(200)는, 웨이브가이드(waveguide)(272)를 포함할 수 있다. 예를 들면, 웨이브가이드(272)는 디스플레이(240)에 의해 생성된 광원을 웨어러블 장치(200)를 착용한 사용자의 눈으로 전달하기 위해, 이용될 수 있다. 예를 들면, 웨이브가이드(272)는, 글래스, 플라스틱, 또는 폴리머로 형성될 수 있다. 예를 들면, 웨이브가이드(272)는, 다각형 또는 곡면 형상의 격자 구조로 구성되는(configured with) 나노 패턴을 웨이브가이드(272) 내에서 또는 웨이브가이드(272)의 표면에서 포함할 수 있다. 예를 들면, 웨이브가이드(272)의 일 단으로 입사된 광은, 상기 나노 패턴을 통해 사용자에게 제공될 수 있다. 일 실시예에서, 웨이브가이드(272)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들면, 적어도 하나의 회절 요소 또는 반사 요소는, 광을 사용자의 눈으로 유도하기 위해 이용될 수 있다. 일 실시예에서, 상기 적어도 하나의 회절 요소는, 입력 광학 부재 및/또는 출력 광학 부재를 포함할 수 있다. 일 실시예에서, 입력 광학 부재는 광의 입력단으로 이용되는 입력 그레이팅 영역(input grating area)를 의미할 수 있으며, 출력 광학 부재는 광의 출력단으로 이용되는 출력 그레이팅 영역(output grating area)를 의미할 수 있다. 일 실시예에서, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 웨이브가이드를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(200) 내의 카메라(230)는, 제1 카메라(230-1), 제2 카메라(230-2), 및/또는 제3 카메라(230-3)를 포함할 수 있다. 예를 들어, 제1 카메라(230-1), 제2 카메라(230-2), 및/또는 제3 카메라(230-3)는 각각 적어도 하나의 카메라로 구성될 수 있다.
일 실시예에서, 제1 카메라(230-1)는, HR(high resolution) 또는 PV(photo video) 카메라로 참조되고, AF(auto focusing) 기능 또는 OIS(optical image stablilization) 기능을 제공할 수 있다. 일 실시예에서, 제1 카메라(230-1)는 GS 카메라 또는 RS(remote shutter) 카메라로 구성될 수 있다.
일 실시예에서, 제2 카메라(230-2)는, 3DoF(three degrees of freedom) 또는 6DoF(six degrees of freedom)의 움직임 인식 또는 공간 인식을 위해 이용될 수 있다. 예를 들면, 제2 카메라(230-2)는 헤드 트랙킹(head tracking) 또는 손 검출(hand detection)을 위해 이용될 수 있다. 예를 들면, 제2 카메라(230-2)는 GS(global shutter) 카메라로 구성될 수 있다. 예를 들면, 제2 카메라(230-2)는 스테레오 카메라로 구성될 수 있다. 예를 들면, 제2 카메라(230-2)는 제스처 인식을 위해 이용될 수 있다. 예를 들면, 제2 카메라(230-2)는 사용자의 신체의 일부(예를 들어, 입)에 대한 정보를 식별할 수 있다. 일 예로, 제2 카메라(230-2)는 사용자의 신체의 일부의 움직임에 대한 정보를 식별할 수 있다.
일 실시예에서, 제3 카메라(230-3)는, 눈동자(pupil)를 검출하고 추적하기 위해 이용될 수 있다. 예를 들면, 제3 카메라(230-3)는 GS 카메라로 구성될 수 있다. 예를 들면, 제3 카메라(230-3)는 사용자의 시선에 의해 정의되는 사용자 입력을 식별하기 위해 이용될 수 있다.
일 실시예에서, 웨어러블 장치(200)는, LED 부(274)를 더 포함할 수 있다. 예를 들면, LED 부(274)는 제3 카메라(230-3)를 통해 눈동자를 추적하는 것을 보조하기 위해, 이용될 수 있다. 예를 들면, LED 부(274)는, IR LED로 구성될 수 있다. 예를 들면, LED 부(274)는, 웨어러블 장치(200) 주변의 조도가 낮을 시, 밝기를 보상하기 위해 이용될 수 있다.
일 실시예에서, 웨어러블 장치(200)는, 제1 PCB(276-1) 및 제2 PCB(276-2)를 더 포함할 수 있다. 예를 들면, 제1 PCB(276-1) 및 제2 PCB(276-2) 각각은, 카메라(230) 또는 디스플레이(240)와 같은 웨어러블 장치(200)의 구성 요소에게 전기 신호를 전달하기 위해 이용될 수 있다. 일 실시예에서, 웨어러블 장치(200)는, 제1 PCB(276-1) 및 제2 PCB(276-2) 사이에 배치되는 인터포저(interposer)를 더 포함할 수 있다. 하지만, 이에 제한되지 않는다.
일 실시 예에 따르면, 웨어러블 장치(예를 들어, 도 2의 웨어러블 장치(200))는 다양한 형태(예: 시계, 안경, 밴드)로 사용자에게 착용됨으로써, 사용자의 생체 신호를 모니터링할 수 있다. 웨어러블 장치는 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 웨어러블 장치는 사용자의 생체 신호에 대한 데이터에 기반하여 사용자의 다양한 상태들을 식별할 수 있다. 웨어러블 장치는 사용자의 다양한 상태에 따라 지정된 동작을 수행하거나, 외부 전자 장치의 동작을 제어할 수 있다. 이하 명세서에서는, 사용자의 다양한 상태를 식별하고, 이에 따른 동작을 수행하기 위한 웨어러블 장치의 동작의 예가 설명될 것이다.
도 3은, 일 실시 예에 따른, 웨어러블 장치의 간소화된 블록도(simplified block diagram)이다.
도 3을 참조하면, 웨어러블 장치(300)는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(200)에 상응할 수 있다. 웨어러블 장치(300)는 프로세서(310), 센서(320), 카메라(330), 메모리(340), 및/또는 통신 회로(350)를 포함할 수 있다. 실시 예에 따라, 웨어러블 장치(300)는 프로세서(310), 센서(320), 카메라(330), 메모리(340), 및 통신 회로(350) 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(310), 센서(320), 카메라(330), 메모리(340), 및 통신 회로(350) 중 적어도 일부는 실시 예에 따라 생략될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 도 1의 프로세서(120)에 상응할 수 있다. 프로세서(310)는 센서(320), 카메라(330), 메모리(340), 및 통신 회로(350)와 작동적으로(operatively 또는 operably) 결합하거나(coupled with), 연결될(connect with) 수 있다. 프로세서(310)가 센서(320), 카메라(330), 메모리(340), 및 통신 회로(350)와 작동적으로 결합하거나, 연결된다는 것은, 프로세서(410)가 센서(320), 카메라(330), 메모리(340), 및 통신 회로(350)를 제어할 수 있음을 의미할 수 있다. 예를 들어, 센서(320), 카메라(330), 메모리(340), 및 통신 회로(350)는 프로세서(310)에 의해 제어될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 적어도 하나의 프로세서로 구성될 수 있다. 프로세서(310)는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(310)는 고성능의 처리를 수행하는 메인 프로세서 및 저전력의 처리를 수행하는 보조 프로세서로 구성될 수 있다. 센서(320) 중 적어도 일부는 보조 프로세서에 연결될 수 있다. 보조 프로세서에 연결된 센서 중 적어도 일부는 24 시간 동안 사용자에 대한 데이터를 획득할 수 있다. 일 실시 예에 따르면, 웨어러블 장치(300)의 상태 및/또는 동작에 따라, 메인 프로세서 및 보조 프로세서 중 하나가 활성화될 수 있다. 예를 들어, 웨어러블 장치(300)의 배터리가 부족한 상태에서, 보조 프로세서가 활성화될 수 있다. 예를 들어, 사용자에 관한 정확한 데이터가 요구되는 상태에서, 메인 프로세서가 활성화될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 하나 이상의 인스트럭션에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(arithmetic and logic unit), FPGA(field programmable gate array) 및/또는 CPU(central processing unit)를 포함할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 센서(320)를 포함할 수 있다. 센서(320)는 사용자에 관한 다양한 정보를 획득하기 위해 사용될 수 있다. 센서(320)는 사용자의 신체에 관한 데이터를 획득하기 위해 사용될 수 있다. 예를 들어, 센서(320)는 사용자의 체온에 관한 데이터, 사용자의 모션에 관한 데이터, 동공의 움직임에 관한 데이터, 및/또는 뇌파에 관한 데이터를 획득하기 위해 사용될 수 있다. 예를 들어, 센서(320)는 적어도 하나의 센서로 구성될 수 있다. 센서(320)는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 센서(320)는 도 1의 센서 모듈(176)에 상응할 수 있다.
예를 들어, 센서(320)는 온도 센서(또는 체온 센서), 동공 인식 센서, 뇌파 센서, 및 관성 센서 중 적어도 하나를 포함할 수 있다. 온도 센서, 동공 인식 센서, 뇌파 센서, 및 관성 센서를 포함하는 센서(320)의 구체적인 예가 도 4에서 후술될 것이다.
일 실시 예에 따르면, 웨어러블 장치(300)는 카메라(330)를 포함할 수 있다. 예를 들어, 카메라(330)는 적어도 하나의 카메라를 포함할 수 있다. 적어도 하나의 카메라 중 제1 카메라는 외부 환경에 대한 콘텐트(예: 영상 또는 이미지)를 획득하기 위해 사용될 수 있다. 제1 카메라는 도 2에 도시된 제1 카메라(230-1)에 상응할 수 있다. 적어도 하나의 카메라 중 제2 카메라는 사용자의 신체의 일부(예를 들어, 안면 또는 손)에 대한 이미지를 획득하기 위해 사용될 수 있다. 적어도 하나의 카메라 중 제2 카메라는 도 2에 도시된 제2 카메라(230-2)에 상응할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 메모리(340)를 포함할 수 있다. 메모리(340)는 정보 또는 데이터를 저장하기 위해 사용될 수 있다. 예를 들어, 메모리(340)는 사용자로부터 획득된 데이터를 저장하기 위해 사용될 수 있다. 예를 들어, 메모리(340)는 도 1의 메모리(130)에 상응할 수 있다. 예를 들어, 메모리(340)는 휘발성 메모리 유닛 또는 유닛들일 수 있다. 예를 들어, 메모리(340)는 비휘발성 메모리 유닛 또는 유닛들일 수 있다. 예를 들어, 메모리(340)는 자기 또는 광학 디스크와 같이, 다른 형태의 컴퓨터 판독가능 매체일 수 있다. 예를 들어, 메모리(340)는 프로세서(410)에서 수행되는 동작(예를 들어, 알고리즘 수행 동작)에 기반하여 획득된 데이터를 저장할 수 있다. 예를 들어, 메모리(340)는 센서(430)에서 획득된 데이터를 저장할 수 있다. 일 실시 예에 따르면, 메모리(340)는 버퍼를 포함할 수 있다. 프로세서(310)는 지정된 시간동안 획득된 데이터를 임시적으로 메모리(340) 내에 구성된 버퍼에 저장할 수 있다. 프로세서(310)는 버퍼에 저장된 데이터가 필요한 경우, 저장된 데이터를 사용하거나, 필요하지 않은 경우 버퍼에 저장된 데이터를 삭제할 수 있다. 예를 들어, 버퍼에 저장된 데이터는 일정한 시간이 경과한 후, 삭제되도록 설정될 수 있다.
웨어러블 장치(300)는 통신 회로(350)를 포함할 수 있다. 통신 회로(350)는 도 1의 통신 모듈(190)의 적어도 일부에 상응할 수 있다. 예를 들어, 통신 회로(350)는 다양한 RAT(radio access technology)을 위해 사용될 수 있다. 예를 들어, 통신 회로(350)는 블루투스(bluetooth) 통신 또는 무선 랜(wireless local area network, WLAN) 통신을 수행하기 위해 사용될 수 있다. 예를 들어, 통신 회로(350)는 셀룰러 통신을 수행하기 위해 사용될 수 있다. 예를 들어, 프로세서(310)는 통신 회로(350)를 통해 외부 전자 장치와 연결을 수립할 수 있다.
도 4는, 일 실시 예에 따른, 웨어러블 장치의 센서의 구체적인 예를 도시한다.
도 4를 참조하면, 센서(320)는 온도 센서(401), 동공 인식 센서(402), 뇌파 센서(403), 및/또는 관성 센서(404)를 포함할 수 있다.
예를 들어, 온도 센서(401)는 사용자의 체온을 식별하기 위해 사용될 수 있다. 온도 센서(401)는 비접촉식 IR(infrared radiation) 온도 센서 또는 접촉식 온도 센서를 포함할 수 있다. 프로세서(310)는 접촉식 온도 센서가 사용자의 신체의 일부(예를 들어, 관자 놀이(temple))에 접촉한 상태에서, 사물 또는 피부 온도를 측정할 수 있다. 접촉식 온도 센서는 써모 커플(thermocouple), 저항 온도 감지기(resistance temperature detector), 및 써미스터(thermistor)를 포함할 수 있다. 프로세서(310)는 사용자의 신체의 일부와 이격되어 배치된 비접촉식 IR 온도 센서를 통해, 적외선 광에 기반하여 온도를 측정할 수 있다.
예를 들어, 동공 인식 센서(402)는 사용자의 동공에 대한 데이터를 획득하기 위해 사용될 수 있다. 동공 인식 센서(402)는 사용자의 시선 또는 동공 크기를 식별하기 위해 이용되는 카메라 및/또는 홍채 인식을 위한 센서를 포함할 수 있다. 예를 들어, 동공 인식 센서(402)는 도 2의 제3 카메라(230-3)에 상응할 수 있다.
예를 들어, 뇌파 센서(403)(또는 EEG(electroencephalogram) 센서)는 사용자의 뇌파(electroencephalogram)를 전기적으로 검출하기 위해 사용될 수 있다. 뇌파 센서(403)는 적어도 하나의 전극을 포함할 수 있다. 예를 들어, 뇌파 센서(403)의 적어도 하나의 전극은 사용자의 머리(또는 관자놀이)에 접촉될 수 있다. 프로세서(310)는 뇌파 센서(403)를 이용하여, 사용자의 뇌의 활동 상태에 따라 일어나는 전위 변화를 식별할 수 있다.
예를 들어, 관성 센서(404)는 가속도 센서 및/또는 자이로 센서를 포함할 수 있다. 예를 들어, 관성 센서(404)는 x축, y축, 및 z축의 3 방향으로 웨어러블 장치(300)의 가속도를 식별(또는 측정(measure), 감지(detect))함으로써, 웨어러블 장치(300)(또는 사용자)의 모션을 식별할 수 있다. 예를 들어, 관성 센서(404)는 x축, y축, 및 z축의 3 방향으로 웨어러블 장치(300)의 각속도를 식별(또는 측정, 감지)함으로써, 웨어러블 장치(300)(또는 사용자)의 모션을 식별할 수 있다.
도 4에 도시된 센서들(예: 온도 센서(401), 동공 인식 센서(402), 뇌파 센서(403), 관성 센서(404))은 예시적인 것이며, 센서(320)는 사용자의 생체 데이터를 획득하기 위한 센서들을 더 포함할 수 있다. 센서(320)는 혈압, 심전도, HRV(heart rate variability), HRM(heart rate monitor), PPG(photoplethysmography), 수면 구간, 피부 온도, 심박, 혈류량, 혈당, 산소포화도, 맥파, 및 ECG(electrocardiogram) 중 적어도 하나를 식별(또는 검출)하기 위해 사용될 수 있다. 예를 들어, 프로세서(310)는 센서(320)를 통해, PPG 또는 ECG에 기반하여, 생체 신호의 파형을 획득할 수 있다. 예를 들어, 생체 신호는 광맥파, 맥파, 또는 심전도를 포함할 수 있다. 프로세서(310)는 생체 신호의 파형에 기반하여, 혈압, HRV, HRM, 피부 온도, 혈류량, 혈당, 산소 포화도 중 적어도 하나를 식별할 수 있다.
도 5a는 일 실시 예에 따른, 웨어러블 장치가 동작되는 환경의 예를 도시한다.
도 5b는 일 실시 예에 따른, 웨어러블 장치가 동작되는 환경의 예를 도시한다.
도 5a를 참조하면, 웨어러블 장치(300)는 외부 전자 장치(예: 제2 웨어러블 장치)와 연결(또는 연동)되지 않은 상태에서, 독립적으로 동작할 수 있다. 예를 들어, 웨어러블 장치(300)의 프로세서(310)는 관성 신호 검출 모듈(361)(예: 관성 센서(404))를 이용하여, 웨어러블 장치(300)(또는 사용자)의 모션에 대한 데이터를 획득할 수 있다. 웨어러블 장치(300)의 프로세서(310)는 생체 신호 검출 모듈(364)(예: 온도 센서(401), 동공 인식 센서(402), 뇌파 센서(403))를 이용하여, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 프로세서(310)는 웨어러블 장치(300)의 모션에 대한 데이터 및 사용자의 생체 신호에 대한 데이터를 메모리(340)에 저장할 수 있다. 프로세서(310)는 웨어러블 장치(300)의 모션에 대한 데이터 및 사용자의 모션에 대한 데이터에 기반하여, 미리 정의된 동작을 수행할 수 있다. 일 예로, 프로세서(310)는 웨어러블 장치(300)의 모션에 대한 데이터 및 사용자의 모션에 대한 데이터에 기반하여, 네트워크를 통해 외부 전자 장치와 통신을 수행할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 관성 신호 검출 모듈(361), 음성 신호 입출력(I/O) 모듈(362), 영상 신호 입출력 모듈(363), 및/또는 생체 신호 검출 모듈(364)을 포함할 수 있다. 예를 들어, 관성 신호 검출 모듈(361)은 관성 센서(404)를 포함할 수 있다. 음성 신호 입출력 모듈(362)은 마이크 및/또는 스피커를 포함할 수 있다. 영상 신호 입출력 모듈(363)은 카메라 및/또는 디스플레이를 포함할 수 있다. 생체 신호 검출 모듈(364)은 온도 센서(401), 동공 인식 센서(402), 뇌파 센서(403), PPG(photoplethysmography) 센서, 및/또는 안구 전도(electro-ocular graph, EOG) 센서를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 관성 신호 처리 모듈(311), 음성 신호 처리 모듈(312), 영상 신호 처리 모듈(313), 및/또는 생체 신호 처리 모듈(314)을 포함할 수 있다. 프로세서(310)는 관성 신호 처리 모듈(311)을 이용하여, 관성 신호 검출 모듈(361)로부터 획득된 데이터를 처리할 수 있다. 프로세서(310)는 음성 신호 처리 모듈(312)을 이용하여, 음성 신호 입출력 모듈(362)로부터 획득된 데이터를 처리할 수 있다. 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 영상 신호 입출력 모듈(363)로부터 획득된 데이터를 처리할 수 있다. 프로세서(310)는 생체 신호 처리 모듈(314)을 이용하여, 생체 신호 검출 모듈(364)로부터 획득된 데이터를 처리할 수 있다.
예를 들어, 프로세서(310)는, 사용자의 상태들 중, 정상 상태(normal state)와 응급 상태(예: 사용자에게 낙상이 발생한 상태)를, 관성 센서(404)를 통해 획득된 가속도에 관한 데이터에 기반하여, 구분할 수 있다. 프로세서(310)는 관성 센서(404)를 통해 획득된 각속도에 관한 데이터에 기반하여, 사용자의 보행이 지속되는 상태와 낙상 후 움직임이 정지된 상태를 구분할 수 있다.
예를 들어, 프로세서(310)는 생체 신호 검출 모듈(364)로부터 EOG에 관한 데이터, EEG에 관한 데이터, 및/또는 PPG에 관한 데이터를 획득할 수 있다. 프로세서(310)는, EOG 센서를 이용하여, EOG 센서와 관련된 전극이 사용자의 안구의 주변의 피부에 접촉된 상태에서 EOG에 관한 데이터를 획득할 수 있다. 프로세서(310)는 뇌파 센서(403)를 이용하여, 뇌파 센서(403)와 관련된 전극이 사용자의 이마 또는 관자놀이 부위의 피부에 접촉된 상태에서, EEG에 관한 데이터를 획득할 수 있다. 프로세서(310)는 PPG 센서를 이용하여, PPG에 관한 데이터를 획득할 수 있다. 예를 들어, PPG 센서는 사용자의 귀(또는 귓볼)에서의 PPG에 관한 데이터를 획득하기 위해, 미리 정의된 파장의 빛을 방출(emit)하기 위한 발광부 및 반사된 빛을 검출(detect)하기 위한 수광부를 포함하는 이어팁 유닛(ear tip unit)을 포함할 수 있다.
도 5b를 참조하면, 웨어러블 장치(300)(예: 제 1 웨어러블 전자 장치)는 외부 전자 장치(520), 및 제2 웨어러블 장치(510)와 연결될 수 있다. 웨어러블 장치(300)는 도 5a에서 도시된 웨어러블 장치(300)와 달리, 외부 전자 장치(예: 외부 전자 장치(520), 제2 웨어러블 장치(510))와 연결(또는 연동)된 상태에서 동작할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 음성 신호 입출력(I/O) 모듈(362) 및/또는 영상 신호 입출력 모듈(363)을 포함할 수 있다. 음성 신호 입출력 모듈(362)은 마이크 및/또는 스피커를 포함할 수 있다. 영상 신호 입출력 모듈(363)은 카메라 및/또는 디스플레이를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 음성 신호 처리 모듈(312) 및/또는 영상 신호 처리 모듈(313)을 포함할 수 있다. 프로세서(310)는 음성 신호 처리 모듈(312)을 이용하여, 음성 신호 입출력 모듈(362)로부터 획득된 데이터를 처리할 수 있다. 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 영상 신호 입출력 모듈(363)로부터 획득된 데이터를 처리할 수 있다.
일 실시 예에 따르면, 제2 웨어러블 장치(510)는 사용자의 신체의 일부(예: 손 또는 손목)에 착용된 상태로 동작할 수 있다. 제2 웨어러블 장치(510)는 심박수에 대한 데이터, 혈압에 대한 데이터 및/또는 심전도에 대한 데이터를 획득할 수 있다. 제2 웨어러블 장치(510)는 관성 센서를 포함할 수 있다. 제2 웨어러블 장치(510)는 제2 웨어러블 장치(510)에 포함된 관성 센서를 이용하여, 제2 웨어러블 장치(510)의 모션에 대한 데이터를 획득할 수 있다. 제2 웨어러블 장치(510)는 심박수에 대한 데이터, 혈압에 대한 데이터, 심전도에 대한 데이터, 제2 웨어러블 장치(510)의 모션에 대한 데이터 중 적어도 하나를 웨어러블 장치(300)에게 송신할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(520)는 제2 외부 전자 장치(예: 서버)와 연결될 수 있다. 예를 들어, 외부 전자 장치(520)는 셀룰러 통신을 이용하여, 제2 외부 전자 장치와 연결될 수 있다. 외부 전자 장치(520)는 웨어러블 장치(300)로부터 사용자의 응급 상태를 나타내는 정보 및/또는 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 요청을 수신할 수 있다. 외부 전자 장치(520)는 수신된 요청에 기반하여, 사용자의 응급 상태를 나타내는 정보 및/또는 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)의 프로세서(310)는 웨어러블 장치(300)에 포함되지 않은 다양한 데이터를 제2 웨어러블 장치(510) 및/또는 외부 전자 장치(520)으로부터 수신할 수 있다. 예를 들어, 웨어러블 장치(300)에 관성 센서(404)가 포함되지 않은 경우, 관성 센서를 포함하는 제2 웨어러블 장치(510)으로부터 제2 웨어러블 장치(510)(또는 사용자)의 모션에 대한 데이터를 수신할 수 있다. 프로세서(310)는 제2 웨어러블 장치(510) 및/또는 외부 전자 장치(520)로부터 수신된 데이터를 저장하고, 수신된 데이터에 기반하여, 사용자의 상태를 식별(또는 인식)할 수 있다.
도 5a 및 도 5b를 참조하면, 프로세서(310)는 웨어러블 장치(300)(또는 사용자)의 가속도에 대한 데이터에 기반하여, 가속도에 대한 트렌드(또는 그래프)를 식별할 수 있다. 프로세서(310)는 미리 정의된 진폭 이상이고, 불규칙한 패턴으로 구성된 가속도에 대한 트렌드를 식별할 수 있다. 프로세서(310)는 미리 정의된 진폭 이상이고, 불규칙한 패턴으로 구성된 가속도에 대한 트렌드에 기반하여, 사용자의 상태가 응급 상태(또는 사용자에게 낙상이 발생된 상태)임을 식별할 수 있다. 또한, 프로세서(310)는 웨어러블 장치(300)(또는 사용자)의 가속도에 대한 데이터 뿐만 아니라, 음성 신호에 대한 데이터 및/또는 영상 신호에 대한 데이터에 기반하여, 사용자의 상태가 응급 상태임을 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 복수의 파라미터들에 의해 지시되는 미리 정의된 모델의 입력 값으로, 가속도에 대한 데이터, 음성 신호에 대한 데이터 및 영상 신호에 대한 데이터 중 적어도 하나를 설정함으로써, 사용자의 상태를 식별할 수 있다. 예를 들어, 미리 정의된 모델은, 뉴럴 네트워크와 관련된 복수의 파라미터들에 의해 지시될 수 있다. 미리 정의된 모델은 뉴럴 네트워크와 관련된 파라미터들의 집합을 포함할 수 있다. 뉴럴 네트워크는, 많은 수의 인공 뉴런(또는, 노드)들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 인식 모델이다. 뉴럴 네트워크는 인공 뉴런들을 통해 인간의 인지 작용이나 학습 과정을 수행할 수 있다. 예를 들어, 뉴럴 네트워크와 관련된 파라미터들은, 뉴럴 네트워크에 포함된 복수의 노드들 및/또는 상기 복수의 노드들 사이의 연결에 할당되는(assigned) 가중치를 나타낼 수 있다.
도 6은 일 실시 예에 따른, 웨어러블 장치 내의 데이터 처리 과정의 예를 도시한다.
도 6을 참조하면, 프로세서(310)는, 웨어러블 장치(300) 및 외부 전자 장치(610)의 다양한 컴포넌트들을 통해 획득된 데이터를 처리할 수 있다. 도 6에 도시된 웨어러블 장치(300) 및 외부 전자 장치(610)의 구성은 예시적인 것이며, 실시 예에 따라, 웨어러블 장치(300) 및 외부 전자 장치(610)가 다르게 구성될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 웨어러블 장치(300)에 포함된 카메라(330)를 통해 획득된 영상 신호에 대한 데이터 및/또는 외부 전자 장치(610)(예: 도 5b의 제2 웨어러블 장치(510), 외부 전자 장치(520))에 포함된 카메라(미도시)를 통해 획득된 영상 신호에 대한 데이터를 처리할 수 있다. 예를 들어, 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 사용자의 행동을 식별할 수 있다. 일 예로, 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 사용자가 걷고 있음을 식별할 수 있다. 일 예로, 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 사용자가 쉬고 있음을 식별할 수 있다. 일 예로, 프로세서(310)는 영상 신호 처리 모듈(313)을 이용하여, 사용자가 넘어졌음을 식별할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 식별된 사용자의 행동에 관한 정보, 카메라(330)를 통해 획득된 영상 신호에 대한 데이터, 및/또는 카메라(미도시)를 통해 획득된 영상 신호에 대한 데이터를 버퍼(620)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 음성 신호 처리 모듈(312)을 이용하여, 웨어러블 장치(300)에 포함된 마이크(601)를 통해 획득된 음성 신호에 대한 데이터 및/또는 외부 전자 장치(610)에 포함된 마이크(611)를 통해 획득된 음성 신호에 대한 데이터를 처리할 수 있다. 프로세서(310)는 음성 신호 처리 모듈(312)을 이용하여, 사용자의 음성 상태를 식별할 수 있다. 예를 들어, 프로세서(310)는 음성 신호 처리 모듈(312)을 이용하여, 사용자의 음성이 정상적인 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 음성 신호 처리 모듈(312)을 이용하여, 사용자의 음성이 비정상적인 상태임을 식별할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 사용자의 음성 상태에 대한 정보, 마이크(601)를 통해 획득된 음성 신호에 대한 데이터 및 마이크(611)를 통해 획득된 음성 신호에 대한 데이터를 버퍼(620)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 관성 신호 처리 모듈(311)을 이용하여, 웨어러블 장치(300)에 포함된 관성 센서(404)를 통해 획득된 웨어러블 장치(300)(또는 사용자)의 모션(또는 관성 신호)에 대한 데이터 및/또는 외부 전자 장치(610)에 포함된 관성 센서(612)를 통해 획득된 외부 전자 장치(610)(또는 사용자)의 모션에 대한 데이터를 처리할 수 있다. 예를 들어, 프로세서(310)는 관성 신호 처리 모듈(311)을 이용하여, 사용자의 행동을 식별할 수 있다. 일 예로, 프로세서(310)는 관성 신호 처리 모듈(311)을 이용하여, 사용자가 걷고 있음을 식별할 수 있다. 일 예로, 프로세서(310)는 관성 신호 처리 모듈(311)을 이용하여, 사용자가 쉬고 있음을 식별할 수 있다. 일 예로, 프로세서(310)는 관성 신호 처리 모듈(311)을 이용하여, 사용자가 넘어졌음을 식별할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 식별된 사용자의 행동에 관한 정보, 관성 센서(404)를 통해 획득된 웨어러블 장치(300)(또는 사용자)의 모션에 대한 데이터 및 관성 센서(612)를 통해 획득된 외부 전자 장치(610)(또는 사용자)의 모션에 대한 데이터를 버퍼(620)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 웨어러블 장치(300)에 포함된 GPS 회로(602)를 통해 획득된 웨어러블 장치(300)의 위치에 대한 데이터 및/또는 외부 전자 장치(610)에 포함된 GPS 회로(613)를 통해 획득된 외부 전자 장치의 위치에 대한 데이터를 버퍼(620)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 웨어러블 장치(300)에 포함된 뇌파 센서(403)를 통해 획득된 사용자의 뇌파에 대한 데이터를 버퍼(620)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 외부 전자 장치(610)에 포함된 PPG 센서(614)를 통해 획득된 사용자의 심박에 대한 데이터를 버퍼(620)에 저장할 수 있다.
일 실시 예에 따르면, 영상 신호 처리 모듈(313), 음성 신호 처리 모듈(312), 관성 신호 처리 모듈(311), 및 버퍼(620)는 웨어러블 장치(300)의 프로세서(310) 내에 포함될 수 있다. 일 실시 예에 따르면, 영상 신호 처리 모듈(313), 음성 신호 처리 모듈(312), 관성 신호 처리 모듈(311), 및 버퍼(620) 중 적어도 일부는 제2 외부 전자 장치(예: 서버)에 포함될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 버퍼(620)에 저장된 데이터를 미리 지정된 시간이 경과한 뒤 삭제할 수 있다. 프로세서(310)는 미리 지정된 시간 내에 사용되지 않은 데이터를 삭제할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 버퍼(620)에 저장된 데이터를 이용하여, 상시 모니터링(continuous monitoring) 동작을 수행할 수 있다. 예를 들어, 프로세서(310)는 버퍼(620)에 저장된 영상 신호에 대한 데이터, 버퍼(620)에 저장된 음성 신호에 대한 데이터, 버퍼(620)에 저장된 모션(또는 관성 신호)에 대한 데이터를 이용하여, 상시 모니터링 동작을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 버퍼(620)에 저장된 데이터를 이용하여, 주기적 모니터링(periodic monitoring) 동작을 수행할 수 있다. 예를 들어, 프로세서(310)는 사용자의 생체 데이터(예: 뇌파에 대한 데이터, 심박에 대한 데이터)를 이용하여, 주기적 모니터링(periodic monitoring) 동작을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 버퍼(620)에 저장된 데이터를 이용하여, 수동 모니터링(manual monitoring) 동작을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 모니터링 동작(예: 상시 모니터링 동작, 주기적 모니터링 동작, 수동 모니터링 동작)을 수행함으로써, 사용자의 상태를 정상 상태, 위험 모니터링 상태, 및 응급 상태 중 하나로 식별할 수 있다. 예를 들어, 정상 상태는, 사용자가 일상 생활을 수행하는 동안, 특별한 문제(또는 이벤트)가 발생되지 않은 상태를 의미할 수 있다. 위험 모니터링 상태는, 사용자에게 긴급함이 요구되는 응급 상태는 아니나, 위험이 예상되는 증상 또는 이벤트가 식별되는 상황을 의미할 수 있다. 응급 상태는, 사용자의 의지와 무관하게 낙상, 심 정지 등의 돌발적인 위험(accidental risk)이 식별된 상태를 의미할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 관성 센서(404)를 통해 획득된 모션(또는 관성 신호)에 대한 데이터를 이용하여, 복수의 파라미터들에 의해 지시되는 미리 정의된 모델을 학습시킬 수 있다. 예를 들어, 미리 정의된 모델은, 뉴럴 네트워크와 관련된 복수의 파라미터들에 의해 지시될 수 있다. 미리 정의된 모델은 뉴럴 네트워크와 관련된 파라미터들의 집합을 포함할 수 있다. 예를 들어, 뉴럴 네트워크와 관련된 파라미터들은, 뉴럴 네트워크에 포함된 복수의 노드들 및/또는 상기 복수의 노드들 사이의 연결에 할당되는(assigned) 가중치를 나타낼 수 있다.
상기 학습(또는 기계 학습)에 따라 프로세서(310)에 의해 식별되는 사용자의 상태의 신뢰도가 향상될 수 있다. 일 실시 예에 따르면, 프로세서(310)는 관성 센서(404)(예: 가속도 센서, 자이로 센서)를 이용하여, 사용자의 급격한 행동 변화에 대한 이벤트를 식별할 수 있다. 예를 들어, 프로세서(310)는 관성 센서(404)를 이용하여, 사용자가 앉은 상태에서 일어서는 이벤트, 일어선 상태에서 걷기 시작하는 이벤트 및 걷는 상태에서 뛰기 시작하는 이벤트를 식별할 수 있다. 실시 예에 따라, 프로세서(310)는 사용자의 급격한 행동 변화에 대한 이벤트를 식별하기 위해, 기본적으로 가속도 센서를 이용하고, 상보적으로, 자이로 센서를 이용할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 웨어러블 장치(300)의 다양한 컴포넌트들(예: 센서(320), 카메라(330))를 이용하여 획득된 데이터에 기반하여, 사용자의 상태를 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태와 관련된 이벤트가 발생함을 식별할 수 있다. 프로세서(310)는 발생된 이벤트에 대해, 생체 신호 및/또는 식별(검출) 가능한 데이터들을 모니터링할 수 있다. 프로세서(310)는 발생된 이벤트에 대한 시각 신호를 모니터링하고, 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 정상 상태임을 식별할 수 있다. 사용자의 상태가 정상 상태인 동안, 프로세서(310)는 관성 센서(404) 중 가속도 센서를 이용하여, 사용자의 상태와 관련된 이벤트의 발생 시점을 식별할 수 있다. 또한, 프로세서(310)는 정적 동작의 미세 변화를 감지하기 위해 자이로 센서를 이용하여, 사용자의 행동 상태 및 상기 이벤트를 모니터링할 수 있다. 예를 들어, 프로세서(310)는 이벤트의 발생 시점에서, 사용자의 생체 신호(예: 체온, 심박수, 혈압) 및 시각 신호를 식별하고 저장(또는 기록(recording))할 수 있다. 프로세서(310)는 사용자의 생체 신호가 제1 기준 범위 또는 제2 기준 범위 내인지 여부를 식별함으로써, 사용자의 상태가 위험 모니터링 상태 및 응급 상태 중 하나로 변경됨을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 체온이 정상 범위(예: 35.5 도 이상 및 37.5 도 이하) 이내인 것에 기반하여, 사용자의 상태가 정상 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 심박수가 정상 범위(예: 50 이상 및 120 이하) 내인 것에 기반하여, 사용자의 상태가 정상 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 혈압이 정상 범위(예: 80 [mmHg] 이상 및 120 [mmHg]이하) 이내 인 것에 기반하여, 사용자의 상태가 정상 상태임을 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 위험 모니터링 상태임을 식별할 수 있다. 프로세서(310)는 사용자의 생체 신호가 제2 기준 범위 내인지 여부를 식별하는 것에 기반하여, 사용자의 상태가 위험 모니터링 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 체온이 정상 범위를 이탈함을 식별하는 것에 기반하여, 사용자의 상태가 위험 모니터링 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 심박수가 정상 범위를 이탈함을 식별하는 것에 기반하여, 사용자의 상태가 위험 모니터링 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 혈압이 정상 범위를 이탈함을 식별하는 것에 기반하여, 사용자의 상태가 위험 모니터링 상태임을 식별할 수 있다. 프로세서(310)는 사용자의 생체 신호가 제2 기준 범위 이내 인 것을 식별한 제1 시점으로부터 미리 정의된 시간 이전의 제2 시점으로부터, 상기 시점으로부터 미리 정의된 시간 이후의 제3 시점까지의, 사용자의 생체 신호(예: 체온, 심박수, 혈압) 및 시각 신호를 식별하고 저장(또는 기록(recording))할 수 있다.
실시 예에 따라, 프로세서(310)는 시각 신호에 기반하여, 외부 객체가 사용자에게 접근하는 중임을 식별할 수 있다. 프로세서(310)는 외부 객체의 크기 및 속도에 대한 정보를 식별할 수 있다. 프로세서(310)는 외부 객체가 사용자에게 빠른 속도로 다가옴을 식별할 수 있다. 프로세서(310)는 사용자에게 발생가능한 위험을 식별할 수 있다. 실시 예에 따라, 프로세서(310)는 음성 신호에 기반하여, 기준 소음 크기보다 큰 소음이 발생함을 식별할 수 있다. 프로세서(310)는 음성 신호에 기반하여, 사용자에게 발생 가능한 위험을 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 응급 상태임을 식별할 수 있다. 예를 들어, 프로세서(310)는 위험 모니터링 상태에서, 생체 신호가 제2 기준 범위로부터 제1 기준 범위로 변경되거나, 제1 기준 범위로 변경된 횟수 또는 시간이 지정된 조건을 만족하는 것에 기반하여, 사용자의 상태를 응급 상태로 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자에게 낙상 또는 충격이 발생하였음을 식별하는 것에 기반하여, 사용자의 상태를 응급 상태로 식별할 수 있다.
예를 들어, 프로세서(310)는 시각 신호 및/또는 음성 신호에 기반하여, 기준 움직임의 크기 이상의 사용자의 모션(예: 넘어짐) 및/또는 기준 크기 이상의 소음의 발생됨 식별하는 것에 기반하여, 사용자의 상태를 응급 상태로 식별할 수 있다.
예를 들어, 프로세서(310)는 사용자의 상태가 응급 상태임에 기반하여, 응급 상태에 관한 이벤트에 대한 데이터를 식별하고 저장할 수 있다. 프로세서(310)는 사용자가 응급 상태임을 나타내는 정보를 외부 전자 장치에게 송신할 수 있다. 프로세서(310)는 사용자가 응급 상태임을 알리기 위한 알림을 제공할 수 있다.
일 실시 예에 따르면, 상술한 사용자의 상태를 식별하기 위한 제1 기준 범위 및 제2 기준 범위는 사용자의 성별, 연령, BMI(body mass index)에 기반하여 설정될 수 있다. 프로세서(310)는 웨어러블 장치(300)의 사용 후 지정된 시간동안 획득된 데이터의 크기가 기계학습을 수행하기에 적절한 경우, 사용자에 대한 데이터에 기반하여, 기계 학습을 이용하여, 제1 기준 범위 및 제2 기준 범위를 설정(또는 업데이트)할 수 있다.
도 7a는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7b는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7c는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7d는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 7a를 참조하면, 웨어러블 장치(300)는 외부 전자 장치와 연결되지 않은 상태에서 독립적으로 동작할 수 있다. 예를 들어, 웨어러블 장치(300)는 네트워크를 통해 외부 전자 장치(예: 서버)와 연결될 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 온도 센서(401), 카메라(330), 동공 인식 센서(402), 관성 센서(404), 및/또는 PPG 센서를 포함할 수 있다. 예를 들어, 온도 센서(401)와 관련된 적어도 하나의 전극은 웨어러블 장치(300)의 프레임에 배치될 수 있다. 예를 들어, PPG 센서의 이어팁 유닛은 사용자의 귀(또는 귓볼)에 접촉될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 정상 상태인 동안, 관성 센서(404)(예: 가속도 센서, 자이로 센서)를 이용하여, 사용자의 모션(또는 관성 신호)에 대한 데이터를 식별할 수 있다. 프로세서(310)는 사용자의 행동 변화에 대한 이벤트를 식별할 수 있다. 프로세서(310)는 식별된 이벤트의 발생 시점의 사용자의 생체 신호(예: 체온, PPG, 심박수)를 모니터링할 수 있다. 프로세서(310)는 사용자의 생체 신호(예: 체온, PPG, 심박수)가 제1 기준 범위 이내 인 것을 식별하는 것에 기반하여, 사용자의 상태를 응급 상태로 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 생체 신호가 제1 기준 범위로 변경된 횟수 또는 시간이 지정된 조건을 만족하는 것에 기반하여, 사용자의 상태를 응급 상태로 식별할 수 있다. 예를 들어, 프로세서(310)는 관성 센서(404)를 통해 획득된 모션(또는 관성 신호)에 대한 데이터에 기반하여, 사용자에게 낙상이 발생하였음을 식별할 수 있다. 프로세서(310)는 사용자에게 낙상이 발생하였음을 식별하는 것에 기반하여, 사용자의 상태를 응급 상태로 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 응급 상태로 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 응급 상태인 동안, 응급 상태로의 변경을 야기한 이벤트가 발생된 제1 시점을 식별할 수 있다. 프로세서(310)는 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터 제1 시점에서 미리 정의된 시간 이후인 제3 시점까지, 카메라(330)를 이용하여 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 예를 들어, 프로세서(310)는 응급 상황에 대한 경고를 나타내는 정보를 제공할 수 있다. 프로세서(310)는 응급 상황에 대한 경고를 나타내는 정보를 통신 회로(350)를 이용하여, 외부 전자 장치(예: 서버)에 송신할 수 있다. 프로세서(310)는 응급 상황에 대한 경고를 나타내는 정보를 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 생체 신호가 제2 기준 범위 내로 변경됨을 식별하는 것에 기반하여, 사용자의 상태를 위험 모니터링 상태로 식별할 수 있다. 프로세서(310)는 사용자의 상태가 위험 예상 상태인 동안, 위험 예상 상태로의 변경을 야기한 이벤트가 발생된 제4 시점을 식별할 수 있다. 프로세서(310)는 제4 시점에서 미리 정의된 시간 이전인 제5 시점으로부터 제1 시점에서 미리 정의된 시간 이후인 제6 시점까지, 카메라(330)를 이용하여 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 실시 예에 따라, 프로세서(310)는 제4 시점으로부터 제6 시점가지, 카메라(330)를 이용하여 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 위험 예상 상태인 동안, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다. 프로세서(310)는 PPG 센서를 이용하여, 사용자의 심박수 및/또는 심박 변이도를 모니터링함으로써, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다. 프로세서(310)는 동공 인식 센서(402)를 이용하여 동공 반응 검사 및/또는 동공 수축/이완 검사를 수행함으로써, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 식별(또는 인식)하기 위해, 웨어러블 장치(300)에 포함된 컴포넌트들을 이용할 수 있다. 프로세서(310)는 사용자의 상태에 따라, 신호(예: 생체 신호, 관성 신호, 시각 신호)의 검출 주기를 변경할 수 있다. 예를 들어, 프로세서(310)는 위험 예상 상태로의 변경을 야기한 이벤트의 전후에 식별된 사용자에 대한 데이터(예: 생체 신호에 대한 데이터, 모션(또는 관성 신호)에 대한 데이터, 시각 신호에 대한 데이터)를 식별하고 저장할 수 있다. 예를 들어, 프로세서(310)는 응급 상태로의 변경을 야기한 이벤트의 전후에 식별된 사용자에 대한 데이터(예: 생체 신호에 대한 데이터, 모션(또는 관성 신호)에 대한 데이터, 시각 신호에 대한 데이터)를 식별하고 저장할 수 있다.
일 실시 예에 따르면, 사용자의 상태에 따른 웨어러블 장치(300)의 컴포넌트들의 동작의 예가 표 1과 같이 설정될 수 있다.
Figure PCTKR2023009111-appb-img-000001
도 7b를 참조하면, 웨어러블 장치(300)는 외부 전자 장치(520)와 연결된 상태에서 동작할 수 있다. 예를 들어, 외부 전자 장치(520)는 사용자의 모션을 식별하기 위한 관성 센서를 포함할 수 있다. 웨어러블 장치(300)의 프로세서(310)는 외부 전자 장치(520)로부터 사용자의 모션에 대한 데이터를 수신할 수 있다. 프로세서(310)는 사용자의 모션에 대한 데이터에 기반하여, 사용자의 상태를 식별할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 정상 상태로 식별할 수 있다. 프로세서(310)는 사용자의 상태가 정상 상태인 동안, 사용자의 생체 신호를 모니터링할 수 있다. 프로세서(310)는 사용자의 상태가 정상 상태인 동안, 외부 전자 장치(520)를 이용하여, 사용자의 모션에 대한 데이터를 식별할 수 있다. 프로세서(310)는 사용자의 모션에 대한 데이터를 수신함으로써, 사용자의 행동 변화에 대한 이벤트를 식별할 수 있다. 실시 예에 따라, 프로세서(310)는 외부 전자 장치(520)로부터 사용자의 행동 변화에 대한 이벤트가 발생된 시점에 관한 정보를 수신할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 응급 상태로 식별할 수 있다. 예를 들어, 사용자의 상태가 응급 상태인 동안의 웨어러블 장치(300)의 동작은 도 7a의 웨어러블 장치(300)의 동작에 상응할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 식별할 수 있다. 예를 들어, 사용자의 상태가 위험 모니터링 상태인 동안의 웨어러블 장치(300)의 동작은 도 7a의 웨어러블 장치(300)의 동작에 상응할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 외부 전자 장치(520)에 포함된 관성 센서를 이용하여, 사용자의 모션에 대한 데이터를 식별할 수 있다. 프로세서(310)는 사용자의 모션에 대한 데이터를 식별하기 위해 외부 전자 장치(520)를 사용함으로써, 웨어러블 장치(300)의 전력 소모를 감소시킬 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)의 프로세서(310)는 외부 전자 장치(520)에 포함된 컴포넌트들의 동작을 제어함으로써, 사용자의 상태를 식별할 수 있다. 예를 들어, 프로세서(310)는 웨어러블 장치(300)에 포함된 컴포넌트가 외부 전자 장치(520)에도 포함되는 경우, 웨어러블 장치(300)에 포함된 상기 컴포넌트 및 외부 전자 장치(520)에 포함된 상기 컴포넌트 중 적어도 하나를 이용하여, 사용자에 대한 데이터를 식별할 수 있다. 일 예로, 경우, 웨어러블 장치(300)에 포함된 상기 컴포넌트 및 외부 전자 장치(520)에 포함된 상기 컴포넌트가 모두 사용되는 경우, 프로세서(310)는 외부 전자 장치(520) 및 웨어러블 장치(300)에서 각각 획득된 데이터를 결합(또는 비교)함으로써, 더 정확한 데이터를 획득할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(520)는 웨어러블 장치(300)에 비해 대용량의 배터리 및 다양한 센서들을 포함할 수 있다. 따라서, 웨어러블 장치(300)가 외부 전자 장치(520)와 연결(또는 연동)된 상태에서 동작하는 경우, 웨어러블 장치(300)의 소모 전력을 줄이고, 사용자의 상태를 식별할 수 있다. 예를 들어, 외부 전자 장치(520)는 관성 센서 및 조도 센서가 항상 켜진 상태로 동작할 수 있다. 따라서, 사용자가 외부 전자 장치(520)를 휴대하는 동안, 웨어러블 장치(300)를 착용하는 경우, 외부 전자 장치(520)는 사용자의 모션을 실시간으로 감지할 수 있다. 프로세서(310)는, 사용자의 모션에 기반하여 지정된 이벤트가 발생될 경우에만, 웨어러블 장치(300)의 카메라(330)를 활성화하고, 지정된 이벤트 전후의 시각 신호에 대한 데이터를 식별(또는 모니터링)하고, 저장(또는 기록)할 수 있다.
예를 들어, 사용자의 상태에 따른 외부 전자 장치(520)의 컴포넌트들의 동작의 예가 표 2와 같이 설정될 수 있다.
Figure PCTKR2023009111-appb-img-000002
도 7c를 참조하면, 웨어러블 장치(300)는 제2 웨어러블 장치(510)와 연결된 상태에서 동작할 수 있다. 예를 들어, 제2 웨어러블 장치(510)는 생체 신호(예: PPG, 심박수, 체온, 및/또는 혈압)를 식별하기 위한 다양한 컴포넌트들을 포함할 수 있다. 웨어러블 장치(300)의 프로세서(310)는 제2 웨어러블 장치(510)로부터 생체 신호에 대한 데이터를 수신할 수 있다. 프로세서(310)는 생체 신호에 대한 데이터에 기반하여, 사용자의 상태를 식별할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 정상 상태로 식별할 수 있다. 웨어러블 장치(300) 및 제2 웨어러블 장치(510)는 각각 관성 센서를 이용하여, 사용자의 모션에 대한 데이터를 식별할 수 있다. 웨어러블 장치(300)의 프로세서(310)는 제2 웨어러블 장치(510)으로부터 사용자의 모션에 대한 데이터를 수신할 수 있다. 프로세서(310)는 웨어러블 장치(300)에서 식별된 사용자의 모션에 대한 데이터 및 제2 웨어러블 장치(510)로부터 수신된 사용자의 모션에 대한 데이터에 기반하여, 사용자의 행동 변화에 대한 이벤트를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 응급 상태로 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 응급 상태인 동안, 응급 상태로의 변경을 야기한 이벤트가 발생된 제1 시점을 식별할 수 있다. 프로세서(310)는 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터 제1 시점에서 미리 정의된 시간 이후인 제3 시점까지, 카메라(330)를 이용하여 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 예를 들어, 프로세서(310)는 응급 상황에 대한 경고를 나타내는 정보를 제공할 수 있다. 프로세서(310)는 응급 상황에 대한 경고를 나타내는 정보를 통신 회로(350)를 이용하여, 외부 전자 장치(예: 서버)에 송신할 수 있다. 프로세서(310)는 응급 상황에 대한 경고를 나타내는 정보를 사용자에게 제공할 수 있다.
예를 들어, 제2 웨어러블 장치(510)는 사용자의 상태가 응급 상태인 동안, 제2 시점으로부터 제3 시점까지 사용자의 생체 신호를 식별하기 위한 센서(예: 온도 센서, PPG 센서)를 이용하여, 생체 신호에 대한 데이터를 식별할 수 있다. 제2 웨어러블 장치(510)는 웨어러블 장치(300)에게 생체 신호에 대한 데이터를 송신할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 생체 신호가 제2 기준 범위 내로 변경됨을 식별하는 것에 기반하여, 사용자의 상태를 위험 모니터링 상태로 식별할 수 있다. 프로세서(310)는 사용자의 상태가 위험 예상 상태인 동안, 위험 예상 상태로의 변경을 야기한 이벤트가 발생된 제4 시점을 식별할 수 있다. 프로세서(310)는 제4 시점에서 미리 정의된 시간 이전인 제5 시점으로부터 제1 시점에서 미리 정의된 시간 이후인 제6 시점까지, 카메라(330)를 이용하여 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다.
예를 들어, 제2 웨어러블 장치(510)는 사용자의 상태가 응급 상태인 동안, 제5 시점으로부터 제6 시점까지 사용자의 생체 신호를 식별하기 위한 센서(예: 온도 센서, PPG 센서)를 이용하여, 생체 신호에 대한 데이터를 식별할 수 있다. 제2 웨어러블 장치(510)는 웨어러블 장치(300)에게 생체 신호에 대한 데이터를 송신할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 사용자의 신체의 제1 부분(예: 머리)에 착용될 수 있다. 제2 웨어러블 장치(510)는 사용자의 신체의 제2 부분(예: 손목)에 착용될 수 있다. 예를 들어, 모션(또는 관성 신호)에 대한 데이터는 웨어러블 장치(300) 및 제2 웨어러블 장치(510)에서 모두 획득될 수 있다. 웨어러블 장치(300)의 프로세서(310)는 연산 동작의 효율성을 증가시키기 위해, 제2 웨어러블 장치(510)에서 모션(또는 관성 신호)에 대한 데이터 및 생체 신호에 대한 데이터를 획득하도록 설정할 수 있다. 프로세서(310)는, 제2 웨어러블 장치(510)에서 모션(또는 관성 신호)에 대한 데이터 및 생체 신호에 대한 데이터가 획득되는 동안, 시간 신호에 대한 데이터를 획득할 수 있다. 프로세서(310)는, 제2 웨어러블 장치(510)가 모션(또는 관성 신호)에 대한 데이터 및 생체 신호에 대한 데이터를 획득하도록 설정함으로써, 소모 전력을 감소 시킬 수 있다.
예를 들어, 사용자의 상태에 따른 제2 웨어러블 장치(510)의 컴포넌트들의 동작의 예가 표 3과 같이 설정될 수 있다.
Figure PCTKR2023009111-appb-img-000003
도 7d를 참조하면, 웨어러블 장치(300)는 제2 웨어러블 장치(510) 및 외부 전자 장치(520)와 연결된 상태에서 동작할 수 있다. 제2 웨어러블 장치(510)는 생체 신호(예: PPG, 심박수, 체온, 및/또는 혈압)를 식별하기 위한 다양한 컴포넌트들을 포함할 수 있다. 웨어러블 장치(300)의 프로세서(310)는 제2 웨어러블 장치(510)로부터 생체 신호에 대한 데이터를 수신할 수 있다. 외부 전자 장치(520)는 사용자의 모션을 식별하기 위한 관성 센서를 포함할 수 있다. 웨어러블 장치(300)의 프로세서(310)는 외부 전자 장치(520)로부터 사용자의 모션에 대한 데이터를 수신할 수 있다. 프로세서(310)는 제2 웨어러블 장치(510)로부터 수신된 생체 신호에 대한 데이터 및 외부 전자 장치(520)로부터 수신된 사용자의 모션에 대한 데이터에 기반하여, 사용자의 상태를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)가 도 7a에 도시된 웨어러블 장치(300)에서 수행되는 동작의 일부를 제2 웨어러블 장치(510) 및 외부 전자 장치(520)가 수행하도록 설정함으로써, 사용자에 대한 데이터 모니터링 동작이 효율적으로 수행될 수 있다.
도 8은, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 8을 참조하면, 동작 810에서, 프로세서(310)는 센서(320)를 이용하여, 사용자의 생체 신호의 모니터링을 시작할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자 입력에 응답하여, 사용자의 생체 신호의 모니터링을 시작할 수 있다. 프로세서(310)는 사용자의 생체 신호를 모니터링 할 것을 지시하는 사용자 입력을 수신할 수 있다. 프로세서(310)는 수신된 사용자 입력에 응답하여, 사용자의 생체 신호의 모니터링을 시작할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 지정된 이벤트가 발생함을 식별하는 것에 기반하여, 사용자의 생체 신호의 모니터링을 시작할 수 있다.
동작 820에서, 프로세서(310)는 웨어러블 장치(300)가 상시 모니터링 모드로 동작하는지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치(300)는 상시 모니터링 모드 및 주기적 모니터링 모드 중 하나로 동작할 수 있다.
예를 들어, 프로세서(310)는 상시 모니터링 모드로 동작함으로써, 갑작스런 응급 상태로 사용자의 상태가 변경될 수 있는 고령자 및/또는 중증 심혈관 질환자를 위해, 연속적으로 생체 신호를 모니터링할 수 있다.
예를 들어, 프로세서(310)는 주기적 모니터링 모드로 동작함으로써, 만성 성인병(예: 당뇨, 고혈압) 질환을 가지는 사용자를 위해, 주기적으로 생체 신호(예: 체온, 혈압 , 심박변이)를 모니터링할 수 있다.
동작 830에서, 웨어러블 장치(300)가 상시 모니터링 모드로 동작하는 경우, 프로세서(310)는 상시 모니터링 모드에 따라, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 예를 들어, 프로세서(310)는 연속적으로(또는 24 시간 동안) 사용자의 생체 신호가 정상 범위 내인지 여부를 식별할 수 있다.
동작 840에서, 웨어러블 장치(300)가 주기적 모니터링 모드로 동작하는 경우, 프로세서(310)는 주기적 모니터링 모드에 따라, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 프로세서(310)는 지정된 시간 간격(예: 24 시간)에 기반하여, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다.
도 9a는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 9b는, 일 실시 예에 따른, 웨어러블 장치의 동작의 예를 도시한다.
도 9a를 참조하면, 프로세서(310)(또는 웨어러블 장치(300))는, 웨어러블 장치(300)를 사용자 입력에 응답하여 사용자에 대한 데이터를 획득하기 위한 수동 모니터링(manual monitoring) 모드 및 미리 정의된 조건을 만족하는 것에 기반하여, 사용자에 대한 데이터를 획득하기 위한 자동 모니터링(automatic monitoring) 모드 중 하나로 동작할 수 있다.
예를 들어, 수동 모니터링 모드 및 자동 모니터링 모드는, 사용자 입력이 수신되는지 여부에 따라 구분될 수 있다. 예를 들어, 상시 모니터링 모드 및 주기적 모니터링 모드는, 사용자에 대한 데이터의 획득(또는 측정) 주기에 따라 구분될 수 있다.
일 실시 예에 따르면, 프로세서(310)(또는 웨어러블 장치(300))는 수동 모니터링 모드로 동작할 수 있다. 프로세서(310)는 사용자 입력에 기반하여, 상시 모니터링 모드 및 주기적 모니터링 모드 중 하나로 동작할 수 있다. 프로세서(310)는 사용자 입력에 기반하여 상시 모니터링 모드 및 주기적 모니터링 모드 중 하나로 동작함으로써, 사용자에 대한 데이터를 획득할 수 있다. 프로세서(310)는 사용자 입력에 기반하여, 사용자에 대한 데이터(예: 생체 신호에 대한 데이터, 모션(또는 관성 신호)에 대한 데이터)를 획득함으로써, 전력 소모를 감소시킬 수 있다.
예를 들어, 프로세서(310)는 시점(901)에서, 자신의 상태에 대한 이상 증상을 느낀 사용자로부터, 사용자에 대한 데이터를 획득하기 위한 제1 사용자 입력을 수신할 수 있다. 프로세서(310)는 제1 사용자 입력에 기반하여, 사용자의 상태를 위험 모니터링 상태로 인식할 수 있다. 프로세서(310)는 제1 사용자 입력에 기반하여, 생체 신호(예: 심전도, 혈압, 체온)에 대한 데이터를 획득하고, 저장(또는 기록)할 수 있다. 예를 들어, 제1 사용자 입력은, 웨어러블 장치(300)의 하우징에 포함된 버튼에 대한 입력, 음성 인식을 통한 입력, 및 웨어러블 장치(300)의 디스플레이에 대한 터치 입력 중 하나로 설정될 수 있다.
예를 들어, 프로세서(310)는 시점(901)부터, 시점(901)에서 미리 정의된 시간 이후인 시점(903)까지, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 시점(901)부터 제1 사용자 입력과 구별되는 다른 사용자 입력이 수신될 때까지 사용자의 생체 신호에 대한 데이터를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(310)는, 사용자의 상태가 정상 상태 또는 위험 모니터링 상태로부터 응급 상태로 변경됨을 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자에게 낙상이 발생하였음을 식별하는 것에 기반하여, 사용자의 상태를 응급 상태로 인식할 수 있다. 일 실시 예에 따르면, 프로세서(310)는, 사용자의 상태를 응급 상태로 인식한 후, 시점(902)에서, 제2 사용자 입력을 수신할 수 있다. 프로세서(310)는 시점(902)에서 수신된 제2 사용자 입력에 응답하여, 시점(902)로부터 미리 정의된 시간 이후인 시점(904)까지, 사용자의 생체 신호에 대한 데이터 및 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 예를 들어, 프로세서(310)는 제2 사용자 입력에 기반하여, 사용자의 상태가 응급 상태로 변경됨을 식별하는 것에 응답하여 활성화된 동공 인식 센서(402) 및 뇌파 센서(403)를 이용하여, 시점(902)로부터 시점(904)까지 사용자의 의식 상태에 대한 정보를 식별하고, 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)(또는 웨어러블 장치(300))는 자동 모니터링 모드로 동작할 수 있다. 프로세서(310)는 미리 정의된 조건을 만족하는 것에 기반하여, 상시 모니터링 모드 및 주기적 모니터링 모드 중 하나로 동작할 수 있다. 프로세서(310)는 미리 정의된 조건을 만족하는 것에 기반하여 상시 모니터링 모드 및 주기적 모니터링 모드 중 하나로 동작함으로써, 사용자에 대한 데이터를 획득할 수 있다. 예를 들어, 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것에 기반하여, 사용자에 대한 데이터를 획득할 수 있다. 예를 들어, 프로세서(310)는, 사용자의 이상 증상을 지속적으로 모니터링해야 하는 경우, 자동 모니터링 모드로 동작할 수 있다.
예를 들어, 프로세서(310)는 시점(901)에서, 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것을 식별할 수 있다. 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것을 식별하는 것에 기반하여, 생체 신호(예: 심전도, 혈압, 체온)에 대한 데이터를 획득하고, 저장(또는 기록)할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 시점(901)부터, 시점(901)에서 미리 정의된 시간 이후인 시점(903)까지, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 시점(901)부터 미리 정의된 다른 조건을 만족할 때까지 사용자의 생체 신호에 대한 데이터를 획득할 수 있다.
예를 들어, 프로세서(310)는 시점(902)에서, 사용자의 상태가 정상 상태 또는 위험 모니터링 상태로부터 응급 상태로 변경됨을 식별할 수 있다. 프로세서(310)는, 사용자의 상태가 응급 상태로 변경됨을 식별하는 것에 응답하여, 시점(902)로부터 미리 정의된 시간 이후인 시점(904)까지, 사용자의 생체 신호에 대한 데이터 및 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 응급 상태로 변경됨을 식별하는 것에 응답하여 활성화된 동공 인식 센서(402) 및 뇌파 센서(403)를 이용하여, 시점(902)로부터 시점(904)까지 사용자의 의식 상태에 대한 정보를 식별하고, 저장할 수 있다.
도 9b를 참조하면, 프로세서(310)(또는 웨어러블 장치(300))는 수동 모니터링 모드로 동작할 수 있다. 예를 들어, 프로세서(310)는 시점(901)에서, 자신의 상태에 대한 이상 증상을 느낀 사용자로부터, 사용자에 대한 데이터를 획득하기 위한 제1 사용자 입력을 수신할 수 있다. 프로세서(310)는 제1 사용자 입력에 기반하여, 사용자의 상태를 위험 모니터링 상태로 인식할 수 있다. 프로세서(310)는 제1 사용자 입력에 기반하여, 생체 신호(예: 심전도, 혈압, 체온)에 대한 데이터를 획득하고, 저장(또는 기록)할 수 있다.
예를 들어, 프로세서(310)는 시점(901)에서 미리 정의된 시간 이전인 시점(913)부터, 시점(901)에서 미리 정의된 시간 이후인 시점(914)까지, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 예를 들어, 프로세서(310)는 시점(913)부터 시점(901)까지, 생체 신호에 대한 데이터를 획득하고, 획득된 생체 신호에 대한 데이터를 메모리(340) 내에 구성된 버퍼에 저장할 수 있다. 프로세서(310)는 시점(901)에서 제1 사용자 입력을 수신하는 것에 기반하여, 시점(901)부터 시점(914)까지 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 프로세서(310)는 버퍼에 저장된 시점(913)부터 시점(901)까지의 생체 신호에 대한 데이터 및 시점(901)부터 시점(914)까지 사용자의 생체 신호에 대한 데이터를 결합함으로써, 시점(913)부터 시점(914)까지의 사용자의 생체 신호에 대한 데이터를 획득할 수 있다.
예를 들어, 프로세서(310)는, 사용자의 상태가 정상 상태 또는 위험 모니터링 상태로부터 응급 상태로 변경됨을 식별할 수 있다. 프로세서(310)는, 사용자의 상태를 응급 상태로 인식한 후, 시점(902)에서, 제2 사용자 입력을 수신할 수 있다. 프로세서(310)는 시점(902)에서 수신된 제2 사용자 입력에 응답하여, 시점(902)에서 미리 정의된 시간 이전인 시점(915)로부터, 시점(902)에서 미리 정의된 시간 이후인 시점(916)까지, 사용자의 생체 신호에 대한 데이터 및 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 예를 들어, 프로세서(310)는 제2 사용자 입력에 기반하여, 사용자의 상태가 응급 상태로 변경됨을 식별하는 것에 응답하여 활성화된 동공 인식 센서(402) 및 뇌파 센서(403)를 이용하여, 시점(915)로부터 시점(916)까지 사용자의 의식 상태에 대한 정보를 식별하고, 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)(또는 웨어러블 장치(300))는 자동 모니터링 모드로 동작할 수 있다. 프로세서(310)는 미리 정의된 조건을 만족하는 것에 기반하여, 상시 모니터링 모드 및 주기적 모니터링 모드 중 하나로 동작할 수 있다. 예를 들어, 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것에 기반하여, 사용자에 대한 데이터를 획득할 수 있다.
예를 들어, 프로세서(310)는 시점(901)에서, 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것을 식별할 수 있다. 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것을 식별하는 것에 기반하여, 시점(901)에서 미리 정의된 시간 이전인 시점(913)부터, 시점(901)에서 미리 정의된 시간 이후인 시점(914)까지, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 예를 들어, 프로세서(310)는 시점(913)부터 시점(901)까지, 생체 신호에 대한 데이터를 획득하고, 획득된 생체 신호에 대한 데이터를 메모리(340) 내에 구성된 버퍼에 저장할 수 있다. 프로세서(310)는 시점(901)에서 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것에 기반하여, 시점(901)부터 시점(914)까지 사용자의 생체 신호에 대한 데이터를 획득할 수 있다. 프로세서(310)는 버퍼에 저장된 시점(913)부터 시점(901)까지 획득된 생체 신호에 대한 데이터 및 시점(901)부터 시점(914)까지 사용자의 생체 신호에 대한 데이터를 결합함으로써, 시점(913)부터 시점(914)까지 획득된 사용자의 생체 신호에 대한 데이터를 획득할 수 있다.
예를 들어, 프로세서(310)는, 사용자의 상태가 정상 상태 또는 위험 모니터링 상태로부터 응급 상태로 변경됨을 식별할 수 있다. 프로세서(310)는, 시점(902)에서, 사용자의 행동 또는 상태가 미리 정의된 다른 조건을 만족함을 식별할 수 있다. 프로세서(310)는 시점(902)에서 사용자의 행동 또는 상태가 미리 정의된 다른 조건을 만족함을 식별하는 것에 응답하여, 사용자의 상태를 응급 상태로 인식할 수 있다.
예를 들어, 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것을 식별하는 것에 기반하여, 시점(902)에서 미리 정의된 시간 이전인 시점(915)로부터, 시점(902)에서 미리 정의된 시간 이후인 시점(916)까지, 사용자의 생체 신호에 대한 데이터 및 시각 신호에 대한 데이터를 식별하고, 저장할 수 있다. 예를 들어, 프로세서(310)는 사용자의 행동 또는 상태가 미리 정의된 조건을 만족하는 것을 식별하는 것에 기반하여, 사용자의 상태가 응급 상태로 변경됨을 식별하는 것에 응답하여 활성화된 동공 인식 센서(402) 및 뇌파 센서(403)를 이용하여, 시점(915)로부터 시점(916)까지 사용자의 의식 상태에 대한 정보를 식별하고, 저장할 수 있다.
도 9a 및 도 9b를 참조하면, 프로세서(310)는 사용자의 상태가 응급 상태인 동안 획득될 사용자에 대한 데이터를 설정할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 응급 상태인 동안, 시각 신호에 대한 데이터 및 뇌파 신호에 대한 데이터를 획득하도록 설정할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 웨어러블 장치(300)에 포함된 컴포넌트들에 기반하여, 사용자의 상태에 따라 획득되는 사용자에 대한 데이터를 결정할 수 있다. 예를 들어, 웨어러블 장치(300)가 외부 전자 장치와 연결(또는 연동)되지 않은 상태에서 독립적으로 동작하도록 설정된 경우, 프로세서(310)는 모션(또는 관성 신호)에 대한 데이터, 사용자의 생체 신호에 대한 데이터를 획득할 수 있다.
예를 들어, 웨어러블 장치(300)가 제2 웨어러블 장치(510), 및 외부 전자 장치(520)와 연결된 상태에서 동작하도록 설정된 경우, 프로세서(310)는 외부 전자 장치(520)에 포함된 관성 센서를 이용하여 모션(또는 관성 신호)에 대한 데이터를 획득하도록 외부 전자 장치(520)를 제어할 수 있다. 프로세서(310)는 제2 웨어러블 장치(510)에 포함된 생체 신호를 감지하기 위한 센서를 이용하여 생체 신호에 대한 데이터를 획득하도록, 제2 웨어러블 장치(510)를 제어할 수 있다. 프로세서(310)는, 모션(또는 관성 신호)에 대한 데이터 및 생체 신호에 대한 데이터가 획득되는 동안, 카메라(330)를 이용하여, 시각 신호에 대한 데이터를 획득할 수 있다.
도 10은, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 10을 참조하면, 동작 1010에서, 프로세서(310)는 웨어러블 장치(300)의 착용을 감지할 수 있다. 예를 들어, 프로세서(310)는, 웨어러블 장치(300)에 포함된 전극(예: ECG 센서와 관련된 전극)의 임피던스의 변화를 식별하는 것에 기반하여, 웨어러블 장치(300)의 착용을 감지할 수 있다. 예를 들어, 프로세서(310)는, 동공 인식 센서(402)를 이용하여, 사용자의 동공을 식별하는 것에 기반하여, 웨어러블 장치(300)의 착용을 감지할 수 있다.
동작 1020에서, 프로세서(310)는 웨어러블 장치(300)의 연결 상태에 따라 활성화할 센서들을 결정할 수 있다. 프로세서(310)는 웨어러블 장치(300)와 연결된 외부 전자 장치(예: 제2 웨어러블 장치(510), 외부 전자 장치(520))를 식별할 수 있다. 프로세서(310)는 웨어러블 장치(300)와 연결된 외부 전자 장치에 포함된 센서들을 식별할 수 있다. 프로세서(310)는 외부 전자 장치에 포함된 센서들을 식별하는 것에 기반하여, 활성화할 센서들을 결정할 수 있다. 예를 들어, 프로세서(310)는 사용자의 손목에 착용되어 동작하고, PPG 센서를 포함하는 외부 전자 장치를 식별할 수 있다. 프로세서(310)는 외부 전자 장치에 포함된 PPG 센서를 이용하여, 사용자의 심박에 대한 데이터를 획득하도록, 외부 전자 장치를 야기할 수 있다. 예를 들어, 프로세서(310)는 웨어러블 장치(300)에 포함된 적어도 하나의 센서가 외부 전자 장치에도 포함된 경우, 웨어러블 장치(300)의 적어도 하나의 센서를 비활성화하고, 외부 전자 장치에 포함된 적어도 하나의 센서를 활성화할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 웨어러블 장치(300)에서 소모 전력이 낮은 센서들(예: 동공 인식 센서(402))을 이용하여, 사용자의 상태를 모니터링할 수 있다. 프로세서(310)는 사용자의 상태가 지정된 조건을 만족하는 것에 기반하여, 소모 전력이 높은 센서들(예: 뇌파 센서(403))을 추가적으로 활성화할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 위험 모니터링 상태 및/또는 응급 상태로 인식되는 것에 기반하여, 소모 전력이 높은 센서들(예: 뇌파 센서(403))을 추가적으로 활성화할 수 있다. 예를 들어, 프로세서(310)는 소모 전력이 낮은 센서들을 이용하여 획득된 데이터에 기반하여, 비정상적인 패턴이 발생하는지 여부 또는 획득된 데이터가 임계 범위를 벗어나는지 여부를 식별할 수 있다. 일 예로, 프로세서(310)는 획득된 데이터에서 비정상적인 패턴이 발생함을 식별하는 것에 기반하여, 소모 전력이 높은 센서들을 추가적으로 활성화할 수 있다. 일 예로, 프로세서(310)는 획득된 데이터가 임계 범위를 벗어남을 식별하는 것에 기반하여, 소모 전력이 높은 센서들을 추가적으로 활성화할 수 있다.
동작 1030에서, 프로세서(310)는 활성화할 센서들에 대한 권한이 획득되었는지 여부를 식별할 수 있다. 프로세서(310)는, 웨어러블 장치(300)에 포함된 센서들 뿐만 아니라, 웨어러블 장치(300)와 연결된 외부 전자 장치에 포함된 센서들에 대한 권한이 획득되었는지 여부를 식별할 수 있다. 예를 들어, 프로세서(310)는 웨어러블 장치(300) 또는 웨어러블 장치(300)와 연결된 외부 전자 장치를 이용하여, 사용자에게 활성화할 센서에 대한 권한을 요청할 수 있다.
동작 1040에서, 활성화할 센서들에 대한 권한이 획득되지 않은 경우, 프로세서(310)는 모니터링 동작을 중단할 수 있다. 예를 들어, 프로세서(310)는 활성화할 센서들에 대한 권한이 획득되지 않음을 식별하는 것에 기반하여, 사용자에 대한 데이터를 획득하기 위한 모니터링 동작을 중단할 수 있다. 예를 들어, 프로세서(310)는 사용자에 대한 데이터를 획득하기 위한 모니터링 동작을 삼갈 수 있다.
동작 1050에서, 프로세서(310)는 활성화할 센서들에 대한 권한이 획득된 경우, 프로세서(310)는 사용자의 상태가 정상 상태인 동안, 사용자에 대한 데이터를 모니터링할 수 있다. 예를 들어, 프로세서(310)는 활성화할 센서들에 대한 권한이 획득되었음을 식별하는 것에 기반하여, 사용자에 대한 데이터를 모니터링할 수 있다. 예를 들어, 프로세서(310)는, 웨어러블 장치(300) 또는 웨어러블 장치(300)와 연결된 외부 전자 장치에 포함된 관성 센서를 이용하여, 모션(또는 관성 신호)에 대한 데이터를 획득할 수 있다. 프로세서(310)는 모션(또는 관성 신호)에 대한 데이터를 획득함으로써, 사용자의 모션에 대한 데이터를 획득할 수 있다.
동작 1060에서, 프로세서(310)는 사용자의 상태가 변경되는지 여부를 식별할 수 있다. 프로세서(310)는 사용자에 대한 데이터를 모니터링하는 동안, 사용자의 상태가 변경되는지 여부를 식별할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 변경되지 않는 경우, 동작 1050을 다시 수행할 수 있다.
예를 들어, 프로세서(310)는 사용자의 상태가 정상 상태로부터 위험 모니터링 상태로 변경되는지 여부를 식별할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 정상 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다.
동작 1070에서, 프로세서(310)는 사용자의 상태가 변경된 경우, 프로세서(310)는 사용자에 대한 데이터를 저장(또는 기록)할 수 있다. 예를 들어, 사용자의 상태가 변경되었음을 식별하는 것에 기반하여, 프로세서(310)는 사용자에 대한 데이터를 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태가 정상 상태로부터 위험 모니터링 상태 또는 응급 상태로 변경됨을 식별하는 것에 기반하여, 사용자에 대한 데이터를 저장할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 정상 상태로부터 위험 모니터링 상태 또는 응급 상태로 변경된 시점을 식별할 수 있다. 프로세서(310)는 식별된 시점 전후의 사용자에 대한 데이터를 식별할 수 있다. 일 예로, 프로세서(310)는 식별된 시점 전후에 획득된 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보)를 저장할 수 있다. 일 예로, 프로세서(310)는 식별된 시점 전후에 획득된 사용자의 생체 신호에 대한 데이터를 저장할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 식별된 시점 전후의 사용자에 대한 데이터를 지정된 연락처 또는 응급 기관에 공유할지 여부를 나타내는 알림을 사용자에게 제공할 수 있다. 프로세서(310)는 상기 알림이 제공된 후, 사용자 입력에 따라, 사용자에 대한 데이터를 지정된 연락처 또는 응급 기관에 공유하거나, 사용자에 대한 데이터를 메모리(340) 내에 저장할 수 있다.
도 11은, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 11을 참조하면, 동작 1110에서, 프로세서(310)는 사용자의 신체 일부분 (예: 머리)에 대한 온도를 나타내는 제1 데이터를 획득할 수 있다. 예를 들어, 프로세서(310)는 웨어러블 장치(300)와 접촉된 사용자의 머리에 대한 온도를 나타내는 제1 데이터를 온도 센서(401)를 통해 획득할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(300)는 사용자의 머리에 착용될 수 있다. 웨어러블 장치(300)의 일부(예: 전극)는 사용자의 머리에 접촉될 수 있다. 프로세서(310)는 웨어러블 장치(300)가 사용자에게 착용됨을 식별하는 것에 기반하여, 사용자의 머리에 대한 온도를 나타내는 제1 데이터를 온도 센서(401)를 통해 획득할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 제1 시간 간격에 기반하여, 제1 데이터를 획득할 수 있다. 예를 들어, 제1 시간 간격은 사용자에 의해 설정될 수 있다.
동작 1120에서, 프로세서(310)는 사용자의 상태가 응급 상태인지 여부를 식별할 수 있다. 예를 들어, 프로세서(310)는 제1 기준 범위 내의 온도를 나타내는 제1 데이터에 기반하여, 사용자의 상태가 응급 상태인지 여부를 식별할 수 있다.
예를 들어, 프로세서(310)는 미리 정의된 시간 자원 내에서 제1 시간 간격에 기반하여 획득된 온도가, 제1 기준 범위 내로 식별된 횟수를 나타내는 제1 값을 식별할 수 있다. 프로세서(310)는 제1 값이 미리 정의된 값 이상인지 여부에 따라, 사용자의 상태가 응급 상태인지 여부를 식별할 수 있다.
동작 1130에서, 프로세서(310)는 사용자의 상태가 응급 상태로 식별(또는 인식)되는 것에 기반하여, 제1 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보) 및 사용자의 의식 상태에 대한 정보를 저장하고, 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 제2 웨어러블 장치에게 송신하고, 사용자의 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치(예: 서버)에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신할 수 있다.
예를 들어, 프로세서(310)는 제1 기준 범위 내로 식별된 횟수를 나타내는 제1 값이 미리 정의된 값 이상임을 식별하는 것에 기반하여, 사용자의 상태가 응급 상태임을 식별할 수 있다.
예를 들어, 프로세서(310)는 사용자의 상태가 응급 상태로 식별(또는 인식)된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 제1 시점에서 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보)를 식별할 수 있다. 프로세서(310)는 카메라(330)를 이용하여, 제2 시점으로부터 제3 시점까지 획득된 제1 콘텐트를 획득할 수 있다. 프로세서(310)는 획득된 제1 콘텐트를 메모리(340)에 저장할 수 있다. 예를 들어, 프로세서(310)는 제2 시점으로부터 제1 시점까지 카메라(330)를 이용하여 획득된 제3 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보)를 메모리(340) 내에 구성된 버퍼에 저장할 수 있다. 프로세서(310)는 사용자의 상태를 응급 상태로 인식하는 것에 응답하여, 제1 시점으로부터 제3 시점까지 제4 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보)를 획득할 수 있다. 프로세서(310)는 버퍼에 저장된 제3 콘텐트 및 제4 콘텐트를 결합함으로써, 제1 콘텐트를 획득할 수 있다. 예를 들어, 제3 콘텐트는 제2 시점으로부터 제1 시점까지 획득된 사용자의 주변 환경에 대한 제1 영상일 수 있다. 제4 콘텐트는 제1 시점으로부터 제3 시점까지 획득된 사용자의 주변 환경에 대한 제2 영상일 수 있다. 프로세서(310)는 제1 시점을 기준으로 제1 영상 및 제2 영상을 이어 붙임(splice)으로써, 제3 영상을 획득할 수 있다. 프로세서(310)는 제2 시점으로부터 제3 시점까지의 제3 영상을 획득함으로써, 제1 콘텐트를 획득할 수 있다.
예를 들어, 프로세서(310)는 응급 상태의 식별(또는 인식)에 응답하여, 동공 인식 센서(402) 및 뇌파 센서(403)를 활성화할 수 있다. 프로세서(310)는 활성화된 동공 인식 센서(402) 및 뇌파 센서(403)를 이용하여, 사용자의 상태가 응급 상태로 식별(또는 인식)된 제1 시점으로부터, 제1 시점에서 미리 정의된 시간 이후인 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 획득할 수 있다. 프로세서(310)는 획득된 제1 시점으로부터 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 메모리(340)에 저장할 수 있다.
예를 들어, 프로세서(310)는 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 사용자의 손목과 접촉된 제2 웨어러블 장치에게 송신할 수 있다. 프로세서(310)는 제2 웨어러블 장치가 PPG 센서를 포함함을 식별할 수 있다. 프로세서(310)는 제2 웨어러블 장치에게 제1 요청을 송신함으로써, 사용자의 심박에 대한 제2 데이터를 획득하도록 제어할 수 있다.
예를 들어, 프로세서(310)는 사용자의 응급 상태를 나타내는 정보 및 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신할 수 있다. 예를 들어, 제1 외부 전자 장치와 웨어러블 장치(300)는 제1 RAT(radio access technology)(예: 블루투스 통신)에 기반하여 연결될 수 있다. 제1 외부 전자 장치는 제2 외부 전자 장치와 제2 RAT(예: 셀룰러 통신)에 기반하여 연결될 수 있다. 프로세서(310)는 제2 RAT을 통해 제1 외부 전자 장치와 연결된 제2 외부 전자 장치(예: 구조 요청을 위한 서버)에게 사용자의 응급 상태를 나타내는 정보 및 사용자의 의식 상태에 대한 정보를 송신하기 위해, 제2 요청을 제1 외부 전자 장치에게 송신할 수 있다. 실시 예에 따라, 프로세서(310)는 제1 외부 전자 장치(예: 구조 요청을 위한 서버)에게 사용자의 응급 상태를 나타내는 정보 및 사용자의 의식 상태에 대한 정보를 송신할 수도 있다.
일 실시 예에 따르면, 프로세서(310)는, 사용자의 상태가 정상 상태인 동안, 제1 시간 간격에 기반하여, 제1 데이터를 획득할 수 있다. 예를 들어, 제1 데이터는 사용자의 신체 일부분 (예: 머리)에 대한 온도를 나타낼 수 있다. 따라서, 프로세서(310)는 제2 시점으로부터 제1 시점까지, 제1 시간 간격에 기반하여, 제1 데이터를 획득할 수 있다. 프로세서(310)는 사용자의 상태를 응급 상태로 식별(또는 인식)하는 것에 응답하여, 사용자의 상태가 응급 상태로 식별(또는 인식)된 제1 시점으로부터, 제1 시점에서 미리 정의된 시간 이후인 제3 시점까지, 제1 시간 간격보다 짧은 제2 시간 간격에 기반하여, 제1 데이터를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 가속도 센서 및 자이로 센서를 포함하는 제2 웨어러블 장치로부터, 사용자의 모션에 대한 제3 데이터를 수신할 수 있다. 프로세서(310)는 제1 데이터 및 제3 데이터에 기반하여, 사용자에게 낙상이 발생하였음을 식별할 수 있다. 프로세서(310)는 사용자에게 낙상이 발생하였음을 식별하는 것에 응답하여, 사용자의 상태를 응급 상태로 인식할 수 있다.
동작 1140에서, 프로세서(310)는 사용자의 상태가 응급 상태로 식별(또는 인식)되지 않은 것에 기반하여, 사용자의 상태가 위험 모니터링 상태인지 여부를 식별할 수 있다. 예를 들어, 프로세서(310)는 제1 기준 범위와 다른 제2 기준 범위 내의 온도를 나타내는 제1 데이터에 기반하여, 사용자의 상태가 위험 모니터링 상태인지 여부를 식별할 수 있다.
예를 들어, 프로세서(310)는 미리 정의된 시간 자원 내에서 제1 시간 간격에 기반하여 획득된 온도가 제2 기준 범위 내로 식별된 횟수를 나타내는 제2 값을 식별할 수 있다. 프로세서(310)는 제2 값이 미리 정의된 값 이상인지 여부에 따라, 사용자의 상태가 위험 모니터링 상태인지 여부를 식별할 수 있다.
동작 1150에서, 사용자의 상태가 위험 모니터링 상태가 아닌 경우, 프로세서(310)는 정상 상태에 따른 동작을 수행할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태가 위험 모니터링 상태가 아님을 식별하는 것에 기반하여, 정상 상태에 따른 동작을 수행할 수 있다. 예를 들어, 프로세서(310)는 사용자의상태가 응급 상태 및 위험 모니터링 상태가 아님을 식별하는 것에 기반하여, 사용자의 상태를 정상 상태로 식별할 수 있다. 프로세서(310)는 정상 상태에 따른 동작을 수행할 수 있다. 일 예로, 프로세서(310)는 사용자의 상태가 정상 상태인 동안, 관성 센서를 이용하여, 모션(또는 관성 신호)에 대한 데이터를 획득할 수 있다. 상기 관성 센서는, 웨어러블 장치(300), 제2 웨어러블 장치, 및 제1 외부 전자 장치 중 하나에 포함될 수 있다.
동작 1160에서, 사용자의 상태가 위험 모니터링 상태인 경우, 프로세서(310)는 제2 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보)를 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 제1 요청을 제2 웨어러블 장치에게 송신할 수 있다.
예를 들어, 프로세서(310)는 미리 정의된 시간 자원 내에서 제1 시간 간격에 기반하여 획득된 온도가 제2 기준 범위 내로 식별된 횟수를 나타내는 제2 값을이 미리 정의된 값 이상임을 식별하는 것에 기반하여, 사용자의 상태가 위험 모니터링 상태임을 식별할 수 있다.
예를 들어, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 카메라(330)를 통해 사용자의 상태가 위험 모니터링 상태로 인식된 제4 시점으로부터, 제4 시점에서 미리 정의된 시간 이후의 제5 시점까지, 제2 콘텐트(예: 영상, 이미지, 음성, 통화 기록(또는 내용), 웨어러블 장치(300)의 위치 정보, 실행 중인 어플리케이션에 대한 정보)를 획득할 수 있다. 프로세서(310)는 제4 시점부터 제5 시점까지 획득된 제2 콘텐트를 저장할 수 있다. 예를 들어, 프로세서(310)는 제4 시점에서 미리 정의된 시간 이전의 제6 시점으로부터 제4 시점까지 제5 콘텐트를 획득할 수 있다. 프로세서(310)는 제5 콘텐트를 메모리(340) 내에 구성된 버퍼에 저장할 수 있다. 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 버퍼에 저장된 제5 콘텐트를 삭제할 수 있다. 프로세서(310)는 제5 콘텐트를 삭제하고, 제4 시점으로부터 제5 시점까지 카메라(330)를 이용하여, 제2 콘텐트를 획득하고, 저장할 수 있다. 예를 들어, 프로세서(310)는, 사용자의 상태가 위험 모니터링 상태로 인식된 시점(예: 제4 시점)부터 미리 정의된 시간까지 획득된 콘텐트(예: 제2 콘텐트)를 저장할 수 있다. 따라서, 버퍼는 사용자의 상태가 위험 모니터링 상태로 인식된 시점의 이전 시점으로부터 획득된 콘텐트(예: 제5 콘텐트)를 저장하고 있으므로, 제5 콘텐트를 버퍼에서 삭제할 수 있다. 프로세서(310)는 제5 콘텐트를 삭제함으로써 버퍼의 용량을 확보할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 발생 가능한 위험을 경고함을 나타내는 정보를 제공할 수 있다. 프로세서(310)는 발생 가능한 위험을 식별할 수 있다. 프로세서(310)는 발생 가능한 위험을 경고함을 나타내는 정보를 소리 및/또는 화면을 통해 제공할 수 있다. 예를 들어, 프로세서(310)는 카메라(330)를 이용하여, 외부 객체가 사용자에게 접근하는 중임을 식별할 수 있다. 프로세서(310)는 사용자에게 접근하는 외부 객체의 크기 및 속도에 대한 정보를 카메라(330)를 이용하여 식별할 수 있다. 프로세서(310)는 외부 객체의 크기 및 속도에 대한 정보에 기반하여, 사용자에게 발생 가능한 위험을 식별할 수 있다. 프로세서(310)는 사용자에게 발생 가능한 위험을 식별하는 것에 응답하여, 사용자의 상태를 위험 모니터링 상태로 인식할 수 있다. 프로세서(310)는 외부 객체가 접근하여 충돌이 발생할 수 있음을 나타내는 정보를 제공할 수 있다.
일 실시 예에 따르면, 프로세서(310)는, 사용자의 상태가 정상 상태인 동안, 제1 시간 간격에 기반하여, 제1 데이터를 획득할 수 있다. 예를 들어, 제1 데이터는 사용자의 신체 일부분 (예: 머리)에 대한 온도를 나타낼 수 있다. 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 식별(또는 인식)하는 것에 응답하여, 사용자의 상태가 위험 모니터링 상태로 식별(또는 인식)된 제4 시점으로부터, 제4 시점에서 미리 정의된 시간 이후인 제5 시점까지, 제2 시간 간격 보다 긴 제3 시간 간격에 기반하여, 제1 데이터를 획득할 수 있다. 예를 들어, 제2 시간 간격은, 사용자의 상태가 응급 상태인 동안 프로세서(310)에 의해 제1 데이터가 획득되는 간격일 수 있다. 따라서, 프로세서(310)는 사용자의 상태가 정상 상태인 동안 제1 시간 간격에 기반하여 제1 데이터를 획득할 수 있다. 프로세서(310)는 사용자의 상태가 위험 모니터링 상태인 동안, 제3 시간 간격에 기반하여 제1 데이터를 획득할 수 있다. 프로세서(310)는 사용자의 상태가 응급 상태인 동안, 제2 시간 간격에 기반하여 제1 데이터를 획득할 수 있다. 제1 시간 간격은 제2 시간 간격보다 크게 설정될 수 있다. 제2 시간 간격은 제3 시간 간격보다 크게 설정될 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 동공 인식 센서(402) 및 뇌파 센서(403)의 비활성화 상태를 유지할 수 있다. 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 제1 외부 전자 장치에게 제2 요청을 송신하는 것을 삼갈 수 있다.
예를 들어, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 제2 웨어러블 장치에게 송신할 수 있다. 프로세서(310)는 제2 웨어러블 장치에게 제1 요청을 송신함으로써, 사용자의 심박에 대한 제2 데이터를 획득하도록 제어할 수 있다.
동작 1170에서, 프로세서(310)는 제1 요청에 대한 응답으로 제2 데이터를 제2 웨어러블 장치로부터 수신할 수 있다. 예를 들어, 프로세서(310)는 제1 요청에 대한 응답으로 사용자의 심박에 대한 제2 데이터를 제2 웨어러블 장치로부터 수신할 수 있다.
동작 1180에서, 프로세서(310)는 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다. 예를 들어, 프로세서(310)는 제2 데이터에 기반하여, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 제1 데이터 및 제2 데이터를 메모리(340)에 저장된 복수의 파라미터들에 의해 지시되는 미리 정의된 모델의 입력 값으로 설정할 수 있다. 예를 들어, 제1 데이터는 사용자의 신체 일부분 (예: 머리)에 대한 온도를 나타낼 수 있다. 제2 데이터는 사용자의 심박을 나타낼 수 있다. 예를 들어, 미리 정의된 모델은, 뉴럴 네트워크와 관련된 복수의 파라미터들에 의해 지시될 수 있다. 미리 정의된 모델은 뉴럴 네트워크와 관련된 파라미터들의 집합을 포함할 수 있다. 예를 들어, 뉴럴 네트워크와 관련된 파라미터들은, 뉴럴 네트워크에 포함된 복수의 노드들 및/또는 상기 복수의 노드들 사이의 연결에 할당되는(assigned) 가중치를 나타낼 수 있다.
프로세서(310)는 미리 정의된 모델의 출력 값을 식별함으로써, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는지 여부를 식별할 수 있다. 실시 예에 따라, 프로세서(310)는 제1 데이터 및 제2 데이터에 기반하여, 미리 정의된 모델을 학습시킬 수도 있다.
예를 들어, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되는 경우, 프로세서(310) 동작 1130에 따라 동작할 수 있다. 예를 들어, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경되지 않는 경우, 프로세서(310)는 동작 1150에 따라 동작할 수 있다. 일 예로, 프로세서(310)는 사용자의 상태가 지정된 시간 동안 위험 모니터링 상태로 유지됨을 식별하는 것에 기반하여, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로부터 정상 상태로 변경할 수 있다. 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로부터 정상 상태로 변경한 뒤, 동작 1150에 따라 동작할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자의 체온에 관한 트렌드(또는 그래프)를 식별할 수 있다. 프로세서(310)는 사용자의 체온에 관한 트렌드에 기반하여, 제1 기준 범위 및 제2 기준 범위를 결정할 수 있다. 사용자의 나이, BMI, 및 성별 중 적어도 하나에 따라 사용자의 체온에 관한 트렌드가 변경될 수 있다. 따라서, 프로세서(310)는 사용자의 체온에 관한 트렌드를 식별하고, 식별된 트렌드에 기반하여, 응급 상태를 식별하기 위한 제1 기준 범위 및 위험 모니터링 상태를 식별하기 위한 제2 기준 범위를 결정할 수 있다.
일 실시 예에 따르면, 프로세서(310)는 사용자 입력에 따라 사용자의 상태를 인식할 수 있다.
예를 들어, 프로세서(310)는 제1 사용자 입력에 기반하여, 사용자의 상태를 위험 모니터링 상태로 인식할 수 있다. 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 웨어러블 장치(300), 제2 웨어러블 장치, 및 제1 외부 전자 장치와 관련된 모드를 제1 모드로 설정할 수 있다. 제1 모드는 웨어러블 장치(300), 제2 웨어러블 장치, 및 제1 외부 전자 장치에 포함된 복수의 센서들(또는 컴포넌트들) 중 발생 가능한 위험을 식별하기 위해 사용되는 제1 세트의 센서들이 활성화되도록 설정되는 모드를 포함할 수 있다.
예를 들어, 프로세서(310)는 제2 사용자 입력에 기반하여, 사용자의 상태를 응급 상태로 인식할 수 있다. 프로세서(310)는 사용자의 상태를 응급 상태로 인식하는 것에 기반하여, 웨어러블 장치(300), 제2 웨어러블 장치, 및 제1 외부 전자 장치와 관련된 모드를 제2 모드로 설정할 수 있다. 제2 모드는 웨어러블 장치(300), 제2 웨어러블 장치, 및 제1 외부 전자 장치에 포함된 복수의 센서들(또는 컴포넌트들) 중 제1 세트의 센서들 및 사용자의 의식 상태에 대한 정보를 획득하기 위해 사용되는 제2 세트의 센서들이 활성화되도록 설정되는 모드를 포함할 수 있다.
도 12는, 일 실시 예에 따른 웨어러블 장치의 동작을 도시하는 흐름도이다.
도 12를 참조하면, 동작 1210에서, 프로세서(310)는 동공 인식 센서(402) 및 뇌파 센서(403)의 사용에 대한 권한 및 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 요청할 수 있다. 예를 들어, 프로세서(310)는 사용자의 상태를 위험 모니터링 상태로 인식하는 것에 기반하여, 동공 인식 센서(402) 및 뇌파 센서(403)의 사용에 대한 권한 및 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 요청할 수 있다.
예를 들어, 프로세서(310)는 웨어러블 장치(300) 및 제2 웨어러블 장치 중 적어도 하나를 이용하여, 웨어러블 장치(300)에 포함된 동공 인식 센서(402) 및 뇌파 센서(403)와 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 요청할 수 있다. 일 예로, 프로세서(310)는 웨어러블 장치(300)를 이용하여, 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 요청할 수 있다. 일 예로, 프로세서(310)는 제2 웨어러블 장치를 이용하여, 웨어러블 장치(300)에 포함된 동공 인식 센서(402) 및 뇌파 센서(403)의 사용에 대한 권한을 요청할 수 있다.
동작 1220에서, 프로세서(310)는 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경됨을 식별할 수 있다. 예를 들어, 프로세서(310)는 웨어러블 장치(300)에 포함된 동공 인식 센서(402) 및 뇌파 센서(403)의 사용에 대한 권한 및 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 획득한 뒤, 사용자의 상태가 위험 모니터링 상태로부터 응급 상태로 변경됨을 식별할 수 있다.
동작 1230에서, 프로세서(310)는 동공 인식 센서(402) 및 뇌파 센서(403)를 비활성화 상태로부터 활성화 상태로 변경하고, 제2 웨어러블 장치에 포함된 심박 센서를 활성화하도록 제어하기 위한 신호를 제2 웨어러블 장치에게 송신할 수 있다.
예를 들어, 프로세서(310)는 동공 인식 센서(402) 및 뇌파 센서(403)의 사용에 대한 권한에 기반하여, 동공 인식 센서(402) 및 뇌파 센서(403)를 비활성화 상태로부터 활성화 상태로 변경할 수 있다.
예를 들어, 프로세서(310)는 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한에 기반하여, 제2 웨어러블 장치에 포함된 심박 센서를 활성화하도록 제어하기 위한 신호를 제2 웨어러블 장치에게 송신할 수 있다. 제2 웨어러블 장치는 상기 신호에 기반하여, 심박 센서를 비활성화 상태로부터 활성화 상태로 변경할 수 있다. 제2 웨어러블 장치는 심박 센서를 이용하여, 사용자의 심박에 대한 제2 데이터를 획득할 수 있다. 제2 웨어러블 장치는 사용자의 심박에 대한 제2 데이터를 웨어러블 장치(300)에게 송신할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(예: 웨어러블 장치(300))는, 온도 센서(예: 온도 센서(401)), 동공 인식 센서(예: 동공 인식 센서(402)), 뇌파 센서(예: 뇌파 센서(403)), 카메라(예: 카메라(330)), 메모리(예: 메모리(340)), 통신 회로(예: 통신 회로(350)), 및 상기 온도 센서, 동공 인식 센서, 뇌파 센서, 상기 카메라, 및 상기 메모리와 작동적으로 결합된 프로세서(예: 프로세서(310))를 포함할 수 있다. 상기 프로세서는, 상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 상기 온도 센서를 통해 획득하도록 설정될 수 있다. 상기 프로세서는, 제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트 및 상기 응급 상태의 상기 인식에 응답하여 활성화된, 상기 동공 인식 센서 및 상기 뇌파 센서를 이용하여 상기 제1 시점으로부터 상기 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 상기 메모리 내에 저장하고, 상기 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 손목과 접촉된 제2 웨어러블 장치에게 송신하고, 상기 사용자의 상기 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 상기 제1 요청을 상기 제2 웨어러블 장치에게 송신하고, 상기 제1 요청에 대한 응답으로 상기 제2 데이터를 상기 제2 웨어러블 장치로부터 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 이용하여, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제2 시점으로부터 상기 제1 시점까지, 제1 시간 간격에 기반하여, 상기 제1 데이터를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 응답하여, 상기 제1 시점으로부터 상기 제3 시점까지 상기 제1 시간 간격보다 짧은 제2 시간 간격에 기반하여, 상기 제1 데이터를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 응답하여, 상기 제4 시점으로부터 상기 제5 시점까지 상기 제1 시간 간격보다 짧고, 상기 제2 시간 간격보다 긴, 제3 시간 간격에 기반하여, 상기 제1 데이터를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 데이터에 기반하여, 상기 사용자의 체온에 관한 트렌드를 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 체온에 관한 트렌드에 기반하여, 상기 제1 기준 범위 및 상기 제2 기준 범위를 결정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 동공 인식 센서 및 상기 뇌파 센서의 비활성화 상태를 유지하고, 상기 제1 외부 전자 장치에게 상기 제2 요청을 송신하는 것을 삼가도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제2 시점으로부터 상기 제1 시점까지 상기 카메라를 이용하여 획득된 제3 콘텐트를 상기 메모리 내에 구성된 버퍼에 저장하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 응답하여, 상기 제1 시점으로부터 상기 제3 시점까지 획득된 제4 콘텐트와, 상기 버퍼에 저장된 상기 제3 콘텐트를 결합(combine)함으로써, 상기 제1 콘텐트를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제4 시점에서 상기 미리 정의된 시간 이전의 제6 시점으로부터 상기 제4 시점까지 획득된 제5 콘텐트를 상기 메모리 내에 구성된 버퍼에 저장하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 버퍼에 저장된 상기 제5 콘텐트를 삭제하도록 설정될 수 있다. 상기 프로세서는, 상기 제4 시점으로부터 상기 제5 시점까지 상기 카메라를 이용하여 상기 제2 콘텐트를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 동공 인식 센서 및 상기 뇌파 센서의 사용에 대한 권한 및 상기 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 요청하도록 설정될 수 있다. 상기 프로세서는, 상기 동공 인식 센서 및 상기 뇌파 센서의 사용에 대한 권한 및 상기 제2 웨어러블 장치에 포함된 상기 심박 센서의 사용에 대한 권한을 획득한 뒤, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경됨을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경됨을 식별하는 것에 응답하여, 상기 동공 인식 센서 및 상기 뇌파 센서를 비활성화 상태로부터 활성화 상태로 변경하고, 상기 제2 웨어러블 장치에 포함된 상기 심박 센서를 활성화하도록 제어하기 위한 신호를 상기 제2 웨어러블 장치에게 송신하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 제1 사용자 입력에 기반하여, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 웨어러블 장치, 상기 제2 웨어러블 장치, 및 상기 제1 외부 전자 장치와 관련된 모드를 제1 모드로 설정하도록 설정될 수 있다. 상기 프로세서는, 상기 웨어러블 장치가 상기 제1 모드로 동작하는 동안, 상기 제1 사용자 입력과 구별되는 제2 사용자 입력에 기반하여, 상기 사용자의 상태를 상기 응급 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 모드를 제1 모드와 구별되는 제2 모드로 설정하도록 설정될 수 있다. 상기 제1 모드는, 상기 웨어러블 장치, 상기 제2 웨어러블 장치, 및 상기 제1 외부 전자 장치에 포함된 복수의 센서들 중, 상기 발생 가능한 위험을 식별하기 위해 사용되는 제1 세트의 센서들이 활성화되도록 설정되는 모드를 포함할 수 있다. 상기 제2 모드는, 상기 복수의 센서들 중, 상기 제1 세트의 센서들 및 상기 사용자의 의식 상태에 대한 정보를 획득하기 위해 사용되는 제2 세트의 센서들이 활성화되도록 설정되는 모드를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 데이터 및 상기 제2 데이터를, 상기 메모리에 저장된, 복수의 파라미터들에 의해 지시되는 미리 정의된 모델의 입력 값으로 설정(set)하도록 설정될 수 있다. 상기 프로세서는, 상기 미리 정의된 모델의 출력 값을 식별함으로써, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 데이터 및 상기 제2 데이터에 기반하여, 상기 미리 정의된 모델을 학습시키도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 미리 정의된 시간 자원 내에서 제1 시간 간격에 기반하여 획득된, 상기 온도가 상기 제1 기준 범위 내로 식별된 횟수를 나타내는 제1 값을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 값이 미리 정의된 값 이상임을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 응급 상태로 인식하도록 설정될 수 있다. 상기 프로세서는, 상기 미리 정의된 시간 자원 내에서 상기 제1 시간 간격에 기반하여 획득된, 상기 온도가 상기 제2 기준 범위 내로 식별된 횟수를 나타내는 제2 값을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제2 값이 상기 미리 정의된 값 이상임을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 카메라는, 상기 사용자의 시선에 대응하도록 배치될 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 외부 객체가 상기 사용자에게 접근하는 중임을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자에게 접근하는 상기 외부 객체의 크기 및 속도에 대한 정보를, 상기 카메라를 이용하여, 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 외부 객체의 크기 및 속도에 대한 정보에 기반하여, 상기 사용자에게 상기 발생 가능한 위험을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자에게 상기 발생 가능한 위험을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 가속도 센서 및 자이로 센서를 포함하는 상기 제2 웨어러블 장치로부터, 상기 사용자의 모션에 대한 제3 데이터를 수신하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 데이터 및 상기 제3 데이터에 기반하여, 상기 사용자에게 낙상이 발생하였음을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 사용자에게 낙상이 발생하였음을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 응급 상태로 인식하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제1 콘텐트는, 영상, 이미지, 음성, 통화 기록, 웨어러블 장치의 위치 정보, 및 실행 중인 어플리케이션에 대한 정보 중 적어도 하나를 포함할 수 있다. 상기 제2 콘텐트는, 영상, 이미지, 음성, 통화 기록, 웨어러블 장치의 위치 정보, 및 실행 중인 어플리케이션에 대한 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 웨어러블 장치의 방법은, 상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 상기 웨어러블 장치의 온도 센서를 통해 획득하는 동작을 포함할 수 있다. 상기 동작은, 제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하는 동작을 포함할 수 있다. 상기 동작은, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 웨어러블 장치의 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트 및 상기 응급 상태의 상기 인식에 응답하여 활성화된, 상기 웨어러블 장치의 동공 인식 센서 및 상기 웨어러블 장치의 뇌파 센서를 이용하여 상기 제1 시점으로부터 상기 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 상기 웨어러블 장치의 메모리 내에 저장하고, 상기 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 손목과 접촉된 제2 웨어러블 장치에게 송신하고, 상기 사용자의 상기 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신하는 동작을 포함할 수 있다. 상기 동작은, 상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하는 동작을 포함할 수 있다. 상기 동작은, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 상기 제1 요청을 상기 제2 웨어러블 장치에게 송신하고, 상기 제1 요청에 대한 응답으로 상기 제2 데이터를 상기 제2 웨어러블 장치로부터 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 이용하여, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제2 시점으로부터 상기 제1 시점까지, 제1 시간 간격에 기반하여, 상기 제1 데이터를 획득하는 동작을 포함할 수 있다. 상기 동작은, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 응답하여, 상기 제1 시점으로부터 상기 제3 시점까지 상기 제1 시간 간격보다 짧은 제2 시간 간격에 기반하여, 상기 제1 데이터를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 응답하여, 상기 제4 시점으로부터 상기 제5 시점까지 상기 제1 시간 간격보다 짧고, 상기 제2 시간 간격보다 긴, 제3 시간 간격에 기반하여, 상기 제1 데이터를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 동공 인식 센서 및 상기 뇌파 센서의 비활성화 상태를 유지하고, 상기 제1 외부 전자 장치에게 상기 제2 요청을 송신하는 것을 삼가하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제2 시점으로부터 상기 제1 시점까지 상기 카메라를 이용하여 획득된 제3 콘텐트를 상기 메모리 내에 구성된 버퍼에 저장하는 동작을 포함할 수 있다. 상기 동작은, 상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 응답하여, 상기 제1 시점으로부터 상기 제3 시점까지 획득된 제4 콘텐트와, 상기 버퍼에 저장된 상기 제3 콘텐트를 결합(combine)함으로써, 상기 제1 콘텐트를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제4 시점에서 상기 미리 정의된 시간 이전의 제6 시점으로부터 상기 제4 시점까지 획득된 제5 콘텐트를 상기 메모리 내에 구성된 버퍼에 저장하는 동작을 포함할 수 있다. 상기 동작은, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 버퍼에 저장된 상기 제5 콘텐트를 삭제하는 동작을 포함할 수 있다. 상기 동작은, 상기 제4 시점으로부터 상기 제5 시점까지 상기 카메라를 이용하여 상기 제2 콘텐트를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 웨어러블 장치(예: 웨어러블 장치(300))는, 적어도 하나의 센서(예: 센서(320)), 카메라(예: 카메라(330)), 메모리(예: 메모리(340)) 및 프로세서(예: 프로세서(310))를 포함하고, 상기 프로세서는, 상기 웨어러블 장치와 접촉된 사용자의 신체의 제1 부분에서 획득된 사용자의 신체에 대한 제1 데이터를, 상기 적어도 하나의 센서를 통해 획득하고, 상기 제1 데이터가 제1 조건을 만족하는 것에 기반하여, 상기 사용자의 상태를 응급 상태인 제1 상태로 인식하고, 상기 제1 상태를 상기 제1 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트를 상기 메모리 내에 저장하고, 상기 제1 조건과 다른 제2 조건을 만족하는 상기 제1 데이터에 기반하여, 상기 상태를 상기 응급 상태로의 변경을 식별하는 제2 상태로 인식하고, 상기 상태를 상기 제2 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하도록 설정될 수 있다.
상술한 실시 예들에 따르면, 웨어러블 장치를 이용하여 획득되는 사용자에 대한 데이터의 정확도를 높일 수 있는 효과가 있다. 상술한 실시 예들에 따르면, 웨어러블 장치의 착용으로 인해 발생되는 사용자의 주변 인지 감각을 높일 수 있는 효과가 있다. 상술한 실시 예들에 따르면, 웨어러블 장치로 위험 상황을 미리 식별하고 사용자에게, 발생 가능한 위험에 대한 알림을 제공할 수 있는 효과가 있다. 상술한 실시 예들에 따르면, 웨어러블 장치 뿐만 아니라 웨어러블 장치와 연결된 제2 외부 전자 장치에서 획득된 사용자에 대한 데이터에 기반하여, 사용자의 상태를 식별할 수 있는 효과가 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서, 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 웨어러블 장치에 있어서,
    온도 센서;
    동공 인식 센서;
    뇌파 센서;
    카메라;
    메모리;
    통신 회로; 및
    상기 온도 센서, 동공 인식 센서, 뇌파 센서, 상기 카메라, 및 상기 메모리와 작동적으로 결합된 프로세서를 포함하고, 상기 프로세서는,
    상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 상기 온도 센서를 통해 획득하고,
    제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하고,
    상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트 및 상기 응급 상태의 상기 인식에 응답하여 활성화된, 상기 동공 인식 센서 또는 상기 뇌파 센서를 이용하여 상기 제1 시점으로부터 상기 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 상기 메모리 내에 저장하고, 상기 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 손목과 접촉된 제2 웨어러블 장치에게 송신하고, 상기 사용자의 상기 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신하고,
    상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하고,
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 상기 제1 요청을 상기 제2 웨어러블 장치에게 송신하고, 상기 제1 요청에 대한 응답으로 상기 제2 데이터를 상기 제2 웨어러블 장치로부터 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 이용하여, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하도록 설정된
    웨어러블 장치.
  2. 제1 항에 있어서, 상기 프로세서는,
    상기 제2 시점으로부터 상기 제1 시점까지, 제1 시간 간격에 기반하여, 상기 제1 데이터를 획득하고,
    상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 응답하여, 상기 제1 시점으로부터 상기 제3 시점까지 상기 제1 시간 간격보다 짧은 제2 시간 간격에 기반하여, 상기 제1 데이터를 획득하도록 더 설정된
    웨어러블 장치.
  3. 제2 항에 있어서, 상기 프로세서는,
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 응답하여, 상기 제4 시점으로부터 상기 제5 시점까지 상기 제1 시간 간격보다 짧고, 상기 제2 시간 간격보다 긴, 제3 시간 간격에 기반하여, 상기 제1 데이터를 획득하도록 더 설정된
    웨어러블 장치.
  4. 제1 항에 있어서, 상기 프로세서는,
    상기 제1 데이터에 기반하여, 상기 사용자의 체온에 관한 트렌드를 식별하고,
    상기 사용자의 체온에 관한 트렌드에 기반하여, 상기 제1 기준 범위 및 상기 제2 기준 범위를 결정하도록 더 설정된
    웨어러블 장치.
  5. 제1 항에 있어서, 상기 프로세서는,
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 동공 인식 센서 및 상기 뇌파 센서의 비활성화 상태를 유지하고, 상기 제1 외부 전자 장치에게 상기 제2 요청을 송신하는 것을 삼가도록 더 설정된
    웨어러블 장치.
  6. 제1 항에 있어서, 상기 프로세서는,
    상기 제2 시점으로부터 상기 제1 시점까지 상기 카메라를 이용하여 획득된 제3 콘텐트를 상기 메모리 내에 구성된 버퍼에 저장하고,
    상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 응답하여, 상기 제1 시점으로부터 상기 제3 시점까지 획득된 제4 콘텐트와, 상기 버퍼에 저장된 상기 제3 콘텐트를 결합(combine)함으로써, 상기 제1 콘텐트를 획득하도록 더 설정된
    웨어러블 장치.
  7. 제1 항에 있어서, 상기 프로세서는,
    상기 제4 시점에서 상기 미리 정의된 시간 이전의 제6 시점으로부터 상기 제4 시점까지 획득된 제5 콘텐트를 상기 메모리 내에 구성된 버퍼에 저장하고,
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 버퍼에 저장된 상기 제5 콘텐트를 삭제하고,
    상기 제4 시점으로부터 상기 제5 시점까지 상기 카메라를 이용하여 상기 제2 콘텐트를 획득하도록 더 설정된
    웨어러블 장치.
  8. 제1 항에 있어서, 상기 프로세서는,
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 동공 인식 센서 및 상기 뇌파 센서의 사용에 대한 권한 및 상기 제2 웨어러블 장치에 포함된 심박 센서의 사용에 대한 권한을 요청하고,
    상기 동공 인식 센서 및 상기 뇌파 센서의 사용에 대한 권한 및 상기 제2 웨어러블 장치에 포함된 상기 심박 센서의 사용에 대한 권한을 획득한 뒤, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경됨을 식별하고,
    상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경됨을 식별하는 것에 응답하여, 상기 동공 인식 센서 및 상기 뇌파 센서를 비활성화 상태로부터 활성화 상태로 변경하고, 상기 제2 웨어러블 장치에 포함된 상기 심박 센서를 활성화하도록 제어하기 위한 신호를 상기 제2 웨어러블 장치에게 송신하도록 더 설정된
    웨어러블 장치.
  9. 제1 항에 있어서, 상기 프로세서는,
    제1 사용자 입력에 기반하여, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하고,
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 웨어러블 장치, 상기 제2 웨어러블 장치, 및 상기 제1 외부 전자 장치와 관련된 모드를 제1 모드로 설정하고,
    상기 웨어러블 장치가 상기 제1 모드로 동작하는 동안, 상기 제1 사용자 입력과 구별되는 제2 사용자 입력에 기반하여, 상기 사용자의 상태를 상기 응급 상태로 인식하고,
    상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 모드를 제1 모드와 구별되는 제2 모드로 설정하도록 설정되고,
    상기 제1 모드는,
    상기 웨어러블 장치, 상기 제2 웨어러블 장치, 및 상기 제1 외부 전자 장치에 포함된 복수의 센서들 중, 상기 발생 가능한 위험을 식별하기 위해 사용되는 제1 세트의 센서들이 활성화되도록 설정되는 모드를 포함하고,
    상기 제2 모드는,
    상기 복수의 센서들 중, 상기 제1 세트의 센서들 및 상기 사용자의 의식 상태에 대한 정보를 획득하기 위해 사용되는 제2 세트의 센서들이 활성화되도록 설정되는 모드를 포함하는
    웨어러블 장치.
  10. 제1 항에 있어서, 상기 프로세서는,
    상기 제1 데이터 및 상기 제2 데이터를, 상기 메모리에 저장된, 복수의 파라미터들에 의해 지시되는 미리 정의된 모델의 입력 값으로 설정하고,
    상기 미리 정의된 모델의 출력 값을 식별함으로써, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하도록 더 설정된
    웨어러블 장치.
  11. 제10 항에 있어서, 상기 프로세서는,
    상기 제1 데이터 및 상기 제2 데이터에 기반하여, 상기 미리 정의된 모델을 학습시키도록 더 설정된
    웨어러블 장치.
  12. 제1 항에 있어서, 상기 프로세서는,
    미리 정의된 시간 자원 내에서 제1 시간 간격에 기반하여 획득된, 상기 온도가 상기 제1 기준 범위 내로 식별된 횟수를 나타내는 제1 값을 식별하고,
    상기 제1 값이 미리 정의된 값 이상임을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 응급 상태로 인식하고,
    상기 미리 정의된 시간 자원 내에서 상기 제1 시간 간격에 기반하여 획득된, 상기 온도가 상기 제2 기준 범위 내로 식별된 횟수를 나타내는 제2 값을 식별하고,
    상기 제2 값이 상기 미리 정의된 값 이상임을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하도록 더 설정된
    웨어러블 장치.
  13. 제1 항에 있어서, 상기 카메라는,
    상기 사용자의 시선에 대응하도록 배치되고,
    상기 프로세서는,
    상기 카메라를 이용하여, 상기 외부 객체가 상기 사용자에게 접근하는 중임을 식별하고,
    상기 사용자에게 접근하는 상기 외부 객체의 크기 및 속도에 대한 정보를, 상기 카메라를 이용하여, 식별하고,
    상기 외부 객체의 크기 및 속도에 대한 정보에 기반하여, 상기 사용자에게 상기 발생 가능한 위험을 식별하고,
    상기 사용자에게 상기 발생 가능한 위험을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하도록 더 설정된
    웨어러블 장치.
  14. 제1 항 에 있어서, 상기 프로세서는,
    가속도 센서 및 자이로 센서를 포함하는 상기 제2 웨어러블 장치로부터, 상기 사용자의 모션에 대한 제3 데이터를 수신하고,
    상기 제1 데이터 및 상기 제3 데이터에 기반하여, 상기 사용자에게 낙상이 발생하였음을 식별하고,
    상기 사용자에게 낙상이 발생하였음을 식별하는 것에 응답하여, 상기 사용자의 상태를 상기 응급 상태로 인식하도록 더 설정된
    웨어러블 장치.
  15. 웨어러블 장치의 방법에 있어서,
    상기 웨어러블 장치와 접촉된 사용자의 머리(head)에 대한 온도를 나타내는 제1 데이터를 상기 웨어러블 장치의 온도 센서를 통해 획득하는 동작;
    제1 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 응급 상태로 인식하는 동작;
    상기 사용자의 상태를 상기 응급 상태로 인식하는 것에 기반하여, 상기 웨어러블 장치의 카메라를 통해 상기 사용자의 상태가 상기 응급 상태로 인식된 제1 시점에서 미리 정의된 시간 이전인 제2 시점으로부터, 상기 제1 시점에서 상기 미리 정의된 시간 이후인 제3 시점까지 획득된 제1 콘텐트 및 상기 응급 상태의 상기 인식에 응답하여 활성화된, 상기 웨어러블 장치의 동공 인식 센서 및 상기 웨어러블 장치의 뇌파 센서를 이용하여 상기 제1 시점으로부터 상기 제3 시점까지 획득된 사용자의 의식 상태에 대한 정보를 상기 웨어러블 장치의 메모리 내에 저장하고, 상기 사용자의 심박에 대한 제2 데이터를 획득하라는 제1 요청을 손목과 접촉된 제2 웨어러블 장치에게 송신하고, 상기 사용자의 상기 응급 상태를 나타내는 정보 및 상기 사용자의 의식 상태에 대한 정보를 제2 외부 전자 장치에게 송신하라는 제2 요청을 제1 외부 전자 장치에게 송신하는 동작;
    상기 제1 기준 범위와 다른 제2 기준 범위 내의 상기 온도를 나타내는 상기 제1 데이터에 기반하여, 상기 사용자의 상태를 위험 모니터링 상태로 인식하는 동작; 및
    상기 사용자의 상태를 상기 위험 모니터링 상태로 인식하는 것에 기반하여, 상기 카메라를 통해 상기 사용자의 상태가 상기 위험 모니터링 상태로 인식된 제4 시점으로부터, 상기 제4 시점에서 상기 미리 정의된 시간 이후의 제5 시점까지 획득된 제2 콘텐트를 상기 메모리 내에 저장하고, 발생 가능한 위험을 경고함을 나타내는 정보를 제공하고, 상기 제1 요청을 상기 제2 웨어러블 장치에게 송신하고, 상기 제1 요청에 대한 응답으로 상기 제2 데이터를 상기 제2 웨어러블 장치로부터 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 이용하여, 상기 사용자의 상태가 상기 위험 모니터링 상태로부터 상기 응급 상태로 변경되는지 여부를 식별하는 동작을 포함하는
    방법.
PCT/KR2023/009111 2022-08-29 2023-06-29 사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법 WO2024048948A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220108769 2022-08-29
KR10-2022-0108769 2022-08-29
KR1020220119668A KR20240031818A (ko) 2022-08-29 2022-09-21 사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법
KR10-2022-0119668 2022-09-21

Publications (1)

Publication Number Publication Date
WO2024048948A1 true WO2024048948A1 (ko) 2024-03-07

Family

ID=90098070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009111 WO2024048948A1 (ko) 2022-08-29 2023-06-29 사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024048948A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016544A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 모바일 단말의 기능 제공 방법 및 장치
KR20160105129A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 생체 신호 측정을 위한 방법 및 이를 위한 착용형 전자 장치
KR20190124393A (ko) * 2018-04-26 2019-11-05 삼성전자주식회사 생체 정보를 수신하는 웨어러블 장치와 통신을 수행하는 전자 장치
WO2021100994A1 (ko) * 2019-11-21 2021-05-27 주식회사 지비소프트 비접촉식 생체 지수 측정 방법
KR20210073319A (ko) * 2019-12-10 2021-06-18 주식회사 이씨앤에이치 응급 상황 관리를 위한 웨어러블 장치와 이를 이용한 응급 상황 관리 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016544A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 모바일 단말의 기능 제공 방법 및 장치
KR20160105129A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 생체 신호 측정을 위한 방법 및 이를 위한 착용형 전자 장치
KR20190124393A (ko) * 2018-04-26 2019-11-05 삼성전자주식회사 생체 정보를 수신하는 웨어러블 장치와 통신을 수행하는 전자 장치
WO2021100994A1 (ko) * 2019-11-21 2021-05-27 주식회사 지비소프트 비접촉식 생체 지수 측정 방법
KR20210073319A (ko) * 2019-12-10 2021-06-18 주식회사 이씨앤에이치 응급 상황 관리를 위한 웨어러블 장치와 이를 이용한 응급 상황 관리 방법 및 시스템

Similar Documents

Publication Publication Date Title
WO2020209662A1 (en) Wearable electronic device including biometric sensor and wireless charging module
WO2019107885A1 (en) Electronic device operating in associated state with external audio device based on biometric information and method therefor
WO2022124647A1 (ko) 수면 무호흡을 검출하기 위한 방법 및 이를 지원하는 전자 장치
WO2018208093A1 (ko) 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
WO2020190060A1 (en) Electronic device for measuring blood pressure and method for measuring blood pressure
WO2020189930A1 (en) Electronic device and method for notification of biometric information by electronic device
WO2022030968A1 (ko) 제스처를 인식하는 전자 장치 및 그 동작 방법
WO2021177622A1 (ko) 가상 이미지를 제공하는 웨어러블 전자 장치
WO2024048948A1 (ko) 사용자에 대한 데이터를 획득하기 위한 웨어러블 장치 및 방법
WO2020111575A1 (en) Biometric sensor module and electronic device including the same
WO2023054896A1 (ko) 획득된 데이터에 기반하여 화면을 표시하기 위한 전자 장치 및 방법
WO2023096256A1 (ko) 안테나 및 전극을 포함하는 웨어러블 전자 장치
WO2022220384A1 (ko) 생체 정보 검출 방법 및 이를 지원하는 전자 장치
WO2024043465A1 (ko) 생체 정보를 측정하는 전자 장치 및 이의 동작 방법
WO2023085558A1 (ko) 체온 센서를 포함하는 웨어러블 장치, 방법, 비일시적 컴퓨터 판독가능 저장 매체
WO2023140490A1 (ko) 체온 측정을 위한 전자 장치 및 그의 동작 방법
WO2023033304A1 (ko) 전자 장치 및 전자 장치에서 트레머 증상 검출 방법
WO2022050638A1 (ko) 디스플레이의 설정 변경 방법 및 전자 장치
WO2024071903A1 (ko) 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법
WO2024019293A1 (ko) 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법
WO2023033286A1 (ko) 정신 건강 관리를 위한 전자 장치 및 이의 제어 방법
WO2023008743A1 (ko) 생체 정보를 측정하는 전자 장치 및 그 동작 방법
WO2022239929A1 (ko) 생체 정보 검출 방법 및 이를 지원하는 전자 장치
WO2023080407A1 (ko) 사용자의 혈당 값에 기초하여 사용자에게 행동을 제안하는 메시지를 출력하는 방법 및 그 방법을 수행하는 전자 장치
WO2023027300A1 (ko) 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23860631

Country of ref document: EP

Kind code of ref document: A1