WO2022131534A1 - 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법 - Google Patents

웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법 Download PDF

Info

Publication number
WO2022131534A1
WO2022131534A1 PCT/KR2021/015815 KR2021015815W WO2022131534A1 WO 2022131534 A1 WO2022131534 A1 WO 2022131534A1 KR 2021015815 W KR2021015815 W KR 2021015815W WO 2022131534 A1 WO2022131534 A1 WO 2022131534A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
touch
sensor
information
processor
Prior art date
Application number
PCT/KR2021/015815
Other languages
English (en)
French (fr)
Inventor
김진익
박남준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022131534A1 publication Critical patent/WO2022131534A1/ko
Priority to US18/333,950 priority Critical patent/US20230325006A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Definitions

  • Various embodiments of the present invention disclose a wearable device and a method of detecting a motion gesture of the wearable device.
  • the electronic device uses short-distance wireless communication such as Bluetooth and Wi-Fi direct to provide a laptop computer, wearable earring (eg, earphone, headphone), and a wearable display device (eg, AR glasses, head Information (or content) can be output or exchanged by connecting with a mounted device (eg, HMD, head mounted display).
  • a mounted device eg, HMD, head mounted display
  • the electronic device may be connected to the wearable earring and the wearable display device to output audio through the wearable earring, and may output a video through the wearable display device.
  • the electronic device may provide various functions by being connected to a plurality of wearable devices in consideration of user convenience.
  • the wearable device has an advantage that the wearable device can be worn by the user, when the position where the wearable device is worn on the user's body is changed, sensor information detected by the wearable device may not be accurate. If the sensor information is not accurate, the wrong function may be performed, which may cause inconvenience to the user. Also, when a plurality of wearable devices are connected to an electronic device and used in the related art, a function of controlling the second wearable device using sensor information detected by the first wearable device is not provided.
  • a method and apparatus capable of controlling an electronic device connected to the wearable device or another wearable device connected to the electronic device may be disclosed based on the present invention.
  • a wearable device includes a touch sensor disposed adjacent to the outside of a housing and including a touch interface for each area, an inertial sensor having a sensor axis set, a biometric sensor disposed adjacent to the inside of the housing, and communication A module, a memory for mapping and storing an angle corresponding to a touch detection range of each touch interface included in the touch sensor, and operatively connected to the touch sensor, the inertial sensor, the biometric sensor, the communication module, and the memory and a processor configured to: detect whether the wearable device is worn using the biometric sensor or the inertial sensor, and receive touch information from at least one of a plurality of touch interfaces included in the touch sensor; , correcting the sensor axis of the inertial sensor based on the touch information, obtaining sensing information from the inertial sensor, and calculating posture information from the sensing information based on the corrected sensor axis.
  • An electronic device includes a communication module, a memory, and a processor operatively connected to the communication module and the memory, wherein the processor includes a first wearable device and a second wearable device through the communication module and to obtain motion information from the first wearable device, determine a gesture command based on the motion information, and control the second wearable device based on the gesture command.
  • a method of operating a wearable device including a touch sensor including a plurality of area-specific touch interfaces, a biosensor, and an inertial sensor in which a sensor axis is set may include: Detecting whether the wearer is worn, receiving touch information from at least one of a plurality of touch interfaces included in the touch sensor, correcting the sensor axis of the inertial sensor based on the touch information, from the inertial sensor It may include an operation of acquiring sensing information, and an operation of calculating posture information from the sensing information based on the corrected sensor axis.
  • more accurate posture information may be obtained using the inertial sensor by detecting a wearing position of the wearable device using a touch sensor and correcting a sensor axis of the inertial sensor based on the detected wearing position.
  • the wearable device may provide various motion gesture services based on the posture information measured by the inertial sensor even if the position worn on the user's body is changed.
  • a multi-device service may be supported by controlling an electronic device connected to the wearable device or another wearable device connected to the electronic device based on biometric information or posture information detected by the wearable device.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram of a wearable device according to various embodiments of the present disclosure
  • 3A to 3C are diagrams illustrating a configuration of a wearable device according to various embodiments of the present disclosure
  • FIGS. 4A and 4B are diagrams illustrating an example in which at least one wearable device is connected to an electronic device according to various embodiments of the present disclosure
  • 4C is a diagram illustrating an example in which at least two wearable devices are connected according to various embodiments of the present disclosure
  • FIG. 5 is a flowchart illustrating a method of operating a wearable device according to various embodiments of the present disclosure
  • FIG. 6 is a diagram illustrating an example of determining a wearing reference angle in a wearable device according to various embodiments of the present disclosure
  • FIG. 7 is a diagram illustrating another example of determining a wearing reference angle in a wearable device according to various embodiments of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of providing a motion service in a wearable device according to various embodiments of the present disclosure
  • FIG. 9 is a diagram illustrating an example of providing a motion service in a wearable device according to various embodiments of the present disclosure.
  • FIGS. 10A and 10B are diagrams illustrating another example of providing a motion service in a wearable device according to various embodiments of the present disclosure
  • FIG. 11 is a flowchart illustrating a method of controlling at least one wearable device in an electronic device according to various embodiments of the present disclosure
  • 12A and 12B are diagrams illustrating an example of controlling at least one wearable device in an electronic device according to various embodiments of the present disclosure
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit (CPU) or an application processor (AP)) or an auxiliary processor capable of operating independently or together with it ( 123) (eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)) may be included.
  • main processor 121 eg, a central processing unit (CPU) or an application processor (AP)
  • auxiliary processor capable of operating independently or together with it eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)
  • the main processor 121 may use less power than the main processor 121 or may be set to be specialized for a specified function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is At least one of the components of the electronic device 101 (eg, the display module 160 , the sensor module 176 , or At least some of functions or states related to the communication module 190 may be controlled.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning.
  • Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system (OS) 142 , middleware 144 , or an application 146 . have.
  • OS operating system
  • middleware middleware
  • application application
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD secure digital
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology is a high-speed transmission of high-capacity data (eMBB, enhanced mobile broadband), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications), or high reliability and low latency (URLLC, ultra-reliable and low-latency) communications)
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) in order to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 may support Various techniques for securing performance, for example, beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), It may support technologies such as an array antenna, analog beam-forming, or a large scale antenna, etc.
  • the wireless communication module 192 includes the electronic device 101 , an external electronic device ( For example, it may support various requirements stipulated in the electronic device 104) or the network system (eg, the second network 199).
  • the wireless communication module 192 is a Peak for eMBB realization. data rate (e.g. 20 Gbps or more), loss coverage (e.g. 164 dB or less) for realization of mMTC, or U-plane latency (e.g., downlink (DL) and uplink (UL) of 0.5 ms or less for realization of URLLC); or round trip 1ms or less).
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included in a computer program product (computer program product) and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order. , may be omitted, or one or more other operations may be added.
  • FIG. 2 is a block diagram of a wearable device according to various embodiments of the present disclosure
  • a wearable device 201 includes a touch sensor 210 , an inertial sensor 215 , a biometric sensor 220 , a communication module 225 , a processor 230 , and an interface 235 . ), an output module 240 , a memory 245 , a battery 250 and a charging module 255 .
  • the components eg, the output module 240
  • the output module 240 may be omitted or one or more other components (eg, a proximity sensor) may be added.
  • the touch sensor 210 may include a touch circuit configured to sense a touch (or a touch signal).
  • the touch sensor 210 may be a capacitive touch sensor or a pressure-sensitive touch sensor.
  • the touch sensor 210 may detect a single touch, a multi-touch, a surface touch, or a palm touch.
  • the inertial sensor 215 may be a sensor that measures acceleration or impact strength of a moving object.
  • the inertial sensor 215 may be an accelerometer or a gyroscope.
  • the biometric sensor 220 may obtain biometric information by making contact with a part of the user's body.
  • the biosensor 220 may include a photoplethysmogram (PPG) configured to calculate a blood pressure value.
  • PPG photoplethysmogram
  • the biosensor 220 may include an electrocardiogram (ECG), a galvanic skin response (GSR), an electroencephalogram (EEG), a bioimpedence assessment (BIA), or a ballistocardiogram (BCG).
  • ECG electrocardiogram
  • GSR galvanic skin response
  • EEG electroencephalogram
  • BIOA bioimpedence assessment
  • BCG ballistocardiogram
  • BCG ballistocardiogram
  • the biometric sensor 220 includes a light emitting unit and a light receiving unit to obtain biometric information, and outputs a signal through the light emitting unit, and obtains a signal reflected by the signal output through the light receiving unit, thereby obtaining biometric information. .
  • the biometric sensor 220 may output a current through an electrode, and obtain biometric information based on a current received from the user's body by the output current.
  • the communication module 225 may establish a wireless communication channel with the electronic device (eg, the electronic device 101 of FIG. 1 ) and support performing communication through the established communication channel.
  • Communication module 225 is Bluetooth, low-power Bluetooth, Wi-Fi (Wi-Fi), UWB (ulatra wide band), ANT+ (adaptive network topology), LTE (long term evolution), 5G (5th generation mobile eelecommunication), NB-IoT It may be connected to the electronic device 101 through (narrowband internet of things), or may be connected to an access point or a network.
  • the communication module 225 may transmit sensing information (or a sensing signal) (eg, posture information, touch information, biometric information, and proximity information) to the electronic device 101 .
  • the communication module 225 may be the same as or similar to the wireless communication module 192 of FIG. 1 .
  • the processor 230 may control the operation of the wearable device 201 .
  • the processor 230 controls other components (eg, the touch sensor 210 , the inertial sensor 215 , the communication module 225 , etc.) included in the wearable device 201 , and performs various data processing or calculations.
  • the processor 230 may determine a wearing state and a rotational state of the wearable device 201 based on sensing information obtained from the inertial sensor 215 .
  • the processor 230 may periodically control the sensing information to be transmitted to the electronic device 101 through the communication module 225 .
  • the processor 230 may include at least one of a main processor (eg, a micro controller unit), a sensor hub, a buyer processor, and a neural processor.
  • the processor 230 may be the same as or similar to the processor 120 of FIG. 1 .
  • the interface 235 may be physically connected to the wearable device case 205 .
  • the battery 250 may be charged through the charging module 255 .
  • the charging module 255 may manage power supplied to the wearable device 201 .
  • the charging module 255 may charge the battery 250 with power received through the interface 235 .
  • the charging module 255 may be the same as or similar to the power management module 188 of FIG. 1 .
  • the battery 250 may supply power to at least one component of the wearable device 201 .
  • Battery 250 may be the same as or similar to battery 189 of FIG. 1 .
  • the output module 240 may provide information to a user.
  • the output module 240 may include a display (eg, the display module 160 of FIG. 1 ), an LED, a speaker (eg, the sound output device 155 of FIG. 1 ), and a haptic module (eg, the haptic of FIG. 1 ). module 179).
  • the output module 240 may display notification information, turn on or blink an LED, output a sound signal, or output vibration under the control of the processor 230 .
  • the memory 245 may map and store an angle corresponding to the touch sensing range (or touch area) of the touch sensor 210 .
  • an angle corresponding to a touch sensing range of each touch sensor may be mapped.
  • the memory 245 may store sensing information.
  • the sensing information may store sensing information acquired from the inertial sensor 215 or posture information calculated by the processor 230 based on the sensing information.
  • the sensing information may include biometric information acquired from the biometric sensor 220 and touch information acquired from the touch sensor 210 .
  • the wearable device 201 includes a proximity sensor, the sensing information may include proximity information.
  • the wearable device case 205 may include a ring interface 260 , a detection module 265 , a case processor 270 , a power interface 275 , a case battery 280 , and a case charging module 285 .
  • the ring interface 260 may be physically connected to the interface 235 of the wearable device 201 .
  • the detection module 265 may detect whether the wearable device 201 is mounted (or accommodated) in the wearable device case 205 .
  • the detection module 265 may transmit the wearable device 201 to the case processor 270 when the wearable device 201 is mounted in the receiving portion of the wearable device case 205 .
  • the detection module 265 may include at least one sensor that detects whether the wearable device 201 is located in the wearable device case 205 .
  • the detection module 265 may be a circuit that periodically “pings” contacts (eg, the interface 235 ) that are in contact with (or connected to) the wearable device 201 .
  • the detection module 265 may be a magnetic sensor, an optical sensor, a switch, a Hall effect sensor, a magnetic flux sensor, a capacitive sensor, a photodetector, a proximity detector, a momentary switch, a mechanical sensor, or an electrical sensor.
  • the case battery 280 may supply power to at least one component of the wearable device case 205 .
  • the case battery 280 may be the same as or similar to the battery 189 of FIG. 1 .
  • the power interface 275 may be physically connected to an external power supply.
  • the case processor 270 may control the operation of the wearable device case 205 .
  • the case processor 270 may control other components (eg, the detection module 265 and the charging module 285 ) included in the wearable device case 205 and perform various data processing or operations. For example, when the wearable device 201 is connected, the case processor 270 may control the wearable device 201 to be charged.
  • the case charging module 285 may manage power supplied to the wearable device 201 or the wearable device case 205 .
  • the case charging module 285 may supply power to the wearable device 201 .
  • the case charging module 285 may charge the battery 280 with power received through the power interface 275 .
  • the case charging module 285 may be the same as or similar to the power management module 188 of FIG. 1 .
  • 3A to 3C are diagrams illustrating a configuration of a wearable device according to various embodiments of the present disclosure
  • 3A is a diagram illustrating a wearable device and a wearable device case according to various embodiments of the present disclosure
  • a wearable device (eg, the wearable device 201 of FIG. 2 ) according to various embodiments may be accommodated (or mounted) in a wearable device case (eg, the wearable device case 205 of FIG. 2 ).
  • a wearable device case eg, the wearable device case 205 of FIG. 2
  • power may be turned on.
  • the wearable device 201 is powered on, the touch sensor 210 , the inertial sensor 215 , or the biometric sensor 220 may be driven.
  • the wearable device 201 When the wearable device 201 is mounted on the wearable device case 205 , the wearable device 201 may be powered off or charged.
  • the wearable device case 205 may include a housing having an accommodating part (or space part) configured to receive (or store) the wearable device 201 and a cover attached to the housing.
  • the accommodating part may be configured to magnetically attract and hold the wearable device 201 into the case 250 .
  • the wearable device case 205 may control the wearable device 201 to be turned off or charged when the wearable device 201 is mounted in the receiving unit or the cover is closed.
  • 3B is a diagram illustrating a side view of a wearable device according to various embodiments of the present disclosure
  • the wearable device 201 may be formed in a circular shape.
  • the drawing shows an example in which the wearable device 201 is formed in a ring-type circular shape
  • the wearable device 201 may be formed in various shapes such as a rectangle and a polygon.
  • the outer circumferential surface of the housing may be formed in various shapes, such as a rectangle and a polygon.
  • the wearable device 201 includes a housing 305 , and an output module (eg, the output module 240 of FIG. 2 ) and an interface 235 inside the housing 305 .
  • the output module 240 may be disposed closer to the outer circumferential surface 301 than the inner circumferential surface 303 of the housing 305
  • the interface 235 may be disposed closer to the inner circumferential surface 303 than the outer circumferential surface 301 .
  • the interface 235 may be disposed adjacent to the circular inner circumferential surface 303 . This is merely an implementation issue, and the present invention is not limited by the description.
  • the inner circumferential surface 303 of the housing 305 may refer to a surface (eg, inner side) that comes into contact with the worn finger when the user wears the ring-type wearable device 201 on the user's finger.
  • the outer circumferential surface 301 of the housing 305 may refer to a surface (eg, the outside) that does not touch the worn finger when the user wears the ring-type wearable device 201 on the user's finger.
  • the outer circumferential surface 301 may correspond to a large circumference of a circle, and the inner circumference 303 may have a small circumference of a circle.
  • the touch sensor 210 may be disposed inside the housing 305 .
  • the touch sensor 210 may include a plurality of area-specific touch interfaces divided in a circumferential direction along at least one side surface of the outer circumferential surface 301 .
  • a metal touch interface may be separately disposed on the inner side adjacent to the outer peripheral surface 301 of the housing 305.
  • a plurality of touch interfaces corresponding to the plurality of regions are connected to an internal touch circuit to generate an internal voltage.
  • the touch can be determined by estimating the capacitance value using the output value
  • the internal voltage output value is transmitted to the processor (eg, the processor 230 of FIG.
  • the plurality of touch interfaces may include a first touch interface 211 , a second touch interface 213 , a third touch interface 214 , a fourth touch interface 217 , and a fifth touch interface 219 .
  • Each of the touch interfaces may be disposed at regular intervals in the circumferential direction along at least one side of the outer circumferential surface 301 of the housing 305 , and a touch sensing range (or touch area) may be determined.
  • the touch sensing range of the wearable device 201 is 360°, for example, the touch sensing range of each touch sensor may be determined to be between 65° and 75° (about: 72°). have.
  • the memory of the wearable device 201 may map and store an angle corresponding to a touch sensing range for each touch interface of the touch sensor.
  • the angle is stored in the memory 245 to help the understanding of the invention
  • the information stored in the memory 245 is raw data, and may be utilized as meaningful information by processing of the processor 230 .
  • a portion (eg, 5°) of the touch sensing ranges of each touch interface may overlap, or the touch interfaces may be disposed such that the touch sensing ranges do not overlap each other.
  • the first touch interface 211 has an angle corresponding to the touch sensing range of 324° to 36°
  • the second touch interface 213 has an angle corresponding to the touch sensing range from 36° to 108°
  • the third touch interface 214 has an angle corresponding to the touch sensing range of 108° to 180°
  • the fourth touch interface 217 has an angle corresponding to the touch sensing range from 180° to 252°
  • the fifth touch interface Reference numeral 219 may have an angle corresponding to the touch sensing range of 252° to 324°.
  • an inertial sensor (eg, the inertial sensor 215 ) is disposed inside the housing 305 , and a biometric sensor (eg, a biometric sensor) is adjacent to the inner circumferential surface 303 of the housing 305 .
  • a sensor 220 may be disposed. Since the biometric sensor 220 has to come into contact with a part of the user's body in order to obtain biometric information, it may be disposed adjacent to the inner peripheral surface 305 that comes into contact with the user's finger.
  • the biometric sensor 220 is disposed adjacent to the first touch interface 211 (eg, the inner side facing the output module 240 ), the biometric sensor 220 is the third touch interface 214 . ) or on the inner peripheral surface 303 of the housing 305 adjacent to the fourth touch interface 217 .
  • 3C is a diagram illustrating an example of changing an axis of an inertial sensor based on a wearing reference angle in a wearable device according to various embodiments of the present disclosure
  • the output module 240 is disposed on the back of the user's hand, and is located in the middle of the finger on the back of the hand. It could be In the wearable device 201 , a touch sensor 210 , an inertial sensor 215 , or a biometric sensor 220 may be disposed based on the first wearing state 350 .
  • the wearable device 201 may guide the user through the output module 240 to be worn as in the first wearing state 350 .
  • the wearable device 201 may output wearing guide information as text, image, or audio.
  • the wearable device 201 may detect whether it is worn based on at least one of the touch sensor 210 , the inertial sensor 215 , and the biometric sensor 220 .
  • the wearable device 201 may obtain touch information from the touch sensor 210 and determine a wearing reference angle based on the touch information.
  • the wearable device 201 may be rotated (eg, rotated around the user's finger) after being worn by the user.
  • the wearable device 201 determines that the wearable state of the user is the first worn state 350 based on the touch information
  • the wearable device 201 is an angle set in a memory (eg, the memory 245 of FIG. 2 ).
  • the wearable device 201 may map and store an angle corresponding to the touch sensing range of each touch sensor in the memory 245 based on the first wearing state 350 .
  • the wearable device 201 may change the wearing reference angle when it is determined that the user's wearing state is the second wearing state 370 based on the touch information. For example, in the first wearing state 350 , if the wearing reference angle is determined based on the position where the first touch interface 211 is disposed, in the second wearing state 370 , the second touch interface 213 is A wearing reference angle may be determined as a reference.
  • the wearable device 201 may correct the sensor axis of the inertial sensor 215 based on the wearing reference angle. For example, the sensor axis of the inertial sensor 215 may be set based on the first wearing state 350 .
  • the sensor axis correction of the inertial sensor 215 is not required, and in the second wearing state 370 , the sensor axis correction of the inertial sensor 215 may be required.
  • the sensor axis correction of the inertial sensor 215 may correct the angle of the sensor axis based on how much has been rotated from the angle stored in the memory 245 .
  • the sensor axis correction may be performed to increase the accuracy of sensing information sensed by the inertial sensor 215 .
  • a signal (or current) output from the biometric sensor 220 may be increased to obtain more accurate biometric information.
  • the biometric sensor 220 may acquire accurate biometric information when it comes into contact with a specific part of the user's body (eg, the inside of a finger). When the biometric sensor 220 does not come into contact with a specific part, somewhat inaccurate biometric information may be obtained.
  • a signal (or current) output from the biometric sensor 220 may be determined based on the first wearing state 350 . When it is determined that the wearable device 201 is not in the first wearing state 350 , the wearable device 201 may adjust a signal (or current) output from the biometric sensor 220 based on the user's wearing state.
  • FIGS. 4A and 4B are diagrams illustrating an example in which at least one wearable device is connected to an electronic device according to various embodiments of the present disclosure
  • 4A is a diagram illustrating an example in which an electronic device and a wearable device are connected according to various embodiments of the present disclosure
  • an electronic device eg, the electronic device 101 of FIG. 1
  • performs a short-range wireless communication eg, Bluetooth
  • a wearable device eg, Bluetooth
  • Pairing may mean a state in which a discovery process and a mutual authentication process between the electronic device 101 and the wearable device 201 are completed. Since the pairing operation corresponds to the prior art, a detailed description thereof may be omitted.
  • the electronic device 101 When the electronic device 101 is connected to the wearable device 201 , it may display wearing guide information of the wearable device 201 through a display (eg, the display module 160 of FIG. 1 ).
  • the wearable device 201 may periodically, in real time, or selectively transmit sensing information sensed by each sensor to the electronic device 101 .
  • the sensing information may include touch information acquired from the touch sensor 210 , sensing information acquired from the inertial sensor 215 , or posture information calculated based on the sensing information, or biometric information acquired from the biometric sensor 220 .
  • the electronic device 101 may determine a user's state based on the sensing information of the wearable device 201 or may use it as auxiliary information for controlling a function of the electronic device 101 .
  • the user's state may include at least one of sleep, exercise, work, rest, heart rate, and blood pressure.
  • a set application eg, health application
  • the electronic device 101 may provide the user's state information (eg, 8 hours of sleep, quality of sleep, exercise time, working time, and rest time).
  • the electronic device 101 may control brightness, sound, and screen zoom in/out of the electronic device 101 by using the sensing information.
  • the electronic device 101 may calculate the posture information by correcting the sensing information obtained from the inertial sensor 215 based on the touch information, or may receive the calculated posture information from the wearable device 201 .
  • 4B is a diagram illustrating an example in which an electronic device and at least two wearable devices are connected according to various embodiments of the present disclosure
  • the second network environment 430 may mean an environment in which a plurality of wearable devices are connected to the electronic device 101 .
  • the electronic device 101 may be paired (or connected) with the wearable device 201 and another wearable device 207 through short-range communication.
  • the other wearable device 207 is a device that outputs video data, and is, for example, a wearable glass device (eg, AR glasses, smart glasses), or a head mounted device (eg, HMD, head mounted). display) may be included. Since there are two wearable devices in FIG. 4B , the wearable device 201 may be identified as the first wearable device 201 , and the other wearable device 207 may be identified as the second wearable device 207 . This is for easily identifying two wearable devices, but does not limit the invention.
  • the electronic device 101 may be connected to the first wearable device 201 and the second wearable device 207 through different communication methods.
  • the electronic device 101 may connect to the first wearable device 201 through Bluetooth and connect to the second wearable device 207 through Wi-Fi Direct.
  • the second wearable device 207 provides at least one piece of information such as image information, device information, sensing information, function information, and/or location information to the electronic device 101 when connected to the electronic device 101 (eg: can be sent).
  • the electronic device 101 generates data (eg, AR image) related to image information based on image information, device information, sensing information, function information, and/or location information transmitted by the second wearable device 207 2 may be transmitted to the wearable device 207 .
  • the electronic device 101 may control the second wearable device 207 based on sensing information of the first wearable device 201 . For example, when a gesture of holding and rotating the first wearable device 201 with two fingers is detected by the user while the user wears the first wearable device 201 on the user's finger, the electronic device 101 is based on the gesture. Thus, it is possible to control to display a user interface related to volume control on the second wearable device 207 .
  • 4C is a diagram illustrating an example in which at least two wearable devices are connected according to various embodiments of the present disclosure
  • the third network environment 450 may mean an environment in which the first wearable device 201 and the second wearable device 207 are connected.
  • the first wearable device 201 and the second wearable device 207 may be connected through short-range communication (eg, Bluetooth, Wi-Fi Direct, or UWB).
  • short-range communication eg, Bluetooth, Wi-Fi Direct, or UWB.
  • the second wearable device 207 may be controlled based on sensing information of the first wearable device 201 .
  • the second wearable device 207 may track the user's viewpoint and scan the object based on the user's viewpoint.
  • the second wearable device 207 may scan the first wearable device 201 as the object.
  • the user may make a gesture of holding the first wearable device 201 with two fingers and turning while the first wearable device 201 is worn on the user's finger.
  • the second wearable device 207 may obtain sensing information from the first wearable device 201 and, when the sensing information corresponds to a set volume control gesture, may display a user interface related to volume control through a display.
  • the second wearable device 207 may control the volume based on the location of the first wearable device 201 included in the user's viewpoint.
  • a related user interface may be displayed.
  • the second wearable device 207 may display a user interface related to the volume control adjacent to the first wearable device 201 included in the user's viewpoint.
  • the wearable device (eg, the wearable device 201 of FIG. 2 ) according to various embodiments is disposed adjacent to the housing (eg, the outside of the housing 305 of FIG. 3B (eg, the outer peripheral surface 301 of FIG. 3B )) , a touch sensor (eg, the touch sensor 210 of FIG. 2 ) including a plurality of area-specific touch interfaces (eg, the first touch interface 211 to the fifth touch interface 219 of FIG. 3B ), the sensor axis is A set inertial sensor (eg, the inertial sensor 215 of FIG. 2 ), a biometric sensor disposed adjacent to the inner side of the housing (eg, the biometric sensor 220 of FIG.
  • the housing eg, the outside of the housing 305 of FIG. 3B (eg, the outer peripheral surface 301 of FIG. 3B )
  • a touch sensor eg, the touch sensor 210 of FIG. 2
  • the sensor axis is A set inertial sensor (eg,
  • a communication module eg, the communication module of FIG. 2
  • a memory for mapping and storing an angle corresponding to the detection range of each touch interface of the touch sensor eg, the memory 245 in FIG. 2
  • a processor eg, the processor 230 of FIG.
  • the processor detects whether the wearable device is worn using the biometric sensor or the inertial sensor, , receive touch information from at least one of a plurality of touch interfaces included in the touch sensor, correct the sensor axis of the inertial sensor based on the touch information, obtain sensing information from the inertial sensor, and perform the correction It may be set to calculate the posture information from the sensing information based on the sensor axis.
  • the processor may determine that the wearable device is worn when biometric information is obtained from the biometric sensor or movement is detected from the inertial sensor.
  • the processor may be configured to determine a wearing reference angle based on the touch information and correct the sensor axis of the inertial sensor based on the wearing reference angle.
  • the processor is configured to determine the wearing reference angle as the angle stored in the memory when the wearing state of the wearable device is the first wearing state based on the touch information, and the wearing state of the wearable device based on the touch information When is in the second wearing state, it may be set to change the wearing reference angle.
  • the plurality of touch interfaces included in the touch sensor may be disposed so that a touch detection range of each touch interface does not overlap.
  • the wearable device may be formed in a ring type, and the plurality of touch interfaces may be arranged in a circumferential direction along at least one side surface of an outer perimeter of the ring type housing.
  • the biometric sensor is formed on the inner perimeter of the ring-type housing, and contacts the user's body when wearing the wearable device to obtain biometric information, and the plurality of touch interfaces are formed on the outer perimeter of the ring-type housing, When the wearable device is worn, it may be set to obtain a wearing state of the user.
  • the processor may be configured to determine a motion gesture based on at least one of touch information acquired by each touch interface, sensing information acquired by the inertial sensor, or biometric information acquired by the biometric sensor.
  • the processor may connect to the electronic device through the communication module, transmit the touch information or the posture information to the electronic device, and execute a function of the electronic device based on the touch information or the posture information .
  • the processor may be configured to determine the user's intention based on touch information acquired by each touch interface before rotation detection.
  • An electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments includes a communication module (eg, the communication module 190 of FIG. 1 ), a memory (eg, the memory 130 of FIG. 1 ), and and a processor (eg, the processor 120 of FIG. 1 ) operatively connected to the communication module and the memory, wherein the processor is connected to a first wearable device and a second wearable device through the communication module, It may be configured to obtain motion information (eg, posture information) from the first wearable device, determine a gesture command based on the motion information, and control the second wearable device based on the gesture command.
  • motion information eg, posture information
  • the processor may be configured to determine a gesture command based on a rotation direction or rotation speed included in the motion information, and transmit the gesture command to the second wearable device to control the second wearable device.
  • the processor may control to display a user interface corresponding to the motion gesture based on the user's viewpoint detected by the second wearable device.
  • the processor further connects to a third wearable device through the communication module, obtains the motion information from the first wearable device and the third wearable device, and determines the gesture command based on the motion information, It may be configured to control the second wearable device based on the gesture command.
  • FIG. 5 is a flowchart 500 illustrating a method of operating a wearable device according to various embodiments of the present disclosure.
  • the processor (eg, the processor 230 of FIG. 2 ) of the wearable device may detect wearing. .
  • the wear detection may be whether the wearable device 201 is worn on the user's body.
  • the processor 120 may include a touch sensor (eg, the touch sensor 210 of FIG. 2 ), an inertial sensor (eg, the inertial sensor 215 of FIG. 2 ), or a biometric sensor (eg, the biometric sensor 220 of FIG. 2 ).
  • the processor 120 may determine that it is worn when there is a change in the sensed information obtained from the inertial sensor 215 (eg, motion change detection). Alternatively, after the touch by the touch sensor 210 is sensed, the processor 120 changes in the sensed information obtained from the inertial sensor 215 , and when the biometric information is obtained by the biometric sensor 220 , the worn can be judged as Alternatively, when the wearable device 201 further includes a proximity sensor, the processor 230 may determine that the wearable device is worn when sensing information is detected by the proximity sensor.
  • the processor 230 may obtain touch information from the touch sensor 210 .
  • a touch sensor 210 may be disposed on a housing (eg, an outer circumferential surface of the housing 305 of FIG. 3B (eg, an outer circumferential surface 301 of FIG. 3B ) of the wearable device 201.
  • the touch sensor 210 has a plurality of regions. It may include a separate touch interface, and the processor 230 may obtain touch information from at least one of the plurality of touch interfaces.
  • the processor 230 may include a second touch interface (eg, as shown in FIG. 3B ). Touch information may be obtained from the second touch interface 213) and the fifth touch interface (eg, the fifth touch interface 219 of Fig.
  • the processor 230 may be configured to use the first touch interface (eg: The touch information may be obtained from the first touch interface 211 of Fig. 3B and the fourth touch interface (eg, the fourth touch interface 217 of Fig. 3B)
  • the processor 230 is configured to allow the wearable device 201 When worn, touch information may be respectively obtained from at least two different touch interfaces among the plurality of touch sensors.
  • the touch information may include whether a touch is detected (eg, detected (O) or not detected (X)).
  • the processor 230 may obtain touch information from a touch interface in which a touch is detected, and may not obtain touch information from a touch interface in which a touch is not detected.
  • the touch information may include whether a touch is detected (eg, detected (O), not detected (X)) and a detection location (eg, x, y coordinates). can The processor 230 may acquire whether or not a touch is detected and a detection position through the touch information.
  • the processor 230 may determine a wearing reference angle based on the touch information.
  • the wearing reference angle may vary depending on the wearable state of the wearable device 201 by the user.
  • the memory of the wearable device 201 eg, the memory 245 of FIG. 2
  • the first touch interface 211 has an angle corresponding to the touch sensing range of 324° to 36°
  • the second touch interface 213 has an angle corresponding to the touch sensing range from 36° to 108°
  • the third touch interface 214 has an angle corresponding to the touch sensing range of 108° to 180°
  • the fourth touch interface 217 has an angle corresponding to the touch sensing range from 180° to 252°
  • the fifth touch interface Reference numeral 219 may have an angle corresponding to the touch sensing range of 252° to 324°.
  • an angle corresponding to the touch sensing range of each touch sensor may be mapped on the basis that the first touch interface 211 is disposed on a finger portion (eg, the outside of the finger) corresponding to the back of the user's hand. have. Since the wearable device 201 is rotatable when worn due to the characteristics of the wearable device 201 , the wearable state of the user may vary depending on the rotational state. For example, when the wearing state of the wearable device 201 is the first wearing state 350 , the processor 120 may determine the wearing reference angle as an angle stored in the memory 245 . Alternatively, when the wearable device 201 is the second worn state 370 , the processor 120 may change the wearing reference angle. An example of changing the wearing reference angle will be described in detail below with reference to FIG. 6 .
  • the processor 230 may correct a sensor axis of the inertial sensor 215 based on the wearing reference angle.
  • a sensor axis may be basically set in the inertial sensor 215 , and for example, a sensor axis of the inertial sensor 215 may be set based on the first touch interface 211 and stored in the memory 245 . have.
  • the sensor axis correction of the inertial sensor 215 may correct the angle of the sensor axis based on how much has been rotated from the angle stored in the memory 245 .
  • the correction of the angle of the sensor axis by rotation constitutes a rotation matrix by the wear reference point of the inertial sensor 215 or rotation generated by the user's rotation, and currently rotates the angular axis of the inertial sensor 215 .
  • Sensing information generated by rotation can be corrected by correcting it.
  • the processor 230 may correct the axis of the inertial sensor 215 by applying the acceleration value measured from the acceleration sensor to the rotation matrix as in Equation 1 .
  • Rx( ⁇ ) may indicate an x-axis rotation angle
  • Ry( ⁇ ) may indicate a y-axis rotation angle
  • Rz( ⁇ ) may indicate a z-axis rotation angle.
  • the processor 230 may correct the sensor axis of the inertial sensor 215 to rotate by 30°.
  • the processor 230 may obtain sensing information from the inertial sensor 215 .
  • the sensing information may be an acceleration value measured by an acceleration sensor.
  • the sensing information may be an angular velocity value measured by the gyro sensor.
  • the processor 230 may acquire sensing information for a predetermined period of time (eg, 5 seconds).
  • the processor 230 may calculate posture information from the sensing information based on the corrected sensing axis.
  • the accelerations (fx, fy, fz) measured by the accelerometer may include gravitational acceleration and various types of accelerations that occur when the magnitude and direction of velocity are changed.
  • the processor 230 may calculate the posture information by applying the sensing information to Equation (2).
  • vx, vy, and vz may represent moving speeds
  • ⁇ x, ⁇ y, and ⁇ z may represent rotational angular velocities
  • g may represent gravitational acceleration
  • ⁇ may represent a pitch value
  • ⁇ may represent a roll value.
  • Equation 2 When the electronic device 101 is in a stationary state or is moving at a constant velocity, Equation 2 may be simplified as follows and expressed as Equation 3 .
  • the processor 230 may calculate a pitch value and a roll value corresponding to the posture information from Equation 3, respectively.
  • Equation 4 ⁇ may represent a pitch value, and ⁇ may represent a roll value.
  • the processor 120 measures an amount of change in angular velocity of each axis measured from the gyro sensor to measure an attitude value during rotation of the wearable device 201 change can be measured.
  • the processor 120 may calculate a yaw value by measuring an amount of change in angular velocity of each axis measured from the gyro sensor.
  • FIG. 6 is a diagram illustrating an example of determining a wearing reference angle in a wearable device according to various embodiments of the present disclosure
  • a wearable device (eg, the wearable device 201 of FIG. 2 ) according to various embodiments includes a plurality of touch interfaces 211 to 219 corresponding to a plurality of regions, and An angle corresponding to the touch sensing range (or touch area) may be mapped and stored in a memory (eg, the memory 245 of FIG. 2 ).
  • the plurality of regions may be divided in a circumferential direction along at least one side of an outer peripheral surface of the housing (eg, the housing 305 of FIG. 3B ) (eg, the outer peripheral surface 301 of FIG. 3B ).
  • the wearable device 201 may determine an angle according to the touch sensing range based on the arrangement position of the touch interface. For example, as in the first wearing state 610 , the memory 245 may store an angle corresponding to the touch sensing range of each touch interface based on that the wearable device 201 is properly worn on the user's finger. have.
  • the first touch interface 211 has an angle corresponding to the touch sensing range of 324° to 36°
  • the second touch interface 213 has an angle corresponding to the touch sensing range. 36° to 108°
  • the third touch interface 214 has an angle corresponding to the touch sensing range of 108° to 180°
  • the fourth touch interface 217 has an angle corresponding to the touch sensing range of 180° to 252 °
  • the fifth touch interface 219 may have an angle corresponding to the touch sensing range of 252° to 324°.
  • a portion (eg, 5°) of the touch sensing ranges of each touch interface may overlap, or the touch interfaces may be disposed such that the touch sensing ranges do not overlap each other.
  • the wearable device 201 may determine the user's wearing state as the second wearing state 630 based on the touch information. When it is determined that the wearable device 201 is the second worn state 630 , the wearable device 201 may change the wearing reference angle. For example, in the first wearing state 610 , if the wearing reference angle is determined based on the position where the first touch interface 211 is disposed, in the second wearing state 630 , the second touch interface 213 is A wearing reference angle may be determined as a reference. The wearable device 201 may determine that it is rotated by about 45° ( ⁇ ) from the reference angle based on the touch information detected in the second wearing state 630 .
  • the wearable device 201 may determine the wearing reference angle as an angle rotated by about 45° ( ⁇ ) from the angle stored in the memory 245 .
  • the wearable device 201 may correct the sensor axis of the inertial sensor 215 to rotate by about 45° based on the wearing reference angle.
  • FIG. 7 is a diagram illustrating another example of determining a wearing reference angle in a wearable device according to various embodiments of the present disclosure.
  • a wearable device (eg, the wearable device 201 of FIG. 2 ) may include a user's finger based on touch information obtained from at least one of a plurality of touch interfaces 211 to 219 .
  • the folded state can be determined. For example, when the user wears the wearable device 201 on the left ring finger in the first wearing state 710 , the first touch information 711 and the second touch information 713 may be detected.
  • the first wearing state 710 may be that the output module 240 of the wearable device 201 is disposed on a finger (eg, the outside of the finger) toward the back of the user's hand.
  • the wearable device 201 acquires the first touch information 711 by the second touch interface 213 and by the fifth touch interface 219 Second touch information 713 may be acquired.
  • the wearable device 201 may determine that the user wears the wearable device 201 and pins a finger from the first touch information 711 and the second touch information 713 .
  • the wearable device 201 When the user wears the wearable device 201 on the left ring finger in the second wearing state 730 , the first touch information 711 , the second touch information 713 , the third touch information 715 , and the fourth touch information Information 717 may be detected.
  • the wearable device 201 acquires the first touch information 711 by the second touch interface 213 and the third touch interface 214 to obtain the fourth touch information 717 , obtain the third touch information 715 by the fourth touch interface 217 , and obtain the second touch information 713 by the fifth touch interface 219 .
  • the wearable device 201 receives the first touch information 711 , the second touch information 713 , the third touch information 715 , and the fourth touch information 717 from the user wearing the wearable device 201 and making a fist. It can be judged by holding it.
  • the wearable device 201 may determine a wearing reference angle based on the touch information and correct a sensor axis of the inertial sensor 215 based on the wearing reference angle.
  • the wearable device 201 may calculate posture information from sensing information measured by the inertial sensor 215 based on the corrected sensor axis.
  • the wearable device 201 may distinguish a one-handed touch or a pick up touch or a squeeze touch using the thumb and forefinger based on the touch information in the first wearing state 710 . .
  • the wearable device 201 prevents misrecognition of a motion gesture by combining the sensing information obtained from the touch sensor 210 , the inertial sensor 215 , and the biometric sensor 220 , or the user's state can be judged For example, when the amount of change of the posture information is calculated together with the touch information, the wearable device 201 may distinguish a rotation occurring as a wrist rotation occurring in daily life. Alternatively, a function corresponding to various motion gestures may be executed by combining the touch information and the posture information. For example, after double-touching the wearable device 201 in a state in which the electronic device (eg, the electronic device 101 of FIG.
  • the electronic device 101 may answer a call.
  • the wearable device 201 may perform a call rejection.
  • the wearable device 201 when the wearable device 201 detects a change in posture information and detects a change in the blood flow rate of a finger according to the temperature of water based on the biometric information obtained from the biometric sensor 220, the hand washing state can be judged as Alternatively, when a temperature sensor or a humidity sensor is further included in the wearable device 201 and a temperature lower or higher than the user's body temperature (eg, 36.5°) is detected, it may be determined as a hand washing state. The wearable device 201 may increase the accuracy of the hand washing motion by measuring posture information and a change in static capacity generated when water generated during hand washing comes into contact with the output module 240 .
  • FIG. 8 is a flowchart 800 illustrating a method of providing a motion service in a wearable device according to various embodiments of the present disclosure.
  • a processor eg, the processor 230 of FIG. 2 of the wearable device (eg, the wearable device 201 of FIG. 2 ) performs a touch event (or touch information). ) can be detected.
  • the touch event may be used to determine a user's intention.
  • a function not intended by the user may be executed.
  • the processor 230 may determine that only rotation detection detected after occurrence of a touch event is a valid input.
  • the processor 230 may detect touch information obtained from a touch sensor (eg, the touch sensor 210 of FIG. 2 ) as a touch event.
  • the touch event may include a preset touch, for example, a one-handed touch, a pick up touch, or a squeeze touch.
  • the processor 230 may determine whether rotation is detected.
  • the rotation detection may be detected by sensing information detected from an inertial sensor (eg, the inertial sensor 215 of FIG. 2 ).
  • the processor 230 may determine that rotation is detected when the amount of change in the sensing information detected from the inertial sensor 215 is detected.
  • the processor 230 may perform operation 805 when rotation is detected, and return to operation 801 where rotation is not detected.
  • the processor 230 may calculate posture information.
  • the processor 230 may calculate posture information based on the sensing information obtained from the inertial sensor 215 .
  • the processor 230 determines a wearing reference angle during or before calculating the posture information, corrects the sensor axis of the inertial sensor 215 based on the determined wearing reference angle, and then, based on the acquired sensing information, posture information can be calculated.
  • the processor 230 may calculate the posture information by applying the acquired sensing information to Equations 2 to 4.
  • the processor 230 may obtain biometric information from a biometric sensor (eg, the biometric sensor 220 of FIG. 2 ).
  • the biometric information may include at least one of a blood pressure value, an electrocardiogram (ECG), an electrical skin response (GSR), an electroencephalogram (EEG), a bioelectrical resistance measurement method (BIA), or a ballistic trajectory (BCG).
  • the processor 230 may store biometric information in a memory (eg, the memory 245 of FIG. 2 ).
  • the processor 230 may determine the user's state as one of sleep, exercise, work, and rest based on the biometric information. If biometric information is not required for the motion service, operation 807 may be omitted.
  • the processor 230 may provide a notification (eg, a warning sound) according to the user's status based on biometric information. For example, the processor 230 may notify the end of sleep when the end of sleep is detected based on the biometric information, or give a rest notification when it is detected that working without a break for 2 consecutive hours is detected.
  • a notification eg, a warning sound
  • the processor 230 may provide a motion service based on posture information or biometric information.
  • the processor 230 may transmit the posture information or the biometric information to a connected electronic device (eg, the electronic device 101 of FIG. 1 ) through a communication module (eg, the communication module 225 of FIG. 2 ).
  • a connected electronic device eg, the electronic device 101 of FIG. 1
  • a communication module eg, the communication module 225 of FIG. 2
  • the processor 230 double-touches the wearable device 201 and then rotates in the first direction In the case of (eg, upward rotation), the electronic device 101 may receive a call.
  • the wearable device 201 is rotated in the second direction (eg, rotated downward) after double-touching the wearable device 201 , the electronic device 101 may reject the call.
  • FIG. 9 is a diagram illustrating an example of providing a motion service in a wearable device according to various embodiments of the present disclosure.
  • a wearable device (eg, the wearable device 201 of FIG. 2 ) may provide a first motion service 910 or a second motion service 930 .
  • the first motion service 910 is a wearable device in a state in which the electronic device (eg, the electronic device 101 of FIG. 1 ) and the wearable device 201 are connected (eg, the first network state 410 ).
  • the volume of the electronic device 101 may be adjusted.
  • the second motion service 930 rotates after touching the wearable device 201 with two fingers in a state in which the electronic device 101 and the wearable device 201 are connected, the electronic device 101 It may be performing an incoming call to .
  • FIGS. 10A and 10B are diagrams illustrating another example of providing a motion service in a wearable device according to various embodiments of the present disclosure
  • a wearable device (eg, the wearable device 201 of FIG. 2 ) according to various embodiments may provide a first motion service 1010 .
  • a first motion service 1010 when one wearable device 201-1 rotates counterclockwise and the other wearable device 201-2 rotates counterclockwise sequentially or at the same time , it may be to zoom in or zoom out through both hands control.
  • a user's state determination erroneous recognition may occur only with a motion gesture detected by one wearable device 201-1.
  • Postural information can be used to reduce the occurrence of misperceptions that occur in daily life.
  • a more accurate motion service can be provided using two wearable devices 201-1 and 201-2. have.
  • the two wearable devices 201-1, 201-2 201-2 may be determined as a horizontal movement or a rotational movement, and it may be determined that the user performs an operation such as hand washing.
  • the wearable device 201 may provide a second motion service 1030 .
  • the second motion service 1030 operates the wearable device 201 in a state in which the electronic device (eg, the electronic device 101 of FIG. 1 ) and the wearable device 201 are connected (eg, the first network state 410 ).
  • a call received to the electronic device 101 may be rejected.
  • the wearable device 201 may correct a sensor axis of the inertial sensor 215 , calculate posture information based on the corrected sensor axis, and transmit the calculated posture information to the electronic device 101 .
  • the electronic device 101 may reject the call.
  • FIG. 11 is a flowchart 1100 illustrating a method of controlling at least one wearable device in an electronic device according to various embodiments of the present disclosure.
  • a processor eg, the processor 120 of FIG. 2 of the electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments of the present disclosure is configured with a communication module (eg, FIG. It may be connected to at least one wearable device through the communication module 190 of No. 1 .
  • the at least one wearable device may include a ring-type wearable device (eg, the wearable device 201 of FIG. 2 ) and a glass-type wearable device (eg, the wearable device 207 of FIG. 4B ). Since there are two wearable devices in FIG. 11 , the ring-type wearable device 201 is identified as the first wearable device 201 , and the glass-type wearable device 207 is identified as the second wearable device 207 . can
  • the connection of the electronic device 101 to the first wearable device 201 and the second wearable device 207 is a second network environment (eg, the second network environment 430 of FIG. 4B ).
  • the electronic device 101 may be connected to the first wearable device 201 and the second wearable device 207 using a short-range communication method.
  • the electronic device 101 may connect to the first wearable device 201 and the second wearable device 207 through Bluetooth.
  • the connection between the electronic device 101 and the first wearable device 201 or the second wearable device 207 is first connected through Bluetooth communication, and when large-capacity transmission is required, it is automatically communicated through Wi-Fi Direct. This can be changed.
  • the electronic device 101 connects to the first wearable device 201 or the second wearable device 207 through UWB to measure the distance to the first wearable device 201 or the distance to the second wearable device 207 . can do.
  • the processor 120 may obtain motion information (or posture information) from the first wearable device 201 .
  • a transmission band may increase or a power consumption issue may occur.
  • the processor 120 may receive motion information calculated (or determined) based on the sensing information sensed by the first wearable device 201 .
  • the motion information may include a rotation direction (eg, a clockwise direction or a counterclockwise direction) or a rotation speed.
  • the first wearable device 201 may transmit motion information including a calculated value rather than raw sensor data to the electronic device 101 in 16 ms (60 Hz).
  • the first wearable device 201 may transmit motion information determined in consideration of summing, average, or deviation of multiple data in order to sense information at a higher rate inside and reduce errors.
  • the processor 120 may periodically, in real time, or selectively receive motion information from the first wearable device 201 .
  • the processor 120 may determine a gesture command in response to the motion information.
  • the processor 120 may store the motion information, determine a gesture command corresponding to the motion information, and transmit it to the second wearable device 207 .
  • the processor 120 may transmit the motion information to the second wearable device 207 as it is in a relay format, or process and transmit the motion information. For example, if the processor 120 accumulates a certain amount of rotation value based on the volume size adjustment step (eg, minimum value ⁇ maximum value), when motion information is given that the rotation direction or rotation speed is 60 Hz Whether the volume size is adjusted by one level (eg increase, decrease) can be machined to the optimal user experience.
  • the volume size adjustment step eg, minimum value ⁇ maximum value
  • the processor 120 may control the second wearable device 207 based on the gesture command.
  • the processor 120 calculates the degree of rotation accumulated based on the motion information, controls the volume of the speaker according to a matching volume value (eg, 0-100), and simultaneously displays it on the user interface
  • a volume control command to be performed may be generated and transmitted to the second wearable device 207 .
  • the processor 120 detects that the rotation direction included in the motion information exceeds the rotation degree (eg, one-step volume value) set in the upward direction (or clockwise direction)
  • the second wearable device 207 may be transmitted to the second wearable device 207 with a volume up command to greatly change the volume.
  • the processor 120 is a volume down command for changing the volume of the second wearable device 207 to a smaller size when the rotation direction included in the motion information is detected to exceed the rotation degree set in the downward direction (or counterclockwise). may be transmitted to the second wearable device 207 .
  • the second wearable device 207 when the first wearable device 201 is included at the user's point of view wearing the second wearable device 207, the second wearable device 207 is the first wearable device included at the user's point of view.
  • a user interface related to the volume control eg, volume up, volume down
  • the second wearable device 207 may display a user interface related to the volume control adjacent to the first wearable device 201 included in the user's viewpoint.
  • the first wearable device 201 and the second wearable device 207 may be connected to each other (eg, the third network environment 450 of FIG. 4C ).
  • the first wearable device 201 and the second wearable device 207 may be connected through at least one communication method among Bluetooth, Wi-Fi Direct, and UWB.
  • the electronic device 101 controls the second wearable device 207 with a gesture command.
  • the second wearable device 207 directly obtains motion information from the first wearable device 201 to obtain motion information.
  • a gesture command corresponding to the information may be performed or a user interface corresponding to the gesture command may be displayed.
  • 12A and 12B are diagrams illustrating an example of controlling at least one wearable device in an electronic device according to various embodiments of the present disclosure
  • an electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments is to be connected to at least one wearable device through a communication module (eg, the communication module 190 of FIG. 1 ).
  • the at least one wearable device may include a ring-type wearable device (eg, the wearable device 201 of FIG. 2 ) and a glass-type wearable device (eg, the wearable device 207 of FIG. 4B ). Since there are two wearable devices in FIG. 10A , the ring-type wearable device 201 is identified as the first wearable device 201 , and the glass-type wearable device 207 is identified as the second wearable device 207 .
  • the ring-type wearable device 201 is identified as the first wearable device 201
  • the glass-type wearable device 207 is identified as the second wearable device 207 .
  • the electronic device 101 may obtain sensing information from the first wearable device 201 .
  • the electronic device 101 may calculate a change amount of the sensing information obtained from the first wearable device 201 . For example, when a gesture of holding and rotating the first wearable device 201 with two fingers of the right hand is detected while the user wears the first wearable device 201 on the user's left finger, the electronic device 101 may control the volume of the video output (or displayed) through the second wearable device 207 to be adjusted.
  • the electronic device 101 may transmit a volume control command to the second wearable device 207 through the communication module 190 .
  • the second wearable device 207 may display the user interface 1210 corresponding to the volume control command.
  • the user interface 1210 is displayed on the display of the second wearable device 207 based on the viewpoint of the user wearing the second wearable device 207, for example, graphic data 1201 related to volume control.
  • graphic data 1201 related to volume control may include
  • the second wearable device 207 may identify the first wearable device 201 through object recognition, and may control graphic data 1201 to be output based on the location of the first wearable device 201 .
  • the electronic device 101 may control the brightness of the second wearable device 207 based on motion information of the first wearable device 201 .
  • the electronic device 101 is connected to a third wearable device (not shown) (eg, a wireless audio output device) that outputs the volume of the video output (or displayed) through the second wearable device 207, and the third A volume control command may be transmitted to the wearable device.
  • the second wearable device 207 may display a user interface corresponding to the volume control command, and the third wearable device may adjust the volume in response to the volume control command.
  • the electronic device 101 provides a first wearable device 201-1, a second wearable device 207, and a third wearable device through a communication module (eg, the communication module 190 of FIG. 1 ). It may be connected to the device 201 - 2 .
  • the first wearable device 201-1 and the third wearable device 201-2 may be ring-type wearable devices.
  • the electronic device 101 may obtain sensing information from the first wearable device 201-1 and the third wearable device 201-2, respectively.
  • the electronic device 101 may control the second wearable device 207 to rotate the object 1231 displayed on the second wearable device 207 .
  • the electronic device 101 may transmit a command to rotate the object 1231 (eg, 3D rotation) to the second wearable device 207 through the communication module 190 .
  • the second wearable device 207 may display the user interface 1230 for displaying the object 1231 .
  • the user interface 1230 may include the object 1231 as graphic data and display the object 1231 by rotating it according to a rotation command.
  • the user interface 1230 is displayed on the display of the second wearable device 207 based on the viewpoint of the user wearing the second wearable device 207, for example, to display the object 1231 as graphic data.
  • picking the object 1231 is divided into touch information of the first wearable device 201-1 and the third wearable device 201-2, and the rotation direction of the object 1231 is the second It may be determined as posture information of the first wearable device 201-1 and the third wearable device 201-2. If the moving directions of the first wearable device 201-1 and the third wearable device 201-2 are opposite to each other, it is determined that the first wearable device 201-1 and the third wearable device 201-2 move away from and closer to each other. The size of the object 1231 can be enlarged or reduced by using the .
  • a command to rotate the object 1231 is transmitted to an inertial sensor (eg, the inertial sensor ( 215)), and may be based on a motion gesture corresponding to posture information calculated based on the corrected sensor axis.
  • an inertial sensor eg, the inertial sensor ( 215)
  • up/down/left/right control must be performed through posture information, and the reference point of the sensor axis of the inertial sensor 215 must be grasped for up/down/left/right control.
  • the lower/left/right values may not be shifted.
  • a touch sensor (eg, the touch sensor 210 of FIG. 2 ) including a plurality of area-specific touch interfaces (eg, the first touch interface 211 to the fifth touch interface 219 of FIG. 3B ) according to various embodiments ), a biosensor (eg, the biosensor 220 of FIG. 2 ), and an inertial sensor with a sensor axis set (eg, the inertial sensor 215 of FIG. 2 ) a wearable device (eg, the wearable device of FIG.
  • 2 ) 201)) includes an operation of detecting whether a wearable device is worn using the biometric sensor or the inertial sensor, an operation of receiving touch information from at least one of a plurality of touch interfaces included in the touch sensor, and the It may include correcting the sensor axis of the inertial sensor based on touch information, obtaining sensing information from the inertial sensor, and calculating posture information from the sensing information based on the corrected sensor axis. have.
  • the correcting may include determining a wearing reference angle based on the touch information, and correcting the sensor axis of the inertial sensor based on the wearing reference angle.
  • the determining of the wearing reference angle may include determining the wearing reference angle as an angle stored in a memory of the wearable device when the wearing state of the wearable device is the first wearing state based on the touch information, or When the wearing state of the wearable device is the second wearing state based on touch information, the method may include changing the wearing reference angle.
  • the method may further include obtaining the biometric information by contacting the biometric sensor formed on an inner perimeter of the housing of the ring-type wearable device to the user's body when the wearable device is worn.
  • the method may further include determining a wearable state of the user when wearing the wearable device by using a plurality of touch interfaces formed in a circumferential direction on an outer perimeter of a housing of the ring-type wearable device.
  • the method includes an operation of connecting with an electronic device through a communication module of the wearable device, and transmitting the touch information or the posture information to the electronic device to execute a function of the electronic device based on the touch information or the posture information It may include an action to make it happen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시 예들은 하우징의 외측에 인접하게 배치되고, 복수의 영역별로 터치 인터페이스를 포함하는 터치 센서, 센서 축이 설정된 관성 센서, 상기 하우징의 내측에 인접하게 배치되는 생체 센서, 통신 모듈, 상기 터치 센서의 각 터치 인터페이스의 터치 검출 범위에 대응하는 각도를 매핑하여 저장하는 메모리, 및 상기 터치 센서, 상기 관성 센서, 상기 생체 센서, 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 생체 센서 또는 상기 관성 센서를 이용하여 상기 웨어러블 디바이스의 착용 여부를 검출하고, 상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하고, 상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하고, 상기 관성 센서로부터 센싱 정보를 획득하고, 상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하도록 설정된 방법 및 장치에 관하여 개시한다. 다양한 실시 예들이 가능하다.

Description

웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법
본 발명의 다양한 실시예들은 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법에 관하여 개시한다.
디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰, 태블릿 PC(personal computer), 웨어러블 디바이스(wearable device)와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 개량되고 있다.
일례로, 전자 장치는 블루투스(bluetooth), 와이파이 다이렉트(wifi direct)와 같은 근거리 무선 통신을 이용하여 노트북, 웨어러블 이어링(예: 이어폰, 헤드폰), 웨어러블 표시 장치(예: AR 글래스(glasses), 헤드 마운트 장치(예: HMD, head mounted display))와 연결하여 정보(또는 컨텐츠)를 출력 또는 교환할 수 있다. 예를 들어, 전자 장치는 웨어러블 이어링 및 웨어러블 표시 장치와 연결하여, 웨어러블 이어링을 통해 오디오를 출력하고, 웨어러블 표시 장치를 통해 비디오를 출력할 수 있다. 전자 장치는 사용자의 간편한 사용성을 고려하여 복수의 웨어러블 디바이스와 연결하여 다양한 기능을 제공할 수 있다.
웨어러블 디바이스는 사용자가 착용 가능하다는 장점이 있지만, 사용자의 신체에 웨어러블 디바이스가 착용되는 위치가 달라지는 경우, 웨어러블 디바이스에서 검출된 센서 정보가 정확하지 않을 수 있다. 센서 정보가 정확하지 않은 경우 자칫 잘못된 기능을 수행할 수도 있어 사용자에게 불편함을 줄 수 있다. 또한, 종래에는 복수의 웨어러블 디바이스를 전자 장치에 연결하여 사용하는 경우, 제1 웨어러블 디바이스에서 검출되는 센서 정보를 이용하여 제2 웨어러블 디바이스를 제어하는 기능을 제공하지 못하고 있다.
다양한 실시예들에서는, 터치 센서를 이용하여 웨어러블 디바이스의 착용 위치를 검출하고, 착용 위치를 기반으로 관성 센서의 센서 축을 보정함으로써, 관성 센서를 이용하여 더욱 정확한 자세 정보를 획득하거나, 획득한 자세 정보에 기반하여 웨어러블 디바이스와 연결된 전자 장치 또는 전자 장치에 연결된 다른 웨어러블 디바이스를 제어할 수 있는 방법 및 장치에 관하여 개시할 수 있다.
다양한 실시예들에 따른 웨어러블 디바이스는 하우징의 외측에 인접하게 배치되고, 복수의 영역별 터치 인터페이스를 포함하는 터치 센서, 센서 축이 설정된 관성 센서, 상기 하우징의 내측에 인접하게 배치되는 생체 센서, 통신 모듈, 상기 터치 센서에 포함된 각 터치 인터페이스의 터치 검출 범위에 대응하는 각도를 매핑하여 저장하는 메모리, 및 상기 터치 센서, 상기 관성 센서, 상기 생체 센서, 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 생체 센서 또는 상기 관성 센서를 이용하여 상기 웨어러블 디바이스의 착용 여부를 검출하고, 상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하고, 상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하고, 상기 관성 센서로부터 센싱 정보를 획득하고, 상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치는 통신 모듈, 메모리, 및 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해 제1 웨어러블 디바이스 및 제2 웨어러블 디바이스와 연결하고, 상기 제1 웨어러블 디바이스로부터 모션 정보를 획득하고, 상기 모션 정보에 기반하여 제스처 명령을 결정하고, 상기 제스처 명령에 기반하여 상기 제2 웨어러블 디바이스를 제어하도록 설정될 수 있다.
다양한 실시예들에 따른 복수의 영역별 터치 인터페이스를 포함하는 터치 센서, 생체 센서, 및 센서 축이 설정된 관성 센서를 포함하는 웨어러블 디바이스의 동작 방법은 상기 생체 센서 또는 상기 관성 센서를 이용하여 웨어러블 디바이스의 착용 여부를 검출하는 동작, 상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하는 동작, 상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하는 동작, 상기 관성 센서로부터 센싱 정보를 획득하는 동작, 및 상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 터치 센서를 이용하여 웨어러블 디바이스의 착용 위치를 검출하고, 검출된 착용 위치를 기반으로 관성 센서의 센서 축을 보정함으로써, 관성 센서를 이용하여 더욱 정확한 자세 정보를 획득할 수 있다.
다양한 실시예들에 따르면, 웨어러블 디바이스가 사용자의 신체에 착용된 위치가 달라지더라도 관성 센서에 의해 측정된 자세 정보에 기반하여 다양한 모션 제스처 서비스를 제공할 수 있다.
다양한 실시예들에 따르면, 웨어러블 디바이스가 사용자의 신체에 착용된 위치가 달라지는 경우, 생체 센서가 장착된 영역이 사용자의 신체와 멀어지더라도 생체 센서의 출력 값을 조정함으로써, 더욱 정확한 생체 정보를 획득할 수 있다.
다양한 실시예들에 따르면, 웨어러블 디바이스에서 검출된 생체 정보 또는 자세 정보에 기반하여 웨어러블 디바이스와 연결된 전자 장치 또는 전자 장치에 연결된 다른 웨어러블 디바이스를 제어함으로써, 멀티 디바이스 서비스를 지원할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 웨어러블 디바이스의 블록도이다.
도 3a 내지 도 3c는 다양한 실시예들에 따른 웨어러블 디바이스의 구성도를 도시한 도면들이다.
도 4a 및 도 4b는 다양한 실시예들에 따른 전자 장치에 적어도 하나의 웨어러블 디바이스가 연결되는 일례를 도시한 도면들이다.
도 4c는 다양한 실시예들에 따른 적어도 두 개의 웨어러블 디바이스가 연결되는 일례를 도시한 도면이다.
도 5는 다양한 실시예들에 따른 웨어러블 디바이스의 동작 방법을 도시한 흐름도이다.
도 6은 다양한 실시예들에 따른 웨어러블 디바이스에서 착용 기준 각도를 결정하는 일례를 도시한 도면이다.
도 7은 다양한 실시예들에 따른 웨어러블 디바이스에서 착용 기준 각도를 결정하는 다른 일례를 도시한 도면이다.
도 8은 다양한 실시예들에 따른 웨어러블 디바이스에서 모션 서비스를 제공하는 방법을 도시한 흐름도이다.
도 9는 다양한 실시예들에 따른 웨어러블 디바이스에서 모션 서비스를 제공하는 일례를 도시한 도면이다.
도 10a 및 도 10b는 다양한 실시예들에 따른 웨어러블 디바이스에서 모션 서비스를 제공하는 다른 일례를 도시한 도면들이다.
도 11은 다양한 실시예들에 따른 전자 장치에서 적어도 하나의 웨어러블 디바이스를 제어하는 방법을 도시한 흐름도이다.
도 12a 및 도 12b는 다양한 실시예들에 따른 전자 장치에서 적어도 하나의 웨어러블 디바이스를 제어하는 일례를 도시한 도면들이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시예들에 따른 웨어러블 디바이스의 블록도이다.
도 2를 참조하면, 다양한 실시예들에 따른 웨어러블 디바이스(201)는 터치 센서(210), 관성 센서(215), 생체 센서(220), 통신 모듈(225), 프로세서(230), 인터페이스(235), 출력 모듈(240), 메모리(245), 배터리(250) 및 충전 모듈(255)을 포함할 수 있다. 웨어러블 디바이스(201)는 상기 구성요소들 중 적어도 하나(예: 출력 모듈(240))가 생략되거나, 하나 이상의 다른 구성 요소(예: 근접 센서)가 추가될 수 있다.
터치 센서(210)는 터치(또는 터치 신호)를 감지하도록 설정된 터치 회로를 포함할 수 있다. 터치 센서(210)는 정전식 터치 센서 또는 감압식 터치 센서일 수 있다. 터치 센서(210)는 싱글 터치, 멀티 터치, 면 터치(surface touch), 또는 팜 터치(palm touch)를 감지할 수 있다.
관성 센서(215)는 이동하는 물체의 가속도 또는 충격 세기를 측정하는 센서일 수 있다. 관성 센서(215)는 가속도 센서(accelerometer) 또는 자이로스코프(gyroscope)일 수 있다.
생체 센서(220)는 사용자의 신체 일부와 접촉하여 생체 정보를 획득할 수 있다. 예를 들어, 생체 센서(220)는 혈압값을 산출하도록 구성된 광용적맥파(photoplethysmogram, PPG)를 포함할 수 있다. 또는, 생체 센서(220)는 심전도(electrocardiogram, ECG), 전기 피부 반응(galvanic skin response, GSR), 뇌파(electroencephalogram, EEG), 생체전기저항 측정법(bioimpedence assessment, BIA) 또는 심탄도(Ballistocardiogram, BCG) 중 적어도 하나를 측정할 수 있는 전극을 포함할 수 있다. 생체 센서(220)는 생체 정보를 획득하기 위하여 발광부 및 수광부로 구성되고, 발광부를 통해 신호를 출력하고, 수광부를 통해 출력된 신호에 의해 반사된 신호를 획득함으로써, 생체 정보를 획득할 수 있다. 또는, 생체 센서(220)는 전극을 통해 전류를 출력하고, 출력된 전류에 의해 사용자의 신체로부터 수신되는 전류에 기반하여 생체 정보를 획득할 수 있다.
통신 모듈(225)은 전자 장치(예: 도 1의 전자 장치(101))와 무선 통신 채널을 수립하고, 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(225)은 블루투스, 저전력 블루투스, 와이파이(Wi-Fi), UWB(ulatra wide band), ANT+(adaptive network topology), LTE(long term evolution), 5G(5th generation mobile eelecommunication), NB-IoT(narrowband internet of things)를 통하여 전자 장치(101)에 연결되거나, 엑세스 포인트, 네트워크와 연결될 수 있다. 통신 모듈(225)은 전자 장치(101)로 센싱 정보(또는 센싱 신호)(예: 자세 정보, 터치 정보, 생체 정보, 근접 정보)를 전송할 수 있다. 통신 모듈(225)은 도 1의 무선 통신 모듈(192)과 동일 또는 유사할 수 있다.
프로세서(230)는 웨어러블 디바이스(201)의 동작을 제어하는 것일 수 있다. 프로세서(230)는 웨어러블 디바이스(201)에 포함된 다른 구성요소(예: 터치 센서(210), 관성 센서(215), 통신 모듈(225) 등)를 제어하고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 프로세서(230)는 관성 센서(215)로부터 획득한 센싱 정보에 기반하여 웨어러블 디바이스(201)의 착용 상태, 회전 상태를 판단할 수 있다. 프로세서(230)는 주기적으로 상기 센싱 정보가 통신 모듈(225)을 통해 전자 장치(101)로 전송되도록 제어할 수 있다. 프로세서(230)는 메인 프로세서(예: micro controller unit), 센서허브, 바이어 프로세서, 또는 뉴럴 프로세서 중 적어도 하나를 포함할 수 있다. 프로세서(230)는 도 1의 프로세서(120)와 동일 또는 유사할 수 있다.
인터페이스(235)는 웨어러블 디바이스 케이스(205)와 물리적으로 연결될 수 있다. 예를 들어, 인터페이스(235)가 웨어러블 디바이스 케이스(205)와 물리적으로 연결되는 경우, 충전 모듈(255)을 통해 배터리(250)로 충전할 수 있다. 충전 모듈(255)은 웨어러블 디바이스(201)에 공급되는 전력을 관리할 수 있다. 충전 모듈(255)은 인터페이스(235)를 통해 수신되는 전력으로 배터리(250)를 충전시킬 수 있다. 충전 모듈(255)은 도 1의 전력 관리 모듈(188)과 동일 또는 유사할 수 있다. 배터리(250)는 웨어러블 디바이스(201)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 배터리(250)는 도 1의 배터리(189)와 동일 또는 유사할 수 있다.
출력 모듈(240)은 사용자에게 정보를 제공할 수 있다. 예를 들어, 출력 모듈(240)은 디스플레이(예: 도 1의 디스플레이 모듈(160)), LED, 스피커(예: 도 1의 음향 출력 장치(155)), 햅틱 모듈(예: 도 1의 햅틱 모듈(179)) 중 적어도 하나를 포함할 수 있다. 출력 모듈(240)은 프로세서(230)의 제어에 따라 알림 정보를 디스플레이하거나, LED를 점등 또는 점멸하거나, 음향 신호를 출력하거나, 또는 진동을 출력할 수 있다.
메모리(245)는 터치 센서(210)의 터치 감지 범위(또는 터치 영역)에 대응하는 각도를 매핑시켜 저장할 수 있다. 웨어러블 디바이스(201)에 터치 센서(210)가 복수 개 장착되는 경우, 각 터치 센서의 터치 감지 범위에 대응하는 각도를 매핑시킬 수 있다. 또한, 메모리(245)는 센싱 정보를 저장할 수 있다. 상기 센싱 정보는 관성 센서(215)로부터 획득한 센싱 정보 또는 상기 센싱 정보에 기반하여 프로세서(230)가 계산한 자세 정보를 저장할 수 있다. 상기 센싱 정보는 생체 센서(220)로부터 획득한 생체 정보, 터치 센서(210)로부터 획득한 터치 정보를 포함할 수 있다. 이 밖에도 상기 센싱 정보는 웨어러블 디바이스(201)에 근접 센서가 포함되는 경우, 근접 정보를 포함할 수 있다.
웨어러블 디바이스 케이스(205)는 링 인터페이스(260), 검출 모듈(265), 케이스 프로세서(270), 전원 인터페이스(275), 케이스 배터리(280), 및 케이스 충전 모듈(285)를 포함할 수 있다.
링 인터페이스(260)는 웨어러블 디바이스(201)의 인터페이스(235)와 물리적으로 연결될 수 있다. 검출 모듈(265)은 웨어러블 디바이스(201)가 웨어러블 디바이스 케이스(205)에 장착(또는 수용)되는지 여부를 검출할 수 있다. 검출 모듈(265)은 웨어러블 디바이스(201)가 웨어러블 디바이스 케이스(205)의 수용부에 장착되면, 케이스 프로세서(270)에 전달할 수 있다. 검출 모듈(265)은 웨어러블 디바이스(201)가 웨어러블 디바이스 케이스(205)에 위치하는지를 검출하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 검출 모듈(265)은 웨어러블 디바이스(201)에 접촉(또는 연결)되는 접촉부들(예: 인터페이스(235))을 주기적으로 "핑(ping)"하는 회로일 수 있다. 검출 모듈(265)은 자기 센서, 광센서, 스위치, 홀 효과 센서, 자속 센서, 용량성 센서, 광검출기, 근접 검출기, 순간 스위치, 기계적 센서 또는 전기 센서일 수 있다. 케이스 배터리(280)는 웨어러블 디바이스 케이스(205)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 케이스 배터리(280)는 도 1의 배터리(189)와 동일 또는 유사할 수 있다. 전원 인터페이스(275)는 외부 전원부와 물리적으로 연결될 수 있다.
케이스 프로세서(270)는 웨어러블 디바이스 케이스(205)의 동작을 제어하는 것일 수 있다. 케이스 프로세서(270)는 웨어러블 디바이스 케이스(205)에 포함된 다른 구성요소(예: 검출 모듈(265), 충전 모듈(285))를 제어하고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 케이스 프로세서(270)는 웨어러블 디바이스(201)가 연결되면, 웨어러블 디바이스(201)가 충전되도록 제어할 수 있다.
케이스 충전 모듈(285)은 웨어러블 디바이스(201) 또는 웨어러블 디바이스 케이스(205)에 공급되는 전력을 관리할 수 있다. 케이스 충전 모듈(285)은 웨어러블 디바이스(201)로 전력을 공급할 수 있다. 케이스 충전 모듈(285)은 전원 인터페이스(275)를 통해 수신되는 전력으로 배터리(280)를 충전시킬 수 있다. 케이스 충전 모듈(285)은 도 1의 전력 관리 모듈(188)과 동일 또는 유사할 수 있다.
도 3a 내지 도 3c는 다양한 실시예들에 따른 웨어러블 디바이스의 구성도를 도시한 도면들이다.
도 3a는 다양한 실시예들에 따른 웨어러블 디바이스와 웨어러블 디바이스 케이스를 도시한 도면이다.
도 3a를 참고하면, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))는 웨어러블 디바이스 케이스(예: 도 2의 웨어러블 디바이스 케이스(205))에 수용(또는 장착)될 수 있다. 웨어러블 디바이스(201)는 웨어러블 디바이스 케이스(205)로부터 이탈되면, 전원이 온(on)될 수 있다. 예를 들어, 웨어러블 디바이스(201)의 전원이 온되면, 터치 센서(210), 관성 센서(215), 또는 생체 센서(220)가 구동될 수 있다. 웨어러블 디바이스(201)는 웨어러블 디바이스 케이스(205)에 장착되면, 웨어러블 디바이스(201)의 전원이 오프(off)되거나, 또는 충전될 수 있다.
웨어러블 디바이스 케이스(205)는 웨어러블 디바이스(201)를 수용(또는 보관)하도록 구성된 수용부(또는 공간부)를 갖는 하우징 및 상기 하우징에 부착되는 덮개를 포함할 수 있다. 상기 수용부는 웨어러블 디바이스(201)를 케이스(250) 내부로 자기적으로(magnetically) 끌어들여 유지시키도록 구성될 수 있다. 웨어러블 디바이스 케이스(205)는 웨어러블 디바이스(201)가 상기 수용부에 장착되거나, 또는 상기 덮개가 닫혀지면, 웨어러블 디바이스(201)의 전원을 오프시키거나, 충전되도록 제어할 수 있다.
도 3b는 다양한 실시예들에 따른 웨어러블 디바이스의 측면도를 도시한 도면이다.
도 3b를 참조하면, 제1 측면(310)과 같이, 웨어러블 디바이스(201)는 원형으로 형성될 수 있다. 도면에서는 웨어러블 디바이스(201)가 링 타입의 원형으로 형성된 일례를 도시하고 있지만, 웨어러블 디바이스(201)는 사각형, 다각형 등 다양한 형태로 형성될 수 있다. 예를 들어, 웨어러블 디바이스(201)가 링 타입으로 형성될 때, 사용자의 착용 느낌을 고려하여 하우징의 내주면은 원형으로 형성되더라도, 하우징의 외주면은 사각형, 다각형 등 다양한 형태로 형성될 수 있다. 제1 측면(310)을 참고하면, 웨어러블 디바이스(201)는 하우징(305)을 포함하고, 하우징(305) 내부에 출력 모듈(예: 도 2의 출력 모듈(240)) 및 인터페이스(235)를 포함할 수 있다. 출력 모듈(240)은 하우징(305)의 내주면(303) 보다 외주면(301)에 더 인접하게 배치되고, 인터페이스(235)는 외주면(301)보다 내주면(303)에 더 인접하게 배치될 수 있다. 도면에서는 원형의 내주면(303)과 인접하게 인터페이스(235)가 배치되는 것으로 설명하고 있지만, 인터페이스(235)는 원형의 외주면(301)과 인접하게 배치될 수도 있다. 이는 구현 이슈에 불과할 뿐 설명에 의해 본 발명이 제한되는 것은 아니다.
하우징(305)의 내주면(303)은 링 타입의 웨어러블 디바이스(201)를 사용자가 손가락에 착용했을 때, 착용된 손가락에 닿는 면(예: 내측)을 의미할 수 있다. 하우징(305)의 외주면(301)은 링 타입의 웨어러블 디바이스(201)를 사용자가 손가락에 착용했을 때, 착용된 손가락에 닿지 않는 면(예: 외측)을 의미할 수 있다. 외주면(301)은 원형의 큰 둘레에 해당하고, 내주면(303)은 원형의 작은 둘레를 가질 수 있다.
제2 측면(320)을 참고하면, 하우징(305) 내부에 터치 센서(210)가 배치될 수 있다. 터치 센서(210)는 외주면(301)의 적어도 일 측면을 따라 원주 방향으로 구분된 복수의 영역별 터치 인터페이스를 포함할 수 있다. 예를 들어, 하우징(305의 외주면(301)과 인접한 안쪽에 메탈 물질의 터치 인터페이스가 각각 분리되어 배치될 수 있다. 상기 복수의 영역에 대응하는 복수의 터치 인터페이스들은 내부 터치회로와 연결되어 내부 전압 출력값을 이용해 커패시턴스값을 추정하여 터치를 판단할 수 있다. 내부 전압 출력값은 ADC를 통해 프로세서(예: 도 2의 프로세서(230))로 전달되어 각 터치 인터페이스 별 터치 여부 또는 정도를 판단할 수 있다. 예를 들어, 상기 복수의 터치 인터페이스들은 제1 터치 인터페이스(211), 제2 터치 인터페이스(213), 제3 터치 인터페이스(214), 제4 터치 인터페이스(217), 및 제5 터치 인터페이스(219)를 포함할 수 있다. 각각의 터치 인터페이스는 하우징(305) 외주면(301)의 적어도 일 측면을 따라 원주 방향으로 일정한 간격을 두고 배치되고, 터치 감지 범위(또는 터치 영역)가 정해질 수 있다. 웨어러블 디바이스(201)가 원형인 경우, 웨어러블 디바이스(201)의 터치 감지 범위는 360°이고, 예를 들어, 각 터치 센서의 터치 감지 범위는 65°~ 75°(약: 72°) 사이로 결정될 수 있다.
다양한 실시예들에 따르면, 웨어러블 디바이스(201)의 메모리(예: 도 2의 메모리(245))는 터치 센서의 각 터치 인터페이스별 터치 감지 범위에 대응하는 각도를 매핑시켜 저장할 수 있다. 발명의 이해를 돕기 위해 각도가 메모리(245)에 저장된다고 설명하고 있지만, 메모리(245)에 저장되는 정보는 raw data로서, 프로세서(230)의 처리에 의해 의미 있는 정보로서 활용될 수 있다. 각 터치 인터페이스의 터치 감지 범위는 일부(예: 5°)가 중첩되거나, 터치 감지 범위가 서로 중첩되지 않도록 터치 인터페이스가 배치될 수도 있다. 예를 들어, 제1 터치 인터페이스(211)는 터치 감지 범위에 대응하는 각도가 324°~ 36°이고, 제2 터치 인터페이스(213)는 터치 감지 범위에 대응하는 각도가 36°~ 108°이고, 제3 터치 인터페이스(214)는 터치 감지 범위에 대응하는 각도가 108°~ 180°이고, 제4 터치 인터페이스(217)는 터치 감지 범위에 대응하는 각도가 180°~ 252°이고, 제5 터치 인터페이스(219)는 터치 감지 범위에 대응하는 각도가 252°~ 324°일 수 있다. 이는 발명의 이해를 돕기 위한 예시일 뿐, 예시에 의해 본 발명이 제한되는 것은 아니다.
제3 측면(330)을 참고하면, 하우징(305)의 내부에는 관성 센서(예: 관성 센서(215))가 배치되고, 하우징(305)의 내주면(303)과 인접하게 생체 센서(예: 생체 센서(220))가 배치될 수 있다. 생체 센서(220)는 생체 정보를 획득하기 위하여 사용자의 신체 일부와 접촉되야 하므로, 착용하는 사용자의 손가락에 닿는 내주면(305)과 인접하게 배치될 수 있다. 도면에서는 생체 센서(220)가 제1 터치 인터페이스(211)에 인접(예: 출력 모듈(240)과 대향되는 안쪽)하게 배치되는 것으로 도시하고 있지만, 생체 센서(220)는 제3 터치 인터페이스(214) 또는 제4 터치 인터페이스(217)에 인접하는 하우징(305)의 내주면(303)에 배치될 수도 있다.
도 3c는 다양한 실시예들에 따른 웨어러블 디바이스에서 착용 기준 각도에 기반하여 관성 센서의 축을 변경하는 일례를 도시한 도면이다.
도 3c를 참조하면, 제1 착용 상태(350)는 사용자가 웨어러블 디바이스(201)를 사용자의 손가락에 착용했을 때, 출력 모듈(240)이 사용자의 손등 쪽에 배치되고, 손등 쪽 손가락 가운데에 위치하는 것일 수 있다. 웨어러블 디바이스(201)는 제1 착용 상태(350)를 기준으로 터치 센서(210), 관성 센서(215), 또는 생체 센서(220)가 배치될 수 있다. 웨어러블 디바이스(201)는 제1 착용 상태(350)와 같이 사용자가 착용할 수 있도록 출력 모듈(240)을 통해 안내할 수 있다. 예를 들어, 웨어러블 디바이스(201)는 착용 안내 정보를 텍스트, 이미지 또는 오디오로 출력할 수 있다. 웨어러블 디바이스(201)는 터치 센서(210), 관성 센서(215), 또는 생체 센서(220) 중 적어도 하나에 기반하여 착용 여부를 감지할 수 있다.
다양한 실시예들에 따르면, 웨어러블 디바이스(201)는 착용이 감지되면, 터치 센서(210)로부터 터치 정보를 획득하고, 터치 정보에 기반하여 착용 기준 각도를 결정할 수 있다. 웨어러블 디바이스(201)는 사용자에게 착용된 후 회전(예: 사용자의 손가락 둘레를 회전)될 수 있다. 웨어러블 디바이스(201)는 상기 터치 정보에 기반하여 사용자의 착용 상태가 제1 착용 상태(350)로 판단된 경우, 상기 착용 기준 각도는 메모리(예: 도 2의 메모리(245))에 설정된 각도로 유지될 수 있다. 예를 들어, 웨어러블 디바이스(201)는 제1 착용 상태(350)를 기준으로 메모리(245)에 각 터치 센서의 터치 감지 범위에 대응하는 각도를 매핑시켜 저장할 수 있다.
웨어러블 디바이스(201)는 상기 터치 정보에 기반하여 사용자의 착용 상태가 제2 착용 상태(370)로 판단되는 경우, 착용 기준 각도를 변경할 수 있다. 예를 들어, 제1 착용 상태(350)에서는 제1 터치 인터페이스(211)가 배치된 위치를 기준으로 착용 기준 각도가 결정되었다면, 제2 착용 상태(370)에서는, 제2 터치 인터페이스(213)를 기준으로 착용 기준 각도를 결정할 수 있다. 웨어러블 디바이스(201)는 착용 기준 각도에 기반하여 관성 센서(215)의 센서 축을 보정할 수 있다. 예를 들어, 관성 센서(215)의 센서 축은 제1 착용 상태(350)를 기준으로 설정되어 있을 수 있다. 제1 착용 상태(350)에서는 관성 센서(215)의 센서 축 보정이 필요하지 않고, 제2 착용 상태(370)에서는 관성 센서(215)의 센서 축 보정이 필요할 수 있다. 관성 센서(215)의 센서 축 보정은 메모리(245)에 저장된 각도로부터 얼만큼 회전되었는지 여부에 기반하여 센서 축의 각도를 보정할 수 있다. 센서 축 보정은 관성 센서(215)로부터 센싱한 센싱 정보의 정확도를 높이기 위한 것일 수 있다.
다양한 실시예들에 따르면, 제2 착용 상태(370)에서는 더욱 정확한 생체 정보를 획득하기 위하여 생체 센서(220)에서 출력하는 신호(또는 전류)를 증가시킬 수 있다. 생체 센서(220)는 사용자의 신체 특정 부위(예: 손가락 안쪽)에 접촉되는 경우 정확한 생체 정보를 획득할 수 있다. 생체 센서(220)가 특정 부위에 접촉되지 않는 경우, 다소 부정확한 생체 정보가 획득될 수 있다. 제1 착용 상태(350)를 기준으로 생체 센서(220)에서 출력되는 신호(또는 전류)가 결정될 수 있다. 웨어러블 디바이스(201)는 제1 착용 상태(350)가 아닌 것으로 판단되는 경우, 사용자의 착용 상태에 기반하여 생체 센서(220)에서 출력하는 신호(또는 전류)를 조절할 수 있다.
도 4a 및 도 4b는 다양한 실시예들에 따른 전자 장치에 적어도 하나의 웨어러블 디바이스가 연결되는 일례를 도시한 도면들이다.
도 4a는 다양한 실시예들에 따른 전자 장치와 웨어러블 디바이스가 연결되는 일례를 도시한 도면이다.
도 4a를 참조하면, 제1 네트워크 환경(410)은 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 근거리 무선 통신(예: 블루투스)을 통해 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))와 페어링(또는 연결)될 수 있다. 페어링은 전자 장치(101)와 웨어러블 디바이스(201) 간의 discovery 과정 및 상호 인증 과정을 완료한 상태를 의미할 수 있다. 페어링하는 동작은 종래 기술에 해당하므로, 자세한 설명을 생략할 수 있다. 전자 장치(101)는 웨어러블 디바이스(201)와 연결되면, 웨어러블 디바이스(201)의 착용 안내 정보를 디스플레이(예: 도 1의 디스플레이 모듈(160))을 통해 표시할 수 있다. 웨어러블 디바이스(201)는 사용자의 신체에 착용된 것으로 감지되는 경우, 주기적으로, 실시간으로 또는 선택적으로 각 센서에서 감지한 센싱 정보를 전자 장치(101)로 전송할 수 있다.
예를 들어, 상기 센싱 정보는 터치 센서(210)에서 획득한 터치 정보, 관성 센서(215)에서 획득한 센싱 정보 또는 센싱 정보에 기반하여 계산된 자세 정보, 또는 생체 센서(220)에서 획득한 생체 정보를 포함할 수 있다. 전자 장치(101)는 웨어러블 디바이스(201)의 상기 센싱 정보에 기반하여 사용자의 상태를 판단하거나, 전자 장치(101)의 기능을 제어하기 위한 보조 정보로 활용할 수 있다. 상기 사용자의 상태는 수면, 운동, 일, 휴식, 심박수 또는 혈압 상태 중 적어도 하나를 포함할 수 있다. 전자 장치(101)는 설정된 어플리케이션(예: 건강 어플리케이션)을 실행시키면, 사용자의 상태 정보(예: 8시간 수면, 수면의 질, 운동 시간, 일하는 시간, 휴식 시간)를 제공할 수 있다. 전자 장치(101)는 상기 센싱 정보를 이용하여 전자 장치(101)의 밝기, 소리, 화면 줌 인/아웃을 제어할 수 있다. 전자 장치(101)는 상기 터치 정보에 기반하여 관성 센서(215)에서 획득한 센싱 정보를 보정하여 자세 정보를 계산하거나, 계산된 자세 정보를 웨어러블 디바이스(201)로부터 수신할 수 있다.
도 4b는 다양한 실시예들에 따른 전자 장치와 적어도 두 개의 웨어러블 디바이스가 연결되는 일례를 도시한 도면이다.
도 4b를 참조하면, 제2 네트워크 환경(430)은 전자 장치(101)에 복수의 웨어러블 디바이스가 연결된 환경을 의미할 수 있다. 전자 장치(101)는 근거리 통신을 통해 웨어러블 디바이스(201) 및 다른 웨어러블 디바이스(207)와 페어링(또는 연결)될 수 있다. 다른 웨어러블 디바이스(207)는 비디오 데이터를 출력하는 장치로서, 예를 들어, 웨어러블 유리 장치(예: AR 글래스(glasses), 스마트 글래스(smart glasses)), 또는 헤드 마운트 장치(예: HMD, head mounted display)를 포함할 수 있다. 도 4b에서는 두 개의 웨어러블 디바이스가 존재하므로, 웨어러블 디바이스(201)는 제1 웨어러블 디바이스(201)로 식별하고, 다른 웨어러블 디바이스(207)는 제2 웨어러블 디바이스(207)로 식별할 수 있다. 이는, 두 개의 웨어러블 디바이스를 용이하게 식별하기 위한 것으로 발명을 제한하는 것은 아니다.
다양한 실시예들에 따르면, 전자 장치(101)는 서로 다른 통신 방식으로 제1 웨어러블 디바이스(201) 및 제2 웨어러블 디바이스(207)에 연결될 수 있다. 예를 들어, 전자 장치(101)는 제1 웨어러블 디바이스(201)와 블루투스로 연결하고, 제2 웨어러블 디바이스(207)와 와이파이 다이렉트로 연결할 수 있다. 제2 웨어러블 디바이스(207)는 전자 장치(101)와 연결 시에 전자 장치(101)로 영상 정보, 장치 정보, 센싱 정보, 기능 정보 및/또는 위치 정보와 같은 적어도 하나의 정보를 제공(예: 전송)할 수 있다. 전자 장치(101)는 제2 웨어러블 디바이스(207)가 전송한 영상 정보, 장치 정보, 센싱 정보, 기능 정보 및/또는 위치 정보에 기반하여 영상 정보와 연관된 데이터(예: AR 이미지)를 생성하여 제2 웨어러블 디바이스(207)로 전송할 수 있다.
전자 장치(101)는 제1 웨어러블 디바이스(201)의 센싱 정보에 기반하여 제2 웨어러블 디바이스(207)를 제어할 수 있다. 예를 들어, 전자 장치(101)는 사용자가 제1 웨어러블 디바이스(201)를 사용자의 손가락에 착용한 상태에서 제1 웨어러블 디바이스(201)를 두 손가락으로 잡고 돌리는 제스처가 검출되는 경우, 제스처에 기반하여 제2 웨어러블 디바이스(207)에 볼륨 제어와 관련된 사용자 인터페이스를 표시하도록 제어할 수 있다.
도 4c는 다양한 실시예들에 따른 적어도 두 개의 웨어러블 디바이스가 연결되는 일례를 도시한 도면이다.
도 4c를 참조하면, 제3 네트워크 환경(450)은 제1 웨어러블 디바이스(201)와 제2 웨어러블 디바이스(207)가 연결된 환경을 의미할 수 있다. 제1 웨어러블 디바이스(201)와 제2 웨어러블 디바이스(207)는 근거리 통신(예: 블루투스, 와이파이 다이렉트, UWB)으로 연결할 수 있다. 제1 웨어러블 디바이스(201)와 제2 웨어러블 디바이스(207)가 연결되면, 제1 웨어러블 디바이스(201)의 센싱 정보에 기반하여 제2 웨어러블 디바이스(207)가 제어될 수 있다.
예를 들어, 제2 웨어러블 디바이스(207)는 사용자의 시점을 추적하고, 사용자의 시점에 기반하여 오브젝트를 스캔할 수 있다. 제2 웨어러블 디바이스(207)는 제1 웨어러블 디바이스(201)를 상기 오브젝트로서 스캔할 수 있다. 사용자는 제1 웨어러블 디바이스(201)를 사용자의 손가락에 착용한 상태에서 제1 웨어러블 디바이스(201)를 두 손가락으로 잡고 돌리는 제스처를 할 수 있다. 제2 웨어러블 디바이스(207)는 제1 웨어러블 디바이스(201)로부터 센싱 정보를 획득하고, 상기 센싱 정보가 설정된 볼륨 제어 제스처에 해당하는 경우, 디스플레이를 통해 볼륨 제어와 관련된 사용자 인터페이스를 표시할 수 있다. 또는, 제2 웨어러블 디바이스(207)는 상기 사용자의 시점에 제1 웨어러블 디바이스(201)가 포함되는 경우, 상기 사용자의 시점에 포함된 제1 웨어러블 디바이스(201)의 위치에 기반하여 상기 볼륨 제어와 관련된 사용자 인터페이스를 표시할 수 있다. 예를 들어, 제2 웨어러블 디바이스(207)는 상기 사용자의 시점에 포함된 제1 웨어러블 디바이스(201)와 인접하게 상기 볼륨 제어와 관련된 사용자 인터페이스를 표시할 수 있다.
다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))는 하우징(예: 도 3b의 하우징(305)의 외측(예: 도 3b의 외주면(301))에 인접하게 배치되고, 복수의 영역별 터치 인터페이스(예: 도 3b의 제1 터치 인터페이스(211) 내지 제5 터치 인터페이스(219))를 포함하는 터치 센서(예: 도 2의 터치 센서(210)), 센서 축이 설정된 관성 센서(예: 도 2의 관성 센서(215)), 상기 하우징의 내측에 인접하게 배치되는 생체 센서(예: 도 2의 생체 센서(220)), 통신 모듈(예: 도 2의 통신 모듈(225)), 상기 터치 센서의 각 터치 인터페이스의 검출 범위에 대응하는 각도를 매핑하여 저장하는 메모리(예: 도 2의 메모리(245)), 및 상기 터치 센서, 상기 관성 센서, 상기 생체 센서, 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 도 2의 프로세서(230))를 포함하고, 상기 프로세서는 상기 생체 센서 또는 상기 관성 센서를 이용하여 상기 웨어러블 디바이스의 착용 여부를 검출하고, 상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하고, 상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하고, 상기 관성 센서로부터 센싱 정보를 획득하고, 상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하도록 설정될 수 있다.
상기 프로세서는, 상기 생체 센서로부터 생체 정보가 획득되거나, 또는 상기 관성 센서로부터 움직임이 검출되는 경우, 상기 웨어러블 디바이스가 착용된 것으로 판단할 수 있다.
상기 프로세서는, 상기 터치 정보에 기반하여 착용 기준 각도를 결정하고, 상기 착용 기준 각도에 기반하여 상기 관성 센서의 상기 센서 축을 보정하도록 설정될 수 있다.
상기 프로세서는, 상기 터치 정보에 기반하여 상기 웨어러블 디바이스의 착용 상태가 제1 착용 상태인 경우, 상기 착용 기준 각도를 상기 메모리에 저장된 각도로 결정하고, 상기 터치 정보에 기반하여 상기 웨어러블 디바이스의 착용 상태가 제2 착용 상태인 경우, 상기 착용 기준 각도를 변경하도록 설정될 수 있다.
상기 터치 센서에 포함된 복수의 터치 인터페이스들은, 각 터치 인터페이스의 터치 검출 범위가 중첩되지 않도록 배치될 수 있다.
상기 웨어러블 디바이스는, 링 타입으로 형성되고, 상기 복수의 터치 인터페이스들은, 링 타입의 하우징 외주면(outer perimeter)의 적어도 일 측면을 따라 원주 방향으로 배치될 수 있다.
상기 생체 센서는 링 타입의 하우징 내주면(inner perimeter)에 형성되어, 상기 웨어러블 디바이스 착용 시 사용자의 신체에 접촉되어 생체 정보를 획득하고, 상기 복수의 터치 인터페이스들은, 링 타입의 하우징 외주면에 형성되어, 상기 웨어러블 디바이스 착용 시 사용자의 착용 상태를 획득하도록 설정될 수 있다.
상기 프로세서는, 상기 각 터치 인터페이스에 의해 획득한 터치 정보, 상기 관성 센서에 의해 획득한 센싱 정보 또는 상기 생체 센서에 의해 획득한 생체 정보 중 적어도 하나에 기반하여 모션 제스처를 결정하도록 설정될 수 있다.
상기 프로세서는, 상기 통신 모듈을 통해 전자 장치와 연결하고, 상기 전자 장치로 상기 터치 정보 또는 상기 자세 정보를 전송하여 상기 터치 정보 또는 상기 자세 정보에 기반하여 상기 전자 장치의 기능을 실행하도록 할 수 있다.
상기 프로세서는, 회전 검출 전 상기 각 터치 인터페이스에 의해 획득한 터치 정보에 기반하여 사용자의 의도를 판단하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 통신 모듈(예: 도 1의 통신 모듈(190)), 메모리(예: 도 1의 메모리(130)), 및 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해 제1 웨어러블 디바이스 및 제2 웨어러블 디바이스와 연결하고, 상기 제1 웨어러블 디바이스로부터 모션 정보(예: 자세 정보)를 획득하고, 상기 모션 정보에 기반하여 제스처 명령을 결정하고, 상기 제스처 명령에 기반하여 상기 제2 웨어러블 디바이스를 제어하도록 설정될 수 있다.
상기 프로세서는, 상기 모션 정보에 포함된 회전 방향 또는 회전 속도에 기반하여 제스처 명령을 결정하고, 상기 제스처 명령을 상기 제2 웨어러블 디바이스로 전송하여 상기 제2 웨어러블 디바이스를 제어하도록 설정될 수 있다.
상기 프로세서는, 상기 제2 웨어러블 디바이스에서 검출한 사용자의 시점에 기반하여 상기 모션 제스처에 대응하는 사용자 인터페이스가 표시되도록 제어할 수 있다.
상기 프로세서는, 상기 통신 모듈을 통해 제3 웨어러블 디바이스와 더 연결하고, 상기 제1 웨어러블 디바이스 및 상기 제3 웨어러블 디바이스로부터 상기 모션 정보를 획득하고, 상기 모션 정보에 기반하여 상기 제스처 명령을 결정하고, 상기 제스처 명령에 기반하여 상기 제2 웨어러블 디바이스를 제어하도록 설정될 수 있다.
도 5는 다양한 실시예들에 따른 웨어러블 디바이스의 동작 방법을 도시한 흐름도(500)이다.
도 5를 참조하면, 동작 501에서, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))의 프로세서(예: 도 2의 프로세서(230))는 착용을 감지할 수 있다. 상기 착용 감지는 웨어러블 디바이스(201)가 사용자의 신체에 착용되는지 여부일 수 있다. 예를 들어, 웨어러블 디바이스(201)가 링 타입으로 형성된 경우, 사용자의 손가락에 착용될 수 있다. 프로세서(120)는 터치 센서(예: 도 2의 터치 센서(210)), 관성 센서(예: 도 2의 관성 센서(215)), 또는 생체 센서(예: 도 2의 생체 센서(220)) 중 적어도 하나를 이용하여 착용 여부를 감지할 수 있다. 프로세서(120)는 터치 센서(210)에 의한 터치가 감지된 후, 관성 센서(215)로부터 획득한 센싱 정보에 변화가 있는 경우(예: 움직임 변화 검출) 착용된 것으로 판단할 수 있다. 또는, 프로세서(120)는 터치 센서(210)에 의한 터치가 감지된 후, 관성 센서(215)로부터 획득한 센싱 정보에 변화가 있고, 생체 센서(220)에 의해 생체 정보가 획득되는 경우 착용된 것으로 판단할 수 있다. 또는, 웨어러블 디바이스(201)가 근접 센서를 더 포함하는 경우, 프로세서(230)는 근접 센서에 의해 센싱 정보가 검출되는 경우, 착용된 것으로 판단할 수 있다.
동작 503에서, 프로세서(230)는 터치 센서(210)로부터 터치 정보를 획득할 수 있다. 웨어러블 디바이스(201)의 하우징(예: 도 3b의 하우징(305) 외주면(예: 도 3b의 외주면(301))에는 터치 센서(210)가 배치될 수 있다. 터치 센서(210)는 복수의 영역별 터치 인터페이스를 포함할 수 있다, 프로세서(230)는 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 획득할 수 있다. 예를 들어, 프로세서(230)는 제2 터치 인터페이스(예: 도 3b의 제2 터치 인터페이스(213)) 및 제5 터치 인터페이스(예: 도 3b의 제5 터치 인터페이스(219))로부터 터치 정보를 획득할 수 있다. 또는, 프로세서(230)는 제1 터치 인터페이스(예: 도 3b의 제1 터치 인터페이스(211)) 및 제4 터치 인터페이스(예: 도 3b의 제4 터치 인터페이스(217))로부터 터치 정보를 획득할 수 있다. 프로세서(230)는 웨어러블 디바이스(201)가 착용된 경우, 복수의 터치 센서 중에서 적어도 두 개의 서로 다른 터치 인터페이스로부터 각각 터치 정보를 획득할 수 있다.
다양한 실시예들에 따르면, 상기 터치 인터페이스가 영역별로 구분되어 형성되는 경우, 상기 터치 정보는 터치 검출 여부(예: 검출(O), 검출 아님(X))를 포함할 수 있다. 프로세서(230)는 터치가 검출된 터치 인터페이스로부터 터치 정보를 획득하고, 터치가 검출되지 않은 터치 인터페이스로부터 터치 정보를 획득하지 않을 수 있다. 또는, 상기 터치 인터페이스가 영역별로 구분되어 형성되지 않는 경우, 상기 터치 정보는 터치 검출 여부(예: 검출(O), 검출 아님(X)) 및 검출 위치(예: x, y 좌표)를 포함할 수 있다. 프로세서(230)는 상기 터치 정보를 통해 터치 검출 여부 및 검출 위치를 획득할 수 있다.
동작 505에서, 프로세서(230)는 터치 정보에 기반하여 착용 기준 각도를 결정할 수 있다. 상기 착용 기준 각도는 사용자가 웨어러블 디바이스(201)의 착용 상태에 따라 달라질 수 있다. 웨어러블 디바이스(201)의 메모리(예: 도 2의 메모리(245))는 각 터치 센서의 터치 감지 범위에 대응하는 각도를 매핑시켜 저장할 수 있다. 예를 들어, 제1 터치 인터페이스(211)는 터치 감지 범위에 대응하는 각도가 324°~ 36°이고, 제2 터치 인터페이스(213)는 터치 감지 범위에 대응하는 각도가 36°~ 108°이고, 제3 터치 인터페이스(214)는 터치 감지 범위에 대응하는 각도가 108°~ 180°이고, 제4 터치 인터페이스(217)는 터치 감지 범위에 대응하는 각도가 180°~ 252°이고, 제5 터치 인터페이스(219)는 터치 감지 범위에 대응하는 각도가 252°~ 324°일 수 있다.
메모리(245)에는 제1 터치 인터페이스(211)가 사용자의 손등에 해당하는 손가락 부위(예: 손가락 바깥쪽)에 배치되는 것을 기준으로 각 터치 센서의 터치 감지 범위에 대응하는 각도가 매핑되어 있을 수 있다. 웨어러블 디바이스(201)의 특성 상 착용 시 회전 가능하므로, 회전 상태에 따라 사용자의 착용 상태가 달라질 수 있다. 예를 들어, 프로세서(120)는 웨어러블 디바이스(201)의 착용 상태가 제1 착용 상태(350)인 경우, 착용 기준 각도를 메모리(245)에 저장된 각도로 결정할 수 있다. 또는, 프로세서(120)는 웨어러블 디바이스(201)의 착용 상태가 제2 착용 상태(370)인 경우, 착용 기준 각도를 변경할 수 있다. 착용 기준 각도를 변경하는 일례에 대해서는 이하 도 6을 통해 상세히 설명하기로 한다.
동작 507에서, 프로세서(230)는 착용 기준 각도에 기반하여 관성 센서(215)의 센서 축을 보정할 수 있다. 관성 센서(215)에는 기본적으로 센서 축이 설정되어 있을 수 있고, 예를 들어, 제1 터치 인터페이스(211)를 기준으로 관성 센서(215)의 센서 축이 설정되어 메모리(245)에 저장될 수 있다. 관성 센서(215)의 센서 축 보정은 메모리(245)에 저장된 각도로부터 얼만큼 회전되었는지 여부에 기반하여 센서 축의 각도를 보정할 수 있다. 예를 들어, 회전에 의한 센서 축의 각도 보정은 관성 센서(215)의 착용 기준점, 또는 사용자의 회전에 의해 발생한 회전만큼 회전 매트릭스(rotation matrix)를 구성하고, 현재 관성 센서(215)의 각축을 회전하여 보정함으로 회전에 의해 발생한 센싱 정보를 보정할 수 있다. 프로세서(230)는 가속도 센서로부터 측정한 가속도 값을 수학식 1과 같은 회전 매트릭스에 적용하여 관성 센서(215)의 축을 보정할 수 있다.
Figure PCTKR2021015815-appb-M000001
여기서, Rx(θ)는 x축 회전 각도, Ry(θ)는 y축 회전 각도, Rz(θ)는 z축 회전 각도를 나타낼 수 있다. 예를 들어, 프로세서(230)는 상기 결정된 착용 기준 각도가 메모리(245)에 저장된 각도로부터 30°회전된 경우, 관성 센서(215)의 센서 축을 30°회전되도록 보정할 수 있다.
동작 509에서, 프로세서(230)는 관성 센서(215)로부터 센싱 정보를 획득할 수 있다. 상기 센싱 정보는 가속도 센서로부터 측정한 가속도 값일 수 있다. 또는, 상기 센싱 정보는 자이로 센서로부터 측정한 각속도 값일 수 있다. 프로세서(230)는 일정 시간 동안(예: 5초) 센싱 정보를 획득할 수 있다.
동작 511에서, 프로세서(230)는 보정된 센싱 축에 기반하여 센싱 정보로부터 자세 정보를 계산할 수 있다. 가속도 센서로 측정한 가속도(fx, fy, fz)에는 중력 가속도와 속도의 크기와 방향이 바뀔 때 발생하는 다양한 종류의 가속도가 포함될 수 있다. 프로세서(230)는 상기 센싱 정보를 수학식 2에 적용하여 자세 정보를 계산할 수 있다.
Figure PCTKR2021015815-appb-M000002
여기서, vx, vy, vz는 이동 속도를 나타내고, ωx, ωy, ωz는 회전 각속도를 나타내고, g는 중력 가속도를 나타내며, φ는 피치 값, θ는 롤 값을 나타낼 수 있다.
전자 장치(101)가 정지된 상태이거나, 등속 운동을 하는 경우, 수학식 2는 다음과 같이 간소화되어 수학식 3으로 나타낼 수 있다.
Figure PCTKR2021015815-appb-M000003
프로세서(230)는 수학식 3으로부터 자세 정보에 해당하는 피치 값, 롤 값을 각각 계산할 수 있다.
Figure PCTKR2021015815-appb-M000004
수학식 4에서, φ는 피치 값, θ는 롤 값을 나타낼 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 관성 센서(215)가 가속도 센서 및 자이로 센서로 구성되는 경우, 자이로 센서부터 측정된 각축의 각속도 변화량을 측정하여 웨어러블 디바이스(201)의 회전 동안 자세 값 변화량을 측정할 수 있다. 프로세서(120)는 자이로 센서부터 측정된 각축의 각속도 변화량을 측정하여 요 값을 계산할 수 있다.
도 6은 다양한 실시예들에 따른 웨어러블 디바이스에서 착용 기준 각도를 결정하는 일례를 도시한 도면이다.
도 6을 참조하면, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))는 복수의 영역에 대응하는 복수의 터치 인터페이스(211 ~ 219)를 포함하고, 각 터치 인터페이스의 터치 감지 범위(또는 터치 영역)에 대응하는 각도를 매핑시켜 메모리(예: 도 2의 메모리(245))에 저장할 수 있다. 상기 복수의 영역은 하우징(예: 도 3b의 하우징(305)) 외주면(예: 도 3b의 외주면(301))의 적어도 일 측면을 따라 원주 방향으로 구분될 수 있다. 웨어러블 디바이스(201)는 터치 인터페이스의 배치 위치에 기반하여 터치 감지 범위에 따른 각도가 결정될 수 있다. 예를 들어, 메모리(245)에는 제1 착용 상태(610)와 같이, 웨어러블 디바이스(201)가 사용자의 손가락에 올바르게 착용된 것을 기준으로 각 터치 인터페이스의 터치 감지 범위에 대응하는 각도가 저장될 수 있다.
제1 착용 상태(610)를 참조하면, 제1 터치 인터페이스(211)는 터치 감지 범위에 대응하는 각도가 324°~ 36°이고, 제2 터치 인터페이스(213)는 터치 감지 범위에 대응하는 각도가 36°~ 108°이고, 제3 터치 인터페이스(214)는 터치 감지 범위에 대응하는 각도가 108°~ 180°이고, 제4 터치 인터페이스(217)는 터치 감지 범위에 대응하는 각도가 180°~ 252°이고, 제5 터치 인터페이스(219)는 터치 감지 범위에 대응하는 각도가 252°~ 324°일 수 있다. 이는 발명의 이해를 돕기 위한 예시일 뿐, 예시에 의해 본 발명이 제한되는 것은 아니다. 각 터치 인터페이스의 터치 감지 범위는 일부(예: 5°)가 중첩되거나, 터치 감지 범위가 서로 중첩되지 않도록 터치 인터페이스가 배치될 수도 있다.
웨어러블 디바이스(201)는 터치 정보에 기반하여 사용자의 착용 상태를 제2 착용 상태(630)로 판단할 수 있다. 웨어러블 디바이스(201)는 제2 착용 상태(630)로 판단되는 경우, 착용 기준 각도를 변경할 수 있다. 예를 들어, 제1 착용 상태(610)에서는 제1 터치 인터페이스(211)가 배치된 위치를 기준으로 착용 기준 각도가 결정되었다면, 제2 착용 상태(630)에서는, 제2 터치 인터페이스(213)를 기준으로 착용 기준 각도를 결정할 수 있다. 웨어러블 디바이스(201)는 제2 착용 상태(630)에서 검출된 터치 정보에 기반하여 기준 각도로부터 약 45°(θ) 회전된 상태로 판단할 수 있다. 웨어러블 디바이스(201)는 메모리(245)에 저장된 각도로부터 약 45°(θ) 회전된 각도로 착용 기준 각도를 결정할 수 있다. 웨어러블 디바이스(201)는 상기 착용 기준 각도에 기반하여 관성 센서(215)의 센서 축을 약 45°회전되도록 보정할 수 있다.
도 7은 다양한 실시예들에 따른 웨어러블 디바이스에서 착용 기준 각도를 결정하는 다른 일례를 도시한 도면이다.
도 7을 참조하면, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))는 복수의 터치 인터페이스(211 ~ 219) 중 적어도 하나로부터 획득한 터치 정보에 기반하여 사용자의 손가락 접힘 상태를 판단할 수 있다. 예를 들어, 사용자가 웨어러블 디바이스(201)를 제1 착용 상태(710)로 왼쪽 약지에 착용한 경우, 제1 터치 정보(711) 및 제2 터치 정보(713)가 검출될 수 있다. 제1 착용 상태(710)는 웨어러블 디바이스(201)의 출력 모듈(240)이 사용자의 손등 쪽 방향 손가락(예: 손가락 바깥쪽)에 배치되는 것일 수 있다. 사용자가 웨어러블 디바이스(201)를 착용하고 손가락을 핀 경우, 웨어러블 디바이스(201)는 제2 터치 인터페이스(213)에 의해 제1 터치 정보(711)를 획득하고, 제5 터치 인터페이스(219)에 의해 제2 터치 정보(713)를 획득할 수 있다. 웨어러블 디바이스(201)는 제1 터치 정보(711) 및 제2 터치 정보(713)로부터 사용자가 웨어러블 디바이스(201)를 착용하고 손가락을 핀 상태로 판단할 수 있다.
사용자가 웨어러블 디바이스(201)를 제2 착용 상태(730)로 왼쪽 약지에 착용한 경우, 제1 터치 정보(711), 제2 터치 정보(713), 제3 터치 정보(715) 및 제4 터치 정보(717)가 검출될 수 있다. 사용자가 웨어러블 디바이스(201)를 착용하고 주먹을 쥔 상태인 경우, 웨어러블 디바이스(201)는 제2 터치 인터페이스(213)에 의해 제1 터치 정보(711)를 획득하고, 제3 터치 인터페이스(214)에 의해 제4 터치 정보(717)를 획득하고, 제4 터치 인터페이스(217)에 의해 제3 터치 정보(715)를 획득하고, 제5 터치 인터페이스(219)에 의해 제2 터치 정보(713)를 획득할 수 있다. 웨어러블 디바이스(201)는 제1 터치 정보(711), 제2 터치 정보(713), 제3 터치 정보(715) 및 제4 터치 정보(717)로부터 사용자가 웨어러블 디바이스(201)를 착용하고 주먹을 쥔 상태로 판단할 수 있다.
웨어러블 디바이스(201)는 터치 정보에 기반하여 착용 기준 각도를 결정하고, 착용 기준 각도에 기반하여 관성 센서(215)의 센서 축을 보정할 수 있다. 웨어러블 디바이스(201)는 보정된 센서 축에 기반하여 관성 센서(215)로부터 측정된 센싱 정보로부터 자세 정보를 계산할 수 있다. 다양한 실시예들에 따르면, 웨어러블 디바이스(201)는 제1 착용 상태(710)에서 터치 정보에 기반하여 한손 터치 또는 엄지와 검지를 이용한 집게(pick up) 터치 또는 스퀴즈(squeeze) 터치를 구분할 수 있다.
다양한 실시예들에 따르면, 웨어러블 디바이스(201)는 터치 센서(210), 관성 센서(215) 및 생체 센서(220)로부터 각각 획득한 센싱 정보를 조합하여 모션 제스처의 오인식을 방지하거나, 사용자의 상태를 판단할 수 있다. 예를 들어, 웨어러블 디바이스(201)는 터치 정보와 함께 자세 정보의 변화량이 계산되는 경우, 일상 생활에서 발생하는 손목 회전으로 발생하는 회전을 구분할 수 있다. 또는 터치 정보와 자세 정보를 조합하여 다양한 모션 제스처에 대응하는 기능을 실행할 수 있다. 예를 들어, 전자 장치(예: 도 1의 전자 장치(101))와 웨어러블 디바이스(201)가 연결된 상태(예: 제1 네트워크 상태(410))에서, 웨어러블 디바이스(201)를 더블 터치한 후 제1 방향 회전(예: 위쪽 회전)하는 경우, 전자 장치(101)는 전화 받기를 수행할 수 있다. 또는, 웨어러블 디바이스(201)를 더블 터치한 후 제2 방향 회전(예: 아래쪽 회전)하는 경우, 전자 장치(101)는 전화 거절을 수행할 수 있다.
또 하나의 실시 예로, 웨어러블 디바이스(201)는 자세 정보의 변화량이 검출되고, 생체 센서(220)로부터 획득한 생체 정보에 기반하여 물의 온도에 따른 손가락의 혈 유량 변화가 검출되는 경우, 손 씻기 상태로 판단할 수 있다. 또는, 웨어러블 디바이스(201)에 온도 센서 또는 습도 센서가 더 포함되는 경우, 사용자의 신체 온도(예: 36.5°)보다 낮거나 높은 온도가 검출되는 경우, 손 씻기 상태로 판단할 수 있다. 웨어러블 디바이스(201)는 자세 정보와 손 씻기 시 발생하는 물이 출력 모듈(240)에 닿았을 때 발생하는 정적 용량의 변화를 측정하여 손 씻기 모션의 정확도를 높일 수 있다.
도 8은 다양한 실시예들에 따른 웨어러블 디바이스에서 모션 서비스를 제공하는 방법을 도시한 흐름도(800)이다.
도 8을 참조하면, 동작 801에서, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))의 프로세서(예: 도 2의 프로세서(230))는 터치 이벤트(또는 터치 정보)를 검출할 수 있다. 상기 터치 이벤트는 사용자의 의도를 판단하기 위한 것으로 사용될 수 있다. 모션 제스처에 대응하는 기능 실행 시, 사용자가 의도하지 않은 기능이 실행될 수 있다. 프로세서(230)는 터치 이벤트 발생 후 검출되는 회전 검출에 대해서만 유효한 입력으로 판단할 수 있다. 프로세서(230)는 터치 센서(예: 도 2의 터치 센서(210))로부터 획득한 터치 정보를 터치 이벤트로 검출할 수 있다. 상기 터치 이벤트는 기설정된 터치, 예를 들어, 한손 터치, 집게(pick up) 터치 또는 스퀴즈(squeeze) 터치를 포함할 수 있다.
동작 803에서, 프로세서(230)는 회전이 검출되는지 여부를 판단할 수 있다. 상기 회전 검출은 관성 센서(예: 도 2의 관성 센서(215))로부터 검출되는 센싱 정보에 의해 검출될 수 있다. 프로세서(230)는 관성 센서(215)로부터 검출되는 센싱 정보의 변화량이 검출되는 경우 회전이 검출된 것으로 판단할 수 있다. 프로세서(230)는 회전이 검출되는 경우 동작 805를 수행하고, 회전이 검출되지 않는 동작 801로 리턴할 수 있다.
동작 805에서, 프로세서(230)는 자세 정보를 계산할 수 있다. 프로세서(230)는 관성 센서(215)로부터 획득한 센싱 정보에 기반하여 자세 정보를 계산할 수 있다. 프로세서(230)는 자세 정보를 계산한 동안 또는 계산하기 전에 착용 기준 각도를 결정하고, 결정된 착용 기준 각도에 기반하여 관성 센서(215)의 센서 축을 보정한 후, 획득한 센싱 정보에 기반하여 자세 정보를 계산할 수 있다. 프로세서(230)는 획득한 센싱 정보를 수학식 2 내지 4에 적용하여 자세 정보를 계산할 수 있다.
동작 807에서, 프로세서(230)는 생체 센서(예: 도 2의 생체 센서(220))로부터 생체 정보를 획득할 수 있다. 상기 생체 정보는 혈압값, 심전도(ECG), 전기 피부 반응(GSR), 뇌파(EEG), 생체전기저항 측정법(BIA) 또는 심탄도(BCG) 중 적어도 하나를 포함할 수 있다. 프로세서(230)는 생체 정보를 메모리(예: 도 2의 메모리(245))에 저장할 수 있다. 프로세서(230)는 생체 정보에 기반하여 상기 사용자의 상태를 수면, 운동, 일, 또는 휴식 중 어느 하나로 결정할 수 있다. 모션 서비스에 생체 정보가 필요하지 않은 경우 동작 807을 생략 가능할 수 있다.
다양한 실시예들에 따르면, 프로세서(230)는 생체 정보에 기반하여 사용자의 상태에 따른 알림(예: 경고음)을 제공할 수 있다. 예를 들어, 프로세서(230)는 생체 정보에 기반하여 수면 종료가 검출된 경우, 수면 종료를 알리거나, 2시간 연속으로 쉬지 않고 일하는 것으로 검출된 경우, 휴식 알림을 줄 수 있다.
동작 809에서, 프로세서(230)는 자세 정보 또는 생체 정보에 기반하여 모션 서비스를 제공할 수 있다. 프로세서(230)는 상기 자세 정보 또는 상기 생체 정보를 통신 모듈(예: 도 2의 통신 모듈(225))을 통해 연결된 전자 장치(예: 도 1의 전자 장치(101))로 전송할 수 있다. 예를 들어, 프로세서(230)는 전자 장치(101)와 웨어러블 디바이스(201)가 연결된 상태(예: 제1 네트워크 상태(410))에서, 웨어러블 디바이스(201)를 더블 터치한 후 제1 방향 회전(예: 위쪽 회전)하는 경우, 전자 장치(101)는 전화 받기할 수 있다. 또는, 웨어러블 디바이스(201)를 더블 터치한 후 제2 방향 회전(예: 아래쪽 회전)하는 경우, 전자 장치(101)는 전화 거절할 수 있다.
도 9는 다양한 실시예들에 따른 웨어러블 디바이스에서 모션 서비스를 제공하는 일례를 도시한 도면이다.
도 9를 참조하면, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))는 제1 모션 서비스(910) 또는 제2 모션 서비스(930)를 제공할 수 있다. 예를 들어, 제1 모션 서비스(910)는 전자 장치(예: 도 1의 전자 장치(101))와 웨어러블 디바이스(201)가 연결된 상태(예: 제1 네트워크 상태(410))에서, 웨어러블 디바이스(201)를 한손 터치(911)한 후 회전하는 경우, 전자 장치(101)의 볼륨을 조절하는 것일 수 있다. 또는, 제2 모션 서비스(930)는 전자 장치(101)와 웨어러블 디바이스(201)가 연결된 상태 웨어러블 디바이스(201)를 두 손가락으로 터치(931, 933)한 후 회전하는 경우, 전자 장치(101)로 걸려온 전화 받기를 수행하는 것일 수 있다.
도 10a 및 도 10b는 다양한 실시예들에 따른 웨어러블 디바이스에서 모션 서비스를 제공하는 다른 일례를 도시한 도면들이다.
도 10a를 참조하면, 다양한 실시예들에 따른 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))는 제1 모션 서비스(1010)를 제공할 수 있다. 예를 들어, 제1 모션 서비스(1010)는 하나의 웨어러블 디바이스(201-1)가 시계 반대 방향으로 회전하고, 다른 하나의 웨어러블 디바이스(201-2)가 이어서 또는 동시에 시계 반대 방향으로 회전하는 경우, 양손 컨트롤을 통한 줌 인(zoom in) 또는 줌 아웃(zoom out)하는 것일 수 있다. 예를 들어, 하나의 웨어러블 디바이스(201-1)에서 검출된 모션 제스처 만으로는 사용자의 상태 판단 오인식이 발생할 수 있다. 사용자가 두 개의 웨어러블 디바이스들(201-1, 201-2)를 착용한 경우, 회전에 대한 모션 제스쳐 인식 시 두 개의 웨어러블 디바이스들(201-1, 201-2)에서 발생하는 회전량 정보(예: 자세 정보)를 이용하여 일상 생활에서 발생하는 오인식 발생을 줄일 수 있다. 하나의 웨어러블 디바이스(201-1)만으로는 동작 구분 또는 모션 제스처 판단이 힘든 경우, 본 발명에 따르면, 두 개의 웨어러블 디바이스들(201-1, 201-2)을 이용하여 더욱 정확한 모션 서비스를 제공할 수 있다.
다양한 실시예들에 따르면, 사용자가 두 개의 웨어러블 디바이스들(201-1, 201-2)를 착용한 상태에서 상, 하, 전, 후로 손을 움직이는 경우, 두 개의 웨어러블 디바이스들(201-1, 201-2)는 수평 운동 또는 회전 운동으로 판단하고, 사용자가 손씻기와 같은 동작을 수행하는 것으로 판단할 수 있다.
도 10b를 참조하면, 웨어러블 디바이스(201)는 제2 모션 서비스(1030)를 제공할 수 있다. 제2 모션 서비스(1030)는 전자 장치(예: 도 1의 전자 장치(101))와 웨어러블 디바이스(201)가 연결된 상태(예: 제1 네트워크 상태(410))에서, 웨어러블 디바이스(201)를 한손 터치한 후 회전(1031)하는 경우, 전자 장치(101)로 걸려온 전화 거절을 수행하는 것일 수 있다. 웨어러블 디바이스(201)는 관성 센서(215)의 센서 축을 보정하고, 보정된 센서 축에 기반하여 자세 정보를 계산하고, 계산된 자세 정보를 전자 장치(101)로 전송할 수 있다. 전자 장치(101)는 자세 정보의 변화량이 전화 거절과 관련된 모션 제스처에 해당하는 경우, 전화 거절을 수행할 수 있다.
도 11은 다양한 실시예들에 따른 전자 장치에서 적어도 하나의 웨어러블 디바이스를 제어하는 방법을 도시한 흐름도(1100)이다.
도 11을 참조하면, 동작 1101에서, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 2의 프로세서(120))는 통신 모듈(예: 도 1의 통신 모듈(190))을 통해 적어도 하나의 웨어러블 디바이스와 연결될 수 있다. 상기 적어도 하나의 웨어러블 디바이스는 링 타입의 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201)) 및 글래스 타입의 웨어러블 디바이스(예: 도 4b의 웨어러블 디바이스(207))를 포함할 수 있다. 도 11에서는 두 개의 웨어러블 디바이스가 존재하므로, 링 타입의 웨어러블 디바이스(201)는 제1 웨어러블 디바이스(201)로 식별하고, 글래스 타입의 웨어러블 디바이스(207)는 제2 웨어러블 디바이스(207)로 식별할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)가 제1 웨어러블 디바이스(201) 및 제2 웨어러블 디바이스(207)에 연결되는 것은 제2 네트워크 환경(예: 도 4b의 제2 네트워크 환경(430))일 수 있다. 전자 장치(101)는 근거리 통신 방식으로 제1 웨어러블 디바이스(201) 및 제2 웨어러블 디바이스(207)에 연결될 수 있다. 예를 들어, 전자 장치(101)는 제1 웨어러블 디바이스(201) 및 제2 웨어러블 디바이스(207)와 블루투스로 연결할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)와 제1 웨어러블 디바이스(201) 또는 제2 웨어러블 디바이스(207) 간의 연결은 최초 블루투스 통신으로 연결하고, 대용량 전송이 필요할 경우 자동으로 와이파이 다이렉트로 통신 방식이 변경될 수 있다. 또는, 전자 장치(101)는 제1 웨어러블 디바이스(201) 또는 제2 웨어러블 디바이스(207)와 UWB로 연결하여, 제1 웨어러블 디바이스(201)와의 거리 또는 제2 웨어러블 디바이스(207)와의 거리를 측정할 수 있다.
동작 1103에서, 프로세서(120)는 제1 웨어러블 디바이스(201)로부터 모션 정보(또는 자세 정보)를 획득할 수 있다. 제1 웨어러블 디바이스(201)는 raw sensor data인 센싱 정보를 수신하는 경우, 전송 대역이 커지거나, 전력 소모 이슈가 발생할 수 있다. 프로세서(120)는 제1 웨어러블 디바이스(201)에서 센싱한 센싱 정보로 계산한(또는 판단) 모션 정보를 수신할 수 있다. 상기 모션 정보는 회전 방향(예: 시계 방향, 반시계 방향) 또는 회전 속도를 포함할 수 있다. 예를 들어, 제1 웨어러블 디바이스(201)는 전자 장치(101)로 16 ms(60Hz)로 raw sensor data가 아닌 계산된 값인 포함하는 모션 정보를 전송할 수 있다. 이때, 제1 웨어러블 디바이스(201)는 내부에서 보다 높은 rate으로 정보를 센싱하고 오류를 줄이기 위해 여러 데이터를 합산, 평균, 또는 편차를 고려하여 결정된 모션 정보를 전송할 수 있다. 프로세서(120)는 주기적으로, 실시간으로 또는 선택적으로 제1 웨어러블 디바이스(201)로부터 모션 정보를 수신할 수 있다.
동작 1105에서, 프로세서(120)는 모션 정보에 대응하여 제스처 명령을 결정할 수 있다. 프로세서(120)는 상기 모션 정보를 저장하고, 상기 모션 정보에 대응하는 제스처 명령을 결정하여 제2 웨어러블 디바이스(207)로 전송할 수 있다. 예를 들어, 프로세서(120)는 제2 웨어러블 디바이스(207)에 상기 모션 정보를 그대로 relay형식으로 전송하거나, 상기 모션 정보를 처리하여 전송할 수도 있다. 예를 들어, 프로세서(120)는 모션 정보가 회전 방향 또는 회전 속도가 60Hz로 들어온다고 했을 때, 볼륨의 크기 조정 단계(예: 최소값 ~ 최대값)에 기반하여 어느 정도의 회전 값이 누적이 되면 볼륨 크기를 한 단계를 조정(예: 증가, 감소)할 지를 최적의 사용자 경험에 맞게 가공할 수 있다.
동작 1107에서, 프로세서(120)는 제스처 명령에 기반하여 제2 웨어러블 디바이스(207)를 제어할 수 있다. 다양한 실시예들에 따르면, 프로세서(120)는 상기 모션 정보에 기반하여 누적된 회전 정도를 계산하여 매칭되는 볼륨값(예: 0~100)에 따라 스피커의 볼륨을 제어하고, 동시에 사용자 인터페이스로 표시할 볼륨 제어 명령을 생성하여 제2 웨어러블 디바이스(207)에 전송할 수 있다. 예를 들어, 프로세서(120)는 상기 모션 정보에 포함된 회전 방향이 위쪽 방향(또는 시계 방향)으로 설정된 회전 정도(예: 1단계 볼륨값)를 초과하여 검출되는 경우, 제2 웨어러블 디바이스(207)의 볼륨을 크게 변경하도록 하는 볼륨 업 명령을 제2 웨어러블 디바이스(207)로 전송할 수 있다. 프로세서(120)는 상기 모션 정보에 포함된 회전 방향이 아래쪽 방향(또는 반시계 방향)으로 설정된 회전 정도를 초과하여 검출되는 경우, 제2 웨어러블 디바이스(207)의 볼륨을 작게 변경하도록 하는 볼륨 다운 명령을 제2 웨어러블 디바이스(207)로 전송할 수 있다.
다양한 실시예들에 따르면, 제2 웨어러블 디바이스(207)는 제2 웨어러블 디바이스(207)를 착용한 사용자의 시점에 제1 웨어러블 디바이스(201)가 포함되는 경우, 상기 사용자의 시점에 포함된 제1 웨어러블 디바이스(201)의 위치에 기반하여 상기 볼륨 제어(예: 볼륨 업, 볼륨 다운)와 관련된 사용자 인터페이스를 표시할 수 있다. 예를 들어, 제2 웨어러블 디바이스(207)는 상기 사용자의 시점에 포함된 제1 웨어러블 디바이스(201)와 인접하게 상기 볼륨 제어와 관련된 사용자 인터페이스를 표시할 수 있다.
다양한 실시예들에 따르면, 제1 웨어러블 디바이스(201)와 제2 웨어러블 디바이스(207)는 서로 연결(예: 도 4c의 제3 네트워크 환경(450))될 수 있다. 예를 들어, 제1 웨어러블 디바이스(201)와 제2 웨어러블 디바이스(207)는 블루투스, 와이파이 다이렉트, UWB 중 적어도 하나의 통신 방식으로 연결될 수 있다. 상기에서는 전자 장치(101)가 제스처 명령으로 제2 웨어러블 디바이스(207)를 제어하는 것으로 설명하고 있지만, 제2 웨어러블 디바이스(207)가 제1 웨어러블 디바이스(201)로부터 직접 모션 정보를 획득하여, 모션 정보에 대응하는 제스처 명령을 수행하거나, 제스처 명령에 대응하는 사용자 인터페이스를 표시할 수 있다.
도 12a 및 도 12b는 다양한 실시예들에 따른 전자 장치에서 적어도 하나의 웨어러블 디바이스를 제어하는 일례를 도시한 도면들이다.
도 12a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 통신 모듈(예: 도 1의 통신 모듈(190))을 통해 적어도 하나의 웨어러블 디바이스와 연결될 수 있다. 상기 적어도 하나의 웨어러블 디바이스는 링 타입의 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201)) 및 글래스 타입의 웨어러블 디바이스(예: 도 4b의 웨어러블 디바이스(207))를 포함할 수 있다. 도 10a에서는 두 개의 웨어러블 디바이스가 존재하므로, 링 타입의 웨어러블 디바이스(201)는 제1 웨어러블 디바이스(201)로 식별하고, 글래스 타입의 웨어러블 디바이스(207)는 제2 웨어러블 디바이스(207)로 식별할 수 있다.
전자 장치(101)는 제1 웨어러블 디바이스(201)로부터 센싱 정보를 획득할 수 있다. 전자 장치(101)는 제1 웨어러블 디바이스(201)로부터 획득한 센싱 정보의 변화량을 계산할 수 있다. 예를 들어, 사용자가 제1 웨어러블 디바이스(201)를 사용자의 왼손 손가락에 착용한 상태에서 제1 웨어러블 디바이스(201)를 오른 손의 두 손가락으로 잡고 돌리는 제스처가 검출되는 경우, 전자 장치(101)는 제2 웨어러블 디바이스(207)를 통해 출력(또는 표시)되는 비디오의 볼륨이 조절되도록 제어할 수 있다. 전자 장치(101)는 통신 모듈(190)을 통해 제2 웨어러블 디바이스(207)로 볼륨 제어 명령을 전송할 수 있다. 제2 웨어러블 디바이스(207)는 상기 볼륨 제어 명령에 대응하는 사용자 인터페이스(1210)를 표시할 수 있다. 사용자 인터페이스(1210)는 제2 웨어러블 디바이스(207)를 착용한 사용자의 시점에 기반하여 제2 웨어러블 디바이스(207)의 디스플레이에 표시되는 것으로, 예를 들어, 볼륨 제어와 관련된 그래픽 데이터(1201)를 포함할 수 있다. 제2 웨어러블 디바이스(207)는 객체 인식을 통해 제1 웨어러블 디바이스(201)를 식별하고, 제1 웨어러블 디바이스(201)의 위치에 기반하여 그래픽 데이터(1201)가 출력될 수 있도록 제어할 수 있다.
도면에서는 볼륨을 예로 들어 설명하였지만, 전자 장치(101)는 제1 웨어러블 디바이스(201)의 모션 정보에 기반하여 제2 웨어러블 디바이스(207)의 밝기를 제어할 수 있다. 또는 전자 장치(101)는 제2 웨어러블 디바이스(207)를 통해 출력(또는 표시)되는 비디오의 볼륨을 출력하는 제3 웨어러블 디바이스(미도시)(예: 무선 오디오 출력 장치)에 연결되어, 제3 웨어러블 디바이스로 볼륨 제어 명령을 전송할 수 있다. 예를 들어, 제2 웨어러블 디바이스(207)는 상기 볼륨 제어 명령에 대응하는 사용자 인터페이스를 표시하고, 상기 제3 웨어러블 디바이스는 상기 볼륨 제어 명령에 대응하여 볼륨을 조절할 수 있다.
도 12b를 참조하면, 전자 장치(101)는 통신 모듈(예: 도 1의 통신 모듈(190))을 통해 제1 웨어러블 디바이스(201-1), 제2 웨어러블 디바이스(207), 및 제3 웨어러블 디바이스(201-2)와 연결될 수 있다. 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)는 링 타입의 웨어러블 디바이스일 수 있다. 전자 장치(101)는 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)로부터 각각 센싱 정보를 획득할 수 있다. 전자 장치(101)는 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)를 착용한 사용자의 손가락이 객체(1231)를 잡고 회전시키는 모션 제스처가 검출되는 경우, 전자 장치(101)는 제2 웨어러블 디바이스(207)에 표시된 객체(1231)가 회전되도록 제2 웨어러블 디바이스(207)를 제어할 수 있다.
전자 장치(101)는 통신 모듈(190)을 통해 제2 웨어러블 디바이스(207)로 객체(1231) 회전 명령(예: 3차원 회전)을 전송할 수 있다. 제2 웨어러블 디바이스(207)는 객체(1231)를 표시하는 사용자 인터페이스(1230)를 표시할 수 있다. 사용자 인터페이스(1230)는 객체(1231)를 그래픽 데이터로서 포함하고, 회전 명령에 따라 객체(1231)를 회전시켜 표시하는 것일 수 있다. 사용자 인터페이스(1230)는 제2 웨어러블 디바이스(207)를 착용한 사용자의 시점에 기반하여 제2 웨어러블 디바이스(207)의 디스플레이에 표시되는 것으로, 예를 들어, 객체(1231)를 그래픽 데이터로서 표시할 수 있다.
다양한 실시예들에 따르면, 객체(1231)를 pick하는 것은 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)의 터치 정보로 구분하고, 객체(1231)의 회전 방향은 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)의 자세 정보로 결정될 수 있다. 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)의 이동 방향이 반대 방향이면 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2)의 멀어지고 가까워짐을 이용해 객체(1231)의 크기를 확대 또는 축소 시킬 수 있다.
다양한 실시예들에 따르면, 객체(1231) 회전 명령은 제1 웨어러블 디바이스(201-1) 및 제3 웨어러블 디바이스(201-2) 각각에서 터치 정보에 따라 관성 센서(예: 도 2의 관성 센서(215))의 센서 축을 보정하고, 보정된 센서 축에 기반하여 계산된 자세 정보에 대응하는 모션 제스처에 기반한 것일 수 있다. 지향성 모션 제스처를 이용하여 회전 명령을 제어하려면, 자세 정보를 통해 상/하/좌/우 컨트롤해야 하고, 상/하/좌/우 컨트롤 시 관성 센서(215)의 센서 축의 기준점을 잡아줘야 상/하/좌/우 값이 틀어지지 않을 수 있다.
다양한 실시예들에 따른 복수의 영역별 터치 인터페이스(예: 도 3b의 제1 터치 인터페이스(211) 내지 제5 터치 인터페이스(219))를 포함하는 터치 센서(예: 도 2의 터치 센서(210)), 생체 센서(예: 도 2의 생체 센서(220)), 및 센서 축이 설정된 관성 센서(예: 도 2의 관성 센서(215))를 포함하는 웨어러블 디바이스(예: 도 2의 웨어러블 디바이스(201))의 동작 방법은 상기 생체 센서 또는 상기 관성 센서를 이용하여 웨어러블 디바이스의 착용 여부를 검출하는 동작, 상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하는 동작, 상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하는 동작, 상기 관성 센서로부터 센싱 정보를 획득하는 동작, 및 상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하는 동작을 포함할 수 있다.
상기 보정하는 동작은, 상기 터치 정보에 기반하여 착용 기준 각도를 결정하는 동작, 및 상기 착용 기준 각도에 기반하여 상기 관성 센서의 상기 센서 축을 보정하는 동작을 포함할 수 있다.
상기 착용 기준 각도를 결정하는 동작은, 상기 터치 정보에 기반하여 상기 웨어러블 디바이스의 착용 상태가 제1 착용 상태인 경우, 상기 착용 기준 각도를 상기 웨어러블 디바이스의 메모리에 저장된 각도로 결정하는 동작, 또는 상기 터치 정보에 기반하여 상기 웨어러블 디바이스의 착용 상태가 제2 착용 상태인 경우, 상기 착용 기준 각도를 변경하는 동작을 포함할 수 있다.
상기 방법은 링 타입의 웨어러블 디바이스의 하우징 내주면(inner perimeter)에 형성된 상기 생체 센서가 상기 웨어러블 디바이스 착용 시 사용자의 신체에 접촉되어 생체 정보를 획득하는 동작을 더 포함할 수 있다.
상기 방법은 링 타입의 웨어러블 디바이스의 하우징 외주면(outer perimeter)에 원주 방향으로 형성된 복수의 터치 인터페이스들을 이용하여 상기 웨어러블 디바이스 착용 시 사용자의 착용 상태를 판단하는 동작을 더 포함할 수 있다.
상기 방법은 상기 웨어러블 디바이스의 통신 모듈을 통해 전자 장치와 연결하는 동작, 및 상기 전자 장치로 상기 터치 정보 또는 상기 자세 정보를 전송하여 상기 터치 정보 또는 상기 자세 정보에 기반하여 상기 전자 장치의 기능을 실행하도록 하는 동작을 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 웨어러블 디바이스에 있어서,
    하우징의 외측에 인접하게 배치되고, 복수의 영역별 터치 인터페이스를 포함하는 터치 센서;
    센서 축이 설정된 관성 센서;
    상기 하우징의 내측에 인접하게 배치되는 생체 센서;
    통신 모듈;
    상기 터치 센서의 각 터치 인터페이스의 터치 검출 범위에 대응하는 각도를 매핑하여 저장하는 메모리; 및
    상기 터치 센서, 상기 관성 센서, 상기 생체 센서, 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는,
    상기 생체 센서 또는 상기 관성 센서를 이용하여 상기 웨어러블 디바이스의 착용 여부를 검출하고,
    상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하고,
    상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하고,
    상기 관성 센서로부터 센싱 정보를 획득하고,
    상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하도록 설정된 웨어러블 디바이스.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 생체 센서로부터 생체 정보가 획득되거나, 또는 상기 관성 센서로부터 움직임이 검출되는 경우, 상기 웨어러블 디바이스가 착용된 것으로 판단하는 웨어러블 디바이스.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 터치 정보에 기반하여 착용 기준 각도를 결정하고,
    상기 착용 기준 각도에 기반하여 상기 관성 센서의 상기 센서 축을 보정하도록 설정된 웨어러블 디바이스.
  4. 제3항에 있어서, 상기 프로세서는,
    상기 터치 정보에 기반하여 상기 웨어러블 디바이스의 착용 상태가 제1 착용 상태인 경우, 상기 착용 기준 각도를 상기 메모리에 저장된 각도로 결정하고,
    상기 터치 정보에 기반하여 상기 웨어러블 디바이스의 착용 상태가 제2 착용 상태인 경우, 상기 착용 기준 각도를 변경하도록 설정된 웨어러블 디바이스.
  5. 제1항에 있어서, 상기 터치 센서에 포함된 복수의 터치 인터페이스들은,
    각 터치 인터페이스의 터치 검출 범위가 중첩되지 않도록 배치되는 웨어러블 디바이스.
  6. 제1항에 있어서,
    상기 웨어러블 디바이스는, 링 타입으로 형성되고,
    상기 복수의 터치 인터페이스들은, 링 타입의 하우징 외주면(outer perimeter)의 적어도 일 측면을 따라 원주 방향으로 배치되는 웨어러블 디바이스.
  7. 제6항에 있어서,
    상기 생체 센서는 링 타입의 하우징 내주면(inner perimeter)에 형성되어, 상기 웨어러블 디바이스 착용 시 사용자의 신체에 접촉되어 생체 정보를 획득하고,
    상기 복수의 터치 인터페이스들은, 링 타입의 하우징 외주면에 형성되어, 상기 웨어러블 디바이스 착용 시 사용자의 착용 상태를 획득하도록 설정된 웨어러블 디바이스.
  8. 제1항에 있어서, 상기 프로세서는,
    상기 각 터치 인터페이스에 의해 획득한 터치 정보, 상기 관성 센서에 의해 획득한 센싱 정보 또는 상기 생체 센서에 의해 획득한 생체 정보 중 적어도 하나에 기반하여 모션 제스처를 결정하도록 설정된 웨어러블 디바이스.
  9. 제1항에 있어서, 상기 프로세서는,
    상기 통신 모듈을 통해 전자 장치와 연결하고,
    상기 전자 장치로 상기 터치 정보 또는 상기 자세 정보를 전송하여 상기 터치 정보 또는 상기 자세 정보에 기반하여 상기 전자 장치의 기능을 실행하도록 하는 웨어러블 디바이스.
  10. 제1항에 있어서, 상기 프로세서는,
    회전 검출 전 상기 각 터치 인터페이스에 의해 획득한 터치 정보에 기반하여 사용자의 의도를 판단하도록 설정된 웨어러블 디바이스.
  11. 전자 장치에 있어서,
    통신 모듈;
    메모리; 및
    상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는,
    상기 통신 모듈을 통해 제1 웨어러블 디바이스 및 제2 웨어러블 디바이스와 연결하고,
    상기 제1 웨어러블 디바이스로부터 모션 정보를 획득하고,
    상기 모션 정보에 기반하여 제스처 명령을 결정하고,
    상기 제스처 명령에 기반하여 상기 제2 웨어러블 디바이스를 제어하도록 설정된 전자 장치.
  12. 제11항에 있어서, 상기 프로세서는,
    상기 모션 정보에 포함된 회전 방향 또는 회전 속도에 기반하여 제스처 명령을 결정하고,
    상기 제스처 명령을 상기 제2 웨어러블 디바이스로 전송하여 상기 제2 웨어러블 디바이스를 제어하도록 설정된 전자 장치.
  13. 제12항에 있어서, 상기 프로세서는,
    상기 제2 웨어러블 디바이스에서 검출한 사용자의 시점에 기반하여 상기 제스처 명령에 대응하는 사용자 인터페이스가 표시되도록 제어하는 전자 장치.
  14. 제11항에 있어서, 상기 프로세서는,
    상기 통신 모듈을 통해 제3 웨어러블 디바이스와 더 연결하고,
    상기 제1 웨어러블 디바이스 및 상기 제3 웨어러블 디바이스로부터 상기 모션 정보를 획득하고,
    상기 모션 정보에 기반하여 상기 제스처 명령을 결정하고,
    상기 제스처 명령에 기반하여 상기 제2 웨어러블 디바이스를 제어하도록 설정된 전자 장치.
  15. 복수의 영역별 터치 인터페이스를 포함하는 터치 센서, 생체 센서, 및 센서 축이 설정된 관성 센서를 포함하는 웨어러블 디바이스의 동작 방법에 있어서,
    상기 생체 센서 또는 상기 관성 센서를 이용하여 웨어러블 디바이스의 착용 여부를 검출하는 동작;
    상기 터치 센서에 포함된 복수의 터치 인터페이스들 중 적어도 하나로부터 터치 정보를 수신하는 동작;
    상기 터치 정보에 기반하여 상기 관성 센서의 상기 센서 축을 보정하는 동작;
    상기 관성 센서로부터 센싱 정보를 획득하는 동작; 및
    상기 보정된 센서 축에 기반하여 상기 센싱 정보로부터 자세 정보를 계산하는 동작을 포함하는 방법.
PCT/KR2021/015815 2020-12-17 2021-11-03 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법 WO2022131534A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/333,950 US20230325006A1 (en) 2020-12-17 2023-06-13 Wearable device and method for detecting motion gesture of wearable device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0177480 2020-12-17
KR1020200177480A KR20220087104A (ko) 2020-12-17 2020-12-17 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/333,950 Continuation US20230325006A1 (en) 2020-12-17 2023-06-13 Wearable device and method for detecting motion gesture of wearable device

Publications (1)

Publication Number Publication Date
WO2022131534A1 true WO2022131534A1 (ko) 2022-06-23

Family

ID=82059623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015815 WO2022131534A1 (ko) 2020-12-17 2021-11-03 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법

Country Status (3)

Country Link
US (1) US20230325006A1 (ko)
KR (1) KR20220087104A (ko)
WO (1) WO2022131534A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101704A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 터치 입력을 식별하는 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040165A (ko) * 2009-10-13 2011-04-20 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US20160259905A1 (en) * 2015-03-06 2016-09-08 Samsung Electronics Co., Ltd. Wearable electronic device and method for controlling the same
KR20170033025A (ko) * 2015-09-16 2017-03-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 제어 방법
KR20170043159A (ko) * 2015-10-13 2017-04-21 삼성전자주식회사 전자장치, 디스플레이장치 및 그 제어방법
KR101933289B1 (ko) * 2014-04-01 2018-12-27 애플 인크. 링 컴퓨팅 디바이스를 위한 디바이스 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040165A (ko) * 2009-10-13 2011-04-20 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
KR101933289B1 (ko) * 2014-04-01 2018-12-27 애플 인크. 링 컴퓨팅 디바이스를 위한 디바이스 및 방법
US20160259905A1 (en) * 2015-03-06 2016-09-08 Samsung Electronics Co., Ltd. Wearable electronic device and method for controlling the same
KR20170033025A (ko) * 2015-09-16 2017-03-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 제어 방법
KR20170043159A (ko) * 2015-10-13 2017-04-21 삼성전자주식회사 전자장치, 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
KR20220087104A (ko) 2022-06-24
US20230325006A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2021162317A1 (en) Electronic device and method for controlling electronic device
WO2020101435A1 (en) Method for sensing external shock and electronic device therefor
WO2022124551A1 (ko) 복수의 전극을 포함하는 웨어러블 전자 장치
WO2021080171A1 (ko) 관성 센서를 이용한 착용 감지 방법 및 장치
WO2022131534A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법
WO2022154373A1 (ko) 웨어러블 전자 장치의 가속도 센서를 이용하여 사용자의 자세를 판단하는 방법 및 그 전자 장치
WO2022045864A1 (ko) 생체 정보 측정을 위한 웨어러블 디바이스 및 방법
WO2022191413A1 (ko) 심박수 예측 모델을 제공하는 전자 장치 및 그 동작 방법
WO2022015081A1 (ko) 인체 임피던스 측정을 위한 웨어러블 디바이스 및 방법
WO2022177299A1 (ko) 통화 기능의 제어 방법 및 이를 지원하는 전자 장치
WO2022005027A1 (ko) 전자 장치와 연결된 히어러블 장치 및 이의 동작 방법
WO2022014836A1 (ko) 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
WO2022030910A1 (ko) 폴딩 각도에 따라 입력 모드를 제어하는 전자 장치 및 그의 방법
WO2022045579A1 (ko) 외부 장치의 위치를 보정하기 위한 전자 장치 및 그의 동작 방법
WO2022239929A1 (ko) 생체 정보 검출 방법 및 이를 지원하는 전자 장치
WO2022030800A1 (ko) 사용자 입력을 검출하기 위한 전자 장치 및 그의 동작 방법
WO2023158155A1 (ko) 지정된 움직임을 검출하는 전자 장치 및 그 방법
WO2022158923A1 (ko) 전자 장치 및 서비스 제공 방법
WO2024085382A1 (ko) 웨어러블 전자 장치 및 상기 웨어러블 전자 장치의 제어 방법
WO2022075603A1 (ko) 보행에 관한 정보를 확인하는 전자 장치 및 보행에 관한 정보를 확인하는 전자 장치의 동작 방법
WO2022119132A1 (ko) 손 씻는 행동을 검출하는 방법 및 그 전자 장치
WO2022255785A1 (ko) 복수의 전자 장치를 이용하여 운동 데이터를 제공하는 방법 및 그 전자 장치
WO2022191444A1 (ko) 전자 장치의 모션 센서 및 gps 모듈을 이용하여 사용자의 보폭 길이를 판단하는 방법 및 그 전자 장치
WO2023068549A1 (ko) 외부 장치를 이용하는 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906839

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906839

Country of ref document: EP

Kind code of ref document: A1