WO2023018222A1 - 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법 - Google Patents

웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법 Download PDF

Info

Publication number
WO2023018222A1
WO2023018222A1 PCT/KR2022/011922 KR2022011922W WO2023018222A1 WO 2023018222 A1 WO2023018222 A1 WO 2023018222A1 KR 2022011922 W KR2022011922 W KR 2022011922W WO 2023018222 A1 WO2023018222 A1 WO 2023018222A1
Authority
WO
WIPO (PCT)
Prior art keywords
brushing
motion
hand
electronic device
audio signal
Prior art date
Application number
PCT/KR2022/011922
Other languages
English (en)
French (fr)
Inventor
김현성
박정민
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/885,703 priority Critical patent/US20230048413A1/en
Publication of WO2023018222A1 publication Critical patent/WO2023018222A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Definitions

  • An embodiment relates to a wearable electronic device and a method for providing tooth brushing information in the wearable electronic device.
  • electronic devices may be equipped with various functions. For example, not only communication functions, but also entertainment functions such as games, multimedia functions such as music/video playback, communication and security functions for mobile banking, or various functions such as schedule management and electronic wallets are integrated into one electronic device. there is. These electronic devices are miniaturized so that users can conveniently carry and wear them. As electronic and communication technologies develop, these electronic devices are becoming smaller and lighter enough to be used without great inconvenience even when worn on the body.
  • wearable electronic devices may be implemented in various forms, such as accessories such as glasses, watches, and rings, clothes, or body implants, and may collect and provide detailed information about the surrounding environment or changes in an individual's body in real time. can
  • information related to brushing teeth of a user may be provided through a device such as a smart toothbrush.
  • a smart toothbrush may need to be replaced periodically, and a user may use a different toothbrush depending on the place and situation, it may be inconvenient to obtain information related to brushing teeth regardless of time and place.
  • information related to tooth brushing that can be provided conventionally may have low reliability due to low recognition accuracy of the tooth brushing situation.
  • it is intended to provide a wearable electronic device and method capable of checking various and accurate information related to brushing teeth through motion and sound detection in daily life.
  • a type of brushing motion eg, vertical brushing or horizontal brushing
  • various and specific guide information on brushing may be provided based on the type of brushing motion. It is intended to provide a wearable electronic device and method.
  • a wearable electronic device includes a motion sensor, an audio sensor, a display, a memory, and a processor electrically connected to the motion sensor, the audio sensor, and the memory, wherein the processor performs motion sensing through the motion sensor. information, acquires an audio signal corresponding to the motion sensing information through the audio sensor, identifies a hand brushing motion type corresponding to the motion sensing information, and generates an audio signal pattern corresponding to the brushing hand motion type. and a tooth brushing hand motion corresponding to the motion sensing information and the audio signal based on the motion sensing type and the audio signal pattern.
  • a method of providing tooth brushing information in a wearable electronic device includes obtaining motion sensing information through a motion sensor of the wearable electronic device and an audio signal corresponding to the motion sensing information through an audio sensor of the wearable electronic device. Obtaining, identifying a hand brushing motion type corresponding to the motion sensing information, identifying an audio signal pattern corresponding to the brushing hand motion type, and based on the brushing hand motion type and the audio signal pattern An operation of identifying a brushing hand motion corresponding to the motion sensing information and the audio signal may be included.
  • a non-transitory storage medium storing commands according to an embodiment, wherein the commands are configured to cause the wearable electronic device to perform at least one operation when executed by at least one processor of the wearable electronic device, wherein the at least one One operation includes obtaining motion sensing information through a motion sensor of the wearable electronic device, obtaining an audio signal corresponding to the motion sensing information through an audio sensor of the wearable electronic device, and An operation of identifying a corresponding hand brushing motion type; an operation of identifying an audio signal pattern corresponding to the hand brushing motion type; An operation of identifying a corresponding brushing hand motion may be included.
  • the wearable electronic device may more accurately recognize the type of brushing motion (eg, brushing teeth in a vertical direction, brushing teeth in a horizontal direction, or other types of teeth brushing), and may perform various brushing motions based on the type of brushing motion. and can provide guide information on specific tooth brushing.
  • type of brushing motion eg, brushing teeth in a vertical direction, brushing teeth in a horizontal direction, or other types of teeth brushing
  • FIG. 1 is a block diagram of an electronic device in a network environment according to an embodiment.
  • FIG. 2 is a block diagram of a wearable electronic device according to an exemplary embodiment.
  • 3A is a diagram illustrating an example of a first wearable electronic device according to an embodiment.
  • 3B is a diagram illustrating an example of a second wearable electronic device according to an embodiment.
  • FIG. 4 is a diagram illustrating an example of an internal configuration of a second wearable electronic device according to an embodiment.
  • FIG. 5 is a flowchart illustrating an operation of providing brushing information in a wearable electronic device according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating an example of a toothbrushing session from the start of toothbrushing to the end of toothbrushing according to an embodiment.
  • FIG. 7 is a flowchart illustrating an operation of identifying a motion type of a hand brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 8A is a diagram illustrating an example of a data graph of a first acceleration sensor when brushing teeth in a horizontal direction according to an exemplary embodiment
  • 8B is a diagram illustrating an FFT conversion graph for first acceleration sensor data when brushing teeth in a horizontal direction according to an exemplary embodiment.
  • 9A is a diagram illustrating an example of a data graph of a second acceleration sensor when brushing teeth in a vertical direction according to an exemplary embodiment
  • 9B is a diagram illustrating an FFT conversion graph of second acceleration sensor data when brushing teeth in a vertical direction according to an exemplary embodiment.
  • 10A is a diagram illustrating an example of a third acceleration sensor data graph during hair drying according to an embodiment.
  • 10B is a diagram illustrating an FFT conversion graph for third acceleration sensor data during hair drying according to an exemplary embodiment.
  • 11A is a diagram illustrating an example of a fourth acceleration sensor data graph during hand washing according to an exemplary embodiment.
  • 11B is a diagram illustrating an FFT conversion graph for fourth acceleration sensor data during hand washing according to an exemplary embodiment.
  • FIG. 12 is a diagram for explaining a machine learning-based classifier model according to an embodiment.
  • FIG. 13 is a flowchart illustrating an operation of identifying a brushing sound using an audio signal pattern type corresponding to a hand motion type of brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 14A is a diagram illustrating an example of an audio signal graph obtained when brushing teeth in a horizontal direction according to an exemplary embodiment.
  • 14B is a diagram illustrating an example of an audio signal graph obtained when brushing teeth in a vertical direction according to an exemplary embodiment.
  • 14C is a diagram illustrating an example of an audio signal graph obtained during hand washing according to an exemplary embodiment.
  • 15A shows learning using the GMM model for the two best frequency components among various Local Maxima frequency features in a one-sided amplitude spectrum in an audio signal when brushing teeth in which horizontal and vertical motions are mixed according to an embodiment. This is the graph showing the result.
  • 15B is a graph showing the results of learning using the GMM model for the two best frequency components among various Local Maxima frequency characteristics in a one-sided amplitude spectrum in an audio signal during handwashing according to an embodiment.
  • 16A is a graph showing the results of learning using the GMM model for the two best frequency components among various Local Maxima frequency characteristics in a one-sided amplitude spectrum in an audio signal when brushing teeth in a horizontal direction according to an embodiment.
  • 16B is a graph showing the results of learning using the GMM model for the two best frequency components among various Local Maxima frequency characteristics in a one-sided amplitude spectrum in an audio signal when brushing teeth in a vertical direction according to an embodiment.
  • 17A is a diagram illustrating an example of displaying first information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 17B is a diagram illustrating an example of displaying second information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 17C is a diagram illustrating an example of displaying third information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 17D is a diagram illustrating an example of displaying fourth information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 17E is a diagram illustrating an example of displaying fifth information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • 17F is a diagram illustrating an example of displaying sixth information associated with brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100 according to an embodiment.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) 11 may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to an embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 may be a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, a : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, a : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is configured to achieve peak data rate (eg, 20 Gbps or more) for realizing 1eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency (for realizing URLLC).
  • peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC.
  • DL downlink
  • UL uplink each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram of a wearable electronic device according to an exemplary embodiment.
  • a wearable electronic device 201 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment includes a motion sensor 212, a biological sensor 214, a touch sensor 216, and an audio module. 218 , communication module 219 , processor 220 , memory 230 , display 260 , power management module 288 , and battery 289 .
  • the motion sensor (or inertial sensor) 212 is a function of the motion of the electronic device 201 or the user's body (eg, arm, finger, or wrist) wearing (or possessing) the electronic device 201.
  • Motion can be sensed.
  • the motion sensor 212 may include an acceleration sensor and/or a gyro sensor, and may further include a geomagnetic sensor.
  • the acceleration sensor may sense acceleration or impact due to movement of the electronic device 201 or a body of a user wearing the electronic device 201 .
  • the gyro sensor may sense the rotation direction or rotation angle of the electronic device 201 caused by the movement of the electronic device 201 or a body of a user wearing the electronic device 201 .
  • the geomagnetic sensor may sense the direction of geomagnetism.
  • the processor 220 may identify whether the electronic device 201 or the body of a user wearing the electronic device 201 is moving using an acceleration sensor, and may use a gyro sensor to determine whether the electronic device 201 or the user's body is moving.
  • the rotation direction or rotation angle can be identified.
  • the moving direction of the body motion may be identified using a geomagnetic sensor.
  • the biosensor 214 may include at least one biosensor.
  • the biometric sensor may be a sensor capable of sensing a user's biosignal.
  • the biosensor 214 includes a biosignal measured by sensing a user's biosignal or information (value or numerical value) based on a biosignal measured by sensing the user's biosignal (eg, blood oxygen saturation level, body temperature readings, electrocardiogram readings, arousal state readings, hydration levels and/or dehydration readings) may be provided to the processor 220 .
  • the biosensor 214 may include a photoplethysmography (PPG) sensor, and further include a body temperature sensor, an electrocardiogram (ECG) sensor, an electrodermal activity (EDA) sensor, or/and a SWEAT sensor. can do.
  • PPG photoplethysmography
  • ECG electrocardiogram
  • EDA electrodermal activity
  • SWEAT SWEAT sensor
  • other sensors related to biometric sensing may be further included.
  • the biosensor 214 includes a biosignal measured by sensing a user's biosignal or biosignal-based information (eg, value or numerical value) (eg, blood oxygen saturation) measured by sensing the user's biosignal. values, body temperature values, electrocardiograms, arousal state values, hydration levels and/or dehydration levels) to the processor 220 .
  • the touch sensor 216 may detect a touch.
  • the touch sensor 216 may detect a touch by a user's body contact.
  • the touch sensor 216 may be included in the display 260 or may be included in the electronic device 201 as a separate component.
  • the audio module 218 may convert a sound into an electrical signal or vice versa. According to an embodiment, the audio module 218 may acquire sound through a microphone (not shown) or convert digital information (eg, an audio file) into sound and output it through a speaker (not shown).
  • a microphone not shown
  • digital information eg, an audio file
  • the communication module 219 may communicate with an external electronic device (eg, the external electronic device 102 of FIG. 1 ). According to an embodiment, the communication module 219 transmits information (or data) obtained from the electronic device 201 to the external electronic device 102 based on the control of the processor 220 or the external electronic device 102 It can receive information (or data) from
  • the communication module 219 may include a cellular communication module, an ultra wide band (UWB) communication module, a Bluetooth communication module, or/and a wireless fidelity (WiFi) communication module. Other modules capable of communicating with the electronic device 102 may be further included.
  • UWB ultra wide band
  • WiFi wireless fidelity
  • the processor 220 includes a motion sensor 212, a biological sensor 214, a touch sensor 216, an audio module (or audio sensor) 218, a communication module 219, a memory 230, It may be electrically connected to the display 260 and/or the power management module 288.
  • the processor 220 may obtain motion sensing information from the motion sensor 212 .
  • the motion sensor 212 may be always on, turned on by designated setting information, or turned on by a user input.
  • the motion sensing information may include acceleration information sensed by an acceleration sensor, rotation direction or rotation angle information sensed by a gyro sensor, and geomagnetic sensing information sensed by a geomagnetic sensor.
  • the acceleration information may include an acceleration value sensed by an acceleration sensor when the electronic device 201 or a body of a user wearing the electronic device 201 moves.
  • the rotation direction or rotation angle information may include the rotation direction or rotation angle value of the electronic device 201 sensed by the gyro sensor when the electronic device 201 or a body of a user wearing the electronic device 201 moves.
  • the geomagnetic sensing information may include a direction of geomagnetism representing a direction of movement.
  • the processor 220 may identify a tooth brushing start (or detect a tooth brushing hand motion) based on the obtained motion sensing information.
  • the processor 220 may prestore at least one hand brushing hand motion information (or at least one hand motion pattern for brushing teeth) (eg, first hand brushing teeth motion information (or pattern) and/or second hand brushing teeth motion).
  • Information (or pattern) may be used to identify whether the obtained motion sensing information corresponds to a first hand brushing teeth motion pattern and/or a second hand brushing teeth motion pattern.
  • the processor 220 determines whether the obtained motion sensing information corresponds to a first hand brushing hand motion pattern by using hand brushing hand motion type information obtained in advance by learning using a machine learning-based classifier model and/or It may be identified whether it corresponds to the second tooth brushing hand motion pattern.
  • the processor 220 identifies that brushing has started when the obtained motion sensing information corresponds to the first hand brushing motion pattern and/or the second motion pattern of the hand brushing teeth (eg, detecting hand brushing motion). can do.
  • the first tooth brushing hand motion pattern may include a tooth brushing pattern (eg, a pattern of brushing teeth left and right) in a first direction (horizontal direction).
  • the second tooth-brushing hand motion pattern may include a tooth-brushing pattern (or a pattern of brushing teeth vertically) in a second direction (vertical direction).
  • the first motion pattern of the hand brushing teeth and/or the motion pattern of the second hand brushing teeth may be obtained by a pre-trained classifier model using a machine learning technique.
  • Processor 220 turns on audio module 218 (eg, turns on audio sensor) in response to identification of brushing start (or detection of motion of brushing hand) and obtains an audio signal from audio module 218 . can do.
  • the processor 220 may obtain an audio signal from the audio module 218 while obtaining motion sensing information from the motion sensor 212 after identifying start brushing.
  • the processor 220 may perform the acquired first motion sensing information and the corresponding first motion sensing information (eg, simultaneously acquired with the first motion sensing information).
  • the first motion sensing information and the hand motion corresponding to the first audio signal may be identified based on the first audio signal.
  • the tooth brushing hand motion type may include a first tooth brushing hand motion and/or a second tooth brushing hand motion.
  • the first tooth brushing hand motion may be a motion corresponding to tooth brushing (or brushing teeth left and right) in a first direction (horizontal direction).
  • the second tooth brushing hand motion may include tooth brushing (or brushing teeth vertically) in a second direction (vertical direction).
  • the tooth brushing hand motion type may further include tooth brushing in the form of drawing a circle (or tooth brushing in the form of drawing a circle on teeth) as the third tooth brushing hand motion, or may further include a tooth brushing hand motion in a method other than the above examples.
  • the processor 220 may cause the first motion sensing information to correspond to a first tooth brushing hand motion pattern, and the first audio signal corresponding to the first motion sensing information to be associated with the first tooth brushing hand motion pattern. It may be identified whether it corresponds to a sound pattern (eg, a first audio signal pattern).
  • the processor may include first motion sensing information corresponding to a first motion pattern of a hand brushing teeth, and a first audio signal associated with a motion pattern of a hand brushing teeth (eg, a first audio signal pattern). If it corresponds to , it may be determined (confirmed or identified) that the first motion sensing information and the first audio signal correspond to the first tooth brushing hand motion.
  • the processor 220 may determine whether the first motion sensing information corresponds to the first hand brushing motion pattern, but the first audio signal is a first brushing sound pattern associated with the first hand brushing motion pattern (eg, the first audio signal). signal pattern), the first motion sensing information may be ignored, or it may be determined (confirmed or identified) that the first motion sensing information and the first audio signal do not correspond to the first tooth brushing hand motion.
  • the first audio signal is a first brushing sound pattern associated with the first hand brushing motion pattern (eg, the first audio signal). signal pattern
  • the first motion sensing information may be ignored, or it may be determined (confirmed or identified) that the first motion sensing information and the first audio signal do not correspond to the first tooth brushing hand motion.
  • the first audio signal corresponding to the first motion sensing information is transmitted to a second tooth brushing hand motion pattern associated with the second tooth brushing hand motion pattern. It may be identified whether it corresponds to a brushing sound pattern (eg, a second audio signal pattern).
  • the processor corresponds to a first motion sensing information corresponding to a second hand brushing teeth motion pattern, and a first audio signal to a second brushing sound pattern associated with the hand brushing teeth motion pattern (eg, a second audio signal pattern).
  • the processor 220 may determine whether the first motion sensing information corresponds to the second hand brushing teeth motion pattern, but the first audio signal is a second brushing sound pattern associated with the hand brushing teeth motion pattern (eg, the second audio signal). signal pattern), the first motion sensing information may be ignored or it may be determined (confirmed or identified) that the second brushing hand motion does not occur.
  • the processor 220 processes the first motion sensing information and the first audio signal when the second motion sensing information and the second audio signal obtained after the first motion sensing information and the first audio signal exist.
  • a hand motion for brushing teeth corresponding to the second motion sensing information and the second audio signal may be identified in a manner similar to the above method.
  • the processor 220 may determine (confirm or identify) that brushing is finished when the motion sensing information and the audio signal are not sensed for a specified time period, and may end the brushing hand motion identification operation.
  • the processor 220 ends brushing teeth when the motion sensing information and the audio signal are associated with another user's behavior pattern (eg, the user's walking). It is determined (confirmed or identified) that it has been done, and the brushing hand motion identification operation may be terminated.
  • another user's behavior pattern eg, the user's walking
  • the processor 220 may obtain and store information related to brushing teeth from the start of brushing teeth to the end of brushing teeth.
  • the processor 220 may include a brushing time from the start of brushing to the end of brushing, a brushing hand motion pattern during the brushing time (eg, a first brushing hand motion -> a second hand brushing motion -> a first brushing hand motion, or second brushing hand motion -> first brushing hand motion -> second brushing hand motion), the number of first and/or second brushing hand motions during the brushing time, and/or a brushing score based on a predetermined recommended brushing criterion ( score) can be saved.
  • other information related to brushing teeth may be further acquired and stored.
  • the processor 220 may display information related to brushing from the start of brushing to the end of brushing on the display 260, and further provide a guide (or notification) related to brushing based on the information related to brushing.
  • the guide (or notification) associated with brushing teeth may include a message notifying that the recommended brushing time is less than (or more than), a message that is less than (or more than) the recommended number of first brushing motions and/or the number of recommended second brushing motions. , and/or a message indicating that the recommended brushing standards are not met (or exceeded).
  • the processor 220 may provide tooth brushing history information based on a plurality of teeth brushing histories when a plurality of teeth brushing is performed.
  • the processor 220 transmits information related to brushing from the start of brushing to the end of brushing, a guide (or notification) related to brushing, and/or brushing history information through the communication module 219 to the external electronic device 102.
  • the external electronic device 102 is another electronic device (e.g., a smartphone or other wearable electronic device) that works with the electronic device 201 of the user, is another electronic device of the user's family, or is associated with the user. may be a server device of a dental hospital, and the external electronic device 102 may be another type of electronic device.
  • the memory 230 controls various controls used by at least one component (eg, the processor 220 or other components) of the electronic device 201 . Data or obtained information may be stored. According to an embodiment, the memory 230 may store instructions for performing an operation of the processor 220 of the electronic device 201 . According to various embodiments, the memory 230 may be implemented in various forms such as read only memory (ROM), random access memory (RAM), or flash memory, and the implementation form may not be limited.
  • the display 260 may display data or a screen based on the control of the processor 220 .
  • the display 260 displays a screen displaying at least a portion of information related to brushing from the start of brushing to the end of brushing, a guide or notification related to brushing, and/or tooth brushing history information under the control of the processor 220. can be displayed
  • the power management module 288 may be connected to the battery 289 and may charge the battery 289 using power received from the outside, and the power from the battery 289 may be applied to the electronic device ( 201) can be controlled to be used in each component.
  • a wearable electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 201 of FIG. 2 ) according to an embodiment includes a motion sensor (eg, the sensor module 176 of FIG. 1 or the motion sensor of FIG. 2 ). 212), an audio sensor (e.g., input module 150 of FIG. 1, or audio module 218 of FIG. 2), a display (e.g., display module 160 of FIG. 1, or display 260 of FIG. 2). )), a memory (eg, the memory 130 of FIG. 1 or the memory 230 of FIG. 2), and the motion sensor, the audio sensor, and a processor electrically connected to the memory (eg, the processor 120 of FIG. 1) or the processor 220 of FIG.
  • a motion sensor eg, the sensor module 176 of FIG. 1 or the motion sensor of FIG. 2
  • an audio sensor e.g., input module 150 of FIG. 1, or audio module 218 of FIG. 2
  • a display e.g., display module 160 of FIG. 1, or display
  • the processor obtains motion sensing information through the motion sensor, obtains an audio signal corresponding to the motion sensing information through the audio sensor, and Identifying a hand brushing motion type corresponding to the information, identifying an audio signal pattern corresponding to the brushing hand motion type, and corresponding to the motion sensing information and the audio signal based on the brushing hand motion type and the audio signal pattern. It can be set to identify the brushing hand motion.
  • the brushing hand motion type includes a first hand brushing teeth motion type and a hand brushing teeth second motion type
  • the processor may: 1 to identify a first audio signal pattern corresponding to a hand brushing teeth motion type, and to identify a second audio signal pattern corresponding to the second hand brushing teeth motion type when the hand brushing motion type is the second motion type; can be set.
  • the first motion type of hand brushing teeth may indicate a motion type of hand brushing teeth in a horizontal direction
  • the motion type of hand brushing teeth may indicate a motion type of hand brushing teeth in a vertical direction
  • the motion sensor includes an acceleration sensor, a gyro sensor, and a geomagnetic sensor
  • the motion sensing information includes an acceleration value sensed by the acceleration sensor and a rotation direction of the electronic device sensed by the gyro sensor.
  • it may include at least one of a rotation angle value, hand posture information acquired based on the geomagnetic direction information sensed by the geomagnetic sensor, frequency characteristic information for tooth brushing hand motion, and magnitude and direction information of tooth brushing hand motion.
  • the processor may be configured to identify start brushing when a specified periodic movement pattern is identified based on the motion sensing information.
  • the wearable electronic device may further include a touch sensor, and the processor may be configured to correct a sensing axis of the motion sensor based on touch sensing information obtained from the touch sensor when the start of brushing teeth is identified.
  • the processor may be set to identify end of brushing if the motion sensing information and/or the audio signal are not obtained for a specified period of time.
  • the processor may be configured to control the display to display information related to brushing from the start of brushing to the end of brushing, based on the identification of end of brushing.
  • the wearable electronic device may further include a communication module, and the processor may be configured to transmit information related to brushing teeth to an external electronic device through the communication module.
  • the processor is set to identify the brushing hand motion type by comparing feature information extracted from the motion sensing information with hand brushing hand motion type information obtained in advance by learning using a machine learning-based classifier model. It can be.
  • FIG. 3A is a diagram illustrating an example of a first wearable electronic device according to an embodiment
  • FIG. 3B is a diagram illustrating an example of a second wearable electronic device according to an embodiment.
  • a wearable electronic device 201 may include a first wearable electronic device 301 or a second wearable electronic device 302 .
  • the first wearable electronic device 301 may be a smart watch worn on a user's wrist
  • the second wearable electronic device 302 may be a ring worn on a user's finger.
  • the wearable electronic device 201 may have a different shape that can be worn, inserted, or attached to a location where the motion of the user's hand is easily sensed (eg, a body part other than a wrist or a finger).
  • the wearable electronic device 201 may be a glove-type electronic device, a tattoo-type electronic device, or a body implantable electronic device.
  • the outer shape of the first wearable electronic device 301 or the second wearable electronic device 302 may be implemented in a design different from the design (or outer shape) shown in FIGS. 3A and 3B .
  • FIG. 4 is a diagram illustrating an example of an internal configuration of a second wearable electronic device according to an embodiment.
  • a second wearable electronic device 302 includes a motion sensor 312, a biometric sensor 314, a touch sensor 316, an audio module 318, a communication module 319, It may include a processor 320 , a memory 330 , a power management module 388 , and a battery 389 .
  • the second wearable electronic device 302 may include at least one flexible printed circuit board (FPCB) 410, and a motion sensor 312 and a bio sensor 314 may be installed on the at least one FPCB. At least some or all of the touch sensor 316, audio module 318, communication module 319, processor 320, memory 330, power management module 388, and battery 389 may be disposed. there is.
  • FPCB flexible printed circuit board
  • a motion sensor 312, a biometric sensor 314, a touch sensor 316, an audio module 318, a communication module 319, a processor 320, a memory 330, a power management module ( 388) and the operation of the battery 389 are the motion sensor 212, biometric sensor 214, touch sensor 216, audio module 218, communication module 219,
  • the processor 220, the memory 230, the power management module 288, and the battery 289 may perform the same operation.
  • Arrangement positions of at least some of the power management module 330, the power management module 388, and the battery 389 may be changed according to embodiments.
  • FIG. 5 is a flowchart illustrating an operation of providing brushing information in a wearable electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the wearable electronic device 201 of FIG. 2 , the first wearable electronic device 301 of FIG. 3A , and the electronic device 301 of FIG. 3B
  • the processor of the second wearable electronic device 302 eg, the processor 120 of FIG. 1 , the processor 220 of FIG. 2 , or the processor 320 of FIG. 4 , hereinafter the processor 220 of FIG. 2 as an example
  • the processor 220 may identify the start of brushing (or the start of a brushing session) (or detect a hand motion for brushing teeth) based on the motion sensing information obtained from the motion sensor 212.
  • the motion sensor 212 may be always in an activated state, activated by designated setting information, or activated by a user input, and perform a motion sensing operation in an activated state to transmit motion sensing information to a processor ( 220) can be provided.
  • the motion sensor 212 may be woken up (eg, driven from a low power state to an activated state) by a drive signal (eg, a clock signal) by the processor 220, and in a driven or wakeup state.
  • the motion sensing information may include acceleration information sensed by an acceleration sensor, rotation direction or rotation angle information sensed by a gyro sensor, and geomagnetic sensing information sensed by a geomagnetic sensor.
  • the acceleration information may include an acceleration value sensed by an acceleration sensor when the electronic device 201 or a body of a user wearing the electronic device 201 moves.
  • the rotation direction or rotation angle information may include the rotation direction or rotation angle value of the electronic device 201 sensed by the gyro sensor when the electronic device 201 or a body of a user wearing the electronic device 201 moves.
  • the geomagnetic sensing information may include a direction of geomagnetism indicating a direction of movement.
  • the processor 220 brushes teeth through the acceleration value sensed by the acceleration sensor, the rotation direction or rotation angle value of the electronic device 201 sensed by the gyro sensor, and the direction information of the geomagnetism sensed by the geomagnetic sensor. It is possible to acquire (or extract) the hand posture of the city, the frequency characteristics of the hand motion, and the magnitude and direction information of the hand motion.
  • the processor 220 identifies the start of brushing teeth (or the start of a brushing session) based on the acquired hand posture at the time of brushing teeth, frequency characteristics of the hand motion, and size and direction information of the hand motion (or hand brushing hand). motion) can be detected.
  • the processor 220 may prestore at least one hand brushing hand motion information (or at least one motion pattern of hand brushing teeth) (eg, first hand brushing teeth motion information (or pattern) and/or second hand brushing teeth motion information). (or pattern)), it is possible to identify whether the obtained motion sensing information corresponds to a first hand brushing teeth motion pattern and/or a second hand brushing teeth motion pattern.
  • the processor 220 identifies that brushing has started when the obtained motion sensing information corresponds to the first hand brushing motion pattern and/or the second motion pattern of the hand brushing teeth (eg, detecting hand brushing motion). can do.
  • the first tooth brushing hand motion pattern may include a tooth brushing pattern (eg, a pattern of brushing teeth left and right) in a first direction (horizontal direction).
  • the second tooth-brushing hand motion pattern may include a tooth-brushing pattern (or a pattern of brushing teeth vertically) in a second direction (vertical direction).
  • the first motion pattern of the hand brushing teeth and/or the motion pattern of the second hand brushing teeth may be obtained by a pre-trained classifier model using a machine learning technique.
  • the processor 220 obtains first motion sensing information from the motion sensor 212 in response to identification of a brushing start (or detection of hand motion for brushing teeth), and first motion sensing information from the audio module 218.
  • a first audio signal corresponding to the motion sensing information may be obtained.
  • the processor 220 may control the audio module 218 to be in an on state (eg, an audio sensor is in an on state) in response to identification of a brushing start (or detection of motion of a hand brushing teeth).
  • the processor 220 may identify a brushing hand motion type corresponding to the first motion sensing information.
  • the tooth brushing hand motion type may include a first tooth brushing hand motion and/or a second tooth brushing hand motion.
  • the first tooth brushing hand motion may be a motion corresponding to tooth brushing (or brushing teeth left and right) in a first direction (horizontal direction).
  • the second tooth brushing hand motion may include tooth brushing (or brushing teeth vertically) in a second direction (vertical direction).
  • the tooth brushing hand motion type may further include tooth brushing in the form of drawing a circle (or tooth brushing in the form of drawing a circle on teeth) as the third tooth brushing hand motion, or may further include a tooth brushing hand motion in a method other than the above examples.
  • the processor 220 may prestore at least one hand brushing hand motion information (or at least one motion pattern of hand brushing teeth) (eg, first hand brushing teeth motion information (or pattern) and/or second hand brushing teeth motion information). (or pattern)), it may be identified whether the first motion sensing information corresponds to the first hand brushing teeth motion pattern or the second hand brushing teeth motion pattern. If the first motion sensing information corresponds to the first motion pattern of the hand brushing teeth, the processor 220 according to an exemplary embodiment determines (checks or can be identified). If the first motion sensing information corresponds to the second hand brushing hand motion pattern, the processor 220 according to an embodiment determines (checks or can be identified).
  • the processor 220 may identify an audio signal pattern type corresponding to the tooth brushing hand motion type.
  • an audio signal pattern corresponding to a first tooth brushing hand motion may include a first audio signal pattern
  • an audio signal pattern corresponding to a second teeth brushing hand motion may include a second audio signal pattern.
  • the processor 220 may identify a first audio signal pattern type when the brushing hand motion type is a first brushing hand motion, and a second audio signal when the brushing hand motion type is a second brushing hand motion.
  • Pattern types can be identified.
  • the first audio signal pattern type and/or the second audio signal pattern type may be models obtained by training and modeling an audio signal pattern analysis model through a machine learning technique and obtained through the audio signal pattern analysis model.
  • the processor 220 may identify a hand motion for brushing teeth corresponding to the first motion sensing information and the first audio signal based on the motion type of hand brushing teeth and the audio signal pattern type.
  • the processor 220 may determine that the first motion sensing information corresponds to a first hand brushing teeth motion pattern, and the first audio signal corresponding to the first motion sensing information corresponds to a first audio signal associated with the first hand brushing teeth motion pattern. You can identify whether it corresponds to the pattern. According to an embodiment, the processor may determine if the first motion sensing information corresponds to a first hand brushing teeth motion pattern and the first audio signal corresponds to a first audio signal pattern associated with the hand brushing teeth motion pattern, the first motion sensing information and It may be determined (confirmed or identified) that the first audio signal corresponds to the first hand motion brushing teeth.
  • the processor 220 ignores the first motion sensing information when the first motion sensing information corresponds to the first hand motion pattern for brushing teeth but the first audio signal does not correspond to the first audio signal pattern; It may be determined (confirmed or identified) that the first motion sensing information and the first audio signal do not correspond to the first hand motion for brushing teeth.
  • the first audio signal corresponding to the first motion sensing information is transmitted to a second tooth brushing hand motion pattern associated with the second tooth brushing hand motion pattern. It can be identified whether it corresponds to the audio signal pattern.
  • the processor may transmit the first motion sensing information and the first audio signal to the second tooth brushing hand motion pattern and the first audio signal to the second audio signal pattern. It may be determined (confirmed or identified) that it corresponds to the tooth brushing hand motion.
  • the processor 220 ignores the first motion sensing information when the first motion sensing information corresponds to the second tooth brushing hand motion pattern but the first audio signal does not correspond to the second audio signal pattern, or It may be determined (confirmed or identified) that the second tooth brushing hand motion has not occurred.
  • the processor 220 may determine (confirm or identify) the end of brushing teeth. According to an embodiment, the processor 220 determines whether the motion sensing information and the audio signal are not acquired within a specified time period after the first motion sensing information and the first audio signal, or the audio signal related to brushing teeth is not obtained and the user's walking and When the same moving situation is recognized, it may be determined (confirmed or identified) that brushing is finished. The processor 220 according to an embodiment may determine (confirm or identify) that brushing has not ended when next motion sensing information and an audio signal are acquired within a specified time period after the first motion sensing information and the first audio signal. there is.
  • the processor 220 may perform an operation for identifying a brushing hand motion for the next motion sensing information and an audio signal, and may return to operation 560.
  • the processor 220 may generate the first motion sensing information and the first audio signal when the second motion sensing information and the second audio signal exist after (or next to) the first motion sensing information and the first audio signal.
  • a tooth brushing hand motion corresponding to the second motion sensing information and the second audio signal may be identified in a method similar to the processing method (eg, a method similar to operations 520 to 550 ).
  • the processor 220 brushes teeth corresponding to the third motion sensing information and the third audio signal when the third motion sensing information and the third audio signal exist after (or next to) the second motion sensing information and the second audio signal.
  • Hand motion can be identified.
  • the processor 220 according to an embodiment may identify a hand motion for brushing teeth with respect to the motion sensing information and an audio signal related to brushing teeth until the motion sensing information and the audio signal are not detected for a specified time period.
  • the processor 220 may display information related to brushing from the start of brushing to the end of brushing on the display 260.
  • the information associated with brushing teeth from the start of brushing to the end of brushing may include the brushing time from the start of brushing to the end of brushing, and a brushing hand motion history during the brushing time (e.g., first brushing hand motion -> second brushing hand motion - > 1st brushing hand motion or 2nd brushing hand motion -> 1st brushing hand motion -> 2nd brushing hand motion), the number of first and/or second brushing hand motions during the brushing time, and/or a predetermined recommendation
  • a toothbrushing score based on a toothbrushing criterion may be included, and other information related to toothbrushing may be further displayed.
  • the processor 220 may display information related to operations 510 to 570 on the display 260 until the end of brushing in operation 580 or display at least some of information related to brushing from the start of brushing to the end of brushing.
  • the processor 220 may further display a guide or notification related to brushing teeth based on information related to brushing teeth.
  • a guide or notification associated with brushing teeth may include a message notifying that a recommended brushing time is below or exceeded, a message notifying that a recommended number of first and/or second brushing motions is below or exceeded, and/or a recommended brushing standard is below or You can include an overage notification message.
  • the processor 220 may display tooth brushing history information based on a plurality of teeth brushing records when a plurality of teeth brushing is performed.
  • the processor 220 according to an embodiment transmits information related to brushing from the start of brushing to the end of brushing, a guide or notification related to brushing, and/or brushing history information to the external electronic device 102 through the communication module 219.
  • the external electronic device 102 is another electronic device (e.g., a smartphone or other wearable electronic device) that works with the electronic device 201 of the user, is another electronic device of the user's family, or is associated with the user.
  • wearable electronic devices eg, the electronic device 101 of FIG. 1 , the wearable electronic device 201 of FIG. 2 , the first wearable electronic device 301 of FIG. 3A , the second wearable electronic device of FIG. 3B
  • the method of providing tooth brushing information in the device 302 includes an operation of obtaining motion sensing information through a motion sensor (eg, the sensor module 176 of FIG. 1 or the motion sensor 212 of FIG. 2 ) of the wearable electronic device, the above Obtaining an audio signal corresponding to the motion sensing information through an audio sensor (eg, the input module 150 of FIG. 1 or the audio module 218 of FIG.
  • the wearable electronic device corresponding to the motion sensing information identifying an audio signal pattern corresponding to the brushing hand motion type, and corresponding to the motion sensing information and the audio signal based on the brushing hand motion type and the audio signal pattern. It may include an operation of identifying the brushing hand motion.
  • the tooth brushing hand motion type includes a first tooth brushing hand motion type and a second tooth brushing hand motion type, and in the method, when the tooth brushing hand motion type is the first tooth brushing hand motion type, the first tooth brushing hand motion type Identifying a first audio signal pattern corresponding to a tooth brushing hand motion type, and identifying a second audio signal pattern corresponding to a second tooth brushing hand motion type when the tooth brushing hand motion type is the second tooth brushing hand motion type. It may further include an operation to do.
  • the first motion type of hand brushing teeth may represent a motion of hand brushing teeth in a horizontal direction
  • the motion type of hand brushing teeth may indicate hand motions of hand brushing teeth in a vertical direction
  • the motion sensor includes an acceleration sensor, a gyro sensor, and a geomagnetic sensor
  • the motion sensing information includes an acceleration value sensed by the acceleration sensor and a rotation direction of the electronic device sensed by the gyro sensor.
  • it may include at least one of a rotation angle value, hand posture information acquired based on the geomagnetic direction information sensed by the geomagnetic sensor, frequency characteristic information for tooth brushing hand motion, and magnitude and direction information of tooth brushing hand motion.
  • the method may further include identifying a start of brushing teeth when a specified periodic movement pattern is identified based on the motion sensing information.
  • the method may further include correcting a sensing axis of the motion sensor based on touch sensing information acquired from a touch sensor of the wearable electronic device when the start of brushing the teeth is identified.
  • the method may further include an operation of identifying end of brushing teeth.
  • the method may further include displaying information related to brushing on the display of the wearable electronic device from the start of brushing to the end of brushing, based on the identification of end of brushing.
  • the method may further include transmitting information related to brushing teeth to an external electronic device through a communication module of the wearable electronic device.
  • FIG. 6 is a diagram illustrating an example of a toothbrushing session from the start of toothbrushing to the end of toothbrushing according to an embodiment.
  • the processor 220 may identify a tooth brushing session 610 from a tooth brushing start determination (eg, session start determination) to a teeth brushing end determination (eg, session end determination), From the start of brushing to the end of brushing, motion sensing information and audio sensing information can be analyzed. After identifying the start of the tooth brushing session, the processor 220 according to an exemplary embodiment performs a tooth brushing hand motion based on the first motion sensing information and the first audio signal 611 and a tooth brushing hand motion based on the second motion sensing information and the second audio signal 612.
  • Hand motion brushing teeth, hand motion brushing teeth based on third motion sensing information and the third audio signal 613, hand motion brushing teeth based on fourth motion sensing information and the fourth audio signal 614, and fifth motion sensing information and Hand motions for brushing teeth by the 5 audio signals 615 may be respectively identified.
  • the processor 220 may identify a first motion sensing type of the hand brushing teeth (eg, a horizontal motion) through the first motion sensing information, and generate a type of a first audio signal pattern corresponding to the type of motion of the hand brushing teeth.
  • the processor 220 identifies a second hand brushing hand motion type (eg, vertical motion) through the second motion sensing information, and outputs a second audio signal pattern type corresponding to the hand brushing hand motion type.
  • a second hand brushing hand motion type eg, vertical motion
  • the processor 220 may learn motion sensing information and an audio signal pattern based on a user's brushing teeth. For example, the processor 220 may learn motion sensing information and an audio signal pattern when a user brushes teeth in a horizontal direction and motion sensing information and an audio signal pattern when a user brushes teeth in a vertical direction.
  • the processor 220 may perform motion sensing information for each part of the teeth (eg, upper teeth, lower teeth, molars, front teeth, or other parts) when brushing teeth in a vertical direction and when brushing teeth in a horizontal direction. and audio signal patterns may be learned.
  • the processor 220 may brush upper teeth vertically, lower teeth vertically, molars vertically, front teeth vertically, or other parts vertically.
  • the processor 220 may brush upper teeth in a horizontal direction, brush lower teeth in a horizontal direction, brush molars in a horizontal direction, brush front teeth in a horizontal direction, or brush other parts in a horizontal direction.
  • the processor 220 identifies a tooth brushing hand motion type and an audio signal pattern type corresponding to the user's current tooth brushing motion (or motion), and the user brushing hand motion type and audio signal pattern type according to the identified tooth brushing hand motion type and audio signal pattern type.
  • Information related to the brushing motion of the user may be obtained.
  • the processor 220 is a user interface (user interface) including information indicating how much the user has brushed which part of the teeth (eg, upper teeth, lower teeth, molars, front teeth, or other parts) Example: a screen) may be displayed on the display 260 .
  • the processor 220 transmits information indicating how much the user has brushed which part of the teeth (eg, upper teeth, lower teeth, molars, front teeth, or other parts) to an external electronic device through the communication module 219. It may be transmitted to a device (a server or an electronic device of another user pre-registered).
  • the electronic device 201 For example, if the user of the electronic device 201 is a child, information indicating how much the user has brushed which part of the teeth (eg, upper teeth, lower teeth, molars, front teeth, or other parts) is sent to the user's guardian (e.g. parent) electronic device.
  • the user's guardian e.g. parent
  • the processor 220 may determine that brushing is finished when motion sensing information and an audio signal are not obtained for a predetermined period after the fifth motion sensing information and the fifth audio signal 615 . In one embodiment, even when the motion sensing information and the audio signal are continuously detected, if the motion sensing information and the audio signal are associated with a user's other behavioral pattern (eg, the user's walking), brushing is considered to be finished. can judge The processor 220 according to an embodiment may output information related to brushing teeth when it is determined that brushing is finished.
  • FIG. 7 is a flowchart illustrating an operation of identifying a motion type of a hand brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the wearable electronic device 201 of FIG. 2 , the first wearable electronic device 301 of FIG. 3A , and the electronic device 301 of FIG. 3B
  • the processor of the second wearable electronic device 302 eg, the processor 120 of FIG. 1 , the processor 220 of FIG. 2 , or the processor 320 of FIG. 4 , hereinafter the processor 220 of FIG. 2 as an example
  • the processor 220 may obtain motion sensing information from the motion sensor 212 and touch sensing information from the touch sensor 216.
  • the processor 220 may identify a designated periodic movement pattern generation based on motion sensing information from the motion sensor 212.
  • the designated periodic movement pattern may be a pattern obtained by learning previous movement patterns when brushing teeth.
  • the processor 220 may identify that brushing has started when a designated periodic movement pattern occurs.
  • the processor 220 may correct a sensing axis of the motion sensor 212 based on touch sensing information from the touch sensor 216.
  • the processor 220 may correct a sensing axis of at least one of an acceleration sensor, a gyro sensor, and/or a geomagnetic sensor included in the motion sensor 212 .
  • the electronic device 201 is a ring-shaped second wearable device 302
  • the second wearable device 302 rotates around the finger when worn on a finger, and the second wearable device Since the posture of the second wearable device 302 changes frequently, it may be difficult to accurately identify the posture of the second wearable device 302 . Accordingly, since calculation is difficult in the case of the ring-shaped second wearable device 302 , the sensing axis of the motion sensor 212 may be corrected through the touch sensor 216 .
  • the electronic device 201 is a ring-shaped second wearable device 302
  • the wearing state and wearing position of the second wearable device 302 are detected, and based on this, the motion sensor 212 ) of the sensing axis can be calibrated.
  • the processor 220 identifies how much the second wearable device 302 is rotated with respect to a preset reference point when the second wearable device 302 is worn on a finger based on touch sensing information sensed through a touch sensor, and , axis information may be corrected by constructing a rotation matrix based on the rotated state to rotate and correct each axis of the motion sensor 212 .
  • the processor 220 may extract feature information associated with a hand motion for brushing teeth from the motion sensing information.
  • the processor 220 transmits the acceleration value sensed by the acceleration sensor, the rotation direction or rotation angle value of the electronic device 201 sensed by the gyro sensor, and the direction information of the geomagnetism sensed by the geomagnetic sensor. It is possible to acquire (or extract) information about posture, frequency characteristics of hand motion, and size and direction of hand motion.
  • a hand posture associated with brushing teeth may be a posture in which the back of the hand faces upward (in the sky direction) with respect to the body or faces left or right with respect to the body.
  • the size of a hand motion associated with brushing teeth may vary depending on the speed of brushing teeth, but may be less than or equal to a specified size.
  • the direction of hand motion associated with brushing teeth may be a horizontal direction (or anteroposterior direction or a left-right direction) with respect to the body or a vertical direction (or up and down direction) with respect to the body according to the shape of the teeth.
  • the direction of hand motion associated with brushing teeth may include direction information when drawing a circle while including a horizontal direction and a vertical direction.
  • the frequency characteristic of a hand motion associated with brushing teeth may include a designated frequency component (eg, a frequency component of 10 Hz or more). The designated frequency component may be a high frequency signal component generated when the toothbrush touches the upper or lower portion of the gum and oral cavity when brushing teeth.
  • the processor 220 may use a machine learning-based classifier to identify a brushing hand motion type corresponding to feature information related to the brushing hand motion.
  • the processor 220 may use a machine learning-based classifier to obtain at least one hand brushing motion information (or at least one motion pattern of a hand brushing teeth) obtained in advance (eg, first brushing hand motion information ( or pattern) and/or second tooth brushing hand motion information (or pattern)) and feature information associated with the tooth brushing hand motion, and determining whether the feature information associated with the tooth brushing hand motion corresponds to the first tooth brushing hand motion pattern or the second tooth brushing hand motion pattern. It can be identified whether it corresponds to the hand motion pattern.
  • the processor 220 determines (checks or can be identified). If the first motion sensing information corresponds to the second hand brushing hand motion pattern, the processor 220 according to an embodiment determines (checks or can be identified).
  • FIG. 8A is a diagram illustrating an example of a first acceleration sensor data graph when brushing teeth in a horizontal direction according to an embodiment
  • FIG. 8B is a fast fourier transform (FFT) for first acceleration sensor data when brushing teeth in a horizontal direction according to an embodiment.
  • FFT fast fourier transform
  • the processor 220 may obtain a first acceleration sensor data graph 810 .
  • a horizontal axis may be time (ms)
  • a vertical axis may be an acceleration sensor value (m/s 2 ).
  • the first acceleration sensor data graph 810 when brushing teeth in the horizontal direction includes a z-axis acceleration sensor data curve 811, a y-axis acceleration sensor data curve 812, and an x-axis acceleration sensor data curve 813. can do.
  • the processor 220 performs frequency analysis on the first acceleration sensor data graph 810 through fast fourier transform (FFT) to obtain the first FFT graph 820.
  • FFT fast fourier transform
  • a horizontal axis may be a frequency (Hz)
  • a vertical axis may be an FFT value.
  • low-frequency components of a first frequency eg, about 6 Hz or less may be mainly included.
  • FIG. 9A is a diagram illustrating an example of a data graph of a second acceleration sensor when brushing teeth in a vertical direction according to an embodiment
  • FIG. 9B is a graph showing an FFT conversion of second acceleration sensor data when brushing teeth in a vertical direction according to an embodiment. it is a drawing
  • the processor 220 may obtain a second acceleration sensor data graph 910 .
  • a horizontal axis may be time (ms)
  • a vertical axis may be an acceleration sensor value (m/s 2 ).
  • the second acceleration sensor data graph 910 when brushing teeth in the vertical direction includes a z-axis acceleration sensor data curve 911, a y-axis acceleration sensor data curve 912, and an x-axis acceleration sensor data curve 913. can do.
  • the processor 220 performs frequency analysis on the second acceleration sensor data graph 910 through fast fourier transform (FFT) to obtain a second FFT graph 920.
  • FFT fast fourier transform
  • a horizontal axis may be a frequency (Hz)
  • a vertical axis may be an FFT value.
  • a high frequency component of a second frequency eg, about 10 Hz
  • the high-frequency component may be a frequency component generated when a toothbrush touches the upper or lower portion of the gum and oral cavity during brushing.
  • FIG. 10A is a diagram illustrating an example of a third acceleration sensor data graph during hair drying according to an embodiment
  • FIG. 10B is a diagram illustrating an FFT conversion graph of third acceleration sensor data during hair drying according to an embodiment. .
  • the processor 220 may obtain a third acceleration sensor data graph 1010 .
  • a horizontal axis may be time (ms)
  • a vertical axis may be an acceleration sensor value (m/s 2 ).
  • the third acceleration sensor data graph 1010 during hair drying may include a z-axis acceleration sensor data curve 1011, a y-axis acceleration sensor data curve 1012, and an x-axis acceleration sensor data curve 1013.
  • the processor 220 performs frequency analysis on the third acceleration sensor data graph 1010 through fast fourier transform (FFT) to obtain a third FFT graph 1020.
  • FFT fast fourier transform
  • a horizontal axis may be a frequency (Hz)
  • a vertical axis may be an FFT value.
  • frequency components appear mainly in a low-frequency band of 8 Hz or less, similar to brushing in the horizontal direction, but the size of the movement due to hand motion is relatively larger than when brushing teeth, so the processor 220 may not identify the hair drying motion as a brushing hand motion.
  • FIG. 11A is a diagram illustrating an example of a graph of fourth acceleration sensor data during hand washing according to an exemplary embodiment
  • FIG. 11B is a diagram illustrating an FFT conversion graph of fourth acceleration sensor data during hand washing according to an exemplary embodiment.
  • the processor 220 may obtain a fourth acceleration sensor data graph 1110 .
  • a horizontal axis may be time (ms)
  • a vertical axis may be an acceleration sensor value (m/s 2 ).
  • the fourth acceleration sensor data graph 1110 during hand washing may include a z-axis acceleration sensor data curve 1111, an x-axis acceleration sensor data curve 1112, and a y-axis acceleration sensor data curve 1113. there is.
  • the processor 220 performs frequency analysis on a fourth acceleration sensor data graph 1110 through fast fourier transform (FFT) to obtain a fourth FFT graph 1120.
  • FFT fast fourier transform
  • a horizontal axis may be a frequency (Hz)
  • a vertical axis may be an FFT value.
  • the frequency components appear mainly in the low frequency band of 8 Hz or less, similar to brushing in the horizontal direction, and the size of the movement by hand motion may not be significantly different from when brushing teeth.
  • the processor 220 may not identify the hand washing motion as the tooth brushing hand motion in consideration of hand posture information or hand motion direction information.
  • FIG. 12 is a diagram for explaining a machine learning-based classifier model according to an embodiment.
  • a machine learning-based classifier model 1201 may be a software module executed in a processor 220 or a hardware module including at least one electrical circuit.
  • the machine learning-based classifier model 1201 includes a sensor signal pre-processing unit 1210, a feature extraction unit 1220, a brushing hand motion pattern learning unit 1230, At least some or all of the classifier modeling unit 1240 and the classifier model 1250 may be included.
  • a sensor signal pre-processing unit 1210 may be a software program executed by the processor 220 or a hardware module including at least one electrical circuit.
  • the sensor signal pre-processor 1210 may acquire sensor data by performing pre-processing on the sensor signal acquired by the motion sensor 212 .
  • the sensor signal pre-processor 1210 may obtain acceleration and gyro sensor data from a sensor signal sensed through the motion sensor 212, correct a sensor axis, and perform filtering to remove noise.
  • the feature extractor 1220 may extract feature information from acceleration and gyro sensor data.
  • hand posture information, frequency characteristic information of hand brushing hand motion, and magnitude and direction information of hand brushing hand motion may be obtained from acceleration and gyro sensor data.
  • the tooth brushing hand motion pattern learner 1230 may learn a tooth brushing hand motion pattern based on the extracted feature information through a machine learning technique.
  • the classifier modeling unit 1240 may model a classifier for classifying hand brushing hand motions by type based on a result of learning hand brushing hand motions, and may provide classifier modeling information.
  • the classifier model 1250 is based on the feature information extracted from the feature extraction unit 1220 and the classifier modeling information provided from the classifier modeling unit 1240, and the brushing hand motion type corresponding to the extracted feature information. can identify. For example, the classifier modeling unit 1240 identifies whether the extracted feature information corresponds to the first tooth brushing motion pattern or the second tooth brushing motion pattern, or the extracted feature information is a hand motion pattern other than the tooth brushing motion pattern. It can be identified that corresponds to . For example, another hand motion pattern may include a running motion, a hair drying motion, or a hand washing motion. For example, the classifier modeling unit 1240 may determine that the tooth brushing motion is detected when the extracted feature information includes a first tooth brushing motion pattern or a second tooth brushing motion pattern.
  • the operation of the feature extraction unit 1220 and the brushing hand motion pattern learning unit 1230 is a pre-training operation (training phase), and the processor 220 of the electronic device 201, not the external electronic device or external can be performed on the server of
  • the pre-learned learning result is provided to the electronic device 201, and the electronic device 201 in advance
  • a recognition phase using the learned learning result and the classifier model 1250 may be performed.
  • FIG. 13 is a flowchart illustrating an operation of identifying a brushing sound using an audio signal pattern type corresponding to a hand motion type of brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the wearable electronic device 201 of FIG. 2 , the first wearable electronic device 301 of FIG. 3A , and the electronic device 301 of FIG. 3B
  • the processor of the second wearable electronic device 302 eg, the processor 120 of FIG. 1 , the processor 220 of FIG. 2 , or the processor 320 of FIG. 4 , hereinafter the processor 220 of FIG. 2 as an example
  • the processor 220 may identify an audio signal section corresponding to the identified hand motion type brushing teeth based on the motion sensing information. For example, the processor 220 may perform an audio signal corresponding to each brushing hand motion type based on the hand brushing motion type (eg, a first brushing hand motion type or a second hand brushing hand motion type) identified among the entire audio signal section.
  • a section eg, a first audio signal section or a second audio signal section
  • the processor 220 may check whether the volume of the audio signal section corresponding to the brushing hand motion type is greater than or equal to a specified threshold volume.
  • the threshold volume may be designated as various values within a range in which the sound of brushing teeth can be recognized. For example, if the user closes his/her mouth while brushing his/her teeth, the volume of the brushing sound may be significantly low, making it impossible to recognize the brushing sound. Therefore, it may be necessary to set a threshold volume within a range in which the sound of brushing teeth can be recognized.
  • the processor 220 may end processing of the audio signal section when the volume of the audio signal section is not greater than or equal to a specified volume.
  • the processor 220 may proceed to operation 1330 when the volume of the audio signal section is greater than or equal to the specified volume.
  • the processor 220 may extract feature information of a frequency component of an audio signal section corresponding to the tooth brushing hand motion type. For example, the processor 220 converts a time domain audio signal into a frequency domain audio signal through a fast fourier transform (FFT), and converts the frequency domain audio signal into a frequency component characteristic. Information (e.g. local maxima for a single-sided amplitude spectrum) can be extracted.
  • FFT fast fourier transform
  • the processor 220 converts the audio signal of the audio signal section into an audio signal pattern corresponding to the brushing hand motion type based on the feature information of the frequency component of the audio signal section corresponding to the hand motion type of brushing teeth. It can be identified that corresponds to . For example, the processor 220 identifies whether the frequency component of the audio signal section corresponding to the first hand brushing teeth motion type corresponds to the first audio signal pattern corresponding to the first hand brushing teeth motion type, or the second hand brushing teeth motion. It may be identified whether the frequency component of the audio signal section corresponding to the type corresponds to the second audio signal pattern corresponding to the second tooth brushing hand motion type.
  • the processor 220 may pre-learn characteristic information of a frequency component of an audio signal section corresponding to a tooth brushing hand motion type, and obtain an audio signal pattern analysis model based on a learning result.
  • the processor 220 may identify whether an audio signal of an audio signal section corresponding to a hand brushing hand motion type corresponds to an audio signal pattern corresponding to a hand brushing hand motion type through an audio signal pattern analysis model.
  • the processor 220 when the audio signal of the audio signal section corresponding to the brushing hand motion type corresponds to the audio signal pattern corresponding to the brushing hand motion type, transmits the audio signal brushing teeth corresponding to the brushing hand motion type. Can be determined (confirmed or identified) by sound.
  • FIG. 14A is a diagram showing an example of an audio signal graph obtained when brushing teeth in a horizontal direction according to an embodiment
  • FIG. 14B is a diagram showing an example of an audio signal graph obtained when brushing teeth in a vertical direction according to an embodiment
  • 14C is a diagram illustrating an example of an audio signal graph obtained during hand washing according to an exemplary embodiment.
  • the processor 220 may obtain a first audio signal graph 1410 .
  • a horizontal axis may be time (ms)
  • a vertical axis may be audio signal intensity (amplitude).
  • a sound may be heard during the time when friction between the toothbrush and the teeth occurs, and the time during which friction between the toothbrush and the teeth occurs is longer than when brushing the teeth in the vertical direction, and a long time interval (eg, the first time interval) audio signal can be generated.
  • the processor 220 may obtain a second audio signal graph 1420 .
  • the horizontal axis may be time (ms), and the vertical axis may be audio signal intensity (amplitude).
  • the toothbrush when brushing teeth in a vertical direction, the toothbrush may get caught in the gums or touch the upper or lower part of the mouth and make a sound, and the time for friction between the toothbrush and the teeth to occur is shorter than that of brushing in the horizontal direction, so that a short time interval (e.g., An audio signal may be generated at the second time interval).
  • the processor 220 may obtain a third audio signal graph 1430 during a motion other than brushing teeth (eg, hand washing) according to an exemplary embodiment.
  • the horizontal axis may be time (ms), and the vertical axis may be audio signal intensity (amplitude).
  • an audio signal for the sound of water is input regardless of a hand washing motion, and thus an audio signal having a very different pattern from brushing in a horizontal direction or brushing in a vertical direction may be generated.
  • the processor 220 of the electronic device 201 may pre-acquire an audio signal pattern according to a type of hand brushing teeth by learning various audio signal patterns according to various hand motions as described above.
  • the electronic device 201 obtains audio signal pattern information according to the type of brushing hand motion pre-learned from an external electronic device (or server) through communication and stores it in the memory 230, or brushes pre-learned brushing at the time of manufacture. Audio signal pattern information according to the type of hand motion may be implemented to be loaded (or stored) in the memory 230 .
  • various modeling methods may be used when acquiring an audio signal pattern according to a type of brushing motion.
  • the processor 220 may obtain an audio signal pattern according to a hand brushing motion type by using a Gaussian mixture model-hidden markov model (GMM-HMM) mixture model.
  • GMM-HMM Gaussian mixture model-hidden markov model
  • 15A shows learning using the GMM model for the two best frequency components among various Local Maxima frequency features in a one-sided amplitude spectrum in an audio signal when brushing teeth in which horizontal and vertical motions are mixed according to an embodiment.
  • 15B is a graph showing the results of learning using the GMM model for the two best frequency components among various Local Maxima frequency characteristics in the one-sided amplitude spectrum in the audio signal upon handwashing according to an embodiment. am.
  • a horizontal axis may represent a first frequency component F1 and a vertical axis may represent a second frequency component F2 .
  • the feature distribution (+) during brushing teeth is somewhat similar to the feature distribution (+) during hand washing as shown in FIG. 15B by mixing the horizontal and vertical motions as shown in FIG. can appear
  • Learning results 1510 and 1520 for the six GMM models in FIGS. 15A and 15B may also appear similar to each other. This can be seen as similar to the characteristics or states observed in audio signals, and analyzing time-series patterns through HMM with such similar information is likely to result in misrecognition in distinguishing between brushing teeth and washing hands. there will be no Therefore, if the frequency feature distribution is used when brushing teeth by mixing horizontal and vertical motions, it is difficult to distinguish from other hand motions (eg, hand washing), which may cause an error in brushing teeth detection.
  • FIG. 16A is a graph showing the results of learning using the GMM model for the two best frequency components among various Local Maxima frequency features in a one-sided amplitude spectrum in an audio signal when brushing teeth in a horizontal direction according to an embodiment
  • FIG. 16b is a graph showing the results of learning using the GMM model for the two best frequency components among various Local Maxima frequency characteristics in the one-sided amplitude spectrum in the audio signal when brushing teeth in the vertical direction according to an embodiment.
  • a horizontal axis may represent a first frequency component F1 and a vertical axis may represent a second frequency component F2 .
  • the feature distribution (+) when brushing teeth in the horizontal direction as shown in FIG. 16a and the feature distribution (+) when brushing teeth in the vertical direction as shown in FIG. may appear very different from the feature distribution (+) of
  • the learning results 1610 and 1620 for the 6 GMM models in FIGS. 16A and 16B may also appear very different from the learning results 1520 for the 6 GMM models in FIG. 15B, respectively. Therefore, as described in an embodiment of the present disclosure, when the frequency feature distribution is used by recognizing motions in the horizontal and vertical directions separately, as described in an embodiment of the present disclosure, rather than using the frequency feature distribution when brushing teeth by mixing motions in the horizontal and vertical directions, the frequency feature distribution is different. It is easy to distinguish from hand motion (e.g., hand washing), so errors in brushing teeth detection can be reduced.
  • 17A is a diagram illustrating an example of displaying first information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • a wearable electronic device 1701 according to an embodiment (eg, the electronic device 101 of FIG. 1 , the wearable electronic device 201 of FIG. 2 , and the first wearable electronic device 301 of FIG. 3A ) ) of the processor (eg, the processor 120 of FIG. 1 or the processor 220 of FIG. 2, hereinafter the processor 220 of FIG. 2 will be described as an example) displays the display 1760 (eg, the display of FIG. 1)
  • the first information 1761 associated with brushing teeth may be displayed on the module 160 or the display 260 of FIG. 2 .
  • the first information 1761 associated with brushing teeth may include brushing time count information (eg, 115 seconds) counted from when the user starts brushing teeth.
  • 17B is a diagram illustrating an example of displaying second information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • the processor 220 may control display 1760 to display second information 1762 related to brushing teeth.
  • the second information 1762 associated with brushing teeth may include a total brushing time from when the user starts brushing to when it ends (eg, 65 seconds of brushing time).
  • 17C is a diagram illustrating an example of displaying third information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • the processor 220 may control display 1760 to display third information 1763 related to brushing teeth.
  • the third information 1763 associated with brushing teeth is a message informing when the total brushing time from the start of brushing to the end of brushing is shorter than the recommended time (eg, brushing time is too short). How about brushing your teeth a little more?).
  • 17D is a diagram illustrating an example of displaying fourth information related to brushing teeth in a wearable electronic device according to an exemplary embodiment.
  • the processor 220 may control the display 1760 to display fourth information 1764 related to brushing teeth.
  • the fourth information 1764 associated with brushing teeth is a message informing whether or not a recommended brushing method identified based on the number of times the user has performed brushing hand motion types (e.g., How about brushing your teeth using the recommended brushing method? Or brushing was not performed according to recommended brushing practices).
  • the processor 220 may control display 1760 to display fifth information 1765 related to brushing teeth.
  • the fifth information 1765 associated with brushing teeth may be a message for guiding that brushing of the first brushing hand motion is insufficient based on the brushing hand motion type performed by the user (eg, brushing teeth in the left and right directions of the outer left tooth). is not enough, or why not try brushing left and right more?).
  • the processor 220 may control display 1760 to display sixth information 1766 related to brushing teeth.
  • the sixth information 1766 related to tooth brushing may be a message informing that brushing of the second tooth brushing hand motion is insufficient based on the type of tooth brushing hand motion performed by the user (e.g., brushing teeth in the vertical direction of the outer front teeth). is not enough, or why not try more up-and-down brushing?).
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in this document may include a unit implemented by hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • signals e.g., electromagnetic waves
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a device-readable storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component eg, module or program of the above-described components may include a single entity or a plurality of entities.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.
  • the instructions are set to cause the wearable electronic device to perform at least one operation when executed by at least one processor of the wearable electronic device, At least one operation may include obtaining motion sensing information through a motion sensor, obtaining an audio signal corresponding to the motion sensing information through an audio sensor, and identifying a brushing hand motion type corresponding to the motion sensing information. identifying an audio signal pattern corresponding to the brushing hand motion type, and identifying a brushing hand motion corresponding to the motion sensing information and the audio signal based on the brushing hand motion type and the audio signal pattern.
  • At least one operation may include obtaining motion sensing information through a motion sensor, obtaining an audio signal corresponding to the motion sensing information through an audio sensor, and identifying a brushing hand motion type corresponding to the motion sensing information.

Abstract

일 실시예에 따르면, 웨어러블 전자 장치는 모션 센서, 오디오 센서, 디스플레이, 메모리, 및 상기 모션 센서, 상기 오디오 센서, 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 모션 센서를 통해 모션 센싱 정보를 획득하고, 상기 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하고, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하고, 상기 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴을 식별하고, 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하도록 설정될 수 있으며, 다른 실시예도 가능할 수 있다.

Description

웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법
일 실시예는 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법에 관한 것이다.
최근에는 전자 장치에 다양한 기능이 탑재될 수 있다. 예를 들면, 통신 기능뿐만 아니라, 게임과 같은 엔터테인먼트 기능, 음악/동영상 재생과 같은 멀티미디어 기능, 모바일 뱅킹을 위한 통신 및 보안 기능 또는 일정 관리나 전자 지갑과 같은 다양한 기능이 하나의 전자 장치에 집약되고 있다. 이러한 전자 장치는 사용자가 편리하게 휴대하고 착용할 수 있도록 소형화되고 있다. 전자, 통신 기술이 발달하면서, 이러한 전자 장치는 신체에 착용한 상태에서도 큰 불편함 없이 사용할 수 있을 정도로 소형화, 경량화되고 있다.
일상 생활에서 사용하기 편리하고 휴대 또는 착용 가능한 형태의 전자 기기로서 웨어러블 전자 장치의 활용도가 높아지고 있다. 예를 들면, 웨어러블 전자 장치는 안경, 시계, 반지 등과 같은 액세서리, 의복 또는 신체 이식 형태 등의 다양한 형태로 구현될 수 있으며, 주변 환경에 대한 상세 정보나 개인의 신체 변화를 실시간으로 수집하여 제공할 수 있다.
사용자들은 주변 환경에 대한 상세 정보나 개인의 신체 정보로서 양치질과 연관된 정보를 얻기를 원할 수 있다. 종래 스마트 칫솔과 같은 장치를 통해 사용자의 양치질과 연관된 정보를 제공받을 수 있었다. 그러나 스마트 칫솔은 주기적으로 교체가 필요할 수 있고, 사용자는 장소와 상황에 따라 다른 칫솔을 이용할 수 있어서 시간과 장소에 구애받지 않고 양치질과 연관된 정보를 얻기에는 불편함이 있을 수 있다. 또한 종래 제공받을 수 있는 양치질과 연관된 정보는 양치질 상황의 인식 정확도가 낮아 신뢰도가 낮을 수 있다.
따라서 사용자가 일상 생활에서 사용하기 편리하고 휴대 또는 착용 가능한 형태의 웨어러블 전자 장치를 통해 양치질과 연관된 정보를 얻을 수 있다면 편리할 수 있을 것이다. 또한 진보된 센싱 방식을 통해 양치질 상황을 보다 정확하게 인식할 수 있다면 보다 신뢰도 높은 양치질과 연관된 정보를 제공할 수 있을 것이다.
일 실시예에 따라 일상 생활에서 모션 및 소리 감지를 통해 양치질과 연관된 다양하고 정확한 정보를 확인할 수 있는 웨어러블 전자 장치 및 방법을 제공하고자 한다.
일 실시예에 따라 사용자의 양치질 시 양치질 모션의 유형(예: 수직 방향 양치질 또는 수평 방향 양치질)을 정확히 인식할 수 있고, 양치질 모션의 유형을 기반으로 다양하고 구체적인 양치질에 관한 가이드 정보를 제공할 수 있는 웨어러블 전자 장치 및 방법을 제공하고자 한다.
일 실시예에 따른 웨어러블 전자 장치는 모션 센서, 오디오 센서, 디스플레이, 메모리, 및 상기 모션 센서, 상기 오디오 센서, 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 모션 센서를 통해 모션 센싱 정보를 획득하고, 상기 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하고, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하고, 상기 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴을 식별하고, 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하도록 설정될 수 있다.
일 실시예에 따른 웨어러블 전자 장치에서 양치질 정보 제공 방법은 상기 웨어러블 전자 장치의 모션 센서를 통해 모션 센싱 정보를 획득하는 동작, 상기 웨어러블 전자 장치의 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하는 동작, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하는 동작, 상기 양치질 핸드 모션 유형에 대응하여 오디오 신호 패턴을 식별하는 동작, 및 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하는 동작을 포함할 수 있다.
일 실시예에 따른 명령들을 저장하고 있는 비일시적 저장 매체에 있어서, 상기 명령들은 웨어러블 전자 장치의 적어도 하나의 프로세서에 의하여 실행될 때에 상기 웨어러블 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 상기 웨어러블 전자 장치의 모션 센서를 통해 모션 센싱 정보를 획득하는 동작, 상기 웨어러블 전자 장치의 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하는 동작, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하는 동작, 상기 양치질 핸드 모션 유형에 대응하여 오디오 신호 패턴을 식별하는 동작, 및 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하는 동작을 포함할 수 있다.
다양한 실시예에 따르면 웨어러블 장치를 통해 일상 생활에서 모션 및 소리 감지를 통해 양치질과 연관된 다양하고 보다 정확한 정보를 확인하도록 할 수 있다.
다양한 실시예에 따르면 사용자의 양치질 시 웨어러블 전자 장치를 통해 양치질 모션의 유형(예: 수직 방향 양치질 또는 수평 방향 양치질 또는 다른 유형의 양치질)을 보다 정확히 인식할 수 있고, 양치질 모션의 유형을 기반으로 다양하고 구체적인 양치질에 관한 가이드 정보를 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 일 실시예에 따른 웨어러블 전자 장치의 블록도이다.
도 3a는 일 실시예에 따른 제1 웨어러블 전자 장치의 예를 나타낸 도면이다.
도 3b는 일 실시예에 따른 제2 웨어러블 전자 장치의 예를 나타낸 도면이다.
도 4는 일 실시예에 따른 제2 웨어러블 전자 장치의 내부 구성 예를 나타낸 도면이다.
도 5는 일 실시예에 따른 웨어러블 전자 장치에서 양치질 정보 제공 동작을 나타낸 흐름도이다.
도 6은 일 실시예에 따른 양치질 시작부터 양치질 종료까지의 양치질 세션 예를 나타낸 도면이다.
도 7은 일 실시예에 따른 웨어러블 전자 장치에서 양치질 핸드 모션 유형 식별 동작을 나타낸 흐름도이다.
도 8a는 일 실시예에 따른 수평 방향 양치질 시 제1 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이다.
도 8b는 일 실시예에 따른 수평 방향 양치질 시 제1 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 9a는 일 실시예에 따른 수직 방향 양치질 시 제2 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이다.
도 9b는 일 실시예에 따른 수직 방향 양치질 시 제2 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 10a는 일 실시예에 머리 말리기 시 제3 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이다.
도 10b는 일 실시예에 따른 머리 말리기 시 제3 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 11a는 일 실시예에 따른 손씻기 시 제4 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이다.
도 11b는 일 실시예에 따른 손씻기 시 제4 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 12는 일 실시예에 따른 머신 러닝 기반의 분류기 모델을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 웨어러블 전자 장치에서 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴 유형을 이용한 양치질 소리 식별 동작을 나타낸 흐름도이다.
도 14a는 일 실시예에 따른 수평 방향 양치질 시 획득된 오디오 신호 그래프의 일 예를 나타낸 도면이다.
도 14b는 일 실시예에 따른 수직 방향 양치질 시 획득된 오디오 신호 그래프의 일 예를 나타낸 도면이다.
도 14c는 일 실시예에 따른 손씻기 시 획득된 오디오 신호 그래프의 일 예를 나타낸 도면이다.
도 15a는 일 실시예에 따른 수평 방향과 수직 방향의 모션이 혼합된 양치질 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이다.
도 15b는 일 실시예에 따른 손씻기 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이다.
도 16a는 일 실시예에 따른 수평 방향으로 양치질 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이다.
도 16b는 일 실시예에 따른 수직 방향으로 양치질 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이다.
도 17a는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제1 정보 표시 예를 나타낸 도면이다.
도 17b는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제2 정보 표시 예를 나타낸 도면이다.
도 17c는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제3 정보 표시 예를 나타낸 도면이다.
도 17d는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제4 정보 표시 예를 나타낸 도면이다.
도 17e는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제5 정보 표시 예를 나타낸 도면이다.
도 17f는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제6 정보 표시 예를 나타낸 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시예들을 배제하도록 해석될 수 없다.
도 1은 일 실시예에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178)11)가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 1eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시예에 따른 웨어러블 전자 장치의 블록도이다.
도 2를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(201)(예: 도 1의 전자 장치(101))는 모션 센서(212), 생체 센서(214), 터치 센서(216), 오디오 모듈(218), 통신 모듈(219), 프로세서(220), 메모리(230), 디스플레이(260), 전력 관리 모듈(288), 및 배터리(289)의 일부 또는 전부를 포함할 수 있다.
일 실시예에 따른 모션 센서(또는 관성 센서)(212)는 전자 장치(201)의 모션 또는 전자 장치(201)를 착용한(또는 소지한) 사용자 신체(예: 팔, 손가락, 또는 손목)의 모션을 센싱할 수 있다. 예를 들면, 모션 센서(212)는 가속도(acceleration sensor) 센서 및/또는 자이로(gyro) 센서를 포함할 수 있고, 지자기 센서를 더 포함할 수 있다. 가속도 센서는 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임에 의한 가속도나 충격을 센싱할 수 있다. 자이로 센서는 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임에 의한 전자 장치(201)의 회전 방향 또는 회전각을 센싱할 수 있다. 지자기 센서는 지자기의 방향을 센싱할 수 있다. 예를 들면, 프로세서(220)는 가속도 센서를 이용하여 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임 여부를 식별할 수 있고, 자이로 센서를 이용하여 신체의 움직임에 의한 회전 방향 또는 회전각을 식별할 수 있다. 예를 들면, 지자기 센서를 이용하여 신체의 모션의 진행 방향을 식별할 수 있다.
일 실시예에 따른 생체 센서(214)는 적어도 하나의 생체 센서를 포함할 수 있다. 생체 센서는 사용자의 생체 신호를 센싱할 수 있는 센서일 수 있다. 일 실시예에 따른 생체 센서(214)는 사용자의 생체 신호를 센싱하여 측정된 생체 신호 또는 사용자의 생체 신호를 센싱하여 측정된 생체 신호 기반의 정보(값 또는 수치)(예: 혈중 산소 포화도 수치, 체온 수치, 심전도, 흥분 상태 수치, 수화도 또는/및 탈수도 수치)를 프로세서(220)에 제공할 수 있다. 예를 들면, 생체 센서(214)는 PPG(photoplethysmography) 센서를 포함할 수 있으며, 이외에 체온 센서(body temperature), ECG(electrocardiogram) 센서, EDA(electrodermal activity) 센서, 또는/및 SWEAT 센서를 더 포함할 수 있다. 이외에도 생체 센싱과 연관된 다른 센서를 더 포함할 수 있다. 일 실시예에 따른 생체 센서(214)는 사용자의 생체 신호를 센싱하여 측정된 생체 신호 또는 사용자의 생체 신호를 센싱하여 측정된 생체 신호 기반의 정보(예: 값 또는 수치)(예: 혈중 산소 포화도 수치, 체온 수치, 심전도, 흥분 상태 수치, 수화도 또는/및 탈수도 수치)를 프로세서(220)에 제공할 수 있다.
일 실시예에 따른 터치 센서(216)는 터치를 감지할 수 있다. 예를 들면, 터치 센서(216)는 사용자의 신체 접촉에 의한 터치를 감지할 수 있다. 일 실시예에 따른 터치 센서(216)는 디스플레이(260)에 포함되거나 별개의 구성요소로 전자 장치(201)에 포함될 수 있다.
일 실시예에 따른 오디오 모듈(218)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(218)은, 마이크(미도시)을 통해 소리를 획득하거나, 디지털 정보(예: 오디오 파일)를 소리로 변환하여 스피커(미도시)를 통해 출력할 수 있다.
일 실시예에 따른 통신 모듈(219)은 외부 전자 장치(예: 도 1의 외부의 전자 장치(102))와 통신할 수 있다. 일 실시예에 따르면 통신 모듈(219)은 프로세서(220)의 제어에 기반하여 전자 장치(201)에서 획득된 정보(또는 데이터)를 외부 전자 장치(102)로 전송하거나, 외부 전자 장치(102)로부터의 정보(또는 데이터)를 수신할 수 있다. 예를 들면, 통신 모듈(219)은 셀룰러 통신 모듈, UWB(ultra wide band) 통신 모듈, 블루투스(Bluetooth) 통신 모듈, 또는/및 WiFi(wireless fidelity) 통신 모듈을 포함할 수 있으며, 이 외에 외부의 전자 장치(102)와 통신 가능한 다른 모듈을 더 포함할 수 있다.
일 실시예에 따른 프로세서(220)는 모션 센서(212), 생체 센서(214), 터치 센서(216), 오디오 모듈(또는 오디오 센서)(218), 통신 모듈(219), 메모리(230), 디스플레이(260), 및/또는 전력 관리 모듈(288)과 전기적으로 연결될 수 있다.
일 실시예에 따른 프로세서(220)는 모션 센서(212)로부터 모션 센싱 정보를 획득할 수 있다. 모션 센서(212)는 항상 온된 상태이거나, 지정된 설정 정보에 의해 온되거나, 사용자 입력에 의해 온된 상태일 수 있다. 모션 센싱 정보는 가속도 센서에 의해 센싱된 가속도 정보, 자이로 센서에 의해 센싱된 회전 방향 또는 회전각 정보, 지자기 센서에 의해 센싱된 지자기 센싱 정보를 포함할 수 있다. 예를 들면, 가속도 정보는 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임 시 가속도 센서에 의해 센싱된 가속도 값을 포함할 수 있다. 회전 방향 또는 회전각 정보는 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임 시 자이로 센서에 의해 센싱된 전자 장치(201)의 회전 방향 또는 회전각 값을 포함할 수 있다. 지자기 센싱 정보는 움직임의 방향을 나타내는 지자기의 방향을 포함할 수 있다.
일 실시예에 따른 프로세서(220)는 상기 획득된 모션 센싱 정보를 기반으로 양치질 시작을 식별(또는 양치질 핸드 모션을 감지)할 수 있다. 일 실시예에 따른 프로세서(220)는 미리 저장된 적어도 하나의 양치질 핸드 모션 정보(또는 적어도 하나의 양치질 핸드 모션 패턴)(예: 제1 양치질 핸드 모션 정보(또는 패턴) 및/또는 제2 양치질 핸드 모션 정보(또는 패턴))를 이용하여 상기 획득된 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되는지 및/또는 제2 양치질 핸드 모션 패턴에 대응되는지 식별할 수 있다. 예를 들면, 프로세서(220)는 머신 러닝 기반의 분류기 모델을 이용한 학습에 의해 미리 획득된 양치질 핸드 모션 유형 정보를 이용하여 상기 획득된 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되는지 및/또는 제2 양치질 핸드 모션 패턴에 대응되는지 식별할 수 있다.
일 실시예에 따른 프로세서(220)는 상기 획득된 모션 센싱 정보가 제1 양치질 핸드 모션 패턴 및/또는 제2 양치질 핸드 모션 패턴에 대응되는 경우 양치질이 시작된 것을 식별(예: 양치질 핸드 모션을 감지)할 수 있다. 예를 들면, 제1 양치질 핸드 모션 패턴은 제1 방향(수평 방향)의 양치질 패턴(예: 치아를 좌우로 양치질하는 패턴)을 포함할 수 있다. 제2 양치질 핸드 모션 패턴은 제2 방향(수직 방향)의 양치질 패턴(또는 치아를 상하로 양치질하는 패턴)을 포함할 수 있다. 일 실시예에 따르면 제1 양치질 핸드 모션 패턴 및/또는 제2 양치질 핸드 모션 패턴은 머신 러닝 기법에 의해 미리 학습된(pre-training) 분류기 모델(classifier model)에 의해 획득될 수 있다.
일 실시예에 따른 프로세서(220)는 양치질 시작 식별(또는 양치질 핸드 모션 감지)에 응답하여 오디오 모듈(218)을 온하고(예: 오디오 센서를 온시키고) 오디오 모듈(218)로부터 오디오 신호를 획득할 수 있다. 일 실시예에 따른 프로세서(220)는 양치질 시작 식별 후, 모션 센서(212)로부터 모션 센싱 정보를 획득하면서 오디오 모듈(218)로부터 오디오 신호를 획득할 수 있다.
일 실시예에 따른 프로세서(220)는 양치질 시작 식별(예: 양치질 핸드 모션 감지) 후, 획득된 제1 모션 센싱 정보 및 제1 모션 센싱 정보에 대응된(예: 제1 모션 센싱 정보와 동시에 획득된) 제1 오디오 신호를 기반으로 제1 모션 센싱 정보 및 제1 오디오 신호에 대응된 양치질 핸드 모션을 식별할 수 있다. 예를 들면, 양치질 핸드 모션 유형은 제1 양치질 핸드 모션 및/또는 제2 양치질 핸드 모션을 포함할 수 있다. 제1 양치질 핸드 모션은 제1 방향(수평 방향)의 양치질(또는 치아를 좌우로 양치질)에 대응된 모션일 수 있다. 제2 양치질 핸드 모션은 제2 방향(수직 방향)의 양치질(또는 치아를 상하로 양치질)을 포함할 수 있다. 예를 들면, 양치질 핸드 모션 유형은 제3 양치질 핸드 모션으로서 원을 그리는 형태의 양치질(또는 치아에 원을 그리는 형태의 양치질)을 더 포함하거나, 상기 예들 외에 다른 방식의 양치질 핸드 모션을 더 포함할 수 있다.
일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되고, 제1 모션 센싱 정보에 대응된 제1 오디오 신호가 제1 양치질 핸드 모션 패턴과 연관된 제1 양치질 소리 패턴(예: 제1 오디오 신호 패턴)에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서는 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되고, 제1 오디오 신호가 제1 양치질 핸드 모션 패턴과 연관된 제1 양치질 소리 패턴(예: 제1 오디오 신호 패턴)에 대응되면 제1 모션 센싱 정보 및 제1 오디오 신호가 제1 양치질 핸드 모션에 대응되는 것으로 판단(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되나, 제1 오디오 신호가 제1 양치질 핸드 모션 패턴과 연관된 제1 양치질 소리 패턴(예: 제1 오디오 신호 패턴)에 대응되지 않는 경우 제1 모션 센싱 정보를 무시하거나, 제1 모션 센싱 정보 및 제1 오디오 신호가 제1 양치질 핸드 모션에 대응되지 않는 것으로 판단(확인 또는 식별)할 수 있다.
일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되는 경우, 제1 모션 센싱 정보에 대응된 제1 오디오 신호가 제2 양치질 핸드 모션 패턴과 연관된 제2 양치질 소리 패턴(예: 제2 오디오 신호 패턴)에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서는 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되고, 제1 오디오 신호가 제2 양치질 핸드 모션 패턴과 연관된 제2 양치질 소리 패턴(예: 제2 오디오 신호 패턴)에 대응되는 경우 제1 모션 센싱 정보 및 제1 오디오 신호가 제2 양치질 핸드 모션에 대응되는 것으로 판단(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되나, 제1 오디오 신호가 제2 양치질 핸드 모션 패턴과 연관된 제2 양치질 소리 패턴(예: 제2 오디오 신호 패턴)에 대응되지 않는 경우 제1 모션 센싱 정보를 무시하거나, 제2 양치질 핸드 모션이 발생하지 않은 것으로 판단(확인 또는 식별)할 수 있다.
일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보 및 제1 오디오 신호 이후에 획득되는 제2 모션 센싱 정보 및 제2 오디오 신호가 존재하는 경우 제1 모션 센싱 정보 및 제1 오디오 신호의 처리 방식과 유사한 방식으로 제2 모션 센싱 정보 및 제2 오디오 신호에 대응된 양치질 핸드 모션을 식별할 수 있다. 또한 제2 모션 센싱 정보 및 제2 오디오 신호 이후의 제3 모션 센싱 정보 및 제3 오디오 신호가 존재하는 경우 제3 모션 센싱 정보 및 제3 오디오 신호에 대응된 양치질 핸드 모션을 식별할 수 있다. 일 실시예에 따른 프로세서(220)는 모션 센싱 정보 및 오디오 신호가 지정된 시간 기간 동안 감지되지 않는 경우 양치질이 종료된 것으로 판단(확인 또는 식별)하고, 양치질 핸드 모션 식별 동작을 종료할 수 있다. 다른 실시예에 따르면, 프로세서(220)는 모션 센싱 정보 및 오디오 신호가 지속적으로 감지되더라도, 상기 모션 센싱 정보 및 오디오 신호가 사용자의 다른 행동 패턴(예: 사용자의 보행)과 연관되는 경우 양치질이 종료된 것으로 판단(확인 또는 식별)하고, 양치질 핸드 모션 식별 동작을 종료할 수 있다.
일 실시예에 따른 프로세서(220)는 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보를 획득 및 저장할 수 있다. 예를 들면, 프로세서(220)는 양치질 시작부터 양치질 종료까지의 양치질 시간, 양치질 시간 동안의 양치질 핸드 모션 패턴(예: 제1 양치질 핸드 모션-> 제2 양치질 핸드 모션-> 제1 양치질 핸드 모션 또는 제2 양치질 핸드 모션-> 제1 양치질 핸드 모션-> 제2 양치질 핸드 모션), 양치질 시간 동안의 제1 및/또는 제2 양치질 핸드 모션 횟수, 및/또는 미리 정해진 권장 양치질 기준에 기반한 양치질 스코어(score)를 저장할 수 있다. 이 외에 양치질과 연관된 다른 정보를 더 획득 및 저장할 수 있다.
일 실시예에 따른 프로세서(220)는 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보를 디스플레이(260)를 통해 표시할 수 있고, 양치질과 연관된 정보를 기반으로 양치질과 연관된 가이드(또는 알림)을 더 제공할 수 있다. 예를 들면, 양치질과 연관된 가이드(또는 알림)은 권장 양치질 시간의 미달(또는 초과)를 알리는 메시지, 권장 제1 양치질 모션 횟수 및/또는 권장 제2 양치질 모션 횟수의 미달(또는 초과)를 알리는 메시지, 및/또는 권장 양치질 기준의 미달(또는 초과)를 알리는 메시지를 포함할 수 있다. 일 실시예에 따른 프로세서(220)는 복수의 양치질이 수행된 경우 복수의 양치질 히스토리에 기반한 양치질 이력 정보를 제공할 수도 있다. 일 실시예에 따른 프로세서(220)는 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보, 양치질과 연관된 가이드(또는 알림) 및/또는 양치질 이력 정보를 통신 모듈(219)을 통해 외부의 전자 장치(102)에 전송할 수 있다. 예를 들면, 외부의 전자 장치(102)는 사용자의 전자 장치(201)과 연동되는 다른 전자 장치(예: 스마트폰 또는 타 웨어러블 전자 장치)이거나, 사용자의 가족의 다른 전자 장치이거나, 사용자와 연계된 치과 병원의 서버 장치일 수 있으며, 외부의 전자 장치(102)는 이 외에 다른 유형의 전자 장치일 수도 있다.
일 실시예에 따른 메모리(230)(예: 도 1의 메모리(130))는 전자 장치(201)의 적어도 하나의 구성요소(예: 프로세서(220) 또는 다른 구성요소)에 의해 사용되는 다양한 제어 데이터 또는 획득된 정보를 저장할 수 있다. 일 실시예에 따르면 메모리(230)는 전자 장치(201)의 프로세서(220)의 동작을 수행하기 위한 인스트럭션들을 저장할 수 있다. 다양한 실시예에 따르면 메모리(230)는 ROM(read only memory), RAM(random access memory), 또는 플래시 메모리와 같은 다양한 형태로 구현될 수 있으며, 구현 형태에는 제한이 없을 수 있다.
일 실시예에 따른 디스플레이(260)는 프로세서(220)의 제어에 기반하여 데이터 또는 화면을 표시할 수 있다. 예를 들면, 디스플레이(260)는 프로세서(220)의 제어에 기반하여 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보, 양치질과 연관된 가이드 또는 알림 및/또는 양치질 이력 정보 중 적어도 일부를 표시하는 화면을 표시할 수 있다.
일 실시예에 따른 전력 관리 모듈(288)은 배터리(289)와 연결될 수 있으며, 외부로부터 수신된 전력을 이용하여 배터리(289)를 충전할 수 있고, 배터리(289)로부터의 전력이 전자 장치(201)의 각 구성요소에서 이용될 수 있도록 제어할 수 있다.
일 실시예에 따른 웨어러블 전자 장치(예: 도 1의 전자 장치(101), 또는 도 2의 전자 장치(201))는 모션 센서(예: 도 1의 센서 모듈(176) 또는 도 2의 모션 센서(212)), 오디오 센서(예: 도 1의 입력 모듈(150), 또는 도 2의 오디오 모듈(218)), 디스플레이(예: 도 1의 디스플레이 모듈(160), 또는 도 2의 디스플레이(260)), 메모리(예: 도 1의 메모리(130) 또는 도 2의 메모리(230)), 및 상기 모션 센서, 상기 오디오 센서, 상기 메모리와 전기적으로 연결된 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(220))를 포함하고, 상기 프로세서는, 상기 모션 센서를 통해 모션 센싱 정보를 획득하고, 상기 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하고, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하고, 상기 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴을 식별하고, 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하도록 설정될 수 있다.
일 실시예에 따르면, 상기 양치질 핸드 모션 유형은 제1 양치질 핸드 모션 유형 및 제2 양치질 핸드 모션 유형을 포함하고, 상기 프로세서는, 상기 양치질 핸드 모션 유형이 상기 제1 양치질 핸드 모션 유형인 경우 상기 제1 양치질 핸드 모션 유형에 대응된 제1 오디오 신호 패턴을 식별하고, 상기 양치질 핸드 모션 유형이 상기 제2 양치질 핸드 모션 유형인 경우 상기 제2 양치질 핸드 모션 유형에 대응된 제2 오디오 신호 패턴을 식별하도록 설정될 수 있다.
일 실시예에 따르면, 상기 제1 양치질 핸드 모션 유형은 수평 방향의 양치질 핸드 모션 유형을 나타내고, 상기 제2 양치질 핸드 모션 유형은 수직 방향의 양치질 핸드 모션 유형을 나타낼할 수 있다.
일 실시예에 따르면, 상기 모션 센서는 가속도 센서, 자이로 센서, 지자기 센서를 포함하고, 상기 모션 센싱 정보는 상기 가속도 센서에 의해 센싱된 가속도 값, 상기 자이로 센서에 의해 센싱된 상기 전자 장치의 회전 방향 또는 회전각 값, 상기 지자기 센서에 의해 센싱된 지자기 방향 정보를 기반으로 획득된 핸드 자세 정보, 양치질 핸드 모션에 대한 주파수 특성 정보, 양치질 핸드 모션의 크기 및 방향 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 모션 센싱 정보를 기반으로 지정된 주기적인 움직임 패턴이 식별된 경우 양치질 시작을 식별하도록 설정될 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치는 터치 센서를 더 포함하고, 상기 프로세서는, 상기 양치질 시작이 식별되면 상기 터치 센서로부터 획득된 터치 센싱 정보를 기반으로 상기 모션 센서의 센싱 축을 보정하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 모션 센싱 정보 및/또는 상기 오디오 신호가 지정된 시간 동안 획득되지 않으면 양치질 종료를 식별하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 양치질 종료 식별에 기반하여, 상기 양치질 시작부터 상기 양치질 종료까지 양치질과 연관된 정보를 표시하도록 상기 디스플레이를 제어하도록 설정될 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치는 통신 모듈을 더 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해 상기 양치질과 연관된 정보를 외부 전자 장치로 전송하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는 머신 러닝 기반의 분류기 모델을 이용한 학습에 의해 미리 획득된 양치질 핸드 모션 유형 정보와 상기 모션 센싱 정보로부터 추출된 특징 정보를 비교하여 상기 양치질 핸드 모션 유형을 식별하도록 설정될 수 있다.
도 3a는 일 실시예에 따른 제1 웨어러블 전자 장치의 예를 나타낸 도면이고, 도 3b는 일 실시예에 따른 제2 웨어러블 전자 장치의 예를 나타낸 도면이다.
도 3a 및 도 3b를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(201)는 제1 웨어러블 전자 장치(301) 또는 제2 웨어러블 전자 장치(302)를 포함할 수 있다. 예를 들면, 제1 웨어러블 전자 장치(301)는 사용자의 손목에 착용되는 스마트 워치 형태일 수 있고, 제2 웨어러블 전자 장치(302)는 사용자의 손가락에 착용되는 링 형태일 수 있다. 이외에 웨어러블 전자 장치(201)는 사용자의 핸드 모션 감지가 용이한 위치(예: 손목 또는 손가락 이외 다른 신체 부위)에 착용되거나 삽입 또는 부착될 수 있는 다른 형태일 수도 있다. 예를 들면, 웨어러블 전자 장치(201)는 장갑형 전자 장치, 문신형 전자 장치, 또는 신체 삽입형 전자 장치일 수 있다. 일 실시예에 따르면 제1 웨어러블 전자 장치(301) 또는 제2 웨어러블 전자 장치(302)의 외형은 상기 도 3a 및 3b에 도시된 디자인(또는 외형)과 다른 디자인으로 구현될 수 있음은 자명하다.
도 4는 일 실시예에 따른 제2 웨어러블 전자 장치의 내부 구성 예를 나타낸 도면이다.
도 4를 참조하면, 일 실시예에 따른 제2 웨어러블 전자 장치(302)는 모션 센서(312), 생체 센서(314), 터치 센서(316), 오디오 모듈(318), 통신 모듈(319), 프로세서(320), 메모리(330), 전력 관리 모듈(388), 및 배터리(389)를 포함할 수 있다. 일 실시예에 따른 제2 웨어러블 전자 장치(302)는 적어도 하나의 FPCB(flexible printed circuit board)(410)을 포함할 수 있으며, 적어도 하나의 FPCB상에 모션 센서(312), 생체 센서(314), 터치 센서(316), 오디오 모듈(318), 통신 모듈(319), 프로세서(320), 메모리(330), 전력 관리 모듈(388), 및 배터리(389) 중 적어도 일부 또는 전부가 배치될 수 있다. 일 실시예에 따르면, 모션 센서(312), 생체 센서(314), 터치 센서(316), 오디오 모듈(318), 통신 모듈(319), 프로세서(320), 메모리(330), 전력 관리 모듈(388), 및 배터리(389)의 동작은 도 2의 전자 장치(201)의 모션 센서(212), 생체 센서(214), 터치 센서(216), 오디오 모듈(218), 통신 모듈(219), 프로세서(220), 메모리(230), 전력 관리 모듈(288), 및 배터리(289)와 동일한 동작을 수행할 수 있다. 일 실시예에 따른 제2 웨어러블 전자 장치(302) 내의 모션 센서(312), 생체 센서(314), 터치 센서(316), 오디오 모듈(318), 통신 모듈(319), 프로세서(320), 메모리(330), 전력 관리 모듈(388), 및 배터리(389)의 적어도 일부의 배치 위치는 실시예에 따라 변경될 수 있다.
도 5는 일 실시예에 따른 웨어러블 전자 장치에서 양치질 정보 제공 동작을 나타낸 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(201), 도 3a의 제1 웨어러블 전자 장치(301), 도 3b의 제2 웨어러블 전자 장치(302))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220), 또는 도 4의 프로세서(320), 이하 도 2의 프로세서(220)를 예를 들어 설명함)는 510 내지 580 동작 중 적어도 하나의 동작을 수행할 수 있다.
510 동작에서, 일 실시예에 따른 프로세서(220)는 모션 센서(212)로부터 획득되는 모션 센싱 정보를 기반으로 양치질 시작(또는 양치질 세션 시작)을 식별(또는 양치질 핸드 모션을 감지)할 수 있다. 일 실시예에 따른 모션 센서(212)는 항상 활성화된 상태이거나, 지정된 설정 정보에 의해 활성화되거나, 사용자 입력에 의해 활성화될 수 있으며, 활성화된 상태에서 모션 센싱 동작을 수행하여 모션 센싱 정보를 프로세서(220)에 제공할 수 있다. 예를 들면, 모션 센서(212)는 프로세서(220)에 의한 구동 신호(예: 클럭 신호)에 의해 웨이크 업(예: 저전력 상태로부터 활성화된 상태로 구동)될 수 있으며, 구동 또는 웨이크업 상태에서 모션 센싱(모니터링) 동작을 수행할 수 있다. 일 실시예에 따르면 모션 센싱 정보는 가속도 센서에 의해 센싱된 가속도 정보, 자이로 센서에 의해 센싱된 회전 방향 또는 회전각 정보, 지자기 센서에 의해 센싱된 지자기 센싱 정보를 포함할 수 있다. 예를 들면, 가속도 정보는 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임 시 가속도 센서에 의해 센싱된 가속도 값을 포함할 수 있다. 회전 방향 또는 회전각 정보는 전자 장치(201) 또는 전자 장치(201)를 착용한 사용자의 신체의 움직임 시 자이로 센서에 의해 센싱된 전자 장치(201)의 회전 방향 또는 회전각 값을 포함할 수 있다. 지자기 센싱 정보는 움직임 방향을 나타내는 지자기의 방향을 포함할 수 있다. 예를 들면, 프로세서(220)는 가속도 센서에 의해 센싱된 가속도 값, 자이로 센서에 의해 센싱된 전자 장치(201)의 회전 방향 또는 회전각 값, 지자기 센서에 의해 센싱된 지자기의 방향 정보를 통해 양치질 시의 핸드 자세, 핸드 모션에 대한 주파수 특성, 핸드 모션의 크기 및 방향 정보를 획득(또는 추출)할 수 있다. 일 실시예에 따른 프로세서(220)는 상기 획득된 양치질 시의 핸드 자세, 핸드 모션에 대한 주파수 특성, 핸드 모션의 크기 및 방향 정보를 기반으로 양치질 시작(또는 양치질 세션 시작)을 식별(또는 양치질 핸드 모션을 감지)할 수 있다.
예를 들면, 프로세서(220)는 미리 저장된 적어도 하나의 양치질 핸드 모션 정보(또는 적어도 하나의 양치질 핸드 모션 패턴)(예: 제1 양치질 핸드 모션 정보(또는 패턴) 및/또는 제2 양치질 핸드 모션 정보(또는 패턴))를 이용하여 상기 획득된 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되는지 및/또는 제2 양치질 핸드 모션 패턴에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서(220)는 상기 획득된 모션 센싱 정보가 제1 양치질 핸드 모션 패턴 및/또는 제2 양치질 핸드 모션 패턴에 대응되는 경우 양치질이 시작된 것을 식별(예: 양치질 핸드 모션을 감지)할 수 있다. 예를 들면, 제1 양치질 핸드 모션 패턴은 제1 방향(수평 방향)의 양치질 패턴(예: 치아를 좌우로 양치질하는 패턴)을 포함할 수 있다. 제2 양치질 핸드 모션 패턴은 제2 방향(수직 방향)의 양치질 패턴(또는 치아를 상하로 양치질하는 패턴)을 포함할 수 있다. 일 실시예에 따르면 제1 양치질 핸드 모션 패턴 및/또는 제2 양치질 핸드 모션 패턴은 머신 러닝 기법에 의해 미리 학습된(pre-training) 분류 모델(classifier model)에 의해 획득될 수 있다.
520 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 시작 식별(또는 양치질 핸드 모션 감지)에 응답하여 모션 센서(212)로부터 제1 모션 센싱 정보를 획득하고, 오디오 모듈(218)로부터 제1 모션 센싱 정보에 대응된 제1 오디오 신호를 획득할 수 있다. 일 실시예에 따르면, 프로세서(220)는 양치질 시작 식별(또는 양치질 핸드 모션 감지)에 응답하여 오디오 모듈(218)을 온 상태(예: 오디오 센서가 온 상태)가 되도록 제어할 수 있다.
530 동작에서, 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별할 수 있다. 예를 들면, 양치질 핸드 모션 유형은 제1 양치질 핸드 모션 및/또는 제2 양치질 핸드 모션을 포함할 수 있다. 제1 양치질 핸드 모션은 제1 방향(수평 방향)의 양치질(또는 치아를 좌우로 양치질)에 대응된 모션일 수 있다. 제2 양치질 핸드 모션은 제2 방향(수직 방향)의 양치질(또는 치아를 상하로 양치질)을 포함할 수 있다. 예를 들면, 양치질 핸드 모션 유형은 제3 양치질 핸드 모션으로서 원을 그리는 형태의 양치질(또는 치아에 원을 그리는 형태의 양치질)을 더 포함하거나, 상기 예들 외에 다른 방식의 양치질 핸드 모션을 더 포함할 수 있다.
예를 들면, 프로세서(220)는 미리 저장된 적어도 하나의 양치질 핸드 모션 정보(또는 적어도 하나의 양치질 핸드 모션 패턴)(예: 제1 양치질 핸드 모션 정보(또는 패턴) 및/또는 제2 양치질 핸드 모션 정보(또는 패턴))를 이용하여 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되는지 또는 제2 양치질 핸드 모션 패턴에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서(220)는 상기 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되는 경우 제1 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 제1 양치질 핸드 모션으로 결정(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 상기 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되는 경우 제1 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 제2 양치질 핸드 모션으로 결정(확인 또는 식별)할 수 있다.
540 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴 유형을 식별할 수 있다. 예를 들면, 제1 양치질 핸드 모션에 대응된 오디오 신호 패턴은 제1 오디오 신호 패턴을 포함할 수 있고, 제2 양치질 핸드 모션에 대응된 오디오 신호 패턴은 제2 오디오 신호 패턴을 포함할 수 있다. 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형이 제1 양치질 핸드 모션인 경우 제1 오디오 신호 패턴 유형을 식별할 수 있고, 양치질 핸드 모션 유형이 제2 양치질 핸드 모션인 경우 제2 오디오 신호 패턴 유형을 식별할 수 있다. 예를 들면, 제1 오디오 신호 패턴 유형 및/또는 제2 오디오 신호 패턴 유형은 머신 러닝 기법을 통해 오디오 신호 패턴 분석 모델을 학습시켜 모델링하고, 오디오 신호 패턴 분석 모델을 통해 획득된 유형일 수 있다.
550 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형과 오디오 신호 패턴 유형을 기반으로 제1 모션 센싱 정보 및 제1 오디오 신호에 대응된 양치질 핸드 모션을 식별할 수 있다.
예를 들면, 프로세서(220)는 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되고, 제1 모션 센싱 정보에 대응된 제1 오디오 신호가 제1 양치질 핸드 모션 패턴과 연관된 제1 오디오 신호 패턴에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서는 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되고, 제1 오디오 신호가 제1 양치질 핸드 모션 패턴과 연관된 제1 오디오 신호 패턴에 대응되면 제1 모션 센싱 정보 및 제1 오디오 신호가 제1 양치질 핸드 모션에 대응되는 것으로 판단(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되나, 제1 오디오 신호가 제1 오디오 신호 패턴에 대응되지 않는 경우 제1 모션 센싱 정보를 무시하거나, 제1 모션 센싱 정보 및 제1 오디오 신호가 제1 양치질 핸드 모션에 대응되지 않는 것으로 판단(확인 또는 식별)할 수 있다.
일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되는 경우, 제1 모션 센싱 정보에 대응된 제1 오디오 신호가 제2 양치질 핸드 모션 패턴과 연관된 제2 오디오 신호 패턴에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서는 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되고, 제1 오디오 신호가 제2 오디오 신호 패턴에 대응되는 경우 제1 모션 센싱 정보 및 제1 오디오 신호가 제2 양치질 핸드 모션에 대응되는 것으로 판단(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되나, 제1 오디오 신호가 제2 오디오 신호 패턴에 대응되지 않는 경우 제1 모션 센싱 정보를 무시하거나, 제2 양치질 핸드 모션이 발생하지 않은 것으로 판단(확인 또는 식별)할 수 있다.
560 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 종료를 판단(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보 및 제1 오디오 신호 이후 지정된 시간 기간 내에 모션 센싱 정보 및 오디오 신호가 획득되지 않으면, 또는 양치질과 관련한 오디오 신호가 획득되지 않고 사용자의 보행과 같은 이동 상황이 인식되면, 양치질이 종료된 것으로 판단(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 제1 모션 센싱 정보 및 제1 오디오 신호 이후 지정된 시간 기간 내에 다음 모션 센싱 정보 및 오디오 신호가 획득되면, 양치질이 종료되지 않은 것으로 판단(확인 또는 식별)할 수 있다.
570 동작에서, 일 실시예에 따른 프로세서(220)는 양치질이 종료되지 않은 경우 다음 모션 센싱 정보 및 오디오 신호에 대한 양치질 핸드 모션 식별 동작을 수행하고, 560 동작으로 되돌아갈 수 있다. 예를 들면, 프로세서(220)는 제1 모션 센싱 정보 및 제1 오디오 신호 이후(또는 다음)의 제2 모션 센싱 정보 및 제2 오디오 신호가 존재하는 경우 제1 모션 센싱 정보 및 제1 오디오 신호의 처리 방식과 유사한 방식(예: 520 내지 550 동작과 유사한 방식)으로 제2 모션 센싱 정보 및 제2 오디오 신호에 대응된 양치질 핸드 모션을 식별할 수 있다. 또한 프로세서(220)는 제2 모션 센싱 정보 및 제2 오디오 신호 이후(또는 다음)의 제3 모션 센싱 정보 및 제3 오디오 신호가 존재하는 경우 제3 모션 센싱 정보 및 제3 오디오 신호에 대응된 양치질 핸드 모션을 식별할 수 있다. 일 실시예에 따른 프로세서(220)는 모션 센싱 정보 및 오디오 신호가 지정된 시간 기간 동안 감지되지 않을 때까지의 모션 센싱 정보 및 양치질에 관련된 오디오 신호에 대해 양치질 핸드 모션을 식별할 수 있다.
580 동작에서, 일 실시예에 따른 프로세서(220)는 양치질이 종료된 경우 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보를 디스플레이(260)에 표시할 수 있다. 예를 들면, 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보는 양치질 시작부터 양치질 종료까지의 양치질 시간, 양치질 시간 동안의 양치질 핸드 모션 이력(예: 제1 양치질 핸드 모션-> 제2 양치질 핸드 모션-> 제1 양치질 핸드 모션 또는 제2 양치질 핸드 모션-> 제1 양치질 핸드 모션-> 제2 양치질 핸드 모션), 양치질 시간 동안의 제1 및/또는 제2 양치질 핸드 모션 횟수, 및/또는 미리 정해진 권장 양치질 기준에 기반한 양치질 스코어(score)를 포함할 수 있으며, 이 외에 양치질과 연관된 다른 정보를 더 표시할 수 있다. 일 실시예에 따른 프로세서(220)는 580 동작의 양치질 종료 전까지 510 내지 570 동작과 연관된 정보를 디스플레이(260)에 표시하거나 양치질 시작부터 양치질 종료 전까지 양치질과 연관된 정보 중 적어도 일부를 표시할 수도 있다. 일 실시예에 따른 프로세서(220)는 양치질과 연관된 정보를 기반으로 양치질과 연관된 가이드 또는 알림을 더 표시할 수 있다. 예를 들면, 양치질과 연관된 가이드 또는 알림은 권장 양치질 시간의 미달 또는 초과를 알리는 메시지, 권장 제1 및/또는 제2 양치질 모션 횟수의 미달 또는 초과를 알리는 메시지, 및/또는 권장 양치질 기준의 미달 또는 초과를 알리는 메시지를 포함할 수 있다. 일 실시예에 따른 프로세서(220)는 복수의 양치질이 수행된 경우 복수의 양치질 이력에 기반한 양치질 이력 정보를 표시할 수도 있다. 일 실시예에 따른 프로세서(220)는 양치질 시작부터 양치질 종료까지의 양치질과 연관된 정보, 양치질과 연관된 가이드 또는 알림 및/또는 양치질 이력 정보를 통신 모듈(219)을 통해 외부의 전자 장치(102)에 전송할 수 있다. 예를 들면, 외부의 전자 장치(102)는 사용자의 전자 장치(201)과 연동되는 다른 전자 장치(예: 스마트폰 또는 타 웨어러블 전자 장치)이거나, 사용자의 가족의 다른 전자 장치이거나, 사용자와 연계된 치과 병원의 서버 장치일 수 있으며, 외부의 전자 장치(102)는 이 외에 다른 유형의 전자 장치일 수도 있다.
다양한 실시예에 따르면, 웨어러블 전자 장치(예: 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(201), 도 3a의 제1 웨어러블 전자 장치(301), 도 3b의 제2 웨어러블 전자 장치(302))에서 양치질 정보 제공 방법은 상기 웨어러블 전자 장치의 모션 센서(예: 도 1의 센서 모듈(176) 또는 도 2의 모션 센서(212))를 통해 모션 센싱 정보를 획득하는 동작, 상기 웨어러블 전자 장치의 오디오 센서(예: 도 1의 입력 모듈(150), 또는 도 2의 오디오 모듈(218))를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하는 동작, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하는 동작, 상기 양치질 핸드 모션 유형에 대응하여 오디오 신호 패턴을 식별하는 동작, 및 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 양치질 핸드 모션 유형은 제1 양치질 핸드 모션 유형 및 제2 양치질 핸드 모션 유형을 포함하고, 상기 방법은 상기 양치질 핸드 모션 유형이 상기 제1 양치질 핸드 모션 유형인 경우 상기 제1 양치질 핸드 모션 유형에 대응된 제1 오디오 신호 패턴을 식별하는 동작, 및 상기 양치질 핸드 모션 유형이 상기 제2 양치질 핸드 모션 유형인 경우 상기 제2 양치질 핸드 모션 유형에 대응된 제2 오디오 신호 패턴을 식별하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 상기 제1 양치질 핸드 모션 유형은 수평 방향의 양치질 핸드 모션을 나타내고, 상기 제2 양치질 핸드 모션 유형은 수직 방향의 양치질 핸드 모션을 나타낼 수 있다.
일 실시예에 따르면, 상기 모션 센서는 가속도 센서, 자이로 센서, 지자기 센서를 포함하고, 상기 모션 센싱 정보는 상기 가속도 센서에 의해 센싱된 가속도 값, 상기 자이로 센서에 의해 센싱된 상기 전자 장치의 회전 방향 또는 회전각 값, 상기 지자기 센서에 의해 센싱된 지자기 방향 정보를 기반으로 획득된 핸드 자세 정보, 양치질 핸드 모션에 대한 주파수 특성 정보, 양치질 핸드 모션의 크기 및 방향 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 모션 센싱 정보를 기반으로 지정된 주기적인 움직임 패턴이 식별된 경우 양치질 시작을 식별하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 양치질 시작이 식별되면 상기 웨어러블 전자 장치의 터치 센서로부터 획득된 터치 센싱 정보를 기반으로 상기 모션 센서의 센싱 축을 보정하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 상기 모션 센싱 정보 및/또는 상기 오디오 신호가 지정된 시간 동안 획득되지 않으면 양치질 종료를 식별하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 양치질 종료 식별에 기반하여, 상기 양치질 시작부터 상기 양치질 종료까지 양치질과 연관된 정보를 상기 웨어러블 전자 장치의 디스플레이에 표시하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 웨어러블 전자 장치의 통신 모듈을 통해 상기 양치질과 연관된 정보를 외부 전자 장치로 전송하는 동작을 더 포함할 수 있다.
도 6은 일 실시예에 따른 양치질 시작부터 양치질 종료까지의 양치질 세션 예를 나타낸 도면이다.
도 6을 참조하면, 일 실시예에 따른 프로세서(220)는 양치질 시작 판단(예: 세션 시작 판단)부터 양치질 종료 판단(예: 세션 종료 판단)까지를 양치질 세션(610)으로 식별할 수 있으며, 양치질 시작부터 양치질 종료까지 모션 센싱 정보와 오디오 센싱 정보를 분석할 수 있다. 일 실시예에 따른 프로세서(220)는 양치질 세션 시작 식별 후, 제1 모션 센싱 정보 및 제1 오디오 신호(611)에 의한 양치질 핸드 모션, 제2 모션 센싱 정보 및 제2 오디오 신호(612)에 의한 양치질 핸드 모션, 제3 모션 센싱 정보 및 제3 오디오 신호(613)에 의한 양치질 핸드 모션, 제4 모션 센싱 정보 및 제4 오디오 신호(614)에 의한 양치질 핸드 모션, 및 제5 모션 센싱 정보 및 제5 오디오 신호(615)에 의한 양치질 핸드 모션을 각각 식별할 수 있다. 일 실시예에 따르면, 프로세서(220)는 제1 모션 센싱 정보를 통해 제1 양치질 핸드 모션 유형(예: 수평 모션)을 식별하고, 제1 양치질 핸드 모션 유형에 대응된 제1 오디오 신호 패턴 유형을 식별하고, 제1 모션 센싱 정보 및 제1 오디오 신호(611)가 제1 양치질 핸드 모션 유형과 제1 오디오 신호 패턴 유형에 대응되는 경우 제1 모션 센싱 정보 및 제1 오디오 신호(611)가 제1 양치질 핸드 모션에 대응됨을 판단할 수 있다. 일 실시예에 따르면, 프로세서(220)는 제2 모션 센싱 정보를 통해 제2 양치질 핸드 모션 유형(예: 수직 모션)을 식별하고, 제2 양치질 핸드 모션 유형에 대응된 제2 오디오 신호 패턴 유형을 식별하고, 제2 모션 센싱 정보 및 제2 오디오 신호(612)가 제2 양치질 핸드 모션 유형과 제2 오디오 신호 패턴 유형에 대응되는 경우 제2 모션 센싱 정보 및 제2 오디오 신호(612)가 제2 양치질 핸드 모션에 대응됨을 판단할 수 있다. 일 실시예에 따르면, 프로세서(220)는 사용자의 양치질에 기반한 모션 센싱 정보 및 오디오 신호 패턴을 학습할 수 있다. 예를 들면, 프로세서(220)는 사용자가 수평 방향으로 양치질하는 경우의 모션 센싱 정보 및 오디오 신호 패턴, 사용자가 수직 방향으로 양치질하는 경우의 모션 센싱 정보 및 오디오 신호 패턴을 학습할 수 있고, 학습에 기반하여 제1 양치질 핸드 모션 유형과 제1 오디오 신호 패턴 유형 및 제2 양치질 핸드 모션 유형과 제2 오디오 신호 패턴 유형을 획득 및 저장 후 이용할 수 있다. 일 실시예에 따르면, 프로세서(220)는 치아의 각 부분별(예: 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분)로 수직 방향으로 양치질하는 경우와 수평 방향으로 양치질하는 경우 각각의 모션 센싱 정보 및 오디오 신호 패턴을 학습할 수도 있다. 예를 들면, 프로세서(220)는 윗니를 수직 방향으로 양치질하는 경우, 아랫니를 수직 방향으로 양치질하는 경우, 어금니를 수직 방향으로 양치질하는 경우, 앞니를 수직 방향으로 양치질하는 경우, 또는 다른 부분을 수직 방향으로 양치질하는 경우 각각에 대한 모션 센싱 정보 및 오디오 신호 패턴을 학습하고, 학습에 기반하여 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분 각각에 대응된 제1 양치질 핸드 모션 유형과 제1 오디오 신호 패턴 유형을 획득(또는 저장)하여 이용할 수 있다. 예를 들면, 프로세서(220)는 윗니를 수평 방향으로 양치질하는 경우, 아랫니를 수평 방향으로 양치질하는 경우, 어금니를 수평 방향으로 양치질하는 경우, 앞니를 수평 방향으로 양치질하는 경우, 또는 다른 부분을 수평 방향으로 양치질하는 경우 각각에 대한 모션 센싱 정보 및 오디오 신호 패턴을 학습하고, 학습에 기반하여 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분 각각에 대응된 제2 양치질 핸드 모션 유형과 제2 오디오 신호 패턴 유형을 획득(또는 저장)하여 이용할 수 있다.
일 실시예에 따르면, 프로세서(220)는 사용자의 현재 양치질 동작(또는 모션)에 대응되는 양치질 핸드 모션 유형과 오디오 신호 패턴 유형을 식별하고, 식별된 양치질 핸드 모션 유형과 오디오 신호 패턴 유형에 따라 사용자의 양치질 동작과 연관된 정보(또는 사용자가 치아의 어느 부분(예: 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분)을 얼만큼 양치질했는지를 나타내는 정보)를 획득할 수 있다.
일 실시예에 따르면, 프로세서(220)는 사용자가 치아의 어느 부분(예: 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분)을 얼만큼 양치질했는지를 나타내는 정보를 포함하는 사용자 인터페이스(user interface)(예: 화면)을 디스플레이(260)에 표시할 수 있다. 일 실시예에 따르면, 프로세서(220)는 사용자가 치아의 어느 부분(예: 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분)을 얼만큼 양치질했는지를 나타내는 정보를 통신 모듈(219)을 통해 외부 전자 장치(서버 또는 기 등록된 다른 사용자의 전자 장치)로 전송할 수도 있다. 예를 들면, 전자 장치(201)의 사용자가 아동인 경우, 사용자가 치아의 어느 부분(예: 윗니, 아랫니, 어금니, 앞니, 또는 다른 부분)을 얼만큼 양치질했는지를 나타내는 정보를 사용자의 보호자(예: 부모)의 전자 장치에 전송할 수 있다.
일 실시예에 따른 프로세서(220)는 제5 모션 센싱 정보 및 제5 오디오 신호(615) 이후 일정 기간 동안 모션 센싱 정보 및 오디오 신호가 획득되지 않으면, 양치질이 종료된 것으로 결정할 수 있다. 일 실시예에서, 모션 센싱 정보 및 오디오 신호가 지속적으로 감지되는 경우에도, 모션 센싱 정보 및 오디오 신호가 양치질이 아닌 사용자의 다른 행동 패턴(예: 사용자의 보행)과 연관되는 경우 양치질이 종료된 것으로 판단할 수 있다. 일 실시예에 따른 프로세서(220)는 양치질이 종료된 것으로 판단된 경우 양치질과 연관된 정보를 출력할 수 있다.
도 7은 일 실시예에 따른 웨어러블 전자 장치에서 양치질 핸드 모션 유형 식별 동작을 나타낸 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(201), 도 3a의 제1 웨어러블 전자 장치(301), 도 3b의 제2 웨어러블 전자 장치(302))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220), 또는 도 4의 프로세서(320), 이하 도 2의 프로세서(220)를 예를 들어 설명함)는 710 내지 750 동작 중 적어도 하나의 동작을 수행할 수 있다.
710 동작에서, 일 실시예에 따른 프로세서(220)는 모션 센서(212)로부터 모션 센싱 정보와 터치 센서(216)로부터 터치 센싱 정보를 획득할 수 있다.
720 동작에서, 일 실시예에 따른 프로세서(220)는 모션 센서(212)로부터 모션 센싱 정보를 기반으로 지정된 주기적인 움직임 패턴 발생을 식별할 수 있다. 예를 들면, 지정된 주기적인 움직임 패턴은 양치질 시 이전 움직임 패턴들을 학습하여 획득된 패턴일 수 있다. 예를 들면, 일 실시예에 따른 프로세서(220)는 지정된 주기적인 움직임 패턴 발생 시 양치질이 시작된 것으로 식별할 수 있다.
730 동작에서, 일 실시예에 따른 프로세서(220)는 터치 센서(216)로부터의 터치 센싱 정보를 기반으로 모션 센서(212)의 센싱 축을 보정할 수 있다. 예를 들면, 일 실시예에 따른 프로세서(220)는 모션 센서(212)에 포함된 가속도 센서, 자이로 센서 및/또는 지자기 센서 중 적어도 하나의 센서의 센싱 축을 보정할 수 있다. 예를 들면, 전자 장치(201)가 링 형태의 제2 웨어러블 디바이스(302)인 경우 손가락에 착용하였을 때 제2 웨어러블 디바이스(302)가 손가락을 축으로 회전 가능성이 높을 수 있으며, 제2 웨어러블 디바이스(302)의 자세의 변경이 빈번하여 제2 웨어러블 디바이스(302)의 자세를 정확하게 식별하기 어려울 수 있다. 따라서 링 형태의 제2 웨어러블 디바이스(302)의 경우 계산하기 힘들기 때문에, 터치 센서(216)를 통해 모션 센서(212)의 센싱 축을 보정할 수 있다.
예를 들면, 전자 장치(201)가 링 형태의 제2 웨어러블 디바이스(302)인 경우 손가락에 착용되었을 때 제2 웨어러블 디바이스(302)의 착용 상태 및 착용 위치를 검출하고 이를 기반으로 모션 센서(212)의 센싱 축을 보정할 수 있다. 예를 들면, 프로세서(220)는 터치 센서를 통해 센싱된 터치 센싱 정보를 기반으로 제2 웨어러블 디바이스(302)가 손가락에 착용되었을 때, 미리 설정된 착용 기준점에 대해 얼만큼 회전된 상태인지를 식별하고, 회전된 상태를 기반으로 회전 매트릭스(Rotation Matrix)를 구성하여 모션 센서(212)의 각 축을 회전하여 보정함으로써 축 정보를 보정할 수 있다.
740 동작에서, 일 실시예에 따른 프로세서(220)는 모션 센싱 정보로부터 양치질 핸드 모션과 연관된 특징 정보를 추출할 수 있다. 예를 들면, 프로세서(220)는 가속도 센서에 의해 센싱된 가속도 값, 자이로 센서에 의해 센싱된 전자 장치(201)의 회전 방향 또는 회전각 값, 지자기 센서에 의해 센싱된 지자기의 방향 정보를 통해 핸드 자세, 핸드 모션에 대한 주파수 특성, 핸드 모션의 크기 및 방향 정보를 획득(또는 추출)할 수 있다. 예를 들면, 양치질과 연관된 핸드 자세는 손등이 몸체를 기준으로 위쪽(하늘 방향)을 향하거나 몸체를 기준으로 좌측 또는 우측을 향하는 자세일 수 있다. 예를 들면, 양치질과 연관된 핸드 모션의 크기는 양치질의 속도에 따라 상이할 수 있으나 지정된 크기 이하일 수 있다. 예를 들면, 양치질과 연관된 핸드 모션의 방향은 치아의 형태에 따라 몸체를 기준으로 수평방향(또는 전후 방향 또는 좌우 방향)이거나 몸체를 기준으로 수직 방향(또는 위 아래 방향)일 수 있다. 예를 들면, 양치질과 연관된 핸드 모션의 방향은 수평 방향과 수직방향을 포함하면서 원을 그리는 경우의 방향 정보를 포함할 수 있다. 예를 들면, 양치질과 연관된 핸드 모션에 대한 주파수 특성은 지정된 주파수 성분(예: 10Hz이상의 주파수 성분)을 포함할 수 있다. 지정된 주파수 성분은 양치질 시 잇몸 및 구강의 위쪽 또는 아랫쪽에 칫솔이 닿으면서 발생되는 고주파 신호 성분일 수 있다.
750 동작에서, 일 실시예에 따른 프로세서(220)는 머신 러닝 기반의 분류기(classifier)를 이용하여 양치질 핸드 모션과 연관된 특징 정보에 대응된 양치질 핸드 모션 유형을 식별할 수 있다. 예를 들면, 프로세서(220)는 머신 러닝 기반의 분류기(classifier)를 이용하여 미리 획득된 적어도 하나의 양치질 핸드 모션 정보(또는 적어도 하나의 양치질 핸드 모션 패턴)(예: 제1 양치질 핸드 모션 정보(또는 패턴) 및/또는 제2 양치질 핸드 모션 정보(또는 패턴))와 양치질 핸드 모션과 연관된 특징 정보를 비교하고, 양치질 핸드 모션과 연관된 특징 정보가 제1 양치질 핸드 모션 패턴에 대응되는지 또는 제2 양치질 핸드 모션 패턴에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서(220)는 상기 제1 모션 센싱 정보가 제1 양치질 핸드 모션 패턴에 대응되는 경우 제1 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 제1 양치질 핸드 모션으로 결정(확인 또는 식별)할 수 있다. 일 실시예에 따른 프로세서(220)는 상기 제1 모션 센싱 정보가 제2 양치질 핸드 모션 패턴에 대응되는 경우 제1 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 제2 양치질 핸드 모션으로 결정(확인 또는 식별)할 수 있다.
도 8a는 일 실시예에 따른 수평 방향 양치질 시 제1 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이고, 도 8b는 일 실시예에 따른 수평 방향 양치질 시 제1 가속도 센서 데이터에 대한 FFT(fast fourier transform) 변환 그래프를 나타낸 도면이다.
도 8a를 참조하면, 일 실시예에 따른 수평 방향 양치질 시 프로세서(220)는 제1 가속도 센서 데이터 그래프(810)를 획득할 수 있다. 제1 가속도 센서 데이터 그래프(810)에서 가로축은 시간(ms)일 수 있고, 세로축은 가속도 센서값(m/s2)일 수 있다. 일 실시예에 따르면 수평 방향 양치질 시 제1 가속도 센서 데이터 그래프(810)는 z축 가속도 센서 데이터 곡선(811), y축 가속도 센서 데이터 곡선(812), x축 가속도 센서 데이터 곡선(813)을 포함할 수 있다.
도 8b를 참조하면, 일 실시예에 따른 프로세서(220)는 제1 가속도 센서 데이터 그래프(810)에 대해 FFT(fast fourier transform)을 통한 주파수 분석을 수행하여 제1 FFT 그래프(820)를 획득할 수 있다. 제1 FFT 그래프(820)에서 가로축은 주파수(Hz)일 수 있고, 세로축은 FFT값일 수 있다. 제1 FFT 그래프(820)에 따르면, 수평 방향으로 양치질 시 제1 주파수(예: 약 6Hz)이하의 저주파 성분이 주로 포함될 수 있다.
도 9a는 일 실시예에 따른 수직 방향 양치질 시 제2 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이고, 도 9b는 일 실시예에 따른 수직 방향 양치질 시 제2 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 9a를 참조하면, 일 실시예에 따른 수직 방향 양치질 시 프로세서(220)는 제2 가속도 센서 데이터 그래프(910)를 획득할 수 있다. 제2 가속도 센서 그래프(910)에서 가로축은 시간(ms)일 수 있고, 세로축은 가속도 센서값(m/s2)일 수 있다. 일 실시예에 따르면 수직 방향 양치질 시 제2 가속도 센서 데이터 그래프(910)는 z축 가속도 센서 데이터 곡선(911), y축 가속도 센서 데이터 곡선(912), x축 가속도 센서 데이터 곡선(913)을 포함할 수 있다.
도 9b를 참조하면, 일 실시예에 따른 프로세서(220)는 제2 가속도 센서 데이터 그래프(910)에 대해 FFT(fast fourier transform)을 통한 주파수 분석을 수행하여 제2 FFT 그래프(920)를 획득할 수 있다. 제2 FFT 그래프(920)에서 가로축은 주파수(Hz)일 수 있고, 세로축은 FFT값일 수 있다. 제2 FFT 그래프(920)에 따르면, 수직 방향으로 양치질 시 제2 주파수(예: 약 10Hz)이상의 고주파 성분이 일부분 포함될 수 있다. 예를 들면 고주파 성분은 양치질 시 잇몸 및 구강의 위쪽 또는 아래쪽에 칫솔이 닿으면서 발생되는 주파수 성분일 수 있다.
도 10a는 일 실시예에 따른 머리 말리기 시 제3 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이고, 도 10b는 일 실시예에 따른 머리 말리기 시 제3 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 10a를 참조하면, 일 실시예에 따른 머리 말리기 시 프로세서(220)는 제3 가속도 센서 데이터 그래프(1010)를 획득할 수 있다. 제3 가속도 센서 그래프(1010)에서 가로축은 시간(ms)일 수 있고, 세로축은 가속도 센서값(m/s2)일 수 있다. 일 실시예에 따르면 머리 말리기 시 제3 가속도 센서 데이터 그래프(1010)는 z축 가속도 센서 데이터 곡선(1011), y축 가속도 센서 데이터 곡선(1012), x축 가속도 센서 데이터 곡선(1013)을 포함할 수 있다.
도 10b를 참조하면, 일 실시예에 따른 프로세서(220)는 제3 가속도 센서 데이터 그래프(1010)에 대해 FFT(fast fourier transform)을 통한 주파수 분석을 수행하여 제3 FFT 그래프(1020)를 획득할 수 있다. 제3 FFT 그래프(1020)에서 가로축은 주파수(Hz)일 수 있고, 세로축은 FFT값일 수 있다. 제3 FFT 그래프(1020)에 따르면, 주파수 성분은 수평 방향으로 양치질을 수행한 것과 비슷하게 8Hz 이하의 저주파 대역에서 주로 나타나고 있으나, 핸드 모션에 의한 움직임의 크기가 양치질 시보다 상대적으로 크게 나타나기 때문에, 프로세서(220)가 머리기 말리기 모션을 양치질 핸드 모션으로 식별하지 않을 수 있다.
도 11a는 일 실시예에 따른 손씻기 시 제4 가속도 센서 데이터 그래프의 일 예를 나타낸 도면이고, 도 11b는 일 실시예에 따른 손씻기 시 제4 가속도 센서 데이터에 대한 FFT 변환 그래프를 나타낸 도면이다.
도 11a를 참조하면, 일 실시예에 따른 손씻기 시 프로세서(220)는 제4 가속도 센서 데이터 그래프(1110)를 획득할 수 있다. 제4 가속도 센서 그래프(1110)에서 가로축은 시간(ms)일 수 있고, 세로축은 가속도 센서값(m/s2)일 수 있다. 일 실시예에 따르면 손씻기 시 제4 가속도 센서 데이터 그래프(1110)는 z축 가속도 센서 데이터 곡선(1111), x축 가속도 센서 데이터 곡선(1112), y축 가속도 센서 데이터 곡선(1113)을 포함할 수 있다.
도 11b를 참조하면, 일 실시예에 따른 프로세서(220)는 제4 가속도 센서 데이터 그래프(1110)에 대해 FFT(fast fourier transform)을 통한 주파수 분석을 수행하여 제4 FFT 그래프(1120)를 획득할 수 있다. 제4 FFT 그래프(1120)에서 가로축은 주파수(Hz)일 수 있고, 세로축은 FFT값일 수 있다. 제4 FFT 그래프(1120)에 따르면, 주파수 성분은 수평 방향으로 양치질을 수행한 것과 비슷하게 8Hz 이하의 저주파 대역에서 주로 나타나고 있고, 핸드 모션에 의한 움직임의 크기도 양치질 시와 크게 차이가 나지 않을 수 있으며, 프로세서(220)는 이러한 경우 핸드 자세 정보 또는 핸드 모션 방향 정보를 고려하여 손씻기 시의 모션을 양치질 핸드 모션으로 식별하지 않을 수 있다.
도 12는 일 실시예에 따른 머신 러닝 기반의 분류기 모델을 설명하기 위한 도면이다.
도 12를 참조하면, 일 실시예에 따른 머신 러닝 기반의 분류기 모델(1201)은 프로세서(220)에서 실행되는 소프트웨어 모듈이거나 적어도 하나의 전기적 회로를 포함하는 하드웨어 모듈일 수 있다. 예를 들면, 머신 러닝 기반의 분류기 모델(1201)은 센서 신호 전처리부(sensor signal pre-processing)(1210), 특징 추출부(feature extraction)(1220), 양치질 핸드 모션 패턴 학습부(1230), 분류기 모델링부(1240), 및 분류기 모델(1250) 중 적어도 일부 또는 전부를 포함할 수 있다. 일 실시예에 따르면 센서 신호 전처리부(sensor signal pre-processing)(1210), 특징 추출부(feature extraction)(1220), 양치질 핸드 모션 패턴 학습부(1230), 분류기 모델링부(1240), 및 분류기 모델(1250)은 각각 프로세서(220)에 의해 실행되는 소프트웨어 프로그램이거나 적어도 하나의 전기적 회로를 포함하는 하드웨어 모듈일 수 있다.
일 실시예에 따른 센서 신호 전처리부(1210)는 모션 센서(212)에 의해 획득된 센서 신호에 대한 전처리를 수행하여 센서 데이터를 획득할 수 있다. 예를 들면, 센서 신호 전처리부(1210)는 모션 센서(212)를 통해 감지된 센서 신호로부터 가속도 및 자이로 센서 데이터를 획득하고, 센서 축을 보정하고, 노이즈 제거를 위한 필터링을 수행할 수 있다.
일 실시예에 따른 특징 추출부(1220)는 가속도 및 자이로 센서 데이터로부터 특징 정보를 추출할 수 있다. 예를 들면, 가속도 및 자이로 센서 데이터로부터 핸드 자세 정보, 양치질 핸드 모션에 대한 주파수 특성 정보, 양치질 핸드 모션의 움직임에 대한 크기 및 방향 정보를 획득할 수 있다.
일 실시예에 따른 양치질 핸드 모션 패턴 학습부(1230)는 추출된 특징 정보를 기반으로 머신 러닝 기법을 통해 양치질 핸드 모션 패턴을 학습할 수 있다.
일 실시예에 따른 분류기 모델링부(1240)는 양치질 핸드 모션 학습 결과를 기반으로 양치질 핸드 모션을 유형별로 분류하는 분류기를 모델링하고, 분류기 모델링 정보를 제공할 수 있다.
일 실시예에 따른 분류기 모델(1250)은 특징 추출부(1220)로부터 추출된 특징 정보와 분류기 모델링부(1240)로부터 제공받은 분류기 모델링 정보를 기반으로 상기 추출된 특징 정보에 대응된 양치질 핸드 모션 유형을 식별할 수 있다. 예를 들면, 분류기 모델링부(1240)는 추출된 특징 정보가 제1 양치질 모션 패턴에 대응되는지 제2 양치질 모션 패턴에 대응되는지 식별하거나, 상기 추출된 특징 정보가 양치질 모션 패턴이 아닌 다른 핸드 모션 패턴에 대응되는지 식별할 수 있다. 예를 들면, 다른 핸드 모션 패턴은 달리기 모션, 머리 말리기 모션, 또는 손씻기 모션을 포함할 수 있다. 예를 들면, 분류기 모델링부(1240)는 추출된 특징 정보가 제1 양치질 모션 패턴 또는 제2 양치질 모션 패턴을 포함하는 경우 양치질 모션이 감지된 것으로 판단할 수 있다.
일 실시예에 따르면. 특징 추출부(feature extraction)(1220) 및 양치질 핸드 모션 패턴 학습부(1230)의 동작은 Pre-training 동작(training phase)으로서 전자 장치(201)의 프로세서(220)가 아닌 외부의 전자 장치 또는 외부의 서버에서 수행될 수 있다. 특징 추출부(feature extraction)(1220) 및 양치질 핸드 모션 패턴 학습부(1230)의 동작이 다른 장치에서 수행되는 경우 미리 학습된 학습 결과가 전자 장치(201)에 제공되고 전자 장치(201)는 미리 학습된 학습 결과와 분류기 모델(1250)을 이용한 인식 동작(recognition phase)을 수행할 수 있다.
도 13은 일 실시예에 따른 웨어러블 전자 장치에서 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴 유형을 이용한 양치질 소리 식별 동작을 나타낸 흐름도이다.
도 13을 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(201), 도 3a의 제1 웨어러블 전자 장치(301), 도 3b의 제2 웨어러블 전자 장치(302))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220), 또는 도 4의 프로세서(320), 이하 도 2의 프로세서(220)를 예를 들어 설명함)는 1310 내지 1340 동작 중 적어도 하나의 동작을 수행할 수 있다.
1310 동작에서, 일 실시예에 따른 프로세서(220)는 모션 센싱 정보를 기반으로 식별된 양치질 핸드 모션 유형에 대응된 오디오 신호 구간을 식별할 수 있다. 예를 들면, 프로세서(220)는 전체 오디오 신호 구간 중 식별된 양치질 핸드 모션 유형(예: 제1 양치질 핸드 모션 유형 또는 제2 양치질 핸드 모션 유형)을 기반하여 각 양치질 핸드 모션 유형에 대응된 오디오 신호 구간(예: 제1 오디오 신호 구간 또는 제2 오디오 신호 구간)을 구분(예: 세그멘테이션(segmentation))하여 식별할 수 있다.
1320 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 볼륨이 지정된 임계 볼륨 이상인지 확인할 수 있다. 예를 들면, 임계 볼륨은 양치질 소리 인식이 가능한 범위에서 다양한 값으로 지정될 수 있다. 예를 들면, 사용자가 양치질 중에 입을 닫고 양치질을 하는 경우 양치질 소리의 볼륨이 현저히 낮아 양치질 소리 인식이 불가능할 수 있기 때문에 양치질 소리 인식이 가능한 범위의 임계 볼륨 설정이 필요할 수 있다. 일 실시예에 따른 프로세서(220)는 오디오 신호 구간의 볼륨이 지정된 볼륨 이상이 아니면, 오디오 신호 구간에 대한 처리를 종료할 수 있다. 일 실시예에 따른 프로세서(220)는 오디오 신호 구간의 볼륨이 지정된 볼륨 이상이면 1330 동작으로 진행할 수 있다.
1330 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 주파수 성분의 특징 정보를 추출할 수 있다. 예를 들면, 프로세서(220)는 시간 도메인(time domain)의 오디오 신호를 FFT(fast fourier transform)를 통해 주파수 도메인(frequency domain)의 오디오 신호로 변환하고, 주파수 도메인의 오디오 신호로부터 주파수 성분의 특징 정보(예: 단측 진폭 스펙트럼 (single-sided amplitude spectrum)에 대한 국소 최대값(Local Maxima))를 추출할 수 있다.
1340 동작에서, 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 주파수 성분의 특징 정보를 기반으로 오디오 신호 구간의 오디오 신호가 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴에 대응되는지 식별할 수 있다. 예를 들면, 프로세서(220)는 제1 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 주파수 성분이 제1 양치질 핸드 모션 유형에 대응된 제1 오디오 신호 패턴에 대응되는지 식별하거나, 제2 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 주파수 성분이 제2 양치질 핸드 모션 유형에 대응된 제2 오디오 신호 패턴에 대응되는지 식별할 수 있다. 예를 들면, 프로세서(220)는 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 주파수 성분의 특징 정보를 미리 학습시키고, 학습 결과에 기반한 오디오 신호 패턴 분석 모델을 획득할 수 있다. 일 실시예에 따른 프로세서(220)는 오디오 신호 패턴 분석 모델을 통해 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 오디오 신호가 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴에 대응되는지 식별할 수 있다. 일 실시예에 따른 프로세서(220)는 양치질 핸드 모션 유형에 대응된 오디오 신호 구간의 오디오 신호가 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴에 대응되는 경우 그 오디오 신호를 양치질 핸드 모션 유형에 대응된 양치질 소리로 결정(확인 또는 식별)할 수 있다.
도 14a는 일 실시예에 따른 수평 방향 양치질 시 획득된 오디오 신호 그래프의 일 예를 나타낸 도면이고, 도 14b는 일 실시예에 따른 수직 방향 양치질 시 획득된 오디오 신호 그래프의 일 예를 나타낸 도면이고, 도 14c는 일 실시예에 따른 손씻기 시 획득된 오디오 신호 그래프의 일 예를 나타낸 도면이다.
도 14a를 참조하면, 일 실시예에 따른 수평 방향 양치질 시 프로세서(220)는 제1 오디오 신호 그래프(1410)를 획득할 수 있다. 제1 오디오 신호 그래프(1410)에서 가로축은 시간(ms)일 수 있고, 세로축은 오디오 신호 세기(amplitude)일 수 있다. 일 실시예에 따르면 수평 방향 양치질 시 칫솔과 치아 간 마찰이 일어나는 시간동안 소리가 날 수 있으며, 칫솔과 치아 간 마찰이 일어나는 시간이 수직 방향 양치질 시보다 길어 긴 시간 간격(예: 제1 시간 간격)으로 오디오 신호가 발생할 수 있다.
도 14b를 참조하면, 일 실시예에 따른 수직 방향 양치질 시 프로세서(220)는 제2 오디오 신호 그래프(1420)를 획득할 수 있다. 제2 오디오 신호 그래프(1420)에서 가로축은 시간(ms)일 수 있고, 세로축은 오디오 신호 세기(amplitude)일 수 있다. 일 실시예에 따르면 수직 방향 양치질 시 칫솔이 잇몸에 걸리거나 구강의 위쪽 또는 아래쪽에 닿으면서 소리가 날 수 있으며, 수평 방향의 양치질보다 칫솔과 치아 간 마찰이 일어나는 시간이 짧아 짧은 시간 간격(예: 제2 시간 간격)으로 오디오 신호가 발생할 수 있다.
도 14c를 참조하면, 일 실시예에 따른 양치질이 아닌 다른 모션 시(예: 손씻기) 프로세서(220)는 제3 오디오 신호 그래프(1430)를 획득할 수 있다. 제3 오디오 신호 그래프(1430)에서 가로축은 시간(ms)일 수 있고, 세로축은 오디오 신호 세기(amplitude)일 수 있다. 일 실시예에 따르면 손씻기 시 손을 씻는 모션과는 상관없이 물소리에 대한 오디오 신호가 입력되어 수평 방향 양치질 또는 수직 방향 양치질과 매우 다른 패턴의 오디오 신호가 발생할 수 있다.
일 실시예에 따르면 전자 장치(201)의 프로세서(220)는 상기한 바와 같은 다양한 핸드 모션에 따른 다양한 오디오 신호 패턴을 학습하여 양치질 핸드 모션의 유형에 따른 오디오 신호 패턴을 미리 획득할 수 있다. 또는 전자 장치(201)는 통신을 통해 외부의 전자 장치(또는 서버)로부터 기 학습된 양치질 핸드 모션의 유형에 따른 오디오 신호 패턴 정보를 획득하여 메모리(230)에 저장하거나, 제조 시 기 학습된 양치질 핸드 모션의 유형에 따른 오디오 신호 패턴 정보가 메모리(230)에 탑재(또는 저장)되도록 구현될 수도 있다.
일 실시예에 따르면 양치질 모션의 유형에 따른 오디오 신호 패턴 획득 시 다양한 모델링 방식이 이용될 수 있다. 예를 들면, 프로세서(220)는 GMM-HMM(gaussian mixture model - hidden markov model) 혼합 모델을 이용하여 양치질 핸드 모션 유형에 따른 오디오 신호 패턴을 획득할 수 있다.
도 15a는 일 실시예에 따른 수평 방향과 수직 방향의 모션이 혼합된 양치질 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이고, 도 15b는 일 실시예에 따른 손씻기 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이다.
도 15a 및 도 15b를 참조하면, 가로축은 제1 주파수 성분(F1)을 나타낼 수 있고 세로축은 제2 주파수 성분(F2)를 나타낼 수 있다. '+'로 표시된 특징 분포를 보면, 도 15a와 같은 수평 방향과 수직 방향의 모션을 혼합하여 양치질 시의 특징 분포(+)가 도 15b와 같은 손 씻기 시의 특징 분포(+)와 다소 유사하게 나타날 수 있다. 도 15a 및 도 15b에서 6개의 GMM 모델에 대한 학습 결과들(1510 및 1520)도 각각 서로 유사하게 나타날 수 있다. 이는 곧 오디오 신호에서 관측되는 특징 또는 상태가 비슷하다고 볼 수 있으며, 이러한 비슷한 정보를 가지고 HMM을 통해 시계열 패턴을 분석하다 보면 결국 양치질과 손 씻기 소리를 구분하는 데에 오인식이 발생할 우려가 클 수 밖에 없을 것이다. 따라서 수평 방향과 수직 방향의 모션을 혼합하여 양치질 시 주파수 특징 분포를 이용하는 경우 다른 핸드 모션(예: 손씻기)와 구분이 어려워 양치질 감지에 오류가 발생할 수 있다.
도 16a는 일 실시예에 따른 수평 방향으로 양치질 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이고, 도 16b는 일 실시예에 따른 수직 방향으로 양치질 시의 오디오 신호에서 단측 진폭 스펙트럼에서의 다양한 Local Maxima 주파수 특징 중 가장 우수한 두 가지 주파수 성분에 대해 GMM 모델을 이용하여 학습한 결과를 나타낸 그래프이다.
도 16a 및 도 16b를 참조하면, 가로축은 제1 주파수 성분(F1)을 나타낼 수 있고 세로축은 제2 주파수 성분(F2)를 나타낼 수 있다. '+'로 표시된 특징 분포를 보면, 도 16a와 같은 수평 방향으로 양치질 시의 특징 분포(+) 및 도 16b와 같은 수직 방향으로 양치질 시의 특징 분포(+)는 각각 도 15b와 같은 손 씻기 시의 특징 분포(+)와 매우 다르게 나타날 수 있다.
도 16a 및 도 16b에서 6개의 GMM 모델에 대한 학습 결과들(1610 및 1620)도 각각 도 15b의 6개의 GMM 모델에 대한 학습 결과(1520)과 매우 다르게 나타날 수 있다. 따라서 수평 방향과 수직 방향의 모션을 혼합하여 양치질 시 주파수 특징 분포를 이용하는 경우보다 본 개시의 일 실시예에서 설명된 바와 같이 수평 방향과 수직 방향의 모션을 각각 별도로 인식하여 주파수 특징 분포를 이용하는 경우 다른 핸드 모션(예: 손씻기)와 구분이 용이하여 양치질 감지에 오류를 줄일 수 있다.
도 17a는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제1 정보 표시의 예를 나타낸 도면이다.
도 17a를 참조하면, 일 실시 예에 따른 웨어러블 전자 장치(1701)(예: 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(201), 도 3a의 제1 웨어러블 전자 장치(301))의 프로세서(예: 도 1의 프로세서(120), 또는 도 2의 프로세서(220), 이하 도 2의 프로세서(220)를 예를 들어 설명함)는 디스플레이(1760)(예: 도 1의 디스플레이 모듈(160), 또는 도 2의 디스플레이(260))에 양치질과 연관된 제1 정보(1761)를 표시하도록 제어할 수 있다. 예를 들면, 양치질과 연관된 제1 정보(1761)는 사용자가 양치질을 시작하고부터 카운트되는 양치질 시간 카운트 정보(예: 115 seconds)를 포함할 수 있다.
도 17b는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제2 정보 표시 예를 나타낸 도면이다.
도 17b를 참조하면, 일 실시 예에 따른 프로세서(220)는 디스플레이(1760)에 양치질과 연관된 제2 정보(1762)를 표시하도록 제어할 수 있다. 예를 들면, 양치질과 연관된 제2 정보(1762)는 사용자가 양치질을 시작하고 나서 종료했을 때까지의 총 양치질 시간(예: 양치질한 시간 65초)를 포함할 수 있다.
도 17c는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제3 정보 표시 예를 나타낸 도면이다.
도 17c를 참조하면, 일 실시 예에 따른 프로세서(220)는 디스플레이(1760)에 양치질과 연관된 제3 정보(1763)를 표시하도록 제어할 수 있다. 예를 들면, 양치질과 연관된 제3 정보(1763)는 사용자가 양치질을 시작하고 나서 종료했을 때까지의 총 양치질 시간이 권장 시간보다 짧은 경우 이를 안내하는 메시지(예: 양치질한 시간이 너무 짧습니다. 조금 더 양치질을 해보는 건 어떨까요?)를 포함할 수 있다.
도 17d는 일 실시예에 따른 웨어러블 전자 장치에서 양치질과 연관된 제4 정보 표시 예를 나타낸 도면이다.
도 17d를 참조하면, 일 실시 예에 따른 프로세서(220)는 디스플레이(1760)에 양치질과 연관된 제4 정보(1764)를 표시하도록 제어할 수 있다. 예를 들면, 양치질과 연관된 제4 정보(1764)는 사용자의 양치질 핸드 모션 유형 수행 횟수에 기반하여 식별된 권장 양치질 방법 준수 여부를 안내하는 메시지(예: 권장되는 양치질 방법으로 양치질을 해보는 건 어떨까요? 또는 권장 양치질 방법에 맞지 않게 양치질이 수행되었습니다.)를 포함할 수 있다.
도 17e를 참조하면, 일 실시 예에 따른 프로세서(220)는 디스플레이(1760)에 양치질과 연관된 제5 정보(1765)를 표시하도록 제어할 수 있다. 예를 들면, 양치질과 연관된 제5 정보(1765)는 사용자에 의해 수행된 양치질 핸드 모션 유형에 기반하여 제1 양치질 핸드 모션의 양치질이 부족함을 안내하는 메시지(예: 좌측 바깥쪽 치아의 좌우 방향 양치질이 부족합니다. 또는 좌우 방향의 양치질을 더 해보는 건 어떨까요?)를 포함할 수 있다.
도 17f를 참조하면, 일 실시 예에 따른 프로세서(220)는 디스플레이(1760)에 양치질과 연관된 제6 정보(1766)를 표시하도록 제어할 수 있다. 예를 들면, 양치질과 연관된 제6 정보(1766)는 사용자에 의해 수행된 양치질 핸드 모션 유형에 기반하여 제2 양치질 핸드 모션의 양치질이 부족함을 안내하는 메시지(예: 앞니 바깥쪽 치아의 상하 방향 양치질이 부족합니다. 또는 상하 방향의 양치질을 더 해보는 건 어떨까요?)를 포함할 수 있다.
일 실시예에 따르면 상기 도 17a 내지 17f에 도시된 예 외에 양치질과 연관된 다른 정보들이 더 표시될 수 있음을 당업자에게 자명할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예는 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
일실시예에 따르면, 명령들을 저장하고 있는 비 일시적 저장 매체에 있어서, 상기 명령들은 웨어러블 전자 장치의 적어도 하나의 프로세서에 의하여 실행될 때에 상기 웨어러블 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 모션 센서를 통해 모션 센싱 정보를 획득하는 동작, 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하는 동작, 상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하는 동작, 상기 양치질 핸드 모션 유형에 대응하여 오디오 신호 패턴을 식별하는 동작, 및 상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하는 동작을 포함할 수 있다.
그리고 본 명세서와 도면에 발명된 본 발명의 실시예들은 본 발명의 실시예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 발명된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 웨어러블 전자 장치 (201)에 있어서,
    모션 센서 (212);
    오디오 센서 (218);
    디스플레이 (260);
    메모리 (230); 및
    상기 모션 센서, 상기 오디오 센서, 상기 메모리와 전기적으로 연결된 프로세서 (220)를 포함하고,
    상기 프로세서는,
    상기 모션 센서를 통해 모션 센싱 정보를 획득하고,
    상기 오디오 센서를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하고,
    상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하고,
    상기 양치질 핸드 모션 유형에 대응된 오디오 신호 패턴을 식별하고,
    상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하도록 설정된 웨어러블 전자 장치.
  2. 제1항에 있어서,
    상기 양치질 핸드 모션 유형은 제1 양치질 핸드 모션 유형 및 제2 양치질 핸드 모션 유형을 포함하고,
    상기 프로세서는,
    상기 양치질 핸드 모션 유형이 상기 제1 양치질 핸드 모션 유형인 경우 상기 제1 양치질 핸드 모션 유형에 대응된 제1 오디오 신호 패턴을 식별하고,
    상기 양치질 핸드 모션 유형이 상기 제2 양치질 핸드 모션 유형인 경우 상기 제2 양치질 핸드 모션 유형에 대응된 제2 오디오 신호 패턴을 식별하도록 설정되며,
    상기 제1 양치질 핸드 모션 유형은 수평 방향의 양치질 핸드 모션 유형을 나타내고, 상기 제2 양치질 핸드 모션 유형은 수직 방향의 양치질 핸드 모션 유형을 나타내는, 웨어러블 전자 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 모션 센서는 가속도 센서, 자이로 센서, 지자기 센서를 포함하고,
    상기 모션 센싱 정보는 상기 가속도 센서에 의해 센싱된 가속도 값, 상기 자이로 센서에 의해 센싱된 상기 전자 장치의 회전 방향 또는 회전각 값, 상기 지자기 센서에 의해 센싱된 지자기 방향 정보를 기반으로 획득된 핸드 자세 정보, 상기 양치질 핸드 모션에 대한 주파수 특성 정보, 상기 양치질 핸드 모션의 크기 및 방향 정보 중 적어도 하나를 포함하는 웨어러블 전자 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    터치 센서(216)를 더 포함하고,
    상기 프로세서는,
    상기 모션 센싱 정보를 기반으로 지정된 주기적인 움직임 패턴을 식별된 경우, 양치질 시작을 식별하고,
    상기 터치 센서로부터 획득된 터치 센싱 정보를 기반으로 상기 모션 센서의 센싱 축을 보정하도록 설정된, 웨어러블 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 모션 센싱 정보 및/또는 상기 오디오 신호가 지정된 시간 동안 획득되지 않으면 양치질 종료를 식별하고,
    상기 양치질 종료 식별에 기반하여, 상기 양치질 시작부터 상기 양치질 종료까지 양치질과 연관된 정보를 표시하도록 상기 디스플레이를 제어하도록 설정된, 웨어러블 전자 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    통신 모듈(219)을 더 포함하고,
    상기 프로세서는,
    상기 통신 모듈을 통해 상기 양치질과 연관된 정보를 외부 전자 장치로 전송하도록 설정된 웨어러블 전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 프로세서는,
    머신 러닝 기반의 분류기 모델을 이용한 학습에 의해 미리 획득된 양치질 핸드 모션 유형 정보와 상기 모션 센싱 정보로부터 추출된 특징 정보를 비교하여 상기 양치질 핸드 모션 유형을 식별하도록 설정된 웨어러블 전자 장치.
  8. 웨어러블 전자 장치(201)에서 양치질 정보 제공 방법에 있어서,
    상기 웨어러블 전자 장치의 모션 센서(212)를 통해 모션 센싱 정보를 획득하는 동작;
    상기 웨어러블 전자 장치의 오디오 센서(218)를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하는 동작;
    상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하는 동작;
    상기 양치질 핸드 모션 유형에 대응하여 오디오 신호 패턴을 식별하는 동작; 및
    상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하는 동작을 포함하는 방법.
  9. 제8항에 있어서,
    상기 양치질 핸드 모션 유형은 제1 양치질 핸드 모션 유형 및 제2 양치질 핸드 모션 유형을 포함하고,
    상기 양치질 핸드 모션 유형이 상기 제1 양치질 핸드 모션 유형인 경우 상기 제1 양치질 핸드 모션 유형에 대응된 제1 오디오 신호 패턴을 식별하는 동작; 및
    상기 양치질 핸드 모션 유형이 상기 제2 양치질 핸드 모션 유형인 경우 상기 제2 양치질 핸드 모션 유형에 대응된 제2 오디오 신호 패턴을 식별하는 동작을 더 포함하며,
    상기 제1 양치질 핸드 모션 유형은 수평 방향의 양치질 핸드 모션 유형을 나타내고,
    상기 제2 양치질 핸드 모션 유형은 수직 방향의 양치질 핸드 모션 유형을 나타내는, 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 모션 센서는 가속도 센서, 자이로 센서, 지자기 센서를 포함하고,
    상기 모션 센싱 정보는 상기 가속도 센서에 의해 센싱된 가속도 값, 상기 자이로 센서에 의해 센싱된 상기 전자 장치의 회전 방향 또는 회전각 값, 상기 지자기 센서에 의해 센싱된 지자기 방향 정보를 기반으로 획득된 핸드 자세 정보, 상기 양치질 핸드 모션에 대한 주파수 특성 정보, 상기 양치질 핸드 모션의 크기 및 방향 정보 중 적어도 하나를 포함하는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 모션 센싱 정보를 기반으로 지정된 주기적인 움직임 패턴이 식별된 경우 양치질 시작을 식별하는 동작; 및
    상기 웨어러블 전자 장치의 터치 센서(216)로부터 획득된 터치 센싱 정보를 기반으로 상기 모션 센서의 센싱 축을 보정하는 동작을 더 포함하는 방법.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 모션 센싱 정보 및/또는 상기 오디오 신호가 지정된 시간 동안 획득되지 않으면 양치질 종료를 식별하는 동작을 더 포함하는 방법.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    상기 양치질 종료 식별에 기반하여, 상기 양치질 시작부터 상기 양치질 종료까지 양치질과 연관된 정보를 상기 웨어러블 전자 장치의 디스플레이에 표시하는 동작을 더 포함하는 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 웨어러블 전자 장치의 통신 모듈(219)을 통해 상기 양치질과 연관된 정보를 외부 전자 장치로 전송하는 동작을 더 포함하는 방법.
  15. 명령들을 저장하고 있는 비일시적 저장 매체에 있어서, 상기 명령들은 웨어러블 전자 장치(201)의 적어도 하나의 프로세서(220)에 의하여 실행될 때에 상기 웨어러블 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서,
    상기 웨어러블 전자 장치의 모션 센서(212)를 통해 모션 센싱 정보를 획득하는 동작;
    상기 웨어러블 전자 장치의 오디오 센서(218)를 통해 상기 모션 센싱 정보에 대응된 오디오 신호를 획득하는 동작;
    상기 모션 센싱 정보에 대응된 양치질 핸드 모션 유형을 식별하는 동작;
    상기 양치질 핸드 모션 유형에 대응하여 오디오 신호 패턴을 식별하는 동작; 및
    상기 양치질 핸드 모션 유형과 상기 오디오 신호 패턴을 기반으로 상기 모션 센싱 정보 및 상기 오디오 신호에 대응된 양치질 핸드 모션을 식별하는 동작을 포함하는 비 일시적 저장 매체.
PCT/KR2022/011922 2021-08-11 2022-08-10 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법 WO2023018222A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/885,703 US20230048413A1 (en) 2021-08-11 2022-08-11 Wearable electronic device and method for providing information of brushing teeth in wearable electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210105842A KR20230023940A (ko) 2021-08-11 2021-08-11 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법
KR10-2021-0105842 2021-08-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/885,703 Continuation US20230048413A1 (en) 2021-08-11 2022-08-11 Wearable electronic device and method for providing information of brushing teeth in wearable electronic device

Publications (1)

Publication Number Publication Date
WO2023018222A1 true WO2023018222A1 (ko) 2023-02-16

Family

ID=85200901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011922 WO2023018222A1 (ko) 2021-08-11 2022-08-10 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법

Country Status (2)

Country Link
KR (1) KR20230023940A (ko)
WO (1) WO2023018222A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101607548B1 (ko) * 2014-10-30 2016-03-30 아바드(주) 생활 습관 정보를 제공하며, 원터치식 탈 부착이 가능한 손목 시계 형 웨어러블 통신 단말기 및 신체 장착용 악세서리
KR20160070029A (ko) * 2014-12-09 2016-06-17 경희대학교 산학협력단 모바일 단말기 기반의 생활 코칭 방법과 모바일 단말기 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
KR20180104366A (ko) * 2017-03-13 2018-09-21 전유신 모바일 골프 진행 관리 시스템
JP2020064429A (ja) * 2018-10-17 2020-04-23 株式会社日立製作所 作業情報管理システム及びウェアラブルセンサ
KR20210035698A (ko) * 2019-09-24 2021-04-01 유에프유헬스(주) 웨어러블 디바이스를 이용한 헬스케어 제공 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101607548B1 (ko) * 2014-10-30 2016-03-30 아바드(주) 생활 습관 정보를 제공하며, 원터치식 탈 부착이 가능한 손목 시계 형 웨어러블 통신 단말기 및 신체 장착용 악세서리
KR20160070029A (ko) * 2014-12-09 2016-06-17 경희대학교 산학협력단 모바일 단말기 기반의 생활 코칭 방법과 모바일 단말기 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
KR20180104366A (ko) * 2017-03-13 2018-09-21 전유신 모바일 골프 진행 관리 시스템
JP2020064429A (ja) * 2018-10-17 2020-04-23 株式会社日立製作所 作業情報管理システム及びウェアラブルセンサ
KR20210035698A (ko) * 2019-09-24 2021-04-01 유에프유헬스(주) 웨어러블 디바이스를 이용한 헬스케어 제공 시스템

Also Published As

Publication number Publication date
KR20230023940A (ko) 2023-02-20

Similar Documents

Publication Publication Date Title
WO2022030968A1 (ko) 제스처를 인식하는 전자 장치 및 그 동작 방법
WO2022085983A1 (ko) 생체 정보 측정을 위한 웨어러블 장치 및 방법
WO2022124647A1 (ko) 수면 무호흡을 검출하기 위한 방법 및 이를 지원하는 전자 장치
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
WO2022131657A1 (ko) 운동 가이드를 제공하는 전자 장치 및 그 동작 방법
WO2022124551A1 (ko) 복수의 전극을 포함하는 웨어러블 전자 장치
WO2023018222A1 (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법
WO2021167385A1 (en) Electronic device and method for recognizing context thereof
WO2022045864A1 (ko) 생체 정보 측정을 위한 웨어러블 디바이스 및 방법
WO2022015081A1 (ko) 인체 임피던스 측정을 위한 웨어러블 디바이스 및 방법
WO2023085558A1 (ko) 체온 센서를 포함하는 웨어러블 장치, 방법, 비일시적 컴퓨터 판독가능 저장 매체
WO2022255785A1 (ko) 복수의 전자 장치를 이용하여 운동 데이터를 제공하는 방법 및 그 전자 장치
WO2022270715A1 (ko) 복수의 센서를 이용하여 지문을 인식하기 위한 전자 장치 및 방법
WO2024043465A1 (ko) 생체 정보를 측정하는 전자 장치 및 이의 동작 방법
WO2022119132A1 (ko) 손 씻는 행동을 검출하는 방법 및 그 전자 장치
WO2022245174A1 (ko) 전자 장치 및 리액션 서비스 기반의 영상 통화 방법
WO2021230462A1 (ko) 데이터 전송 방법 및 이를 지원하는 전자 장치
WO2023096134A1 (ko) 전자 장치 내에서 제스처 인식 성능 개선을 위한 러닝 방법
WO2022255655A1 (ko) 혈압을 측정하는 웨어러블 전자 장치 및 이의 동작 방법
WO2022239929A1 (ko) 생체 정보 검출 방법 및 이를 지원하는 전자 장치
WO2022244996A1 (ko) 생체 데이터를 이용하여 개인 맞춤형 코칭을 제공하는 전자 장치
WO2022191413A1 (ko) 심박수 예측 모델을 제공하는 전자 장치 및 그 동작 방법
WO2023090587A1 (ko) 수분을 감지하기 위한 전자 장치
WO2023106698A1 (ko) 지문 센싱 방법 및 전자 장치
WO2023136628A1 (ko) 사용자의 생체 사인을 결정하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22856219

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022856219

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022856219

Country of ref document: EP

Effective date: 20240214

NENP Non-entry into the national phase

Ref country code: DE