WO2022234952A1 - 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법 - Google Patents

햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
WO2022234952A1
WO2022234952A1 PCT/KR2022/004216 KR2022004216W WO2022234952A1 WO 2022234952 A1 WO2022234952 A1 WO 2022234952A1 KR 2022004216 W KR2022004216 W KR 2022004216W WO 2022234952 A1 WO2022234952 A1 WO 2022234952A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
contact pressure
wearable device
haptic
target contact
Prior art date
Application number
PCT/KR2022/004216
Other languages
English (en)
French (fr)
Inventor
이동섭
김학중
김형수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210086719A external-priority patent/KR20220151519A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22798998.5A priority Critical patent/EP4250063A4/en
Priority to US17/720,567 priority patent/US20220374080A1/en
Publication of WO2022234952A1 publication Critical patent/WO2022234952A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present disclosure relates to a wearable device providing haptic feedback and an operating method thereof.
  • the wearable device may provide an improved device use experience to the user by providing haptic feedback to the user while performing an operation of the wearable device.
  • the degree of recognition of the haptic feedback capable of feeling the haptic feedback may be different for each user of the wearable device.
  • an aspect of the present disclosure is to provide a wearable device that provides haptic feedback to a user and an operating method thereof.
  • a wearable device providing haptic feedback may include a sensing unit configured to acquire a plurality of types of sensor data, wherein the sensing unit may include: one or more biosensors configured to acquire user's biometric data; and one or more pressure sensors for obtaining contact pressure data that the one or more haptic actuators apply to the body of the user, the one or more haptic actuators providing haptic feedback to the user; a memory storing one or more instructions; and one or more processors executing the instructions stored in the memory, wherein the one or more processors obtain the user's profile data , obtain the user's biometric data from the one or more biosensors, and the user's profile Based on the data and the biometric data, a target contact pressure to be applied to the user's body by the one or more haptic actuators is calculated, and applied to the user's body by the one or more haptic actuators using the one or more pressure sensors. measuring a current contact pressure, and
  • a method for providing haptic feedback by a wearable device includes: obtaining profile data of a user; obtaining biometric data of a user by using one or more biosensors; calculating a target contact pressure to be applied to the user's body by one or more haptic actuators based on the user's profile data and the biometric data; measuring, using one or more pressure sensors, a current contact pressure applied to the body of the user by the one or more haptic actuators; and adjusting the current contact pressure of the one or more haptic actuators based on the current contact pressure and the target contact pressure.
  • the user's biometric data includes sensor data for identifying at least one of a user's skin condition and an activity state of the user, and the user profile data includes information on at least one of age, gender, body attribute, and skin type of the user. may include.
  • the calculating of the target contact pressure may include applying the user's profile data, the identified skin condition, and the identified activity state to an artificial intelligence model trained to determine the target contact pressure to determine the target contact pressure. may include the step of
  • the one or more haptic actuators are a plurality of haptic actuators
  • the one or more pressure sensors are a plurality of pressure sensors
  • the one or more biosensors are a plurality of biosensors
  • the calculating the target contact pressure comprises: calculating a target contact pressure of each of the plurality of haptic actuators based on the data and the biometric data, wherein the measuring the current contact pressure includes the plurality of haptic actuators using the plurality of pressure sensors measuring the current contact pressure of each of the actuators.
  • the method further comprises, based on a current contact pressure of each of the plurality of haptic actuators, selecting one or more haptic actuators from among the plurality of haptic actuators to adjust a current contact pressure, the current contact of the haptic actuator Adjusting the pressure may include adjusting a current contact pressure of the selected one or more haptic actuators.
  • the method further comprises, based on the biometric data, identifying whether the skin condition of the user has changed, wherein the calculating the target contact pressure includes: as the skin condition of the user is identified as being changed, and changing a target contact pressure of each of the plurality of haptic actuators based on the user's profile data and the biometric data, wherein the adjusting of the current contact pressure of the haptic actuator comprises: the plurality of haptic actuators; and re-adjusting the current contact pressure of at least some of them.
  • the method includes: acquiring a plurality of types of sensor data from a sensing unit; and identifying whether the user's activity state has changed based on at least a portion of the plurality of types of sensor data obtained from the sensing unit, wherein the calculating the target contact pressure includes: the user's activity As it is identified that the state is changed, the target contact pressure may be changed to a new target contact pressure based on the degree of change in the target contact pressure before the user's activity state is changed.
  • Adjusting the current contact pressure may include re-adjusting the current contact pressure of at least some of the plurality of haptic actuators based on the new target contact pressure and the current contact pressure sensed from the pressure sensors.
  • the current contact pressure may be adjusted such that the wearable device is positioned closer to the body of the user in response to the current contact pressure being less than the target contact pressure.
  • the current contact pressure may be adjusted such that the wearable device is positioned further away from the body of the user in response to the current contact pressure being greater than the target contact pressure.
  • the contact pressure may be adjusted by one of tightening or loosening the at least one strap.
  • the contact pressure may be adjusted by either fluid injection or extraction.
  • the adjusting the current contact pressure may include adjusting the current contact pressure of the selected one or more haptic actuators by adjusting a distance between the selected one or more haptic actuators and other haptic actuators adjacent thereto.
  • the method includes comparing a distance between the selected one or more haptic actuators and an adjacent haptic actuator to a threshold; and adjusting the distance in response to the distance being less than a threshold.
  • the method may further include deactivating at least some of the adjacent haptic actuators by a distance less than the threshold value.
  • FIG. 1 is a diagram for describing wearable devices that provide haptic feedback, according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a wearable device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method of providing haptic feedback by a wearable device according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of determining a target contact pressure by a wearable device according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing a method of determining a target contact pressure by a wearable device according to an exemplary embodiment.
  • FIG. 6 is a diagram for describing a method in which a wearable device identifies a skin condition change and determines a first target contact pressure, according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method of adjusting a position of a haptic actuator by analyzing a user's activity state by a wearable device according to an exemplary embodiment.
  • FIG. 8 is a diagram for describing a method in which a wearable device identifies a change in a user's activity state and determines a second target contact pressure, according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of updating a target contact pressure by a wearable device according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a method for a wearable device to adjust a current contact pressure of a haptic actuator according to an exemplary embodiment.
  • FIG. 11 is a diagram for explaining a method of providing, by a wearable device, a haptic feedback based on a target contact pressure, according to an embodiment.
  • FIG. 12 is a diagram for explaining an example for allowing a wearable device to contact a user's body with a haptic actuator according to an embodiment.
  • FIG. 13 is a view for explaining a method of adjusting a distance between a plurality of haptic actuators, in order for a wearable device to adjust a current contact pressure of the plurality of haptic actuators, according to an embodiment.
  • 14A is a diagram for explaining a structure for adjusting a distance between a haptic actuator and other haptic actuators adjacent to a wearable device according to an embodiment
  • FIG. 14B is a diagram for further explaining FIG. 14A.
  • FIG. 15 is a diagram for explaining another structure for adjusting a distance between a haptic actuator and other haptic actuators adjacent to a wearable device according to an embodiment
  • 16 is a diagram for describing a method of adjusting a distance between a plurality of haptic actuators, in order for a wearable device to adjust a current contact pressure of the plurality of haptic actuators, according to an embodiment.
  • 17A is a view for explaining a mounting structure of haptic actuators when the wearable device according to an embodiment is a smart garment.
  • 17B is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator using a fluid pressure when the wearable device is a smart garment according to an embodiment.
  • 17C is a view for explaining a method of adjusting a current contact pressure of a haptic actuator by adjusting a distance between the haptic actuators when the wearable device is a smart garment according to an embodiment
  • 18A is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator by using a fluid pressure when the wearable device is a smart watch according to an embodiment.
  • 18B is a diagram for explaining another method of adjusting a current contact pressure of a haptic actuator by adjusting a length of a strap when the wearable device is a smart watch according to an embodiment
  • 19 is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator by applying pressure to the haptic actuator when the wearable device is a head-mounted display according to an embodiment.
  • 20 is a block diagram illustrating a configuration of a server according to an embodiment.
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b” and c all", or variations thereof.
  • the contact pressure refers to a pressure value at which the haptic actuator is in contact with the user so that the user of the wearable device can feel the haptic feedback of the haptic actuator. Since the sensing ability of the bodily sensory organs is different for each user, the contact pressure capable of feeling the haptic feedback may be different for each user.
  • the target contact pressure refers to a contact pressure value set for a user of the wearable device.
  • the wearable device may determine a target contact pressure to be set for the user of the wearable device based on at least a part of the user's profile data and data obtained from a sensor in the wearable device.
  • the target contact pressure refers to a pressure set by the wearable device in order to provide a haptic feedback with an appropriate contact pressure to the user of the wearable device.
  • biometric data refers to data obtained by a biosensor sensing biosignals of a user's body.
  • the biometric data may include at least one of a heart rate, a skin conductance response (SCR), and a skin temperature.
  • SCR skin conductance response
  • user profile data refers to data relating to parameters related to the user's body.
  • the user profile data may include data on at least one of gender, age, skin type (eg, oily, dry, etc.), and body attributes (eg, height, weight, etc.).
  • the wearable device may receive user profile data from a user or may receive user profile data from a server.
  • the information about the activity state refers to information indicating what the user's current activity is.
  • the activity state may include, for example, normal, walking, running, etc., but the activity state is not limited thereto.
  • the information on the skin condition refers to information indicating the skin condition of the user of the wearable device.
  • the skin condition may include, for example, whether the user sweats, whether foreign substances are on the skin, and the like.
  • the present invention is not limited thereto.
  • FIG. 1 is a diagram for describing wearable devices that provide haptic feedback, according to an embodiment.
  • a wearable device 2000 may provide haptic feedback to a user.
  • the wearable device 2000 may include one or more haptic actuators.
  • the type of the wearable device 2000 may include, for example, a head mounted display, a smart watch, a smart band, a smart clothing, and the like, but is not limited thereto.
  • the wearable device 2000 worn by the user the degree of contact of the wearable device 2000 to the user according to the method in which the user wears the wearable device 2000 and the user's body structure are different. may be different.
  • the wearable device 2000 may identify the wearable device 2000 wearing state of the user, and control the wearable device 2000 so that the haptic actuator included in the wearable device 2000 contacts the user's body with a predetermined pressure.
  • the degree of haptic feedback recognition by which the user can feel the haptic feedback may be different for each user of the wearable device 2000 according to the contact pressure of the haptic actuator.
  • the contact pressure of the haptic actuator, the duration of the haptic feedback, the interval between the haptic actuators, etc. may be different for the user to effectively sense the haptic feedback.
  • the wearable device 2000 is a haptic actuator in order for the user to properly feel the haptic feedback based on sensor data obtained using sensors included in the wearable device 2000 and user profile information indicating the characteristics of the user.
  • a target contact pressure value can be calculated.
  • the wearable device 2000 may determine the target contact pressure based on the user's profile information (eg, age, gender, height, weight, etc.), the user's skin condition, the user's activity state, and the like.
  • the wearable device 2000 adjusts the haptic actuator included in the wearable device 2000 to contact the user's body based on the target contact pressure personalized for the user, so that the haptic actuator is applied to the user's body.
  • the applied contact pressure can be adjusted.
  • the wearable device 2000 may update the target contact pressure as the user's state (eg, skin state, activity state) is changed while the user is wearing the wearable device 2000 .
  • the user's state eg, skin state, activity state
  • the wearable device 2000 may update the target contact pressure when it is identified that the user's skin condition is changed.
  • the wearable device 2000 may identify a change in the user's skin condition, such as whether the user sweats or whether there is a foreign substance on the skin, and update the target contact pressure.
  • the wearable device 2000 may update the target contact pressure.
  • the wearable device may identify that the user's current activity (eg, a normal state) is changed to another activity (eg, a walking state) and update the target contact pressure.
  • the wearable device 2000 may adjust the contact pressure applied by the haptic actuator to the user's body by adjusting the haptic actuator included in the wearable device 2000 to contact the user's body.
  • the structure in which the haptic actuator is mounted on the wearable device 2000 and the position of the haptic actuator in the wearable device 2000 may be different depending on the type of each wearable device 2000 .
  • the wearable device 2000 may adjust the position of the haptic actuator to be closer to the user's body or to adjust the position of the haptic actuator to be further away from the user's body in order to provide haptic feedback to the user with the above-described target contact pressure.
  • FIG. 2 is a block diagram illustrating a configuration of a wearable device according to an exemplary embodiment.
  • a wearable device 2000 may include a sensing unit 2100 , one or more haptic actuators 2200 , a memory 2300 , and a processor 2400 .
  • the sensing unit 2100 may include one or more biosensors 2110 for acquiring user's biometric data and one or more pressure sensors 2120 for sensing contact pressure of one or more haptic actuators 2200 .
  • the biosensor 2110 may include at least one of an electrocardiogram sensor, an electromyography sensor, a body temperature sensor, a skin resistance sensor, and a skin moisture sensor, but is not limited thereto.
  • the biosensor 2110 may be one or more.
  • the pressure sensor 2120 may include at least one of a piezoresistive tactile sensor, a piezoelectric tactile sensor, a capacitive tactile sensor, an optical tactile sensor, and an elastosistive tactile sensor. However, the present invention is not limited thereto. There may be one or more pressure sensors 2120 .
  • the pressure sensor 2120 may be disposed between, for example, a haptic actuator 2200 to be described later and the user's body, and sense the contact pressure applied to the user by the haptic actuator 2200, but the pressure sensor 2120 The position where the is disposed is not limited thereto.
  • the sensing unit 2100 includes a geomagnetic sensor (not shown), an acceleration sensor (not shown), a temperature/humidity sensor (not shown), an infrared sensor (not shown), a gyroscope sensor ( Not shown), a location sensor (eg, GPS) (not shown), an air pressure sensor (not shown), and a proximity sensor (not shown) may include, but is not limited thereto.
  • the wearable device 2000 is configured to perform the sensing unit until the sensing unit 2100 can obtain the sensor data.
  • the position can be adjusted to be closer to the user's body.
  • the haptic actuator 2200 may generate haptic feedback.
  • Haptic feedback refers to feedback provided to a user so that the user can feel tactile sensations such as force and movement through force, vibration, and motion.
  • the haptic actuator 2200 may include at least one of a linear resonance type, an eccentric rotating mass type, a piezo type, and a solenoid type, but is not limited thereto. There may be one or more haptic actuators 2200 .
  • the memory 2300 may store instructions, data structures, and program codes that the processor 2400 can read. In the disclosed embodiments, operations performed by the processor 2400 may be implemented by executing instructions or codes of a program stored in the memory 2300 .
  • the memory 2300 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), a RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), PROM (Programmable ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a non-volatile memory including at least one of a magnetic memory, a magnetic disk, and an optical disk, and a volatile memory such as a random access memory (RAM) or a static random access memory (SRAM).
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • PROM Programmable ROM
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM PROM (Programmable Read-Only Memory)
  • a non-volatile memory including at least one of a magnetic memory
  • the memory 2300 may be used to determine the target contact pressure and adjust the current contact pressure of the wearable device to be the target contact pressure in order for the wearable device 2000 to provide haptic feedback.
  • Various types of data can be stored.
  • the memory 2300 includes a sensor data collection module 2310, a sensor data analysis module 2320, a target contact pressure determination module 2330, a haptic actuator selection module 2340, a contact pressure adjustment module 2350, Data and program instruction codes corresponding to the haptic feedback generation module 2360 , the artificial intelligence model 2370 , and the user database 2380 may be stored.
  • the artificial intelligence model 2370 may be an artificial intelligence model learned based on a learning dataset including the user's profile data and biometric data obtained from the biosensor 2110 .
  • the artificial intelligence model 2370 the user's body by the haptic actuator 2200, based on a learning dataset consisting of the user's profile data, the user's skin state data, and the user's activity state data. It may be an artificial intelligence model trained to output the target contact pressure to be applied to the .
  • the artificial intelligence model 2370 may include a plurality of neural network layers. Each of the plurality of neural network layers may include a plurality of nodes. In this case, the value of any one node included in the current layer may be a summation of results obtained by multiplying weight values on nodes included in the previous layer.
  • the artificial intelligence model 2370 may update the weight values indicating the connection strength between nodes of the neural network layers of the artificial intelligence model 2370 by learning the training dataset.
  • the weight values of the nodes included in the input layer include weight values corresponding to respective parameters (eg, age, gender, body attribute, etc.) included in the user's profile data, and each of the weight values included in the biometric data. Among weight values corresponding to parameters (eg, heart rate, skin conductance response (SCR), skin temperature, etc.), weight values corresponding to the user's skin condition, and weight values corresponding to the user's activity status It may include at least a portion.
  • parameters eg, heart rate, skin conductance response (SCR), skin
  • the wearable device 2000 may use the artificial intelligence model 2370 to output a target contact pressure value indicating a contact pressure to be applied to the user's body by the haptic actuator 2200 of the wearable device 2000 .
  • the wearable device 2000 may apply the user's profile data and biometric data to the artificial intelligence model 2370 , and obtain a target contact pressure value output from the artificial intelligence model 2370 .
  • the wearable device 2000 applies the user's profile data, the user's skin state data, and the user's activity state data to the artificial intelligence model 2370 and outputs the data from the artificial intelligence model 2370 .
  • a target contact pressure value can be obtained.
  • the artificial intelligence model 2370 may be generated by being trained in the wearable device 2000 .
  • the artificial intelligence model 2370 may be generated through learning from a server (not shown), received and stored by the wearable device 2000 .
  • the user database 2380 may store sensor data obtained from the sensing unit 2100 and profile data obtained from the user.
  • the processor 2400 may control overall operations of the wearable device 2000 .
  • the processor 2400 may generally control the sensing unit 2100 , the haptic actuator 2200 , and the like by executing one or more instructions of a program stored in the memory 2300 .
  • the processor 2400 is, for example, a central processing unit (Central Processing Unit), a microprocessor (microprocessor), a graphic processor (Graphic Processing Unit), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), Application Processors (APs), Neural Processing Units, or artificial intelligence-only processors designed with a hardware structure specialized for processing artificial intelligence models. It may consist of at least one, but is not limited thereto.
  • the processor 2400 may acquire sensor data sensed by the sensing unit 2100 by executing the sensor data collection module 2310 .
  • the processor 2400 may execute the sensor data collection module 2310 to acquire biometric data that is sensor data sensed by the biosensor 2110 .
  • the biometric data may include at least one of a heart rate, a skin conductance response (SCR), and a skin temperature.
  • the processor 2400 may execute the sensor data collection module 2310 to acquire contact pressure data, which is sensor data sensed by the pressure sensor 2120 .
  • Sensor data collected in real time using the sensor data collection module 2310 may be analyzed by the processor 2400 and used to determine the operation of the wearable device 2000 by the processor 2400 . Also, the processor 2400 may store the collected sensor data in the user database 2380 .
  • the processor 2400 may analyze the collected sensor data by executing the sensor data analysis module 2320 .
  • the processor 2400 executes the sensor data analysis module 2320 to identify whether the user wears the wearable device 2000 .
  • the processor 2400 may analyze the biometric data and the contact pressure data obtained in real time to identify whether the user wears the wearable device 2000 . For example, when at least one of biometric data and contact pressure data is obtained, the processor 2400 may determine that the user wears the wearable device 2000 . In another example, the processor 2400 may determine that the user wears the wearable device 2000 based on a combination of at least a portion of the biometric data and the contact pressure data. In another example, the processor 2400 may determine that the user wears the wearable device 2000 based on sensor data obtained from other sensors, such as an infrared sensor and a proximity sensor.
  • the processor 2400 executes the sensor data analysis module 2320 to identify the skin condition of the user wearing the wearable device 2000 .
  • the processor 2400 may identify the user's skin condition based on a skin conductance response (SCR), skin temperature, etc. included in the biometric data.
  • the user's skin condition may include various information indicating the user's skin condition, such as a skin type (eg, oily skin, dry skin, etc.) and a skin moisture level.
  • the processor 2400 executes the sensor data analysis module 2320 to identify the activity state of the user wearing the wearable device 2000 .
  • the user's activity state may include, but is not limited to, normal, walking, and running.
  • the processor 2400 may identify the user's activity state based on a skin conductivity response, a skin temperature, a heart rate, etc. included in the biometric data obtained from the biosensor 2110 .
  • the processor 2400 may identify the user's activity state based on values sensed using an acceleration sensor, a gyro sensor, or the like.
  • the processor 2400 may identify the user's activity state based on sensor data obtained from at least one of the biosensor 2110, the acceleration sensor, and the gyro sensor.
  • the processor 2400 may calculate the target contact pressure by executing the target contact pressure determination module 2330 .
  • the processor 2400 may execute the target contact pressure determination module 2330 to determine the target contact pressure based on the user's profile data and biometric data.
  • the user's activity state identified based on at least a part of the user's skin state, biometric data, acceleration sensor data, and gyro sensor data identified based on the biometric data according to the above-described embodiments determines the target contact pressure can be used to Also, the user's profile data may be previously stored in the user database 2380 .
  • the processor 2400 uses the target contact pressure determination module 2330 and the artificial intelligence model 2370 , that is, the user's profile data, the user's skin state, and the activity state into the artificial intelligence model 2370 .
  • the target contact pressure can be determined.
  • the artificial intelligence model 2370 may be an artificial intelligence model that receives the user's profile data and biometric data and is trained to output a target contact pressure value.
  • the artificial intelligence model 2370 may be an artificial intelligence model that is trained to receive the user's profile data, the user's skin state data, and the user's activity state data and output a target contact pressure value.
  • the processor 2400 may control the haptic actuator 2200 to contact the user's body based on the target contact pressure, and may provide haptic feedback.
  • the processor 2400 may identify that the skin condition of the user is changed, and change the target contact pressure value according to the change in the skin condition of the user.
  • target contact pressure values changed by the processor 2400 as a user's skin condition is changed will be referred to as a first target contact pressure.
  • the processor 2400 may identify that the user's skin condition is changed based on a skin conductance response (SCR), skin temperature, etc. included in the biometric data obtained from the biosensor 2110 . For example, the processor 2400 may identify whether the user's skin condition is changed by identifying whether the user sweats, whether foreign substances are on the skin, etc., based on the biometric data.
  • the processor 2400 determines the first target contact pressure by applying the changed skin state, the user's profile data, and the user's activity state to the artificial intelligence model 2370, and provides the target contact pressure value of the haptic actuator 2200. 1 Can be changed to target contact pressure.
  • the processor 2400 may continuously recalculate and update the first target contact pressure based on the user's biometric data continuously obtained from the biosensor 2110 .
  • the processor 2400 may control the haptic actuator 2200 to contact the user's body based on the first target contact pressure, and may provide haptic feedback.
  • the processor 2400 may identify that the user's activity state is changed, and change the target contact pressure value as the user's activity state is changed.
  • target contact pressure values changed by the processor 2400 as the user's activity state is changed will be referred to as a second target contact pressure.
  • the processor 2400 may identify that the user's activity state is changed based on at least one of biometric data, acceleration sensor data, and gyro sensor data obtained from the biosensor 2110 . In this case, the processor 2400 may identify that the user's activity state is changed from the first activity state to the second activity state based on at least one of biometric data, acceleration sensor data, and gyro sensor data. For example, the processor 2400 may identify that the user's activity state is changed from 'normal' to 'running'.
  • the processor 2400 may calculate the second target contact pressure based on the degree of change in the first target contact pressure until the user's activity state is changed.
  • the processor 2400 may change the first target contact pressure to the second target contact pressure.
  • the processor 2400 calculates the average of the first target contact pressures changed for a predetermined time and the standard deviation of the first target contact pressures. Based on it, a second target contact pressure may be calculated. For example, the processor 2400 may determine the second target contact pressure by calculating a sum of an average of the first target contact pressures changed for a predetermined time and a standard deviation of the first target contact pressures.
  • the processor 2400 may control the haptic actuator 2200 to contact the user's body based on the second target contact pressure, and may provide haptic feedback.
  • the processor 2400 is configured to change the target contact pressure value to the second target contact pressure as the user's activity is changed from the first activity state to the second activity state, and the Changes in skin condition can be identified.
  • the processor 2400 may change the target contact pressure value changed to the second target contact pressure again as the user's skin condition is changed. Since the method of the processor 2400 changing the target contact pressure value according to the change of the user's skin condition has been described above, the same description will be omitted.
  • the processor 2400 may identify that the user's activity state is changed to another activity state. For example, the processor 2400 may identify that the user's activity state is changed from the second activity state to the third activity state. The processor 2400 may change the changed target contact pressure value to the second target contact pressure again as the user's activity state is changed. Since the method for the processor 2400 to change the target contact pressure as the user's activity state is changed has been described above, the same description will be omitted.
  • the number of haptic actuators 2200 may be plural.
  • each of the target contact pressures may correspond to each of the plurality of haptic actuators 2200 .
  • the processor 2400 may calculate a target contact pressure corresponding to each of the haptic actuators 2200 for each of the plurality of haptic actuators 2200 .
  • the processor 2400 may identify a change in the user's skin state for each of the plurality of haptic actuators 2200 and change a target contact pressure value corresponding to each of the haptic actuators 2200 .
  • the processor 2400 may identify a change in the user's activity state for each of the plurality of haptic actuators 2200 and change the target contact pressure value corresponding to each haptic actuator 2200 .
  • the processor 2400 may execute the haptic actuator selection module 2340 to determine the haptic actuator 2200 to adjust the current contact pressure. In one embodiment, there may be more than one haptic actuator 2200 .
  • the processor 2400 adjusts the current contact pressure of the haptic actuator 2200 to a target contact of the haptic actuator 2200 .
  • the pressure and the current contact pressure of the haptic actuator 2200 may be compared.
  • the processor 2400 calculates the target contact pressure and current contact pressure of each of the plurality of haptic actuators 2200 for each of the plurality of haptic actuators 2200. By comparing, it is possible to select a haptic actuator to adjust the current contact pressure from among the plurality of haptic actuators 2200 .
  • the processor 2400 may execute the contact pressure adjustment module 2350 to adjust the current contact pressure of the haptic actuator 2200 .
  • the processor 2400 may obtain the current contact pressure applied to the body of the user by the haptic actuator 2200 measured using the pressure sensor 2120 .
  • the processor 2400 may adjust the current contact pressure of the haptic actuator 2200 to be the target contact pressure.
  • the processor 2400 may determine that the position of the haptic actuator 2200 is more toward the user's body so that the current contact pressure is increased to the target contact pressure. You can adjust it to get closer.
  • the processor 2400 is configured such that when the current contact pressure of the haptic actuator 2200 is greater than the target contact pressure, the position of the haptic actuator 2200 is further away from the user's body, such that the current contact pressure is reduced to the target contact pressure. You can adjust it to be farther away.
  • the operation of the processor 2400 executing the contact pressure adjustment module 2350 to adjust the current contact pressure of the haptic actuator 2200 may include a type of the wearable device 2000 (eg, a smart watch). , smart clothing, head mounted display, etc.).
  • the operation of the processor 2400 executing the contact pressure adjustment module 2350 to adjust the current contact pressure of the haptic actuator 2200 is a method in which the haptic actuator 2200 is mounted on the wearable device 2000 (for example, it may be different according to a method of using a fluid pump, a method of using a gear, etc.).
  • the processor 2400 executes the contact pressure adjustment module 2350 to adjust the current contact pressure of the haptic actuator 2200 to adjust the position of the haptic actuator 2200 closer to the user's body, or to adjust the haptic actuator 2200 .
  • a specific method of adjusting the position of 2200 to be further away from the user's body will be described in the description of FIGS. 17A to 19 .
  • the processor 2400 may control the haptic actuator 2200 to generate haptic feedback by executing the haptic feedback generation module 2360 .
  • the haptic feedback refers to feedback provided to a user so that the user can feel a tactile sense such as force and movement through various types of force, vibration, and motion.
  • the processor 2400 may convert the target contact pressure value into a value of another measurement unit indicating a force capable of transmitting a tactile sensation to the user.
  • the processor 2400 may convert the target contact pressure value into a value of a measurement unit such as hertz (Hz) or ampere (A), but is not limited thereto.
  • the processor 2400 may adjust the intensity of the haptic feedback delivered to the user by using a pulse width modulation (PWM) method.
  • PWM pulse width modulation
  • the processor 2400 matches the target contact pressure value converted into a value of another measurement unit (eg, hertz, ampere, etc.) with the minimum output voltage of the wearable device 2000 , so that the wearable device 2000 )
  • the minimum intensity of the haptic feedback provided in . may be an intensity corresponding to the target contact pressure.
  • FIG. 3 is a flowchart illustrating a method of providing haptic feedback by a wearable device according to an exemplary embodiment.
  • the wearable device 2000 may acquire the user's profile data.
  • the user's profile data is data corresponding to parameters related to the user's body, at least one of gender, age, skin type (eg, oily, dry, etc.), and body attributes (eg, height, weight, etc.) may include
  • the wearable device 2000 may receive user profile data from a user or may receive user profile data from a server.
  • the wearable device 2000 may acquire biometric data from a biosensor.
  • the biometric data may include at least one of a heart rate, a skin conductance response (SCR), and a skin temperature, which are data obtained by the biosensor sensing biosignals of the user's body.
  • the wearable device 2000 may monitor bio-signals of the user's body by using a bio-sensor, and may continuously acquire bio-data.
  • the wearable device 2000 may acquire biometric data by measuring biosignals at different body parts of the user using a plurality of biosensors.
  • the wearable device 2000 may calculate a target contact pressure based on the profile data and the biometric data.
  • the wearable device 2000 may determine the target contact pressure based on the user's profile information and biometric data.
  • the wearable device 2000 may apply the user's profile data and biometric data to the AI model, and obtain a target contact pressure value output from the AI model.
  • the wearable device 2000 may determine a target contact pressure for each of the plurality of haptic actuators.
  • the wearable device 2000 may measure the current contact pressure applied to the user's body by the haptic actuator by using the pressure sensor.
  • the wearable device 2000 may monitor the pressure of the haptic actuator in contact with the user's body by using the pressure sensor, and may continuously acquire contact pressure data.
  • the number of pressure sensors included in the wearable device 2000 may correspond to the number of haptic actuators.
  • the wearable device 2000 may include a plurality of pressure sensors corresponding to each haptic actuator.
  • each of the plurality of pressure sensors may monitor the pressure of each of the plurality of haptic actuators in contact with the user's body, and may continuously acquire contact pressure data.
  • the wearable device 2000 may adjust the current contact pressure of the haptic actuator measured in operation S340 to be the target contact pressure.
  • the wearable device 2000 may compare the target contact pressure of the haptic actuator and the current contact pressure of the haptic actuator to adjust the current contact pressure of the haptic actuator.
  • the wearable device 2000 when the current contact pressure of the haptic actuator included in the wearable device 2000 is less than the target contact pressure, the wearable device 2000 sets the position of the haptic actuator so that the current contact pressure increases to the target contact pressure. It can be adjusted to be closer to the body of In some embodiments, when the current contact pressure of the haptic actuator included in the wearable device 2000 is greater than the target contact pressure, the wearable device 2000 may set the position of the haptic actuator so that the current contact pressure is reduced to the target contact pressure. can be adjusted further away from the body of
  • the number of haptic actuators included in the wearable device 2000 may be plural.
  • the wearable device 2000 compares the target contact pressure of each of the plurality of haptic actuators with the current contact pressure for each of the plurality of haptic actuators, thereby determining the current contact pressure among the plurality of haptic actuators. You can select a haptic actuator to adjust.
  • the wearable device 2000 may adjust the position of each haptic actuator so that the current contact pressure of each haptic actuator becomes a target contact pressure corresponding to each haptic actuator.
  • the wearable device 2000 may provide haptic feedback to the user by using a haptic actuator contacted to have a target contact pressure value.
  • the wearable device 2000 may generate haptic feedback by controlling the haptic actuator so that the user can feel tactile sensations such as force and movement.
  • the wearable device 2000 may adjust the intensity of the haptic feedback delivered to the user by using a pulse width modulation (PWM) method.
  • PWM pulse width modulation
  • the wearable device 2000 may convert the target contact pressure value into a value of another measurement unit (eg, hertz, ampere, etc.) representing a force capable of transmitting a tactile sensation to the user.
  • the wearable device 2000 matches the target contact pressure value converted to a value of another measurement unit with the minimum output voltage of the wearable device 2000, so that the minimum intensity of the haptic feedback provided from the wearable device 2000 is the target contact pressure. It can be made to be an intensity corresponding to .
  • FIG. 4 is a flowchart illustrating a method of determining a target contact pressure by a wearable device according to an exemplary embodiment.
  • the wearable device 2000 may identify whether the user wears the wearable device 2000 .
  • the wearable device 2000 may determine that the user wears the wearable device 2000 .
  • the wearable device 2000 may determine that the user wears the wearable device 2000 based on a combination of at least some of the biometric data obtained from the biosensor and the contact pressure data obtained from the pressure sensor.
  • the wearable device 2000 may determine that the user wears the wearable device 2000 based on sensor data obtained from other sensors such as an infrared sensor and a proximity sensor.
  • the wearable device 2000 may determine that the user wears the wearable device based on at least some of sensor data obtained from a biosensor, a pressure sensor, an infrared sensor, a proximity sensor, and the like. Step S410 may be performed after steps S310 and S320 of FIG. 3 are performed.
  • the wearable device 2000 may determine an operation of the wearable device based on whether the user wears the wearable device 2000 .
  • the wearable device 2000 when the wearable device 2000 is not identified that the user wears the wearable device 2000 , the wearable device is worn by performing step S410 until the user is identified as wearing the wearable device 2000 . can be monitored.
  • the wearable device 2000 may perform step S430 .
  • the wearable device 2000 may collect biometric data and profile data.
  • the wearable device 2000 may receive user profile data from a user, receive user profile data from a server, or acquire user profile data stored in the wearable device 2000 .
  • the wearable device 2000 may monitor the user's biosignals that change in real time using a biosensor, and may continuously acquire biometric data.
  • the wearable device 2000 may identify the user's skin condition based on the biometric data.
  • the wearable device 2000 may identify the user's skin condition based on a skin conductance response (SCR), skin temperature, etc. included in biometric data.
  • the user's skin condition may include various information indicating the user's skin condition, such as a skin type (eg, oily skin, dry skin, etc.) and a skin moisture level.
  • the wearable device 2000 may identify the user's activity state based on sensor data.
  • the sensor data may include, but is not limited to, biometric data obtained from the biosensor, acceleration data obtained from the acceleration sensor, angular velocity data obtained from the gyro sensor, and the like.
  • the user's activity state may include, but is not limited to, normal, walking, running, and the like.
  • the wearable device 2000 may identify the user's activity state based on a skin conductivity response, a skin temperature, a heart rate, etc. included in the biometric data. For example, the wearable device 2000 may identify whether the user is in a normal state, walking, running, etc. based on a skin conductivity response, a skin temperature, a heart rate, and the like.
  • the wearable device 2000 may identify the user's activity state based on values sensed using an acceleration sensor, a gyro sensor, or the like. For example, the wearable device 2000 may identify whether the user is in a normal state, walking, running, etc. based on the user's moving acceleration, angular velocity, and the like.
  • the wearable device 2000 may determine the user's activity state by using a combination of at least some of sensor data obtained from a biosensor, an acceleration sensor, and a gyro sensor.
  • the wearable device 2000 may determine the target contact pressure based on the user's profile information, the user's skin condition, the user's activity state, and the like. have.
  • the wearable device 2000 may apply the user's profile data, the user's skin state, and the activity state to the artificial intelligence model, and determine the target contact pressure output from the artificial intelligence model.
  • steps S340, S350, and S360 of FIG. 3 may be performed.
  • FIG. 5 is a diagram for describing a method of determining a target contact pressure by a wearable device according to an exemplary embodiment.
  • the wearable device 2000 may determine the target contact pressure of the haptic actuator by using the artificial intelligence model 500 .
  • the wearable device 2000 may acquire the user's profile data 510 .
  • the profile data 510 may include at least one of a user's gender, age, skin type (eg, oily, dry, etc.), and body attributes (eg, height, weight, etc.).
  • the wearable device 2000 may receive the profile data 510 from the user by using a user input interface included in the wearable device 2000 .
  • the wearable device 2000 may acquire the user's profile data 510 previously stored in the wearable device 2000 .
  • the user's profile data 510 may be received from another electronic device interworking with the wearable device or received from a server.
  • the wearable device 2000 may acquire sensor data 520 .
  • the sensor data may include at least one of biometric data obtained from the biosensor, acceleration data obtained from the acceleration sensor, and angular velocity data obtained from the gyro sensor.
  • the wearable device 2000 may acquire data regarding the user's skin condition and data regarding the user's activity state based on the sensor data 520 . Since this has been described in the above-described embodiments, the same description will be omitted.
  • the artificial intelligence model 500 may include a plurality of neural network layers. Each of the plurality of neural network layers may include a plurality of nodes. The artificial intelligence model 500 may receive the user's profile data, data related to the user's skin condition, and data related to the user's activity status.
  • the wearable device 2000 may input data included in the user's profile data 510, such as age (A) 512, gender (G) 514, and body attribute (B) 516 as input data. It can be input to the artificial intelligence model (500).
  • the wearable device 2000 uses the skin state (S) 522 and the activity state (O) 524, which are data obtained based on the sensor data 520 , as input data, as an artificial intelligence model 500 . can be entered.
  • the artificial intelligence model 500 may perform multiplication and summation operations of multiplying and adding a weight to node values of each of the plurality of neural network layers.
  • the value of any one node included in the current layer may be the sum of results obtained by multiplying weight values on nodes included in the previous layer.
  • the value of any one node K included in the layer N, which is the current layer may be expressed by Equation 1 below.
  • node i included in the previous layer is a weight indicating the connection strength between 'node i' included in 'layer N-1', which is the previous layer, and 'node k', included in 'layer N', which is the current layer.
  • an activation function may be used to output a calculation result in at least some of the plurality of neural network layers.
  • the activation function used in the input layer may be expressed by Equation 2 below.
  • A is the age, is the weight corresponding to A
  • G is the gender
  • B is the body attribute
  • S is the skin condition
  • O is the activity state
  • O is the weight corresponding to O.
  • the activation function used by the artificial intelligence model 500 may include, but is not limited to, a sigmoid function, a ReLU function, a hyperbolic tangent (tanh) function, and the like.
  • the wearable device 2000 inputs the user's profile data 510, the user's skin condition data, and the user's activity state data to the artificial intelligence model 500 to obtain a target contact pressure value. can be printed out.
  • the wearable device 2000 may determine a target contact pressure for each of the plurality of haptic actuators using the artificial intelligence model 500. have.
  • the wearable device 2000 is an (i, j)-th haptic actuator. target contact pressure value for can be obtained.
  • FIG. 6 is a diagram for describing a method in which a wearable device identifies a skin condition change and determines a first target contact pressure, according to an exemplary embodiment.
  • the wearable device 2000 may identify whether the user's skin condition has changed based on the biometric data obtained from the biosensor.
  • the user's skin condition is changed from a normal state to a sweating state based on at least a part of a skin conductance response (SCR) and skin temperature included in biometric data.
  • SCR skin conductance response
  • the target contact pressure may need to be updated.
  • the wearable device 2000 may update the skin condition parameter 630 value corresponding to the skin condition. For example, the wearable device 2000 may identify that the user's skin state is changed from the normal state to the sweating state, and change the skin state parameter 630 to a value corresponding to the sweating state. In this case, the wearable device 2000 may adjust the value of the skin condition parameter 630 within a preset range based on the degree to which the user sweats.
  • the wearable device 2000 may newly calculate a target contact pressure value of the haptic actuator based on the updated skin condition parameter 630 value. Also, the wearable device 2000 may continuously update the target contact pressure value of the haptic actuator whenever the value of the skin condition parameter 630 of the user is changed. In the disclosed embodiment, target contact pressure values newly calculated by the wearable device 2000 as a user's skin condition is changed will be referred to as a first target contact pressure.
  • the wearable device 2000 inputs the user's profile data, the user's skin state data, and the user's activity state data to the artificial intelligence model 600 to output a first target contact pressure value. can do.
  • the data regarding the user's skin condition may be the updated skin condition parameter 630 value.
  • the wearable device 2000 calculates the first target contact pressure for each of the plurality of haptic actuators using the artificial intelligence model 600 .
  • the wearable device 2000 is an (i, j)-th haptic actuator.
  • first target contact pressure value for can be obtained.
  • the wearable device 2000 determines the first target contact pressure using the artificial intelligence model 600 corresponds to the method of determining the target contact pressure described in FIG. 5 , the same description will be omitted.
  • FIG. 7 is a flowchart illustrating a method of adjusting a position of a haptic actuator by analyzing a user's activity state by a wearable device according to an exemplary embodiment.
  • the wearable device 2000 may identify the user's current activity state.
  • the wearable device 2000 may identify the user's activity state based on at least a part of the user's profile data 702 , the current acceleration sensor data 704 , and the biometric data 706 obtained from the biosensor. For example, the wearable device 2000 may identify that the user's current activity state is normal 712 , walking 714 , running 716 , etc., but the user's activity state is not limited thereto.
  • Step S710 may be performed after step S330 of FIG. 3 or step S460 of FIG. 4 is performed and the target contact pressure is determined by the wearable device 2000 .
  • step S330 of FIG. 3 or step S460 of FIG. 4 is performed by the wearable device 2000 to obtain a target contact pressure in advance, and when the wearable device 2000 determines the target contact pressure
  • the user's activity state will be described by taking the case of a normal state as an example.
  • the wearable device 2000 may display the user's current activity state (eg, usual (712), walking (714), running (716)).
  • the user's current activity state eg, usual (712), walking (714), running (716).
  • the wearable device 2000 may perform step S715 . Also, when the user's current activity state is identified as walking 714 or running 716 , the wearable device 2000 may perform step S720 .
  • the wearable device 2000 may maintain the previously determined target contact pressure value without changing it.
  • the wearable device 2000 may maintain the previously determined target contact pressure value because the 'normal time 712', which is the identified user's current activity state, is the same as the previous activity state (normal time).
  • the wearable device 2000 may acquire acceleration sensor data that was used when the wearable device 2000 previously calculated the target contact pressure and current acceleration sensor data 704 .
  • the wearable device 2000 since the identified user's current activity state 'walking 714' or 'running 716' is different from the previous activity state (usually), an appropriate target contact suitable for the changed user's activity state
  • the target contact pressure value may be updated to provide the pressure.
  • the wearable device 2000 may identify whether a difference has occurred between the current acceleration sensor data 704 and the acceleration sensor data used in calculating the previous target contact pressure. If there is a difference between the current acceleration sensor data 704 and the acceleration sensor data used in calculating the previous target contact pressure, the wearable device 2000 may perform step S740 . If there is no difference, the wearable device 2000 may repeat step S730.
  • the wearable device 2000 may calculate an acceleration sensor data change value.
  • the wearable device 2000 may calculate the second target contact pressure based on the change value of the acceleration sensor data.
  • the second target contact pressure refers to target contact pressure values newly calculated by the wearable device 2000 as the user's activity state is changed.
  • the wearable device 2000 may continuously update the target contact pressure value of the haptic actuator whenever it is identified that the user's activity state is changed. A specific method for the wearable device 2000 to calculate the second target contact pressure will be further described with reference to FIG. 8 .
  • the wearable device 2000 may adjust the haptic actuator so that the contact pressure of the haptic actuator becomes the second target contact pressure. Also, when there are a plurality of haptic actuators included in the wearable device 2000 , the wearable device 2000 may calculate a second target contact pressure value for each haptic actuator. The wearable device 2000 may select haptic actuators determined to require adjustment of the current contact pressure from among a plurality of haptic actuators. The wearable device may adjust only the selected haptic actuators so that the contact pressure of the selected haptic actuators becomes the second target contact pressure.
  • the wearable device 2000 obtains a plurality of types of sensor data from a plurality of types of sensors included in the sensing unit, and identifies whether a user's activity state is changed based on at least some of the obtained plurality of types of sensor data.
  • the wearable device 2000 may further use various sensors capable of measuring a user's movement, such as angular velocity sensor data obtained from a gyro sensor. Methods in which the wearable device 2000 calculates a difference value based on the acquired sensor data and updates the target contact pressure value may be equally applied to various sensor data.
  • FIG. 8 is a diagram for describing a method in which a wearable device identifies a change in a user's activity state and determines a second target contact pressure, according to an exemplary embodiment.
  • the wearable device 2000 is the (i, j)-th haptic actuator.
  • a case of calculating the second target contact pressure for 800 will be described as an example.
  • the wearable device 2000 may identify whether the user's activity state is changed based on at least a part of a plurality of types of sensor data acquired from the sensing unit. As it is identified that the user's activity state is changed, the wearable device 2000 may calculate the second target contact pressure. In this case, the second target contact pressure may be calculated based on a degree of change in the target contact pressure before the user's activity state is changed.
  • the activity state of the user of the wearable device 2000 may be the first activity state 810 .
  • the first activity state 810 may be a 'normal' state in which the user is not exercising.
  • the wearable device 2000 may identify whether the user's skin state has changed, and determine the first target contact pressure as the user's skin state is identified to be changed. have. Since the method in which the wearable device 2000 determines the first target contact pressure has been described with reference to FIG. 6 , the same description will be omitted.
  • the wearable device 2000 may determine the first target contact pressure at time t 1 based on the user's profile data and biometric data at time t 1 . (812) can be obtained.
  • the wearable device 2000 may determine the first target contact pressure at time t 2 based on the user's profile data and biometric data at time t 2 . (814) can be obtained.
  • the wearable device 2000 may determine the first target contact pressure at time t 3 based on the user's profile data and biometric data at time t 3 . (816) can be obtained.
  • the wearable device 2000 may determine the first target contact pressure based on the user's profile data and biometric data at a time when the user's skin condition is changed.
  • the wearable device 2000 may identify that the user's activity state is changed.
  • the wearable device 2000 may identify that the user's activity state is changed from the first activity state 810 to the second activity state 820 at time t.
  • the first activity state 810 may be 'normal'
  • the second activity state 820 may be 'running'. Since the method for the wearable device 2000 to analyze the user's activity state has been described with reference to FIG. 7 , the same description will be omitted.
  • the wearable device 2000 detects a second target contact pressure at time t. (822) can be calculated.
  • the second target contact pressure For the calculation of (822), Equation 3 below may be used.
  • T is the duration of the previous activity state before the user's activity state is changed
  • T mean of is the first target contact pressure during time T
  • T is the standard deviation of
  • the wearable device 2000 may provide a plurality of second target contact pressure value for each of the haptic actuators of can be obtained.
  • FIG. 9 is a flowchart illustrating a method of updating a target contact pressure by a wearable device according to an exemplary embodiment.
  • the wearable device 2000 may calculate a target contact pressure for the haptic actuator based on the user's profile data and biometric data.
  • Step S910 of FIG. 9 may correspond to step S330 of FIG. 3 or step S460 of FIG. 4 .
  • the wearable device 2000 may identify whether the user's skin condition has changed. When it is identified that the user's skin condition has not changed, the wearable device 2000 may maintain the target contact pressure (step S925). can be performed.
  • the wearable device 2000 may update the target contact pressure value by acquiring the first target contact pressure value based on the changed skin state of the user. Since this has been described above in the description of FIG. 6 , the same description will be omitted.
  • the wearable device 2000 may identify whether the user's activity state is changed. When it is identified that the user's activity state has not changed, the wearable device 2000 may perform the operation of step S920 again to monitor the change in the user's skin state. When it is identified that the user's activity state has changed, the wearable device 2000 may perform step S950 .
  • the wearable device 2000 may update the target contact pressure value by acquiring the second target contact pressure value based on the changed user's activity state. Since this has been described above in the description of FIG. 8 , the same description will be omitted.
  • the wearable device 2000 may continuously update the target contact pressure value for the haptic actuator based on whether the user's skin state is changed or whether the user's activity state is changed.
  • the wearable device 2000 may measure the current contact pressure value of the haptic actuator and adjust the haptic actuator so that the current contact pressure of the haptic actuator becomes the target contact pressure.
  • FIG. 10 is a flowchart illustrating a method for a wearable device to adjust a current contact pressure of a haptic actuator according to an exemplary embodiment.
  • the wearable device 2000 may monitor the current contact pressure of the haptic actuator.
  • the wearable device 2000 may monitor the current contact pressure of the haptic actuator by acquiring contact pressure data applied by the haptic actuator to the user's body using a pressure sensor included in the wearable device.
  • the wearable device 2000 may compare the current contact pressure of the haptic actuator with the target contact pressure of the haptic actuator. Since the method in which the wearable device 2000 obtains the target contact pressure value has been described in the above-described embodiments, the same description will be omitted.
  • the wearable device 2000 may determine that adjustment of the haptic actuator is not required. In this case, the wearable device 2000 may perform step S1010 again to monitor the current contact pressure of the haptic actuator.
  • the wearable device 2000 may perform step S1030 when the current contact pressure of the haptic actuator is less than the target contact pressure or the current contact pressure of the haptic actuator is greater than the target contact pressure.
  • the wearable device 2000 may adjust the haptic actuator so that the contact pressure of the haptic actuator becomes the target contact pressure.
  • the wearable device 2000 when the current contact pressure of the haptic actuator is smaller than the target contact pressure, the wearable device 2000 adjusts the position of the haptic actuator to be closer to the user's body, so that the haptic actuator applies the target contact pressure to the user's body. It is possible to provide a haptic feedback to the user in a contacted state.
  • the wearable device 2000 when the current contact pressure of the haptic actuator is greater than the target contact pressure, the wearable device 2000 adjusts the position of the haptic actuator to be further away from the user's body, so that the haptic actuator applies the target contact pressure to the user's body. It is possible to provide a haptic feedback to the user in a contacted state.
  • the wearable device 2000 may identify a distance between the adjusted haptic actuator and another adjacent haptic actuator. For example, as the position of the haptic actuator is adjusted to be the target contact pressure in step S1030, the distance between the adjusted haptic actuator and other haptic actuators included in the wearable device 2000 may increase or decrease. The wearable device 2000 may identify a distance between the haptic actuator whose position is adjusted and the other haptic actuator with respect to the haptic actuator whose position is adjusted.
  • the wearable device 2000 may compare a distance between the identified haptic actuators with a threshold value. In an embodiment, when the distance between the haptic actuators is less than the threshold value, the wearable device 2000 may perform step S1060.
  • the wearable device 2000 may deactivate at least some of the haptic actuators from among haptic actuators having a distance between the haptic actuators less than a threshold value.
  • the haptic feedback may not be properly provided to the user due to the close distance between the haptic actuators (user feels one haptic feedback from two or more adjacent haptic actuators, etc.). Therefore, even if the distance between the haptic actuators is less than the threshold value and haptic feedback is not generated in all of the two or more haptic actuators adjacent to each other, sufficient haptic feedback can be provided to the user.
  • haptic actuators that are less than a value, at least some of the haptic actuators may be inactivated.
  • FIG. 11 is a diagram for explaining a method of providing, by a wearable device, a haptic feedback based on a target contact pressure, according to an embodiment.
  • the wearable device 2000 may convert the target contact pressure value into a value of another measurement unit indicating a force capable of transmitting a tactile sense to the user.
  • the wearable device 2000 may set the target contact pressure value ( ) to the vibration value in hertz (Hz) ( ) can be converted to
  • the wearable device 2000 sets the frequency corresponding to the target contact pressure value as the minimum frequency ( ) can be set.
  • the value of the other measurement unit is not limited thereto, and the wearable device 2000 is a value of a measurement unit such as ampere (A), which is another measurement unit capable of delivering haptic feedback to the user based on the target contact pressure value. can be converted
  • the wearable device 2000 may match the target contact pressure value converted in operation S1110 with the minimum output voltage of the wearable device 2000 .
  • the wearable device 2000 may set the target contact pressure value ( ) obtained by converting the vibration value in hertz ( ) is the minimum output voltage of the wearable device 2000 ( ), the minimum intensity of the haptic feedback provided from the wearable device 2000 may be an intensity corresponding to the target contact pressure.
  • the wearable device 2000 may adjust the intensity of the haptic feedback delivered to the user by using a pulse width modulation method.
  • FIG. 12 is a diagram for explaining an example for allowing a wearable device to contact a user's body with a haptic actuator according to an embodiment.
  • the wearable device 2000 may include a haptic actuator 1200, a strap a 1210 is connected to one side of the haptic actuator 1200, and a strap b 1220 is connected to the other side of the haptic actuator 1200. may be connected.
  • the wearable device 2000 may measure the current contact pressure of the haptic actuator 1200 and compare it with the target contact pressure.
  • the wearable device 2000 may shorten the length of the strap in order to adjust the position of the haptic actuator 1200 to be closer to the user's body.
  • the wearable device 2000 may use a physical adjustment device (eg, a gear, a string, etc.) attached to the haptic actuator 1200 .
  • the wearable device 2000 includes the haptic actuator 1200 and the strap a 1210 and the strap b 1220 so that the strap a 1210 and the strap b 1220 are closer to the haptic actuator 1200 using a physical adjustment device. ), the haptic actuator can be adjusted to be closer to the user's body.
  • the wearable device 2000 when the current contact pressure is greater than the target contact pressure, the wearable device 2000 includes the haptic actuator 1200 and the strap a 1210 and It is possible to loosen the tightening of the gap between the straps b (1220). A physical structure for the wearable device 2000 to adjust the position of the haptic actuator will be further described with reference to FIGS. 14A to 15 .
  • FIG. 13 is a view for explaining a method of adjusting a distance between a plurality of haptic actuators, in order for a wearable device to adjust a current contact pressure of the plurality of haptic actuators, according to an embodiment.
  • the wearable device 2000 may include a haptic actuator a 1310 , a haptic actuator b 1320 , and a haptic actuator c 1330 .
  • the haptic actuator a 1310 and the haptic actuator c 1330 may be in contact with the user's skin.
  • the current contact pressures of the haptic actuator a ( 1310 ) and the haptic actuator c ( 1330 ) are measured, the current contact pressures of the haptic actuator a ( 1310 ) and the haptic actuator c ( 1330 ) are appropriately contacted to be the target contact pressure. It can be confirmed that
  • the haptic actuator b (1320) may not be in contact with the user's skin. In this case, when the current contact pressure of the haptic actuator b 1320 is measured, the current contact pressure of the haptic actuator b 1320 may be measured to be smaller than the target contact pressure value.
  • the wearable device 2000 may adjust the current contact pressure of the haptic actuator based on the current contact pressure and the target contact pressure of the haptic actuator. In this case, the wearable device 2000 may adjust the current contact pressure of the haptic actuators by adjusting the distances between the plurality of haptic actuators.
  • the wearable device 2000 is configured to decrease the distance between haptic actuator a ( 1310 ) and haptic actuator b ( 1320 ) and between haptic actuator b ( 1320 ) and haptic actuator c ( 1330 ). , it is possible to adjust the current contact pressure of the haptic actuator b (1320).
  • the wearable device 2000 tightens the haptic actuator b (1320) so that the haptic actuator a (1310) and the haptic actuator c (1330) are closer to the haptic actuator b (1320), so that the haptic actuator b (1320) is applied to the user's skin. can be brought into contact with
  • the wearable device 2000 may adjust the current contact pressure of the haptic actuator b 1320 until the contact pressure of the haptic actuator b 1320 becomes the target contact pressure.
  • the wearable device 2000 increases the distance between haptic actuator a ( 1310 ) and haptic actuator b ( 1320 ) and between haptic actuator b ( 1320 ) and haptic actuator c ( 1330 ) by increasing the , it is possible to adjust the current contact pressure of the haptic actuator b (1320).
  • the wearable device 2000 attaches the haptic actuator a 1310 and the haptic actuator c 1330 respectively to the haptic actuator b ( By pulling in a direction away from 1320 , the haptic actuator b 1320 may be brought into contact with the user's skin. In this case, the wearable device 2000 may adjust the current contact pressure of the haptic actuator b 1320 until the contact pressure of the haptic actuator b 1320 becomes the target contact pressure.
  • a physical structure for the wearable device 2000 to adjust the position of the haptic actuator will be further described with reference to FIGS. 14A to 15 .
  • 14A is a diagram for explaining a structure for adjusting a distance between a haptic actuator and other haptic actuators adjacent to a wearable device according to an embodiment
  • the wearable device 2000 may include a gear box 1410 connected to the haptic actuator 1400 .
  • Gear box 1410 may include one or more gears.
  • the gearbox 1410 includes an Up-move Gear 1412 , a Down-move Gear 1414 , a Left-move Gear 1416 , and a right A right-move gear 1418 may be included.
  • the present invention is not limited thereto, and the gear box 1410 may further include a front-move gear (not shown) and a back-move gear (not shown).
  • the wearable device 2000 may move the haptic actuator 1400 connected to the gear box 1410 by rotating the gear with respect to each gear included in the gear box 1410 .
  • the wearable device 2000 may adjust the position of the haptic actuator 1400 to move upward to the right by rotating the upward movement gear 1412 and the rightward movement gear 1418 .
  • the distance between the other haptic actuators 1401 , 1402 and the haptic actuator 1400 is decreased, and the distance between the other haptic actuators 1403 and 1404 is reduced.
  • the spacing between the haptic actuators 1400 may increase.
  • the wearable device 2000 may adjust the spacing to decrease or increase the spacing between the haptic actuators so that the haptic actuator contacts the user's body with the target contact pressure value.
  • FIG. 14B is a diagram for further explaining FIG. 14A.
  • the wearable device 2000 may control a distance between haptic actuators to which the gearbox is connected by controlling one or more gears among gears included in the gearbox to rotate.
  • the wearable device 2000 may adjust the distance between the haptic actuators so that the haptic actuators come into contact with the user's body.
  • the wearable device 2000 may adjust the haptic actuator so that the current contact pressure of the haptic actuator becomes the target contact pressure.
  • the wearable device 2000 may control one or more gears included in the gear box 1410 to rotate.
  • the wearable device 2000 may tighten the gap between the haptic actuator 1400 and another haptic actuator 1401 positioned above the haptic actuator 1400 by rotating the up-move gear 1412 . .
  • the wearable device 2000 rotates a right-move gear 1418, thereby providing a gap between the haptic actuator 1400 and another haptic actuator 1402 located to the right of the haptic actuator 1400. can be tightened
  • the wearable device 2000 rotates the Left-move Gear 1416 , so that the distance between the haptic actuator 1400 and another haptic actuator 1403 located to the left of the haptic actuator 1400 . can be tightened
  • the wearable device 2000 rotates a Down-move Gear 1414 , so that a gap between the haptic actuator 1400 and another haptic actuator 1404 located below the haptic actuator 1400 is provided. can be tightened
  • the wearable device 2000 may adjust the current contact pressure of the haptic actuator until it becomes the target contact pressure by adjusting the distance between the haptic actuator and other haptic actuators adjacent to it.
  • FIG. 15 is a diagram for explaining another structure for adjusting a distance between a haptic actuator and other haptic actuators adjacent to a wearable device according to an embodiment
  • the wearable device 2000 may include an electromagnet 1510 attached to the haptic actuator 1500 .
  • the electromagnet 1510 may include an S pole 1512 and an N pole 1514 . Depending on the direction of the current flowing through the electromagnet 1510, the positions of the S pole 1512 and the N pole 1514 may be changed.
  • the wearable device 2000 may move the haptic actuator 1500 attached to the electromagnet 1510 by controlling the current flowing through the electromagnet 1510 .
  • the wearable device 2000 may control the current flowing through the electromagnet 1510 to adjust the position of the haptic actuator attached to the electromagnet to move upward to the right.
  • current may flow through the other haptic actuators 1501 and 1502 to have poles opposite to those of the haptic actuator 1500 . Accordingly, the distance between the haptic actuator 1500 and the other haptic actuators 1501 and 1502 may be reduced.
  • the wearable device 2000 may adjust the spacing to decrease or increase the spacing between the haptic actuators so that the haptic actuator contacts the user's body with the target contact pressure value.
  • 16 is a diagram for describing a method of adjusting a distance between a plurality of haptic actuators, in order for a wearable device to adjust a current contact pressure of the plurality of haptic actuators, according to an embodiment.
  • the wearable device 2000 may measure a current contact pressure of each of the plurality of haptic actuators by using a pressure sensor corresponding to each of the plurality of haptic actuators.
  • the wearable device 2000 may select one or more haptic actuators to adjust the current contact pressure from among the plurality of haptic actuators based on the current contact pressure of each of the plurality of haptic actuators.
  • some of the haptic actuators may be haptic actuators 1610 incompletely in contact with the user's skin.
  • some other haptic actuators may be haptic actuators 1620 that are not in contact with the user's skin.
  • the wearable device 2000 may select incompletely contacted haptic actuators 1610 and non-contacted haptic actuators 1620 from among the plurality of haptic actuators.
  • the wearable device 2000 may adjust the contact pressures of the incompletely contacted haptic actuators 1610 and the non-contacted haptic actuators 1620 to be a target contact pressure.
  • the wearable device 2000 adjusts the spacing between the selected incompletely contacted haptic actuators 1610 and the non-contacted haptic actuators 1620, whereby the incompletely contacted haptic actuators 1610 and the non-contacted haptic actuators 1620 are adjusted. It is possible to adjust the current contact pressure of the haptic actuators 1620 . In this case, the wearable device 2000 may adjust the distance between the haptic actuators 1610 and 1620 using the gear box or the electromagnet according to the above-described embodiments.
  • 17A is a view for explaining a mounting structure of haptic actuators when the wearable device according to an embodiment is a smart garment.
  • the wearable device 2000 may be the smart garment 1700 .
  • the smart garment 1700 may include at least one battery 1710 , at least one processor 1720 , and a haptic actuator 1730 .
  • the battery may supply power required for the processor 1700 to control the smart garment 1700 .
  • the processor 1700 may control the haptic actuator 1730 to generate haptic feedback.
  • the processor 1700 may adjust the spacing between the plurality of haptic actuators so that the haptic actuators contact the user's body with a target contact pressure.
  • a sensing unit may be attached to the haptic actuator 1730 to acquire a plurality of types of sensor data.
  • the sensing unit may include a biosensor, a pressure sensor, an acceleration sensor, and a gyro sensor according to the above-described embodiments.
  • the smart garment 1700 may be comprised of an outer skin 1702 and an inner skin 1704 .
  • the plurality of haptic actuators 1730 may be mounted on the inner skin 1704 of the smart garment 1700 .
  • the smart garment 1700 may provide haptic feedback to a user wearing the smart garment 1700 by using a plurality of haptic actuators 1730 disposed on the endothelium 1704 of the smart garment 1700 .
  • 17B is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator using a fluid pressure when the wearable device is a smart garment according to an embodiment.
  • a sensing unit may be attached to the haptic actuator 1730 .
  • the sensing unit may include a plurality of types of sensors, and may acquire a plurality of types of sensor data by using the plurality of types of sensors.
  • the sensing unit may include a biosensor, a pressure sensor, an acceleration sensor, and a gyro sensor.
  • the endothelium 1704 of the smart garment 1700 may include pockets of fluid inflatable by a fluid.
  • the smart garment 1700 may further include a fluid pump for injecting a fluid into the fluid pocket.
  • the processor 1720 of the smart garment 1700 may control the fluid pump to inject a fluid into or extract a fluid from the fluid pocket.
  • the processor 1720 may control the haptic actuator 1730 to come into contact with the user's body by injecting a fluid into the fluid pocket and expanding the fluid pocket.
  • the processor 1720 may acquire a plurality of types of sensor data using a plurality of types of sensors included in the sensing unit.
  • the processor 1720 may calculate the target contact pressure value according to the above-described embodiments based on the plurality of types of sensor data.
  • the processor 1720 may adjust the current contact pressure of the haptic actuator 1730 so that the current contact pressure of the haptic actuator 1730 becomes the updated target contact pressure value.
  • the processor 1720 may adjust the current contact pressure of the haptic actuator by injecting the fluid into the fluid pocket or extracting the fluid from the fluid pocket.
  • 17C is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator by adjusting a distance between the haptic actuators when the wearable device is a smart garment according to an embodiment
  • a gear box may be connected to the haptic actuators 1730 included in the smart garment 1700 .
  • a sensing unit may be in contact with the haptic actuator 1730 .
  • the sensing unit may include a plurality of types of sensors, and may acquire sensor data of the plurality of types.
  • the sensing unit may include a biosensor, a pressure sensor, an acceleration sensor, and a gyro sensor.
  • the processor 1720 may measure the current contact pressure of each of the plurality of haptic actuators 1730 by using a pressure sensor corresponding to each of the plurality of haptic actuators 1730 .
  • the processor 1720 may select one or more haptic actuators to adjust the current contact pressure from among the plurality of haptic actuators 1730 based on the current contact pressure of each of the plurality of haptic actuators 1730 .
  • the processor 1720 may adjust the current contact pressure of the selected one or more haptic actuators to be the target contact pressure. Since this has been described in the description of FIG. 16 , the same description will be omitted.
  • 18A is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator by using a fluid pressure when the wearable device is a smart watch according to an embodiment.
  • the wearable device 2000 may be a smart watch 1800 .
  • the smart watch 1800 may include at least a strap 1810 , a fluid pocket 1820 , a strap adjustment unit 1830 , a sensing unit 1840 , and a haptic actuator 1850 .
  • a plurality of haptic actuators 1850 may be arranged on the strap 1810 .
  • a fluid pocket 1820 that can be inflated by a fluid may be attached to the strap 1810 .
  • the strap adjuster 1830 may include a cylinder 1832 , a fluid pump 1834 and a piston 1836 for injecting fluid into the fluid pocket 1820 .
  • the strap adjuster 1830 may inject fluid into or extract fluid from the fluid pocket 1820 using the cylinder 1832 , the fluid pump 1834 , and the piston 1836 .
  • a sensing unit 1840 may be attached to the haptic actuator 1850 .
  • the sensing unit 1840 may include a plurality of types of sensors, and may acquire a plurality of types of sensor data by using the plurality of types of sensors.
  • the sensing unit 1840 may include a biosensor, a pressure sensor, an acceleration sensor, and a gyro sensor.
  • the smart watch 1800 may control the fluid to be injected into the fluid pocket 1820 or the fluid to be extracted from the fluid pocket 1820 by using the strap adjuster 1830 .
  • the smart watch 1800 may control the haptic actuator 1850 to come into contact with the user's body by injecting a fluid into the fluid pocket 1820 to inflate the fluid pocket 1820 .
  • the smart watch 1800 may acquire a plurality of types of sensor data using a plurality of types of sensors included in the sensing unit 1840 .
  • the smart watch 1800 may calculate the target contact pressure value according to the above-described embodiments based on the plurality of types of sensor data.
  • the smart watch 1800 may adjust the current contact pressure of the haptic actuator 1850 so that the current contact pressure of the haptic actuator 1850 becomes the updated target contact pressure value.
  • the smart watch 1800 adjusts the current contact pressure of the haptic actuator 1850 by injecting a fluid into the fluid pocket 1820 using the strap adjustment unit 1830 or extracting the fluid from the fluid pocket 1820 .
  • 18B is a diagram for explaining another method of adjusting a current contact pressure of a haptic actuator by adjusting a length of a strap when the wearable device is a smart watch according to an embodiment
  • the wearable device 2000 may be a smart watch 1800 .
  • the smart watch 1800 may include at least a strap 1810 , a strap adjustment unit 1860 , a sensing unit 1840 , and a haptic actuator 1850 .
  • a plurality of haptic actuators 1850 may be arranged on the strap 1810 .
  • the strap adjuster 1860 may include a gearbox 1864 including one or more gears and a spring 1862 for adjusting the length of the strap 1810 .
  • the strap adjustment unit 1860 may adjust the length of the strap 1810 by pulling or loosening the spring 1862 using the gear box 1864 .
  • a sensing unit 1840 may be attached to the haptic actuator 1850 .
  • the sensing unit 1840 may include a plurality of types of sensors, and may acquire a plurality of types of sensor data by using the plurality of types of sensors.
  • the sensing unit 1840 may include a biosensor, a pressure sensor, an acceleration sensor, and a gyro sensor.
  • the smart watch 1800 may adjust the length of the strap 1810 using the strap adjustment unit 1860 .
  • the smart watch 1800 rotates one or more gears included in the gear box 1864 so that the spring 1862 is pulled, thereby shortening the length of the strap 1810 so that the haptic actuator 1850 is attached to the user's body. contact can be controlled.
  • the smart watch 1800 may acquire a plurality of types of sensor data using a plurality of types of sensors included in the sensing unit 1840 .
  • the smart watch 1800 may calculate the target contact pressure value according to the above-described embodiments based on the plurality of types of sensor data.
  • the smart watch 1800 may adjust the current contact pressure of the haptic actuator 1850 so that the current contact pressure of the haptic actuator 1850 becomes the updated target contact pressure value.
  • the smart watch 1800 may adjust the current contact pressure of the haptic actuator 1850 by tightening the length of the strap 1810 using the strap adjustment unit 1860 or adjusting the length of the strap 1810 loosely. have.
  • 19 is a diagram for explaining a method of adjusting a current contact pressure of a haptic actuator by applying pressure to the haptic actuator when the wearable device is a head-mounted display according to an embodiment.
  • the wearable device 2000 may be a head-mounted display 1900 .
  • the head mounted display 1900 may include at least a pad 1910 , a pressure means 1920 , a support member 1930 , a sensing unit 1940 , and a haptic actuator 1950 .
  • the head mounted display 1900 may adjust the current contact pressure of the haptic actuator 1950 by applying pressure to the haptic actuator 1950 included in the head mounted display 1900 .
  • the pad 1910 may be in contact with the user's body.
  • a plurality of haptic actuators 1950 may be arranged on a surface opposite to the contact surface where the pad 1910 comes into contact with the user's body.
  • the pressure means 1920 may apply pressure toward the haptic actuator in order to bring the haptic actuator included in the pad into close contact with the user's body.
  • the support member 1930 may support the pressure means 1920 for applying pressure to the haptic actuator 1950 .
  • a sensing unit 1940 may be attached to the haptic actuator 1950 .
  • the sensing unit 1940 may include a plurality of types of sensors, and may acquire a plurality of types of sensor data using the plurality of types of sensors.
  • the sensing unit 1940 may include a biosensor, a pressure sensor, an acceleration sensor, and a gyro sensor.
  • the head mounted display 1900 may control the haptic actuator 1950 to contact the user's body by applying pressure to the haptic actuator 1950 using the pressure means 1920 .
  • the head mounted display 1900 uses the pressure means 1920 to apply pressure to the haptic actuator 1950 to cause the haptic actuator 1950 to contact the user's forehead.
  • the head mounted display 1900 uses the pressure means 1920 to apply pressure to the haptic actuator 1950 so as to cause the haptic actuator 1950 to contact the user's nose and cheekbones.
  • the pressure means 1920 may include various structures capable of applying pressure to the haptic actuator 1950 .
  • the pressure means 1920 may be a hydraulic pressure means, a spring, a shape memory alloy spring, or the like, but is not limited thereto.
  • the head mounted display 1900 applies pressure to the haptic actuator 1950 by heating the shape memory alloy spring, so that the haptic actuator ( 1950) may be controlled to be in contact with the user's body.
  • 20 is a block diagram illustrating a configuration of a server according to an embodiment.
  • the server 3000 may be interconnected with the wearable device 2000 in a wired communication or wireless communication method, and may perform data communication.
  • the server 3000 may include at least a communication interface 3100 , a DB 3200 , a memory 3300 , and a processor 3400 .
  • the communication interface 3100 includes a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, It may include one or more components that allow communication through a satellite communication network and a combination thereof.
  • LAN local area network
  • WAN wide area network
  • VAN value added network
  • mobile radio communication network It may include one or more components that allow communication through a satellite communication network and a combination thereof.
  • the communication interface 3100 may transmit an artificial intelligence model for determining the target contact pressure to the wearable device 2000 .
  • the communication interface 3100 receives the user's profile data and biometric data from the wearable device 2000 , and calculates the target contact pressure using an artificial intelligence model for determining the target contact pressure stored in the server 3000 . It can be transmitted to the wearable device 2000 .
  • the communication interface 3100 may receive an artificial intelligence model for determining the target contact pressure from the wearable device 2000 , and transmit the updated artificial intelligence model to the wearable device 2000 .
  • the DB 3200 may store data received from the wearable device 2000 .
  • the DB 3200 may store an artificial intelligence model generated through learning in the server 3000 and a training dataset to be used to learn the artificial intelligence model.
  • the memory 3300 may store various data, programs, or applications for driving and controlling the server 3000 .
  • a program stored in the memory 3300 may include one or more instructions.
  • a program (one or more instructions) or an application stored in the memory 3300 may be executed by the processor 3400 .
  • a module performing the same function as a module stored in the wearable device 2000 may be stored in the memory 3300 .
  • data and program command codes corresponding to a sensor data analysis module (not shown) and a target contact pressure determining module (not shown) may be stored in the memory 3300 .
  • the processor 3400 may control the server 3000 as a whole.
  • the processor 3400 according to an embodiment may execute one or more programs stored in the memory 3300 .
  • the processor 3400 is designed as a hardware structure specialized for processing an application processor (AP), a central processing unit (CPU), a graphic processing unit (GPU), a neural processor, or an artificial intelligence model. It may include a processor dedicated to artificial intelligence, and the like.
  • AP application processor
  • CPU central processing unit
  • GPU graphic processing unit
  • neural processor or an artificial intelligence model. It may include a processor dedicated to artificial intelligence, and the like.
  • the processor 3400 may perform operations that may be performed by the wearable device 2000 according to the above-described embodiments.
  • the processor 3400 may calculate a target contact pressure, which is a pressure set so that the haptic actuator of the wearable device 2000 comes into contact with the user's body.
  • the processor 3400 receives the user's profile data and biometric data from the wearable device 2000 , and uses an artificial intelligence model for determining the target contact pressure stored in the DB 3200 , the haptic actuator of the wearable device 2000 . It is possible to determine the target contact pressure for Since the method in which the server 3000 determines the target contact pressure corresponds to the method in which the wearable device 2000 determines the target contact pressure, the same description will be omitted.
  • the processor 3400 may generate an artificial intelligence model for determining the target contact pressure by performing learning using the user's profile data and biometric data stored in the DB 3200 .
  • the generated artificial intelligence model may be transmitted to the wearable device 2000 .
  • the processor 3400 may receive a plurality of sensor data data obtained as the user actually uses the wearable device 2000 from the wearable device 2000 and update the artificial intelligence model for determining the target contact pressure.
  • a block diagram of the wearable device 2000 illustrated in FIG. 2 and a block diagram of the server 3000 illustrated in FIG. 20 are block diagrams for an exemplary embodiment.
  • Each component in the block diagram may be integrated, added, or omitted according to the specifications of each device that is actually implemented. That is, two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed in each block is for describing the embodiments, and the specific operation or device does not limit the scope of the present invention.
  • the method of operating a wearable device may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the operating method of the wearable device according to the disclosed embodiments may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • the computer program product may include a product (eg, a downloadable app) in the form of a S/W program distributed electronically through a manufacturer of a wearable device or an electronic market.
  • a product eg, a downloadable app
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a SW program.
  • the computer program product in a system consisting of a server and a client device, may include a storage medium of the server or a storage medium of the client device.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the S/W program itself transmitted from the server to the client device or the third device, or transmitted from the third device to the client device.
  • one of the server, the client device and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of a server, a client device, and a third device may execute a computer program product to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)

Abstract

사용자의 프로파일 데이터를 획득하는 단계; 하나 이상의 바이오 센서를 이용하여, 사용자의 생체 데이터를 획득하는 단계; 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해질 타겟 접촉 압력을 계산하는 단계; 하나 이상의 압력 센서를 이용하여, 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해지는 현재 접촉 압력을 측정하는 단계; 및 상기 현재 접촉 압력 및 상기 타겟 접촉 압력에 기초하여, 상기 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계를 포함하는, 웨어러블 디바이스에서, 사용자에게 햅틱 피드백을 제공하는 방법이 제공된다.

Description

햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법
본 개시는 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법에 관한 것이다.
스마트 워치, 스마트 밴드, 스마트 의복, 헤드마운트 디스플레이 등 다양한 유형의 웨어러블 디바이스가 사용자에게 제공되고 있다. 웨어러블 디바이스는 웨어러블 디바이스의 동작을 수행하면서 사용자에게 햅틱 피드백을 제공함으로써, 사용자에게 개선된 디바이스 사용 경험을 제공할 수 있다.
웨어러블 디바이스가 사용자에게 햅틱 피드백을 제공하는 경우, 웨어러블 디바이스의 사용자마다 햅틱 피드백을 느낄 수 있는 햅틱 피드백 인지 정도가 상이할 수 있다. 햅틱 피드백의 인지 정도가 상이한 사용자마다 적절한 햅틱 피드백을 제공하기 위해, 햅틱 피드백을 발생시키는 햅틱 액추에이터가 사용자에게 접촉되는 적절한 접촉 압력을 결정하는 것이 필요하다.
이에 따라, 사용자에게 햅틱 피드백을 제공하기 위한 구체적인 방안을 제시하고자 한다.
상기 정보는, 본 개시의 이해를 돕기 위한 배경 정보로서만 제공된다. 상기 내용 중 어느 것이 본 개시와 관련하여 선행기술로 적용될 수 있는지 여부에 대한, 어떠한 결정도 및 주장도 이루어지지 않았음을 명시한다.
본 개시의 측면들은 적어도 위에서 언급된 문제 및/또는 단점을 해결하고, 적어도 아래에서 설명되는 이점을 제공하는 것이다. 따라서, 본 개시의 일 측면은, 사용자에게 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법을 제공하기 위한 것이다.
추가적인 측면들은 다음의 설명에서 부분적으로 설명될 것이며, 부분적으로는, 설명으로부터 명백할 것이며, 또는 제시된 실시예의 실행에 의해 학습될 수 있을 것이다.
본 개시의 일 측면에 따르면, 햅틱 피드백을 제공하는 웨어러블 디바이스가 제공된다. 상기 웨어러블 디바이스는, 복수 타입의 센서 데이터를 획득하는 센싱부를 포함하되, 상기 센싱부는, 사용자의 생체 데이터를 획득하는 하나 이상의 바이오 센서; 및 상기 하나 이상의 햅틱 액추에이터가 상기 사용자의 신체에 가하는 접촉 압력 데이터를 획득하는 하나 이상의 압력 센서를 포함하고, 상기 사용자에게 햅틱 피드백을 제공하는 하나 이상의 햅틱 액추에이터; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 상기 사용자의 프로파일 데이터 를 획득하고, 상기 하나 이상의 바이오 센서로부터 상기 사용자의 생체 데이터 를 획득하고, 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해질 타겟 접촉 압력을 계산하고, 상기 하나 이상의 압력 센서를 이용하여 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해지는 현재 접촉 압력을 측정하고, 상기 현재 접촉 압력 및 상기 타겟 접촉 압력에 기초하여, 상기 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정할 수 있다.
본 개시의 일 측면에 따르면, 웨어러블 디바이스가 햅틱 피드백을 제공하는 방법이 제공된다. 상기 방법은, 사용자의 프로파일 데이터를 획득하는 단계; 하나 이상의 바이오 센서를 이용하여, 사용자의 생체 데이터를 획득하는 단계; 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해질 타겟 접촉 압력을 계산하는 단계; 하나 이상의 압력 센서를 이용하여, 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해지는 현재 접촉 압력을 측정하는 단계; 및 상기 현재 접촉 압력 및 상기 타겟 접촉 압력에 기초하여, 상기 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계를 포함할 수 있다.
상기 사용자의 생체 데이터는 사용자의 피부 상태 및 사용자의 액티비티 상태 중 적어도 하나를 식별하기 위한 센서 데이터를 포함하고, 상기 사용자 프로파일 데이터는 상기 사용자의 연령, 성별, 신체 속성 및 피부 타입 중 적어도 하나의 정보를 포함할 수 있다.
상기 타겟 접촉 압력을 계산하는 단계는, 상기 사용자의 프로파일 데이터, 상기 식별된 피부 상태 및 식별된 액티비티 상태를 상기 타겟 접촉 압력을 결정하기 위하여 훈련된 인공지능 모델에 적용하여, 상기 타겟 접촉 압력을 결정하는 단계를 포함할 수 있다.
상기 하나 이상의 햅틱 액추에이터는 복수개의 햅틱 액추에이터들이고, 상기 하나 이상의 압력 센서는 복수개의 압력 센서이고, 상기 하나 이상의 바이오 센서는 복수개의 바이오 센서이며, 상기 타겟 접촉 압력을 계산하는 단계는, 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력을 계산하는 단계를 포함하고, 상기 현재 접촉 압력을 측정하는 단계는, 상기 복수의 압력 센서들을 이용하여 상기 복수의 햅틱 액추에이터들 각각의 현재 접촉 압력을 측정하는 단계를 포함할 수 있다.
상기 방법은, 상기 복수의 햅틱 액추에이터들 각각의 현재 접촉 압력에 기초하여, 상기 복수의 햅틱 액추에이터들 중 현재 접촉 압력을 조정할 하나 이상의 햅틱 액추에이터를 선택하는 단계를 더 포함하고, 상기 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계는, 상기 선택된 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계를 포함할 수 있다.
상기 방법은, 상기 생체 데이터에 기초하여, 상기 사용자의 피부 상태가 변경되었는지를 식별하는 단계를 더 포함하고, 상기 타겟 접촉 압력을 계산하는 단계는, 상기 사용자의 피부 상태가 변경됨이 식별됨에 따라, 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력을 변경하는 단계를 포함하고, 상기 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계는, 상기 복수의 햅틱 액추에이터들 중 적어도 일부의 현재 접촉 압력을 재조정하는 단계를 포함할 수 있다.
상기 방법은, 센싱부로부터 복수 타입의 센서 데이터를 획득하는 단계; 및 상기 센싱부로부터 획득된 복수 타입의 센서 데이터 중 적어도 일부에 기초하여, 상기 사용자의 액티비티 상태가 변경되었는지를 식별하는 단계를 더 포함하고, 상기 타겟 접촉 압력을 계산하는 단계는, 상기 사용자의 액티비티 상태가 변경됨이 식별됨에 따라, 상기 사용자의 액티비티 상태가 변경되기 전까지의 상기 타겟 접촉 압력의 변화 정도에 기초하여 상기 타겟 접촉 압력을 새로운 타겟 접촉 압력으로 변경할 수 있다.
상기 현재 접촉 압력을 조정하는 단계는, 상기 새로운 타겟 접촉 압력 및 상기 압력 센서들로부터 센싱되는 현재 접촉 압력에 기초하여, 상기 복수의 햅틱 액추에이터들 중 적어도 일부의 현재 접촉 압력을 재조정하는 단계를 포함할 수 있다.
상기 현재 접촉 압력은, 상기 현재 접촉 압력이 상기 타겟 접촉 압력보다 작은 것에 응답하여, 상기 웨어러블 디바이스가 상기 사용자의 신체에 더 가깝게 위치하도록 조정될 수 있다.
상기 현재 접촉 압력은, 상기 현재 접촉 압력이 상기 타겟 접촉 압력보다 큰 것에 응답하여, 상기 웨어러블 디바이스가 상기 사용자의 신체로부터 더 멀리 위치하도록 조정될 수 있다.
상기 접촉 압력은, 적어도 하나의 스트랩을 조이거나 느슨하게 하는 것 중 하나에 의해 조정될 수 있다.
상기 접촉 압력은, 유체 주입 또는 추출 중 하나에 의해 조정될 수 있다.
상기 현재 접촉 압력을 조정하는 단계는, 상기 선택된 하나 이상의 햅틱 액추에이터와 인접한 다른 햅틱 액추에이터들과의 간격을 조정함으로써 상기 선택된 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계를 포함할 수 있다.
상기 방법은, 상기 선택된 하나 이상의 햅틱 액추에이터와 인접한 햅틱 액추에이터 사이의 거리를 임계값과 비교하는 단계; 및 상기 거리가 임계값보다 작은 것에 응답하여 상기 거리를 조정하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 임계값보다 작은 값의 거리로 인접한 햅틱 액추에이터 중 적어도 일부를 비활성화하는 단계를 더 포함할 수 있다.
본 개시의 다른 측면들, 이점들 및 특징들은, 본 개시의 다양한 실시예들을 개시하는 후술하는 상세한 도면을 첨부된 도면과 함께 고려함으로써 당업자에게 명백해질 것이다.
도 1은 일 실시예에 따른, 햅틱 피드백을 제공하는 웨어러블 디바이스들을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 웨어러블 디바이스의 구성을 도시한 블록도이다.
도 3은 일 실시예에 따른 웨어러블 디바이스가 햅틱 피드백을 제공하는 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 웨어러블 디바이스가 피부 상태 변화를 식별하고, 제1 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 웨어러블 디바이스가 사용자의 액티비티 상태를 분석하여, 햅틱 액추에이터의 위치를 조정하는 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 웨어러블 디바이스가 사용자의 액티비티 상태의 변화를 식별하고, 제2 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력을 업데이트 하는 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력에 기초하여 햅틱 피드백을 제공하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터를 사용자의 신체의 접촉되도록 하기 위한 일 예를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 웨어러블 디바이스가 복수의 햅틱 액추에이터들의 현재 접촉 압력을 조정하기 위해, 복수의 햅틱 액추에이터들 간의 거리를 조정하는 방법을 설명하기 위한 도면이다.
도 14a는 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터와 인접한 다른 햅틱 액추에이터들과의 간격을 조정하기 위한 구조를 설명하기 위한 도면이다.
도 14b는 도 14a를 추가적으로 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터와 인접한 다른 햅틱 액추에이터들과의 간격을 조정하기 위한, 다른 구조를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 웨어러블 디바이스가 복수개의 햅틱 액추에이터들의 현재 접촉 압력을 조정하기 위해, 복수의 햅틱 액추에이터들 간의 간격을 조정하는 방법을 설명하기 위한 도면이다.
도 17a는 일 실시예에 따른 웨어러블 디바이스가 스마트 의복인 경우, 햅틱 액추에이터들의 실장 구조를 설명하기 위한 도면이다.
도 17b는 일 실시예에 따른 웨어러블 디바이스가 스마트 의복인 경우, 유체의 압력을 이용하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
도 17c는 일 실시예에 따른 웨어러블 디바이스가 스마트 의복인 경우, 햅틱 액추에이터 간 간격을 조정하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
도 18a는 일 실시예에 따른 웨어러블 디바이스가 스마트 워치인 경우, 유체의 압력을 이용하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
도 18b는 일 실시예에 따른 웨어러블 디바이스가 스마트 워치인 경우, 스트랩의 길이를 조절하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 다른 방법을 설명하기 위한 도면이다
도 19는 일 실시예에 따른 웨어러블 디바이스가 헤드마운트 디스플레이인 경우, 햅틱 액추에이터에 압력을 가하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 서버의 구성을 도시한 블록도이다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시내용의 다양한 실시 양태의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시내용의 범위 및 사상을 벗어나지 않고 본 명세서에 기재된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
아래의 설명 및 청구범위에서 사용된 용어 및 단어는 문헌상의 의미에 한정되지 않으며, 본 발명의 명확하고 일관된 이해를 가능하게 하기 위해 단순히 출원인에 의해 사용된 것이다. 따라서, 본 개시의 다양한 실시예에 대한 다음 설명은, 단지 예시의 목적으로 제공되는 것이며, 첨부된 청구범위 및 그 균등물에 의해 정의되는 본 개시의 범위를 제한하기 위한 것이 아니라는 것은 당업자에게 명백할 것이다.
단수 형태는 문맥상 명백하게 다르게 지칭하지 않는 한 복수 형태를 포함하는 것으로 이해되어야 한다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
개시된 실시예에서, 접촉 압력은 웨어러블 디바이스의 사용자가 햅틱 액추에이터의 햅틱 피드백을 느낄 수 있도록 햅틱 액추에이터가 사용자에게 접촉되는 압력 값을 말한다. 사용자마다 신체 감각 기관의 센싱 능력이 상이하므로, 햅틱 피드백을 느낄 수 있는 접촉 압력은 사용자마다 상이할 수 있다.
개시된 실시예에서, 타겟 접촉 압력은 웨어러블 디바이스의 사용자에 대하여 설정되는 접촉 압력 값을 말한다. 웨어러블 디바이스는 사용자의 프로파일 데이터, 웨어러블 디바이스 내 센서로부터 획득되는 데이터 중 적어도 일부에 기초하여, 웨어러블 디바이스의 사용자에 대하여 설정될 타겟 접촉 압력을 결정할 수 있다. 이 경우, 타겟 접촉 압력은, 웨어러블 디바이스의 사용자에게 적정한 접촉 압력으로 햅틱 피드백을 제공하기 위해, 웨어러블 디바이스가 설정한 압력을 말한다.
개시된 실시예에서, 생체 데이터는 바이오 센서가 사용자 신체의 생체 신호들을 센싱하여 획득된 데이터를 말한다. 예를 들어, 생체 데이터는 심박수, 피부 전도도 응답(skin conductance response; SCR), 피부 온도 중 적어도 하나를 포함할 수 있다.
개시된 실시예에서, 사용자 프로파일 데이터는 사용자의 신체에 관련된 파라미터들에 관한 데이터를 말한다. 사용자 프로파일 데이터는 성별, 나이, 피부 타입(예를 들어, 지성, 건성 등), 신체 속성(예를 들어, 키, 몸무게 등) 중 적어도 하나에 관한 데이터를 포함할 수 있다. 웨어러블 디바이스는 사용자 프로파일 데이터를 사용자로부터 입력 받거나, 서버로부터 사용자 프로파일 데이터를 수신할 수 있다.
개시된 실시예에서, 액티비티 상태에 관한 정보는 사용자의 현재 액티비티가 무엇인지 나타내는 정보를 말한다. 액티비티 상태는 예를 들어, 평상시(normal), 걷기, 달리기 등을 포함할 수 있으나, 액티비티 상태는 이에 한정되는 것은 아니다.
개시된 실시예에서, 피부 상태에 관한 정보는 웨어러블 디바이스의 사용자의 피부의 상태를 나타내는 정보를 말한다. 피부 상태는 예를 들어, 사용자가 땀을 흘리는지 여부, 피부에 이물질이 묻었는지 여부 등을 포함할 수 있으나. 이에 한정되는 것은 아니다.
도 1은 일 실시예에 따른, 햅틱 피드백을 제공하는 웨어러블 디바이스들을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 웨어러블 디바이스(2000)는 사용자에게 햅틱 피드백을 제공할 수 잇다.
일 실시예에서, 웨어러블 디바이스(2000)는 하나 이상의 햅틱 액추에이터를 포함할 수 있다. 웨어러블 디바이스(2000)의 유형은, 예를 들어, 헤드마운트 디스플레이, 스마트 워치, 스마트 밴드, 스마트 의복 등의 유형을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서 , 사용자에 의해 착용되는 웨어러블 디바이스(2000)는, 사용자가 웨어러블 디바이스(2000)를 착용하는 방법, 사용자의 신체 구조 등이 상이함에 따라, 사용자에게 웨어러블 디바이스(2000)가 접촉되는 정도가 상이할 수 있다. 웨어러블 디바이스(2000)는 사용자의 웨어러블 디바이스(2000) 착용 상태를 식별하고, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 사용자의 신체에 소정 압력으로 접촉되도록 웨어러블 디바이스(2000)를 제어할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)의 사용자마다 햅틱 액추에이터의 접촉 압력에 따라 사용자가 햅틱 피드백을 느낄 수 있는 햅틱 피드백 인지 정도가 상이할 수 있다. 예를 들어, 웨어러블 디바이스(2000)의 사용자마다, 사용자가 햅틱 피드백을 효과적으로 감지하도록 하기 위한, 햅틱 액추에이터의 접촉 압력, 햅틱 피드백의 지속 시간, 햅틱 액추에이터 간의 간격 등이 상이할 수 있다. 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000)에 포함되는 센서들을 이용해 획득되는 센서 데이터 및, 사용자의 특성을 나타내는 사용자 프로파일 정보들에 기초하여, 사용자가 햅틱 피드백을 적절하게 느끼도록 하기 위하여 햅틱 액추에이터의 타겟 접촉 압력 값을 계산할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 사용자의 프로파일 정보(예를 들어, 나이, 성별, 키, 몸무게 등) 및 사용자의 피부 상태, 사용자의 액티비티 상태 등에 기초하여, 타겟 접촉 압력을 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자에 대하여 개인화된 타겟 접촉 압력에 기초하여, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 사용자의 신체에 접촉되도록 조정하여, 햅틱 액추에이터가 사용자의 신체에 가하는 접촉 압력을 조정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자가 웨어러블 디바이스(2000)를 착용하고 있는 도중에 사용자의 상태(예를 들어, 피부 상태, 액티비티 상태)가 변경됨에 따라 타겟 접촉 압력을 업데이트 할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 피부 상태가 변경됨이 식별되는 경우, 타겟 접촉 압력을 업데이트 할 수 있다. 웨어러블 디바이스(2000)는 사용자가 땀을 흘리는지 여부, 피부에 이물질이 묻었는지 여부 등 사용자의 피부 상태가 변경됨을 식별하고, 타겟 접촉 압력을 업데이트 할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 액티비티 상태가 변경됨이 식별되는 경우, 타겟 접촉 압력을 업데이트 할 수 있다. 웨어러블 디바이스는 사용자의 현재 액티비티가(예를 들어, 평상시(normal) 상태) 다른 액티비티(예를 들어, 걷기 상태)로 변경됨을 식별하고, 타겟 접촉 압력을 업데이트 할 수 있다.
웨어러블 디바이스(2000)는 타겟 접촉 압력이 업데이트되는 경우, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 사용자의 신체에 접촉되도록 조정하여, 햅틱 액추에이터가 사용자의 신체에 가하는 접촉 압력을 조정할 수 있다.
일 실시예에서, 햅틱 액추에이터가 웨어러블 디바이스(2000)에 실장되는 구조 및 웨어러블 디바이스(2000) 내 햅틱 액추에이터의 위치는 각각의 웨어러블 디바이스(2000)의 유형에 따라 상이할 수 있다. 웨어러블 디바이스(2000)는 전술한 타겟 접촉 압력으로 사용자에게 햅틱 피드백을 제공하기 위해서, 햅틱 액추에이터의 위치가 사용자의 신체에 더 가까워지도록 조절하거나, 햅틱 액추에이터의 위치가 사용자의 신체로부터 더 멀어지도록 조절할 수 있는, 물리적인 구조들 포함할 수 있다.
도 2는 일 실시예에 따른 웨어러블 디바이스의 구성을 도시한 블록도이다.
도 2를 참조하면, 일 실시예에 따른 웨어러블 디바이스(2000)는 센싱부(2100), 하나 이상의 햅틱 액추에이터(2200), 메모리(2300) 및 프로세서(2400)를 포함할 수 있다.
센싱부(2100)는 사용자의 생체 데이터를 획득하는 하나 이상의 바이오 센서(2110) 및 하나 이상의 햅틱 액추에이터(2200)의 접촉 압력을 센싱하는 하나 이상의 압력 센서(2120)를 포함할 수 있다.
바이오 센서(2110)는 심전도 센서, 근전도 센서, 체온 측정 센서, 피부 저항 센서, 피부 수분 측정 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 바이오 센서(2110)는 하나 이상일 수 있다.
압력 센서(2120)는 압전 저항형(piezoresistive) 촉각센서, 압전형(piezoelectric) 촉각 센서, 정전 용량형(capacitive) 촉각 센서, 광학식 촉각 센서, 탄성 저항형(elastoresistive) 촉각 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 압력 센서(2120)는 하나 이상일 수 있다. 압력 센서(2120)는 예를 들어, 후술할 햅틱 액추에이터(2200)와 사용자의 신체 사이에 배치되어, 햅틱 액추에이터(2200)에 의해 사용자에 가해지는 접촉 압력을 센싱할 수 있으나, 압력 센서(2120)가 배치되는 위치는 이에 제한되지 않는다.
또한, 센싱부(2100)는 지자기 센서(Geomagnetic sensor)(미도시), 가속도 센서(Acceleration sensor)(미도시), 온도/습도 센서(미도시), 적외선 센서(미도시), 자이로스코프 센서(미도시), 위치 센서(예컨대, GPS)(미도시), 기압 센서(미도시) 및 근접 센서(미도시) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
한편, 센싱부(2100)에 포함되는 센서가 사용자의 신체로부터 소정 거리 이상 이격되어 센서 데이터가 획득되지 않는 경우, 웨어러블 디바이스(2000)는 센싱부(2100)가 센서 데이터를 획득 가능할 때까지 센싱부의 위치가 사용자의 신체에 더 가까워지도록 조절할 수 있다.
햅틱 액추에이터(2200)는 햅틱 피드백을 발생시킬 수 있다. 햅틱 피드백은 힘, 진동 및 모션 등을 통해 사용자가 힘, 운동감 등의 촉각적 감각을 느낄 수 있도록 사용자에게 제공되는 피드백을 말한다. 햅틱 액추에이터(2200)는 선형 공진(linear resonance) 타입, 이심 회전 질량(eccentric rotating mass) 타입, 피에조 타입, 솔레노이드 타입 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 햅틱 액추에이터(2200)는 하나 이상일 수 있다.
메모리(2300)는 프로세서(2400)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 개시된 실시예들에서, 프로세서(2400)가 수행하는 동작들은 메모리(2300)에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.
메모리(2300)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
일 실시예에 따른 메모리(2300)에는 타겟 접촉 압력을 결정하고, 웨어러블 디바이스(2000)가 햅틱 피드백을 제공하기 위하여, 웨어러블 디바이스의 현재 접촉 압력을 타겟 접촉 압력이 되도록 조정하기 위해 이용될 수 있는, 다양한 종류의 데이터를 저장할 수 있다. 예를 들어, 메모리(2300)에는 센서 데이터 수집 모듈(2310), 센서 데이터 분석 모듈(2320), 타겟 접촉 압력 결정 모듈(2330), 햅틱 액추에이터 선택 모듈(2340), 접촉 압력 조정 모듈(2350), 햅틱 피드백 생성 모듈(2360), 인공지능 모델(2370) 및 사용자 데이터베이스(2380)에 대응되는 데이터 및 프로그램 명령어 코드들이 저장될 수 있다.
일 실시예에서, 인공지능 모델(2370)은, 사용자의 프로파일 데이터 및 바이오 센서(2110)로부터 획득된 생체 데이터로 구성되는 학습 데이터셋에 기초하여 학습된 인공지능 모델일 수 있다.
또한, 인공지능 모델(2370)은, 사용자의 프로파일 데이터 및 사용자의 피부 상태에 관한 데이터, 사용자의 액티비티 상태에 관한 데이터로 구성되는 학습 데이터셋에 기초하여, 햅틱 액추에이터(2200)에 의하여 사용자의 신체에 가해질 타겟 접촉 압력을 출력하기 위하여 학습된 인공지능 모델일 수 있다.
인공지능 모델(2370)은 복수의 신경망 레이어들을 포함할 수 있다. 복수의 신경망 레이어들 각각은, 복수의 노드를 포함할 수 있다. 이 경우, 현재 레이어에 포함되는 어느 한 노드의 값은, 이전 레이어에 포함되는 노드들에 가중치 값들의 곱연산을 수행한 결과들의 합(summation)일 수 있다. 인공지능 모델(2370)은 학습 데이터셋을 학습함으로써 인공지능 모델(2370)의 신경망 레이어들의 노드 간 연결 강도를 나타내는 가중치 값들을 갱신할 수 있다. 또한, 입력 레이어에 포함되는 노드들의 가중치 값들은, 사용자의 프로파일 데이터에 포함되는 각각의 파라미터들(예를 들어, 나이, 성별, 신체 속성 등)에 대응되는 가중치 값들, 생체 데이터에 포함되는 각각의 파라미터들(예를 들어, 심박수, 피부 전도도 응답(skin conductance response; SCR), 피부 온도 등)에 대응되는 가중치 값들, 사용자의 피부 상태에 대응되는 가중치 값들 및 사용자의 액티비티 상태에 대응되는 가중치 값들 중 적어도 일부를 포함할 수 있다.
웨어러블 디바이스(2000)는 인공지능 모델(2370)을 이용하여, 웨어러블 디바이스(2000)의 햅틱 액추에이터(2200)에 의하여 사용자의 신체에 가해질 접촉 압력을 나타내는, 타겟 접촉 압력 값을 출력할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터 및 생체 데이터를 인공지능 모델(2370)에 적용하고, 인공지능 모델(2370)로부터 출력되는 타겟 접촉 압력 값을 획득할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터 및 사용자의 피부 상태에 관한 데이터, 사용자의 액티비티 상태에 관한 데이터를 인공지능 모델(2370)에 적용하고, 인공지능 모델(2370)로부터 출력되는 타겟 접촉 압력 값을 획득할 수 있다.
일 실시예에서, 인공지능 모델(2370)은 웨어러블 디바이스(2000) 내에서 학습되어 생성된 것일 수 있다.
일 실시예에서, 인공지능 모델(2370)은 서버(미도시)로부터 학습을 통해 생성되고, 웨어러블 디바이스(2000)로 수신되어 저장된 것일 수 있다.
일 실시예에서, 인공지능 모델(2370)은 하나 이상일 수 있다.
일 실시예에서, 사용자 데이터베이스(2380)는 센싱부(2100)로부터 획득된 센서 데이터들 및 사용자로부터 획득된 프로파일 데이터를 저장할 수 있다.
프로세서(2400)는 웨어러블 디바이스(2000)의 전반적인 동작들을 제어할 수 있다. 예를 들어, 프로세서(2400)는 메모리(2300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행함으로써, 센싱부(2100), 햅틱 액추에이터(2200) 등을 전반적으로 제어할 수 있다.
프로세서(2400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), AP(Application Processor), 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시예에서, 프로세서(2400)는 센서 데이터 수집 모듈(2310)을 실행하여 센싱부(2100)로부터 센싱되는 센서 데이터들을 획득할 수 있다.
일 실시예에서, 프로세서(2400)는 센서 데이터 수집 모듈(2310)을 실행하여, 바이오 센서(2110)에 의해 센싱된 센서 데이터인 생체 데이터를 획득할 수 있다. 이 경우, 생체 데이터는 심박수, 피부 전도도 응답(skin conductance response; SCR), 피부 온도 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 프로세서(2400)는 센서 데이터 수집 모듈(2310)을 실행하여, 압력 센서(2120)에 의해 센싱된 센서 데이터인 접촉 압력 데이터를 획득할 수 있다.
센서 데이터 수집 모듈(2310)을 이용하여 실시간으로 수집되는 센서 데이터는 프로세서(2400)에 의해 분석되어, 프로세서(2400)가 웨어러블 디바이스(2000)의 동작을 결정하는 데 이용될 수 있다. 또한, 프로세서(2400)는 수집된 센서 데이터를 사용자 데이터베이스(2380)에 저장할 수 있다.
일 실시예에서, 프로세서(2400)는 센서 데이터 분석 모듈(2320)을 실행하여 수집된 센서 데이터들을 분석할 수 있다.
일 실시예에서, 프로세서(2400)는 센서 데이터 분석 모듈(2320)을 실행하여, 사용자가 웨어러블 디바이스(2000)를 착용하였는지 여부를 식별할 수 있다. 프로세서(2400)는 실시간으로 획득되는 생체 데이터 및 접촉 압력 데이터를 분석하여, 사용자가 웨어러블 디바이스(2000)를 착용하였는지 여부를 식별할 수 있다. 예를 들어, 프로세서(2400)는 생체 데이터 및 접촉 압력 데이터 중 적어도 하나가 획득되는 경우, 사용자가 웨어러블 디바이스(2000)를 착용하였다고 결정할 수 있다. 다른 예에서, 프로세서(2400)는 생체 데이터 및 접촉 압력 데이터 중 적어도 일부의 조합에 기초하여, 사용자가 웨어러블 디바이스(2000)를 착용하였다고 결정할 수 있다. 다른 예에서, 프로세서(2400)는 적외선 센서, 근접 센서 등 다른 센서로부터 획득되는 센서 데이터에 기초하여, 사용자가 웨어러블 디바이스(2000)를 착용하였다고 결정할 수 있다.
일 실시예에서, 프로세서(2400)는 센서 데이터 분석 모듈(2320)을 실행하여, 웨어러블 디바이스(2000)를 착용한 사용자의 피부 상태를 식별할 수 있다. 프로세서(2400)는 생체 데이터에 포함되는 피부 전도도 응답(skin conductance response; SCR), 피부 온도 등에 기초하여, 사용자의 피부 상태를 식별할 수 있다. 이 경우, 사용자의 피부 상태는 피부 타입(예를 들어, 지성 피부, 건성 피부 등), 피부 수분 레벨 등 사용자의 피부 상태를 나타내는 다양한 정보를 포함할 수 있다.
일 실시예에서, 프로세서(2400)는 센서 데이터 분석 모듈(2320)을 실행하여, 웨어러블 디바이스(2000)를 착용한 사용자의 액티비티 상태를 식별할 수 있다. 이 경우, 사용자의 액티비티 상태는 평상시(normal), 걷기, 달리기 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 프로세서(2400)는 바이오 센서(2110)로부터 획득된 생체 데이터에 포함되는 피부 전도도 응답, 피부 온도, 심박수 등에 기초하여 사용자의 액티비티 상태를 식별할 수 있다. 다른 예에서, 프로세서(2400)는 가속도 센서, 자이로 센서 등을 이용하여 센싱되는 값들에 기초하여, 사용자의 액티비티 상태를 식별할 수 있다. 다른 예에서, 프로세서(2400)는 바이오 센서(2110), 가속도 센서 및 자이로 센서 중 적어도 하나로부터 획득된 센서 데이터에 기초하여, 사용자의 액티비티 상태를 식별할 수 있다.
일 실시예에서, 프로세서(2400)는 타겟 접촉 압력 결정 모듈(2330)을 실행하여 타겟 접촉 압력을 계산할 수 있다.
프로세서(2400)는 타겟 접촉 압력 결정 모듈(2330)을 실행하여, 사용자의 프로파일 데이터 및 생체 데이터에 기초하여 타겟 접촉 압력을 결정할 수 있다. 이 경우, 전술한 실시예들에 따라 생체 데이터에 기초하여 식별된 사용자의 피부 상태, 생체 데이터, 가속도 센서 데이터, 자이로 센서 데이터 중 적어도 일부에 기초하여 식별된 사용자의 액티비티 상태가 타겟 접촉 압력을 결정하는 데 이용될 수 있다. 또한, 사용자의 프로파일 데이터는 사용자 데이터베이스(2380)에 미리 저장된 것일 수 있다.
일 실시예에서, 프로세서(2400)는 타겟 접촉 압력 결정 모듈(2330) 및 인공지능 모델(2370)을 이용하여, 즉, 사용자의 프로파일 데이터, 사용자의 피부 상태 및 액티비티 상태를 인공지능 모델(2370)에 적용함으로써, 타겟 접촉 압력을 결정할 수 있다. 이 경우, 인공지능 모델(2370)은 사용자의 프로파일 데이터 및 생체 데이터를 입력 받아, 타겟 접촉 압력 값을 출력하도록 학습된, 인공지능 모델일 수 있다. 또한, 인공지능 모델(2370)은 사용자의 프로파일 데이터, 사용자의 피부 상태에 관한 데이터, 사용자의 액티비티 상태에 관한 데이터를 입력 받아, 타겟 접촉 압력 값을 출력하도록 학습된, 인공지능 모델일 수 있다.
프로세서(2400)는 타겟 접촉 압력에 기초하여 햅틱 액추에이터(2200)를 사용자의 신체에 접촉하도록 제어하고, 햅틱 피드백을 제공할 수 있다.
일 실시예에서, 프로세서(2400)는 사용자의 피부 상태가 변경됨을 식별하고, 사용자의 피부 상태가 변경됨에 따라 타겟 접촉 압력 값을 변경할 수 있다. 이하에서는 설명의 편의를 위하여, 사용자의 피부 상태가 변경됨에 따라 프로세서(2400)에 의해 변경된 타겟 접촉 압력 값들을 제1 타겟 접촉 압력으로 지칭하기로 한다.
프로세서(2400)는 바이오 센서(2110)로부터 획득되는 생체 데이터에 포함되는 피부 전도도 응답(skin conductance response; SCR), 피부 온도 등에 기초하여, 사용자의 피부 상태가 변경됨을 식별할 수 있다. 예를 들어, 프로세서(2400)는 생체 데이터에 기초하여, 사용자가 땀을 흘리는지 여부, 피부에 이물질이 묻었는지 여부 등을 식별하여, 사용자의 피부 상태가 변경됨을 식별할 수 있다. 프로세서(2400)는 변경된 피부 상태, 사용자의 프로파일 데이터, 사용자의 액티비티 상태를 인공지능 모델(2370)에 적용함으로써, 제1 타겟 접촉 압력을 결정하고, 햅틱 액추에이터(2200)의 타겟 접촉 압력 값을 제1 타겟 접촉 압력으로 변경할 수 있다. 프로세서(2400)는 바이오 센서(2110)로부터 지속적으로 획득되는 사용자의 생체 데이터에 기초하여, 제1 타겟 접촉 압력을 지속적으로 재계산하여 업데이트할 수 있다.
프로세서(2400)는 제1 타겟 접촉 압력에 기초하여 햅틱 액추에이터(2200)를 사용자의 신체에 접촉하도록 제어하고, 햅틱 피드백을 제공할 수 있다.
일 실시예에서, 프로세서(2400)는 사용자의 액티비티 상태가 변경됨을 식별하고, 사용자의 액티비티 상태가 변경됨에 따라 타겟 접촉 압력 값을 변경할 수 있다. 이하에서는 설명의 편의를 위하여, 사용자의 액티비티 상태가 변경됨에 따라 프로세서(2400)에 의해 변경된 타겟 접촉 압력 값들을 제2 타겟 접촉 압력 으로 지칭하기로 한다.
프로세서(2400)는 바이오 센서(2110)로부터 획득된 생체 데이터, 가속도 센서 데이터, 및 자이로 센서 데이터 중 적어도 하나에 기초하여, 사용자의 액티비티 상태가 변경됨을 식별할 수 있다. 이 경우, 프로세서(2400)는 생체 데이터, 가속도 센서 데이터, 및 자이로 센서 데이터 중 적어도 하나에 기초하여 사용자의 액티비티 상태가 제1 액티비티 상태에서 제2 액티비티 상태로 변경됨을 식별할 수 있다. 예를 들어, 프로세서(2400)는 사용자의 액티비티 상태가 '평상시' 에서 '달리기'로 변경됨을 식별할 수 있다.
프로세서(2400)는 사용자의 액티비티 상태가 변경됨이 식별되는 경우, 사용자의 액티비티 상태가 변경되기 전까지 제1 타겟 접촉 압력의 변화 정도에 기초하여 제2 타겟 접촉 압력을 계산할 수 있다. 프로세서(2400)는 제1 타겟 접촉 압력을 제2 타겟 접촉 압력으로 변경할 수 있다.
일 실시예에서, 프로세서(2400)는 사용자의 액티비티 상태가 제1 액티비티 상태에서 제2 액티비티 상태로 변경되는 경우, 소정 시간 동안 변화된 제1 타겟 접촉 압력의 평균 및 제1 타겟 접촉 압력의 표준편차에 기초하여, 제2 타겟 접촉 압력을 계산할 수 있다. 예를 들어, 프로세서(2400)는 소정 시간 동안 변화된 제1 타겟 접촉 압력의 평균 및 제1 타겟 접촉 압력의 표준편차의 합을 계산하여, 제2 타겟 접촉 압력을 결정할 수 있다.
프로세서(2400)는 제2 타겟 접촉 압력에 기초하여 햅틱 액추에이터(2200)를 사용자의 신체에 접촉하도록 제어하고, 햅틱 피드백을 제공할 수 있다.
일 실시예에서, 프로세서(2400)는 사용자의 액티비티가 제1 액티비티 상태에서 제2 액티비티 상태로 변경됨에 따라, 타겟 접촉 압력 값이 제2 타겟 접촉 압력으로 변경된 경우, 다시 제2 액티비티 상태에서 사용자의 피부 상태가 변경됨을 식별할 수 있다. 프로세서(2400)는 사용자의 피부 상태가 변경됨에 따라 제2 타겟 접촉 압력으로 변경된 타겟 접촉 압력 값을 다시 변경할 수 있다. 프로세서(2400)가 사용자의 피부 상태가 변경됨에 따라 타겟 접촉 압력 값을 변경하는 방법은 전술하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 프로세서(2400)는 사용자의 액티비티 상태가 다른 액티비티 상태로 변경됨을 식별할 수 있다. 예를 들어, 프로세서(2400)는 사용자의 액티비티 상태가 제2 액티비티 상태에서 제3 액티비티 상태로 변경됨을 식별할 수 있다. 프로세서(2400)는 사용자의 액티비티 상태가 변경됨에 따라 제2 타겟 접촉 압력으로 변경된 타겟 접촉 압력 값을 다시 변경할 수 있다. 프로세서(2400)가 사용자의 액티비티 상태가 변경됨에 따라 타겟 접촉 압력을 변경하는 방법은 전술하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 햅틱 액추에이터(2200)는 복수개일 수 있다. 이 경우, 복수개의 햅틱 액추에이터(2200)들 각각에 타겟 접촉 압력들 각각이 대응될 수 잇다. 프로세서(2400)는 복수개의 햅틱 액추에이터(2200)들 각각에 대하여, 각각의 햅틱 액추에이터(2200)에 대응되는 타겟 접촉 압력을 계산할 수 있다. 또한, 프로세서(2400)는 복수개의 햅틱 액추에이터(2200)들 각각에 대하여, 사용자의 피부 상태가 변경됨을 식별하고, 각각의 햅틱 액추에이터(2200)에 대응되는 타겟 접촉 압력 값을 변경할 수 있다. 또한, 프로세서(2400)는 복수개의 햅틱 액추에이터(2200)들 각각에 대하여, 사용자의 액티비티 상태가 변경됨을 식별하고, 각각의 햅틱 액추에이터(2200)에 대응되는 타겟 접촉 압력 값을 변경할 수 있다.
일 실시예에서, 프로세서(2400)는 햅틱 액추에이터 선택 모듈(2340)을 실행하여 현재 접촉 압력을 조정할 햅틱 액추에이터(2200)를 결정할 수 있다. 일 실시예에서, 햅틱 액추에이터(2200)는 하나 이상일 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터(2200)가 하나인 경우, 프로세서(2400)는 햅틱 액추에이터(2200)의 현재 접촉 압력을 조정하기 위하여, 햅틱 액추에이터(2200)의 타겟 접촉 압력 및 햅틱 액추에이터(2200)의 현재 접촉 압력을 비교할 수 있다.
일 실시예에서, 햅틱 액추에이터(2200)가 복수인 경우, 프로세서(2400)는 복수의 햅틱 액추에이터(2200)들 각각에 대하여, 복수의 햅틱 액추에이터(2200)들 각각의 타겟 접촉 압력과 현재 접촉 압력을 비교함으로써, 복수의 햅틱 액추에이터(2200)들 중 현재 접촉 압력을 조정할 햅틱 액추에이터를 선택할 수 있다.
일 실시예에서, 프로세서(2400)는 접촉 압력 조정 모듈(2350)을 실행하여 햅틱 액추에이터(2200)의 현재 접촉 압력을 조정할 수 있다. 프로세서(2400)는 압력 센서(2120)를 이용하여 측정된, 햅틱 액추에이터(2200)에 의해 상기 사용자의 상기 신체에 가해지는 현재 접촉 압력을 획득할 수 있다. 프로세서(2400)는 햅틱 액추에이터(2200)의 현재 접촉 압력이 타겟 접촉 압력이 되도록 조정할 수 있다.
예를 들어, 프로세서(2400)는 햅틱 액추에이터(2200)의 현재 접촉 압력이 타겟 접촉 압력보다 작은 경우, 현재 접촉 압력이 타겟 접촉 압력까지 증가되도록, 햅틱 액추에이터(2200)의 위치가 사용자의 신체로 더 가까워지도록 조정할 수 있다.
다른 예에서, 프로세서(2400)는 햅틱 액추에이터(2200)의 현재 접촉 압력이 타겟 접촉 압력보다 큰 경우, 현재 접촉 압력이 타겟 접촉 압력까지 감소되도록, 햅틱 액추에이터(2200)의 위치가 사용자의 신체로부터 더 멀어지도록 조정할 수 있다.
일 실시예에서, 프로세서(2400)가 접촉 압력 조정 모듈(2350)을 실행하여, 햅틱 액추에이터(2200)의 현재 접촉 압력을 조정하는 동작은, 웨어러블 디바이스(2000)의 타입(예를 들어, 스마트 워치, 스마트 의복, 헤드마운트 디스플레이 등)에 따라 상이할 수 있다. 또한, 프로세서(2400)가 접촉 압력 조정 모듈(2350)을 실행하여 햅틱 액추에이터(2200)의 현재 접촉 압력을 조정하는 동작은, 웨어러블 디바이스(2000)에 햅틱 액추에이터(2200)가 실장된 방식(예를 들어, 유체 펌프 이용 방식, 기어 이용 방식 등)에 따라 상이할 수 있다.
프로세서(2400)가 접촉 압력 조정 모듈(2350)을 실행하여, 햅틱 액추에이터(2200)의 현재 접촉 압력을 조정하기 위해, 햅틱 액추에이터(2200)의 위치를 사용자의 신체로 더 가까워지도록 조정하거나, 햅틱 액추에이터(2200)의 위치를 사용자의 신체로부터 더 멀어지도록 조정하는 구체적인 방법은, 도 17a 내지 도 19 에 대한 설명에서 서술하기로 한다.
일 실시예에서, 프로세서(2400)는 햅틱 피드백 생성 모듈(2360)을 실행하여 햅틱 액추에이터(2200)가 햅틱 피드백을 생성하도록 제어할 수 있다.
일 실시예에서, 햅틱 피드백은 다양한 형태의 힘, 진동 및 모션 등을 통해 사용자가 힘, 운동감 등의 촉각적 감각을 느낄 수 있도록 사용자에게 제공되는 피드백을 말한다. 프로세서(2400)는 타겟 접촉 압력 값을, 사용자에게 촉각적인 감각을 전달할 수 있는 힘 등을 나타내는 다른 측정 단위의 값으로 변환할 수 있다. 예를 들어, 프로세서(2400)는 타겟 접촉 압력 값을 헤르츠(Hz), 암페어(A) 등의 측정 단위의 값으로 변환할 수 있으나, 이에 한정되는 것은 아니다.
프로세서(2400)는 펄스 폭 변조 방식(Pulse Width Modulation; PWM)을 이용하여, 사용자에게 전달되는 햅틱 피드백의 세기를 조절할 수 있다. 이 경우, 프로세서(2400)는 다른 측정 단위의 값(예를 들어, 헤르츠, 암페어 등)으로 변환된 타겟 접촉 압력 값을, 웨어러블 디바이스(2000)의 최소 출력 전압과 매칭함으로써, 웨어러블 디바이스(2000)에서 제공되는 햅틱 피드백의 최소 세기가 타겟 접촉 압력에 대응되는 세기가 되도록 할 수 있다.
도 3은 일 실시예에 따른 웨어러블 디바이스가 햅틱 피드백을 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터를 획득할 수 있다. 사용자의 프로파일 데이터는 사용자의 신체에 관한 파라미터들에 대응되는 데이터인, 성별, 나이, 피부 타입(예를 들어, 지성, 건성 등), 신체 속성(예를 들어, 키, 몸무게 등) 중 적어도 하나를 포함할 수 있다. 웨어러블 디바이스(2000)는 사용자 프로파일 데이터를 사용자로부터 입력 받거나, 서버로부터 사용자 프로파일 데이터를 수신할 수 있다.
단계 S320에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 바이오 센서로부터 생체 데이터를 획득할 수 있다. 생체 데이터는 바이오 센서가 사용자 신체의 생체 신호들을 센싱함으로써 획득한 데이터인 심박수, 피부 전도도 응답(skin conductance response; SCR), 피부 온도 중 적어도 하나를 포함할 수 있다. 웨어러블 디바이스(2000)는 바이오 센서를 이용하여, 사용자 신체의 생체 신호들을 모니터링하고, 지속적으로 생체 데이터를 획득할 수 있다.
일 실시예에서, 바이오 센서는 복수개일 수 있다. 이 경우, 바이오 센서의 개수는 햅틱 액추에이터의 개수와 대응될 수 있다. 웨어러블 디바이스(2000)는 복수개의 바이오 센서를 이용하여, 사용자의 신체의 서로 다른 신체 부위에서 생체 신호를 측정하여 생체 데이터를 획득할 수 있다.
단계 S330에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 프로파일 데이터 및 생체 데이터에 기초하여, 타겟 접촉 압력을 계산할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 정보 및 생체 데이터에 기초하여, 타겟 접촉 압력을 결정할 수 있다. 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터 및 생체 데이터를 인공지능 모델에 적용하고, 인공지능 모델로부터 출력되는 타겟 접촉 압력 값을 획득할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 복수개인 경우, 웨어러블 디바이스(2000)는 복수개의 햅틱 액추에이터 각각에 대하여 타겟 접촉 압력을 결정할 수 있다.
단계 S340에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 압력 센서를 이용하여 햅틱 액추에이터에 의해 사용자의 신체에 가해지는 현재 접촉 압력을 측정할 수 있다. 웨어러블 디바이스(2000)는 압력 센서를 이용하여, 햅틱 액추에이터가 사용자의 신체에 접촉된 압력을 모니터링하고, 지속적으로 접촉 압력 데이터를 획득할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 압력 센서의 개수는 햅틱 액추에이터의 개수와 대응될 수 있다. 예를 들어, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 복수개인 경우, 웨어러블 디바이스(2000)는 각각의 햅틱 액추에이터에 대응되는 복수개의 압력 센서를 포함할 수 있다. 이 경우, 복수개의 압력 센서 각각은, 복수개의 햅틱 액추에이터 각각이 사용자의 신체에 접촉된 압력을 모니터링하고, 지속적으로 접촉 압력 데이터를 획득할 수 있다.
단계 S350에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 단계 S340에서 측정된 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력이 되도록 조정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력을 조정하기 위하여, 햅틱 액추에이터의 타겟 접촉 압력 및 햅틱 액추에이터의 현재 접촉 압력을 비교할 수 있다.
일부 실시예에서, 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력보다 작은 경우, 현재 접촉 압력이 타겟 접촉 압력까지 증가되도록, 햅틱 액추에이터의 위치가 사용자의 신체로 더 가까워지도록 조정할 수 있다. 일부 실시예에서, 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력보다 큰 경우, 현재 접촉 압력이 타겟 접촉 압력까지 감소되도록, 햅틱 액추에이터의 위치가 사용자의 신체로부터 더 멀어지도록 조정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터는 복수개일 수 있다. 햅틱 액추에이터가 복수개인 경우, 웨어러블 디바이스(2000)는 복수의 햅틱 액추에이터들 각각에 대하여, 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력과 현재 접촉 압력을 비교함으로써, 복수의 햅틱 액추에이터들 중 현재 접촉 압력을 조정할 햅틱 액추에이터를 선택할 수 있다. 웨어러블 디바이스(2000)는 각각의 햅틱 액추에이터의 위치를 조정함으로써 각각의 햅틱 액추에이터의 현재 접촉 압력이 각각의 햅틱 액추에이터에 대응되는 타겟 접촉 압력이 되도록 할 수 있다.
단계 S360에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 타겟 접촉 압력 값을 갖도록 접촉된 햅틱 액추에이터를 이용하여, 사용자에게 햅틱 피드백을 제공할 수 있다. 웨어러블 디바이스(2000)는 햅틱 액추에이터를 제어함으로써, 사용자가 힘, 운동감 등의 촉각적 감각을 느낄 수 있도록하는, 햅틱 피드백을 발생시킬 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 펄스 폭 변조 방식(Pulse Width Modulation; PWM)을 이용하여, 사용자에게 전달되는 햅틱 피드백의 세기를 조절할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 타겟 접촉 압력 값을 사용자에게 촉각적인 감각을 전달할 수 있는 힘 등을 나타내는, 다른 측정 단위의 값(예를 들어, 헤르츠, 암페어 등)으로 변환할 수 있다. 웨어러블 디바이스(2000)는 다른 측정 단위의 값으로 변환된 타겟 접촉 압력 값을, 웨어러블 디바이스(2000)의 최소 출력 전압과 매칭함으로써, 웨어러블 디바이스(2000)에서 제공되는 햅틱 피드백의 최소 세기가 타겟 접촉 압력에 대응되는 세기가 되도록 할 수 있다.
도 4는 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하여, 도 3의 단계 S310 내지 S330에서의 웨어러블 디바이스(2000)의 동작들을 보다 상세히 설명하기로 한다.
단계 S410에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 사용자가 웨어러블 디바이스(2000)를 착용하였는지 여부를 식별할 수 있다.
예를 들어, 웨어러블 디바이스(2000)는 바이오 센서로부터 획득된 생체 데이터 및 압력 센서로부터 획득된 접촉 압력 데이터 중 적어도 하나가 획득되는 경우, 사용자가 웨어러블 디바이스(2000)를 착용하였다고 결정할 수 있다. 다른 예에서, 웨어러블 디바이스(2000)는 바이오 센서로부터 획득된 생체 데이터 및 압력 센서로부터 획득된 접촉 압력 데이터 중 적어도 일부의 조합에 기초하여, 사용자가 웨어러블 디바이스(2000)를 착용하였다고 결정할 수 있다. 다른 예에서, 웨어러블 디바이스(2000)는 적외선 센서, 근접 센서 등 다른 센서로부터 획득되는 센서 데이터에 기초하여, 사용자가 웨어러블 디바이스(2000)를 착용하였다고 결정할 수 있다. 다른 예에서, 웨어러블 디바이스(2000)는 바이오 센서, 압력 센서, 적외선, 센서, 근접 센서 등으로부터 획득되는 센서 데이터 중 적어도 일부에 기초하여, 사용자가 웨어러블 디바이스를 착용하였다고 결정할 수 있다. 단계 S410은 도 3의 단계 S310 및 S320이 수행된 이후에 수행될 수 있다.
단계 S420에서, 웨어러블 디바이스(2000)는 사용자의 웨어러블 디바이스(2000) 착용 여부에 기초하여, 웨어러블 디바이스의 동작을 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자가 웨어러블 디바이스(2000)를 착용하였다고 식별되지 않는 경우, 사용자가 웨어러블 디바이스(2000)를 착용한 것으로 식별될 때까지 단계 S410을 수행하여 웨어러블 디바이스의 착용 여부를 모니터링 할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자가 웨어러블 디바이스(2000)를 착용하였다고 식별되는 경우, 단계 S430을 수행할 수 있다.
단계 S430에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 생체 데이터 및 프로파일 데이터를 수집할 수 있다.
웨어러블 디바이스(2000)는 사용자 프로파일 데이터를 사용자로부터 입력 받거나, 서버로부터 사용자 프로파일 데이터를 수신하거나, 웨어러블 디바이스(2000) 내 저장되어 있는 사용자 프로파일 데이터를 획득할 수 있다.
웨어러블 디바이스(2000)는 사용자가 웨어러블 디바이스(2000)를 착용한 것으로 식별되는 경우, 바이오 센서를 이용하여 실시간으로 변화하는 사용자의 생체 신호들을 모니터링하고, 지속적으로 생체 데이터를 획득할 수 있다.
단계 S440에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 생체 데이터에 기초하여, 사용자의 피부 상태를 식별할 수 있다. 웨어러블 디바이스(2000)는 생체 데이터에 포함되는 피부 전도도 응답(skin conductance response; SCR), 피부 온도 등에 기초하여, 사용자의 피부 상태를 식별할 수 있다. 이 경우, 사용자의 피부 상태는 피부 타입(예를 들어, 지성 피부, 건성 피부 등), 피부 수분 레벨 등 사용자의 피부 상태를 나타내는 다양한 정보를 포함할 수 있다.
단계 S450에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 센서 데이터에 기초하여 사용자의 액티비티 상태를 식별할 수 있다. 이 경우, 센서 데이터는 바이오 센서로부터 획득되는 생체 데이터, 가속도 센서로부터 획득되는 가속도 데이터, 자이로 센서로부터 획득되는 각속도 데이터 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 사용자의 액티비티 상태는 평상시(normal), 걷기, 달리기 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 웨어러블 디바이스(2000)는 생체 데이터에 포함되는 피부 전도도 응답, 피부 온도, 심박수 등에 기초하여 사용자의 액티비티 상태를 식별할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 피부 전도도 응답, 피부 온도, 심박수 등에 기초하여 사용자가 평상시 상태인지, 걷는 중인지, 달리는 중인지 등을 식별할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 가속도 센서, 자이로 센서 등을 이용하여 센싱되는 값들에 기초하여, 사용자의 액티비티 상태를 식별할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 사용자가 움직이는 가속도, 각속도 등에 기초하여 사용자가 평상시 상태인지, 걷는 중인지, 달리는 중인지 등을 식별할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 바이오 센서, 가속도 센서, 자이로 센서로부터 획득되는 센서 데이터 중 적어도 일부의 조합을 이용하여, 사용자의 액티비티 상태를 결정할 수 있다.
단계 S460에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 정보 및 사용자의 피부 상태, 사용자의 액티비티 상태 등에 기초하여, 타겟 접촉 압력을 결정할 수 있다.
일 실시예에 따른 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터, 사용자의 피부 상태 및 액티비티 상태를 인공지능 모델에 적용하고, 인공지능 모델로부터 출력되는 타겟 접촉 압력을 결정할 수 있다.
단계 S460이 수행된 이후에, 도 3의 단계 S340, S350 및 S360이 수행될 수 있다.
도 5는 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 웨어러블 디바이스(2000)는 인공지능 모델(500)을 이용하여, 햅틱 액추에이터의 타겟 접촉 압력을 결정할 수 있다.
일 실시예에 따른 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터(510)를 획득할 수 있다. 프로파일 데이터(510)는 사용자의 성별, 나이, 피부 타입(예를 들어, 지성, 건성 등), 신체 속성(예를 들어, 키, 몸무게 등) 중 적어도 하나를 포함할 수 있다. 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000)에 포함되는 사용자 입력 인터페이스를 이용하여, 사용자로부터 프로파일 데이터(510)를 입력 받을 수 있다. 또한, 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000) 내에 미리 저장된 사용자의 프로파일 데이터(510)를 획득할 수 있다. 이 경우, 사용자의 프로파일 데이터(510)는, 웨어러블 디바이스와 연동된 다른 전자 장치로부터 수신되거나, 서버로부터 수신된 것일 수 있다.
일 실시예에 따른 웨어러블 디바이스(2000)는 센서 데이터(520)를 획득할 수 있다. 이 경우, 센서 데이터는 바이오 센서로부터 획득되는 생체 데이터, 가속도 센서로부터 획득되는 가속도 데이터, 자이로 센서로부터 획득되는 각속도 데이터 중 적어도 하나를 포함할 수 있다. 웨어러블 디바이스(2000)는 센서 데이터(520)에 기초하여, 사용자의 피부 상태에 관한 데이터 및 사용자의 액티비티 상태에 관한 데이터를 획득할 수 있다. 이는, 전술한 실시예들에서 설명하였으므로, 동일한 설명은 생략하기로 한다.
인공지능 모델(500)은 복수의 신경망 레이어들을 포함할 수 있다. 복수의 신경망 레이어들 각각은, 복수의 노드를 포함할 수 있다. 인공지능 모델(500)은, 사용자의 프로파일 데이터 및 사용자의 피부 상태에 관한 데이터, 사용자의 액티비티 상태에 관한 데이터를 입력 받을 수 있다.
예를 들어, 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터(510)에 포함되는 데이터들인, 나이(A)(512), 성별(G)(514), 신체 속성(B)(516)을 입력 데이터로 하여 인공지능 모델(500)로 입력 할 수 있다.
또한, 웨어러블 디바이스(2000)는 센서 데이터(520)에 기초하여 획득된 데이터들인, 피부 상태(S)(522), 액티비티 상태(O)(524)를 입력 데이터로 하여 인공지능 모델(500)로 입력할 수 있다.
인공지능 모델(500)은 복수의 신경망 레이어들 각각의 노드 값들에 가중치를 곱하고 더하는, 곱연산 및 합연산을 수행할 수 있다. 이 경우, 현재 레이어에 포함되는 어느 한 노드의 값은, 이전 레이어에 포함되는 노드들에 가중치 값들의 곱연산을 수행한 결과들의 합일 수 있다. 이 경우, 현재 레이어인 레이어 N에 포함되는 어느 한 노드 K의 값은, 아래의 수학식 1로 표현될 수 있다.
[수학식 1]
Figure PCTKR2022004216-appb-img-000001
여기서,
Figure PCTKR2022004216-appb-img-000002
는 이전 레이어인 레이어 N-1에 포함되는 노드 i의 값을 말하며,
Figure PCTKR2022004216-appb-img-000003
는 이전 레이어인 '레이어 N-1'에 포함되는 '노드 i'와 현재 레이어인 '레이어 N'에 포함되는 '노드 k'의 연결 강도를 나타내는 가중치를 말한다.
인공지능 모델(500)은 복수의 신경망 레이어들 중 적어도 일부에서는, 연산 결과를 출력하기 위하여 활성화 함수가 이용될 수 있다. 예를 들어, 입력 레이어에서 이용되는 활성화 함수는 아래의 수학식 2로 표현될 수 있다.
[수학식 2]
Figure PCTKR2022004216-appb-img-000004
여기서, A는 나이,
Figure PCTKR2022004216-appb-img-000005
은 A에 대응되는 가중치, G는 성별,
Figure PCTKR2022004216-appb-img-000006
는 G에 대응되는 가중치, B는 신체 속성,
Figure PCTKR2022004216-appb-img-000007
는 B에 대응되는 가중치, S는 피부 상태,
Figure PCTKR2022004216-appb-img-000008
는 S에 대응되는 가중치, O는 액티비티 상태,
Figure PCTKR2022004216-appb-img-000009
는 O에 대응되는 가중치를 말한다.
일 실시예에서, 인공지능 모델(500)이 이용하는 활성화 함수는, Sigmoid 함수, ReLU 함수, Hyperbolic Tangent(tanh)　함수 등이 사용될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터(510) 및 사용자의 피부 상태에 관한 데이터, 사용자의 액티비티 상태에 관한 데이터를 인공지능 모델(500)에 입력하여, 타겟 접촉 압력 값을 출력할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 복수개인 경우, 웨어러블 디바이스(2000)는 인공지능 모델(500)을 이용하여, 복수의 햅틱 액추에이터들 각각에 대한 타겟 접촉 압력을 결정할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 (i, j) 번째의 햅틱 액추에이터
Figure PCTKR2022004216-appb-img-000010
에 대한 타겟 접촉 압력 값
Figure PCTKR2022004216-appb-img-000011
를 획득할 수 있다.
도 6은 일 실시예에 따른 웨어러블 디바이스가 피부 상태 변화를 식별하고, 제1 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 도면이다.
단계 S610에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 바이오 센서로부터 획득된 생체 데이터에 기초하여, 사용자의 피부 상태가 변경되었는지 여부를 식별할 수 있다.
예를 들어, 웨어러블 디바이스(2000)는 생체 데이터에 포함되는 피부 전도도 응답(skin conductance response; SCR), 피부 온도 중 적어도 일부에 기초하여, 사용자의 피부 상태가 평상시 상태에서 땀을 흘리고 있는 상태로 변경됨을 식별할 수 있다. 이 경우, 사용자의 피부에 맺힌 땀으로 인해, 햅틱 액추에이터에 의한 햅틱 피드백이 적절하게 제공되지 않을 수 있고, 따라서 타겟 접촉 압력의 업데이트가 필요할 수 있다.
단계 S620에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 사용자의 피부 상태가 변경됨이 식별되는 경우, 피부 상태에 대응되는 피부 상태 파라미터(630) 값을 업데이트 할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 사용자의 피부 상태가 평상시 상태에서 땀을 흘리고 있는 상태로 변경됨을 식별하고, 피부 상태 파라미터(630)를 땀을 흘리는 상태에 대응되는 값으로 변경할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 사용자가 땀을 흘리는 정도에 기초하여 피부 상태 파라미터(630) 값을 기 설정된 소정 범위 이내에서 조정할 수 있다.
웨어러블 디바이스(2000)는 업데이트된 피부 상태 파라미터(630) 값에 기초하여, 햅틱 액추에이터의 타겟 접촉 압력 값을 새로 계산할 수 있다. 또한, 웨어러블 디바이스(2000)는 사용자의 피부 상태 파라미터(630) 값이 변경될 때마다 햅틱 액추에이터의 타겟 접촉 압력 값을 지속적으로 업데이트 할 수 있다. 개시된 실시예에서, 사용자의 피부 상태가 변경됨에 따라 웨어러블 디바이스(2000)가 새로 계산하는 타겟 접촉 압력 값들을 제1 타겟 접촉 압력으로 지칭하기로 한다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터 및 사용자의 피부 상태에 관한 데이터, 사용자의 액티비티 상태에 관한 데이터를 인공지능 모델(600)에 입력하여, 제1 타겟 접촉 압력 값을 출력할 수 있다. 이 경우, 사용자의 피부 상태에 관한 데이터는, 업데이트된 피부 상태 파라미터(630) 값일 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 복수개인 경우, 웨어러블 디바이스(2000)는 인공지능 모델(600)을 이용하여, 복수의 햅틱 액추에이터들 각각에 대한 제1 타겟 접촉 압력을 결정할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 (i, j) 번째의 햅틱 액추에이터
Figure PCTKR2022004216-appb-img-000012
에 대한 제1 타겟 접촉 압력 값
Figure PCTKR2022004216-appb-img-000013
를 획득할 수 있다.
웨어러블 디바이스(2000)가 인공지능 모델(600)을 이용하여 제1 타겟 접촉 압력을 결정하는 방법은, 도 5에서 설명한 타겟 접촉 압력을 결정하는 방법에 대응되므로, 동일한 설명은 생략하기로 한다.
도 7은 일 실시예에 따른 웨어러블 디바이스가 사용자의 액티비티 상태를 분석하여, 햅틱 액추에이터의 위치를 조정하는 방법을 설명하기 위한 흐름도이다.
단계 S710에서, 일 실시예에 따른 웨어러블 디바이스(2000)는 사용자의 현재 액티비티 상태를 식별할 수 있다. 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터(702), 현재 가속도 센서 데이터(704), 바이오 센서로부터 획득된 생체 데이터(706) 중 적어도 일부에 기초하여, 사용자의 액티비티 상태를 식별할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 사용자의 현재 액티비티 상태가 평상시(712), 걷기(714), 달리기(716) 등임을 식별할 수 있으나, 사용자의 액티비티 상태는 이에 한정되는 것은 아니다.
단계 S710은 도 3의 단계 S330 또는 도 4의 단계 S460이 수행되어, 웨어러블 디바이스(2000)에 의하여 타겟 접촉 압력이 결정된 이후에 수행될 수 있다.
설명의 편의를 위하여, 이하에서는 웨어러블 디바이스(2000)에 의하여 도 3의 단계 S330 또는 도 4의 단계 S460이 수행되어 타겟 접촉 압력이 미리 획득되어 있고, 웨어러블 디바이스(2000)가 타겟 접촉 압력을 결정할 당시 사용자의 액티비티 상태는 평상시 상태인 경우를 예로 들어 설명하기로 한다.
웨어러블 디바이스(2000)는 사용자의 프로파일 데이터(702), 현재 가속도 센서 데이터(704), 바이오 센서로부터 획득된 생체 데이터(706) 중 적어도 일부에 기초하여, 사용자의 현재 액티비티 상태(예를 들어, 평상시(712), 걷기(714), 달리기(716))를 식별할 수 있다.
웨어러블 디바이스(2000)는 사용자의 현재 액티비티 상태가 평상시(712)로 식별되는 경우, 단계 S715를 수행할 수 있다. 또한, 웨어러블 디바이스(2000)는 사용자의 현재 액티비티 상태가 걷기(714) 또는 달리기(716)로 식별되는 경우, 단계 S720을 수행할 수 있다.
단계 S715에서, 웨어러블 디바이스(2000)는 이전에 결정된 타겟 접촉 압력 값을 변경하지 않고 유지할 수 있다. 웨어러블 디바이스(2000)는 식별된 사용자의 현재 액티비티 상태인 '평상시(712)'가 이전의 액티비티 상태(평상시)와 동일하므로, 이전에 결정된 타겟 접촉 압력 값을 유지할 수 있다.
단계 S720에서, 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000)가 이전 타겟 접촉 압력 계산 시 사용되었던 가속도 센서 데이터 및, 현재 가속도 센서 데이터(704)를 획득할 수 있다. 웨어러블 디바이스(2000)는 식별된 사용자의 현재 액티비티 상태인 '걷기(714)', 또는 '달리기(716)'가 이전의 액티비티 상태(평상시)와 상이하므로, 변화된 사용자의 액티비티 상태에 맞는 적절한 타겟 접촉 압력을 제공하기 위해 타겟 접촉 압력 값을 업데이트할 수 있다.
단계 S730에서, 웨어러블 디바이스(2000)는 현재 가속도 센서 데이터(704)와 이전 타겟 접촉 압력 계산 시 사용된 가속도 센서 데이터의 차이가 발생하였는지 여부를 식별할 수 있다. 현재 가속도 센서 데이터(704)가 이전 타겟 접촉 압력 계산 시 사용된 가속도 센서 데이터의 차이가 있는 경우, 웨어러블 디바이스(2000)는 단계 S740을 수행할 수 있다. 차이가 없는 경우, 웨어러블 디바이스(2000)는 단계 S730을 반복하여 수행할 수 있다.
단계 S740에서, 웨어러블 디바이스(2000)는 가속도 센서 데이터 변화 값을 계산할 수 있다. 웨어러블 디바이스(2000)는 가속도 센서 데이터의 변화 값에 기초하여, 제2 타겟 접촉 압력을 계산할 수 있다. 여기서, 제2 타겟 접촉 압력이란, 사용자의 액티비티 상태가 변경됨에 따라 웨어러블 디바이스(2000)가 새로 계산하는 타겟 접촉 압력 값들을 말한다. 웨어러블 디바이스(2000)는 사용자의 액티비티 상태가 변경됨이 식별될 때마다 햅틱 액추에이터의 타겟 접촉 압력 값을 지속적으로 업데이트 할 수 있다. 웨어러블 디바이스(2000)가 제2 타겟 접촉 압력을 계산하는 구체적인 방법은, 도 8에서 더 서술하기로 한다.
단계 S750 에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 접촉 압력이 제2 타겟 접촉 압력이 되도록, 햅틱 액추에이터를 조정할 수 있다. 또한, 웨어러블 디바이스(2000)는 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터가 복수개인 경우, 각각의 햅틱 액추에이터에 대하여 제2 타겟 접촉 압력 값을 계산할 수 있다. 웨어러블 디바이스(2000)는 복수의 햅틱 액추에이터들 중에서 현재 접촉 압력의 조정이 필요한 것으로 판단되는 햅틱 액추에이터들을 선택할 수 있다. 웨어러블 디바이스는 선택된 햅틱 액추에이터들의 접촉 압력이 제2 타겟 접촉 압력이 되도록, 선택된 햅틱 액추에이터들만을 조정할 수 있다.
한편, 도 7에서 웨어러블 디바이스(2000)가 사용자의 액티비티 상태를 식별하는 방법을 설명함에 있어서, 가속도 센서 데이터가 사용됨을 예시로 설명하였으나, 이에 한정되는 것은 아니다. 웨어러블 디바이스(2000)는 센싱부에 포함되는 복수 타입의 센서들로부터 복수 타입의 센서 데이터를 획득하고, 획득된 복수 타입의 센서 데이터 중 적어도 일부에 기초하여, 사용자의 액티비티 상태가 변경되었는지를 식별할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 자이로 센서로부터 획득된 각속도 센서 데이터 등, 사용자의 움직임을 측정할 수 있는 다양한 센서를 더 이용할 수 있다. 웨어러블 디바이스(2000)가 획득된 센서 데이터에 기초하여 차이 값을 계산하고, 타겟 접촉 압력 값을 업데이트 하는 방법들은, 다양한 센서 데이터에도 동일하게 적용될 수 있다.
도 8은 일 실시예에 따른 웨어러블 디바이스가 사용자의 액티비티 상태의 변화를 식별하고, 제2 타겟 접촉 압력을 결정하는 방법을 설명하기 위한 도면이다.
도 8을 설명함에 있어서, 설명의 편의를 위해, 웨어러블 디바이스(2000)가 (i, j) 번째의 햅틱 액추에이터
Figure PCTKR2022004216-appb-img-000014
(800)에 대한 제2 타겟 접촉 압력을 계산하는 경우를 예로 들어 설명하기로 한다.
도 8을 참조하면, 일 실시예에 따른 웨어러블 디바이스(2000)는 센싱부로부터 획득된 복수 타입의 센서 데이터 중 적어도 일부에 기초하여, 사용자의 액티비티 상태가 변경되었는지 여부를 식별할 수 있다. 웨어러블 디바이스(2000)는 사용자의 액티비티 상태가 변경됨이 식별됨에 따라, 제2 타겟 접촉 압력을 계산할 수 있다. 이 경우, 제2 타겟 접촉 압력은, 사용자의 액티비티 상태가 변경되기 전까지의 타겟 접촉 압력의 변화 정도에 기초하여 계산되는 것일 수 있다.
일 실시예에서, 웨어러블 디바이스(2000) 사용자의 액티비티 상태는 제1 액티비티 상태(810)일 수 있다. 예를 들어, 제1 액티비티 상태(810)는 사용자가 운동하고 있지 않은 상태인 '평상시' 상태일 수 있다. 웨어러블 디바이스(2000)는 사용자의 액티비티 상태가 제1 액티비티 상태(810)일 때, 사용자의 피부 상태가 변경되었는지를 식별하고, 사용자의 피부 상태가 변경됨이 식별됨에 따라 제1 타겟 접촉 압력을 결정할 수 있다. 웨어러블 디바이스(2000)가 제1 타겟 접촉 압력을 결정하는 방법은 도 6에 대한 설명에서 전술하였으므로, 동일한 설명은 생략하기로 한다.
예를 들어, 사용자의 액티비티 상태가 제1 액티비티 상태(810)일 때, 시간 t1에서 사용자의 피부 상태가 변경될 수 있다. 웨어러블 디바이스(2000)는 시간 t1에서 사용자의 피부 상태가 변경됨이 식별되는 경우, 사용자의 프로파일 데이터 및 시간 t1에서의 생체 데이터에 기초하여, 시간 t1에서의 제1 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000015
(812)을 획득할 수 있다.
또한, 사용자의 액티비티 상태가 제1 액티비티 상태(810)일 때, 시간 t2에서 사용자의 피부 상태가 다시 변경될 수 있다. 웨어러블 디바이스(2000)는 시간 t2에서 사용자의 피부 상태가 변경됨이 식별되는 경우, 사용자의 프로파일 데이터 및 시간 t2에서의 생체 데이터에 기초하여, 시간 t2에서의 제1 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000016
(814)을 획득할 수 있다.
또한, 사용자의 액티비티 상태가 제1 액티비티 상태(810)일 때, 시간 t3에서 사용자의 피부 상태가 다시 변경될 수 있다. 웨어러블 디바이스(2000)는 시간 t3에서 사용자의 피부 상태가 변경됨이 식별되는 경우, 사용자의 프로파일 데이터 및 시간 t3에서의 생체 데이터에 기초하여, 시간 t3에서의 제1 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000017
(816)을 획득할 수 있다.
같은 방식으로, 웨어러블 디바이스(2000)는 사용자의 피부 상태가 변경될 때마다, 사용자의 프로파일 데이터 및 사용자의 피부 상태가 변경된 시간에서의 생체 데이터에 기초하여, 제1 타겟 접촉 압력을 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 사용자의 액티비티 상태가 변경됨을 식별할 수 있다. 웨어러블 디바이스(2000)는 시간 t에서 사용자의 액티비티 상태가 제1 액티비티 상태(810)에서 제2 액티비티 상태(820)로 변경됨을 식별할 수 있다. 이 경우, 제1 액티비티 상태(810)는 '평상시' 제2 액티비티 상태(820)는 '달리기'일 수 있다. 웨어러블 디바이스(2000)가 사용자의 액티비티 상태를 분석하는 방법은 도 7에서 전술하였으므로, 동일한 설명은 생략하기로 한다.
웨어러블 디바이스(2000)는 시간 t에서 사용자의 액티비티 상태가 변경됨이 식별됨에 따라, 시간 t에서 제2 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000018
(822)을 계산할 수 있다. 이 경우, 제2 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000019
(822)의 계산은 아래의 수학식 3이 이용될 수 있다.
[수학식 3]
Figure PCTKR2022004216-appb-img-000020
Figure PCTKR2022004216-appb-img-000021
여기서,
Figure PCTKR2022004216-appb-img-000022
는 제1 타겟 접촉 압력, T는 사용자의 액티비티 상태가 변경되기 전까지 이전 액티비티 상태가 지속된 시간,
Figure PCTKR2022004216-appb-img-000023
는 시간 T 동안 제1 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000024
의 평균,
Figure PCTKR2022004216-appb-img-000025
는 시간 T 동안 제1 타겟 접촉 압력
Figure PCTKR2022004216-appb-img-000026
의 표준편차를 말한다.
일 실시예에서, 웨어러블 디바이스(2000)에 포함되는 햅틱 액추에이터(800)가 복수개인 경우, 웨어러블 디바이스(2000)는 복수의 햅틱 액추에이터들 각각에 대한 제1 타겟 접촉 압력의 변화 정도에 기초하여, 복수의 햅틱 액추에이터들 각각에 대한 제2 타겟 접촉 압력 값
Figure PCTKR2022004216-appb-img-000027
를 획득할 수 있다.
도 9는 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력을 업데이트 하는 방법을 설명하기 위한 흐름도이다.
단계 S910에서, 웨어러블 디바이스(2000)는 사용자의 프로파일 데이터 및 생체 데이터에 기초하여, 햅틱 액추에이터에 대한 타겟 접촉 압력을 계산할 수 있다. 도 9의 단계 S910은, 도 3의 단계 S330 또는 도 4의 단계 S460에 대응될 수 있다.
단계 S920에서, 웨어러블 디바이스(2000)는 사용자의 피부 상태가 변경되었는지를 식별할 수 있다. 사용자의 피부 상태가 변경되지 않은 것으로 식별된 경우, 웨어러블 디바이스(2000)는 타겟 접촉 압력을 유지할 수 있다.(단계 S925) 사용자의 피부 상태가 변경된 것으로 식별된 경우, 웨어러블 디바이스(2000)는 단계 S930을 수행할 수 있다.
단계 S930에서, 웨어러블 디바이스(2000)는 변경된 사용자의 피부 상태에 기초하여 제1 타겟 접촉 압력 값을 획득함으로써, 타겟 접촉 압력 값을 업데이트 할 수 있다. 이는, 도 6에 대한 설명에서 전술하였으므로, 동일한 설명은 생략하기로 한다.
단계 S940에서, 웨어러블 디바이스(2000)는 사용자의 액티비티 상태가 변경되었는지를 식별할 수 있다. 사용자의 액티비티 상태가 변경되지 않은 것으로 식별된 경우, 웨어러블 디바이스(2000)는 사용자의 피부 상태가 변경되는 것을 모니터링하기 위해, 단계 S920의 동작을 다시 수행할 수 있다. 사용자의 액티비티 상태가 변경된 것으로 식별된 경우, 웨어러블 디바이스(2000)는 단계 S950을 수행할 수 있다.
단계 S950에서, 웨어러블 디바이스(2000)는 변경된 사용자의 액티비티 상태에 기초하여 제2 타겟 접촉 압력 값을 획득함으로써, 타겟 접촉 압력 값을 업데이트 할 수 있다. 이는, 도 8에 대한 설명에서 전술하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 웨어러블 디바이스(2000)는 사용자의 피부 상태 변경 여부, 사용자의 액티비티 상태 변경 여부에 기초하여, 지속적으로 햅틱 액추에이터에 대한 타겟 접촉 압력 값을 업데이트 할 수 있다. 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력 값을 측정하고, 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력이 되도록 햅틱 액추에이터를 조정할 수 있다.
도 10은 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 흐름도이다.
단계 S1010에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력을 모니터링할 수 있다. 웨어러블 디바이스(2000)는 웨어러블 디바이스에 포함되는 압력 센서를 이용하여, 햅틱 액추에이터가 사용자의 신체에 가하는 접촉 압력 데이터를 획득함으로써, 햅틱 액추에이터의 현재 접촉 압력을 모니터링 할 수 있다.
단계 S1020에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력과 햅틱 액추에이터의 타겟 접촉 압력을 비교할 수 있다. 웨어러블 디바이스(2000)가 타겟 접촉 압력 값을 획득하는 방법은, 전술한 실시예들에서 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력과 동일한 경우, 햅틱 액추에이터의 조정이 필요하지 않다고 판단할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 단계 S1010을 다시 수행하여, 햅틱 액추에이터의 현재 접촉 압력을 모니터링할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력보다 작거나, 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력보다 큰 경우, 단계 S1030을 수행할 수 있다.
단계 S1030에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 접촉 압력이 타겟 접촉 압력이 되도록 햅틱 액추에이터를 조정할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력보다 작은 경우, 햅틱 액추에이터의 위치가 사용자의 신체에 더 가까워지도록 조절하여, 햅틱 액추에이터가 사용자의 신체에 타겟 접촉 압력으로 접촉된 상태에서 사용자에게 햅틱 피드백을 제공하도록 할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력보다 큰 경우, 햅틱 액추에이터의 위치가 사용자의 신체로부터 더 멀어지도록 조절하여, 햅틱 액추에이터가 사용자의 신체에 타겟 접촉 압력으로 접촉된 상태에서 사용자에게 햅틱 피드백을 제공하도록 할 수 있다.
단계 S1040에서, 웨어러블 디바이스(2000)는 위치가 조정된 햅틱 액추에이터와 다른 인접한 햅틱 액추에이터 간 거리를 식별할 수 있다. 예를 들어, 단계 S1030에서 타겟 접촉 압력이 되도록 햅틱 액추에이터의 위치를 조정함에 따라, 위치가 조정된 햅틱 액추에이터와 웨어러블 디바이스(2000)에 포함되는 다른 햅틱 액추에이터 간 거리가 증가하거나 감소할 수 있다. 웨어러블 디바이스(2000)는 위치가 조정된 햅틱 액추에이터에 대하여, 위치가 조정된 햅틱 액추에이터와 다른 햅틱 액추에이터의 간 거리를 식별할 수 있다.
단계 S1050에서, 웨어러블 디바이스(2000)는 식별된 햅틱 액추에이터 간 거리를 임계값과 비교할 수 있다. 일 실시예에서, 햅틱 액추에이터 간 거리가 임계값 미만인 경우, 웨어러블 디바이스(2000)는 단계 S1060을 수행할 수 있다.
단계 S1060에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터 간 거리가 임계값 미만으로 인접하는 햅틱 액추에이터들 중에서, 적어도 일부의 햅틱 액추에이터를 비활성화 할 수 있다.
예를 들어, 햅틱 액추에이터 간 거리가 임계값 미만으로 서로 인접하는 둘 이상의 햅틱 액추에이터 모두에서 햅틱 피드백을 발생시키면, 햅틱 액추에이터 간 거리가 가까움으로 인해 사용자에게 햅틱 피드백이 적절하게 제공되지 않을 수 있다(사용자가 인접한 둘 이상의 햅틱 액추에이터로부터 발생하는 햅틱 피드백을 하나로 느끼는 경우 등). 따라서, 햅틱 액추에이터 간 거리가 임계값 미만으로 서로 인접하는 둘 이상의 햅틱 액추에이터 모두에서 햅틱 피드백을 발생시키지 않더라도, 사용자에게는 충분한 햅틱 피드백이 제공될 수 있으므로, 웨어러블 디바이스(2000)는 햅틱 액추에이터 간 거리가 임계값 미만으로 인접하는 햅틱 액추에이터들 중에서, 적어도 일부의 햅틱 액추에이터를 비활성화 할 수 있다.
도 11은 일 실시예에 따른 웨어러블 디바이스가 타겟 접촉 압력에 기초하여 햅틱 피드백을 제공하는 방법을 설명하기 위한 도면이다.
단계 S1110에서, 웨어러블 디바이스(2000)는 타겟 접촉 압력 값을, 사용자에게 촉각적인 감각을 전달할 수 있는 힘 등을 나타내는 다른 측정 단위의 값으로 변환할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 타겟 접촉 압력 값(
Figure PCTKR2022004216-appb-img-000028
)을 헤르츠(Hz) 단위의 진동 값(
Figure PCTKR2022004216-appb-img-000029
)으로 변환할 수 있다. 웨어러블 디바이스(2000)는 타겟 접촉 압력 값에 대응되는 진동수를 햅틱 피드백의 최소 진동수(
Figure PCTKR2022004216-appb-img-000030
)로 설정할 수 있다. 다만, 다른 측정 단위의 값은 이에 한정되는 것은 아니며, 웨어러블 디바이스(2000)는 타겟 접촉 압력 값에 기초하여 사용자에게 햅틱 피드백을 전달할 수 있는 다른 측정 단위인 암페어(A) 등의 측정 단위의 값으로 변환할 수 있다.
단계 S1120에서, 웨어러블 디바이스(2000)는 단계 S1110에서 변환된 타겟 접촉 압력 값을 웨어러블 디바이스(2000)의 최소 출력 전압과 매칭할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 타겟 접촉 압력 값(
Figure PCTKR2022004216-appb-img-000031
)을 변환하여 획득된, 헤르츠 단위의 진동 값 (
Figure PCTKR2022004216-appb-img-000032
)을 웨어러블 디바이스(2000)의 최소 출력 전압 (
Figure PCTKR2022004216-appb-img-000033
)과 매칭함으로써, 웨어러블 디바이스(2000)에서 제공되는 햅틱 피드백의 최소 세기가 타겟 접촉 압력에 대응되는 세기가 되도록 할 수 있다.
웨어러블 디바이스(2000)는 펄스 폭 변조 방식을 이용하여, 사용자에게 전달되는 햅틱 피드백의 세기를 조절할 수 있다.
도 12는 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터를 사용자의 신체의 접촉되도록 하기 위한 일 예를 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터(1200)를 포함할 수 있으며, 햅틱 액추에이터(1200)의 한쪽 측면에는 스트랩 a(1210)가 연결되고, 다른쪽 측면에는 스트랩 b(1220)가 연결되어 있을 수 있다.
웨어러블 디바이스(2000)는 햅틱 액추에이터(1200)의 현재 접촉 압력을 측정하고, 타겟 접촉 압력과 비교할 수 있다.
예를 들어, 웨어러블 디바이스(2000)는 현재 접촉 압력이 타겟 접촉 압력보다 작은 경우, 햅틱 액추에이터(1200)의 위치가 사용자의 신체로 더 가까워지도록 조정하기 위하여, 스트랩의 길이가 짧아지도록 할 수 있다. 예를 들어, 웨어러블 디바이스(2000)는 햅틱 액추에이터(1200)에 부착된 물리적인 조정 장치(예를 들어, 기어, 스트링 등)를 이용할 수 있다. 웨어러블 디바이스(2000)는 물리적인 조정 장치를 이용하여 스트랩 a(1210) 및 스트랩 b(1220)가 햅틱 액추에이터(1200)에 더 가까워지도록 햅틱 액추에이터(1200)와 스트랩 a(1210) 및 스트랩 b(1220)간 간격을 조임으로써, 햅틱 액추에이터가 사용자의 신체에 더 가까워지도록 조정할 수 있다.
또한, 웨어러블 디바이스(2000)는 현재 접촉 압력이 타겟 접촉 압력보다 큰 경우, 햅틱 액추에이터(1200)의 위치가 사용자의 신체로부터 더 멀어지도록 조정하기 위하여, 햅틱 액추에이터(1200)와 스트랩 a(1210) 및 스트랩 b(1220)간 간격의 조임을 느슨하게 할 수 있다. 웨어러블 디바이스(2000)가 햅틱 액추에이터의 위치를 조정하기 위한 물리적인 구조는, 도 14a 내지 15에 대한 설명에서 더 서술하기로 한다.
도 13은 일 실시예에 따른 웨어러블 디바이스가 복수의 햅틱 액추에이터들의 현재 접촉 압력을 조정하기 위해, 복수의 햅틱 액추에이터들 간의 거리를 조정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터 a(1310), 햅틱 액추에이터 b(1320), 햅틱 액추에이터 c(1330)를 포함할 수 있다.
블록 1300을 참조하면, 햅틱 액추에이터 a(1310) 및 햅틱 액추에이터 c(1330)는 사용자의 피부에 접촉되어 있을 수 있다. 이 경우, 햅틱 액추에이터 a(1310) 및 햅틱 액추에이터 c(1330)의 현재 접촉 압력을 측정하면, 햅틱 액추에이터 a(1310) 및 햅틱 액추에이터 c(1330)의 현재 접촉 압력은 타겟 접촉 압력이 되도록 적절하게 접촉되어 있음이 확인될 수 있다.
그러나 햅틱 액추에이터 b(1320)의 경우, 햅틱 액추에이터 b(1320)는 사용자의 피부에 접촉되어 있지 않을 수 있다. 이 경우, 햅틱 액추에이터 b(1320)의 현재 접촉 압력을 측정하면, 햅틱 액추에이터 b(1320)의 현재 접촉 압력은 타겟 접촉 압력 값보다 작게 측정될 수 있다.
웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력 및 타겟 접촉 압력에 기초하여, 햅틱 액추에이터의 현재 접촉 압력을 조정할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 복수의 햅틱 액추에이터들 간의 거리를 조정함으로써 햅틱 액추에이터의 현재 접촉 압력을 조정할 수 있다.
예를 들어, 블록 1302를 참조하면, 웨어러블 디바이스(2000)는 햅틱 액추에이터 a(1310)와 햅틱 액추에이터 b(1320) 간 거리 및 햅틱 액추에이터 b(1320)와 햅틱 액추에이터 c(1330) 간 거리를 감소시킴으로써, 햅틱 액추에이터 b(1320)의 현재 접촉 압력을 조정할 수 있다. 웨어러블 디바이스(2000)는 햅틱 액추에이터 a(1310) 및 햅틱 액추에이터 c(1330)가 햅틱 액추에이터 b(1320)에 더 가까워지도록 햅틱 액추에이터 b(1320)를 조임으로써, 햅틱 액추에이터 b(1320)가 사용자의 피부에 접촉되도록 할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 햅틱 액추에이터 b(1320)의 접촉 압력이 타겟 접촉 압력이 될 때까지 햅틱 액추에이터 b(1320)의 현재 접촉 압력을 조정할 수 있다.
다른 예에서, 블록 1304를 참조하면, 웨어러블 디바이스(2000)는 햅틱 액추에이터 a(1310)와 햅틱 액추에이터 b(1320) 간 거리 및 햅틱 액추에이터 b(1320)와 햅틱 액추에이터 c(1330) 간 거리를 증가시킴으로써, 햅틱 액추에이터 b(1320)의 현재 접촉 압력을 조정할 수 있다. 웨어러블 디바이스(2000)는 햅틱 액추에이터 a(1310) 및 햅틱 액추에이터 c(1330)가 햅틱 액추에이터 b(1320)에 더 멀어지도록, 햅틱 액추에이터 a(1310) 및 햅틱 액추에이터 c(1330) 각각을 햅틱 액추에이터 b(1320)로부터 먼 방향으로 당김으로써, 햅틱 액추에이터 b(1320)가 사용자의 피부에 접촉되도록 할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 햅틱 액추에이터 b(1320)의 접촉 압력이 타겟 접촉 압력이 될 때까지 햅틱 액추에이터 b(1320)의 현재 접촉 압력을 조정할 수 있다.
웨어러블 디바이스(2000)가 햅틱 액추에이터의 위치를 조정하기 위한 물리적인 구조는, 도 14a 내지 15에 대한 설명에서 더 서술하기로 한다.
도 14a는 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터와 인접한 다른 햅틱 액추에이터들과의 간격을 조정하기 위한 구조를 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터(1400)와 연결된 기어 박스(1410)를 포함할 수 있다. 기어 박스(1410)는 하나 이상의 기어를 포함할 수 있다. 예를 들어, 기어 박스(1410)는 상향 이동 기어(Up-move Gear)(1412), 하향 이동 기어(Down-move Gear)(1414), 좌향 이동 기어(Left-move Gear)(1416), 우향 이동 기어(Right-move Gear)(1418)를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며 기어 박스(1410)는 전방 이동 기어(Front-move Gear)(미도시) 및 후방 이동 기어(Back-move Gear)(미도시)를 더 포함할 수 있다.
웨어러블 디바이스(2000)는 기어 박스(1410)에 포함되는 각각의 기어에 대하여, 기어를 회전시킴으로써 기어 박스(1410)에 연결된 햅틱 액추에이터(1400)를 이동시킬 수 있다.
예를 들어, 웨어러블 디바이스(2000)는 상향 이동 기어(1412) 및 우향 이동 기어(1418)를 회전시킴으로써, 햅틱 액추에이터(1400)의 위치가 오른쪽 위로 이동하도록 조정할 수 있다. 이 경우, 다른 햅틱 액추에이터들(1401, 1402, 1403, 1404) 중에서, 다른 햅틱 액추에이터들(1401, 1402)과 햅틱 액추에이터(1400) 사이의 간격은 감소하고, 다른 햅틱 액추에이터들(1403, 1404)과 햅틱 액추에이터(1400) 사이의 간격은 증가할 수 있다.
일 실시예에 따른 웨어러블 디바이스(2000)는 햅틱 액추에이터들 간의 간격을 감소시키거나 증가시키는 간격 조정을 수행하여, 햅틱 액추에이터가 타겟 접촉 압력 값으로 사용자의 신체에 접촉되도록 할 수 있다.
도 14b는 도 14a를 추가적으로 설명하기 위한 도면이다.
일 실시예에 따른 웨어러블 디바이스(2000)는 기어 박스에 포함되는 기어 중 하나 이상의 기어가 회전하도록 제어함으로써, 기어 박스가 연결된 햅틱 액추에이터들 간 거리를 조정할 수 있다. 웨어러블 디바이스(2000)는 햅틱 액추에이터들 간 거리를 조정함으로써, 햅틱 액추에이터가 사용자의 신체에 접촉되도록 할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 햅틱 액추에이터의 현재 접촉 압력이 타겟 접촉 압력이 되도록 햅틱 액추에이터를 조정할 수 있다.
예를 들어, 도 14b를 참조하면, 일 실시예에 따른 웨어러블 디바이스(2000)는 기어 박스(1410)에 포함되는 기어 중 하나 이상의 기어가 회전하도록 제어할 수 있다. 웨어러블 디바이스(2000)는 상향 이동 기어(Up-move Gear)(1412)를 회전시킴으로써, 햅틱 액추에이터(1400)와 햅틱 액추에이터(1400)의 위쪽에 위치한 다른 햅틱 액추에이터(1401) 사이의 간격을 조일 수 있다.
다른 예에서, 웨어러블 디바이스(2000)는 우향 이동 기어(Right-move Gear)(1418)를 회전시킴으로써, 햅틱 액추에이터(1400)와 햅틱 액추에이터(1400)의 오른쪽에 위치한 다른 햅틱 액추에이터(1402) 사이의 간격을 조일 수 있다.
다른 예에서, 웨어러블 디바이스(2000)는 좌향 이동 기어(Left-move Gear)(1416)를 회전시킴으로써, 햅틱 액추에이터(1400)와 햅틱 액추에이터(1400)의 왼쪽에 위치한 다른 햅틱 액추에이터(1403) 사이의 간격을 조일 수 있다.
다른 예에서, 웨어러블 디바이스(2000)는 하향 이동 기어(Down-move Gear)(1414)를 회전시킴으로써, 햅틱 액추에이터(1400)와 햅틱 액추에이터(1400)의 아래쪽에 위치한 다른 햅틱 액추에이터(1404) 사이의 간격을 조일 수 있다.
일 실시예에 따른 웨어러블 디바이스(2000)는 햅틱 액추에이터와 인접한 다른 햅틱 액추에이터들과의 간격을 조정함으로써 햅틱 액추에이터의 현재 접촉 압력을 타겟 접촉 압력이 될 때까지 조정할 수 있다.
도 15는 일 실시예에 따른 웨어러블 디바이스가 햅틱 액추에이터와 인접한 다른 햅틱 액추에이터들과의 간격을 조정하기 위한, 다른 구조를 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 햅틱 액추에이터(1500)에 부착된 전자석(1510)을 포함할 수 있다. 전자석(1510)은 S극(1512)과 N극(1514)을 포함할 수 있다. 전자석(1510)에 흐르는 전류의 방향에 따라, S극(1512)과 N극(1514)의 위치는 바뀔 수 있다.
웨어러블 디바이스(2000)는 전자석(1510)에 흐르는 전류를 제어함으로써, 전자석(1510)에 부착된 햅틱 액추에이터(1500)를 이동시킬 수 있다.
예를 들어, 웨어러블 디바이스(2000)는 전자석(1510)에 흐르는 전류를 제어함으로써, 전자석에 부착된 햅틱 액추에이터의 위치가 오른쪽 위로 이동하도록 조정할 수 있다. 이 경우, 다른 햅틱 액추에이터들(1501, 1502)는 햅틱 액추에이터(1500)와 반대 성질의 극을 가지도록 전류가 흐를 수 있다. 이에 따라, 햅틱 액추에이터(1500)와 다른 햅틱 액추에이터들 (1501, 1502) 사이의 간격이 감소할 수 있다.
일 실시예에 따른 웨어러블 디바이스(2000)는 햅틱 액추에이터들 간의 간격을 감소시키거나 증가시키는 간격 조정을 수행하여, 햅틱 액추에이터가 타겟 접촉 압력 값으로 사용자의 신체에 접촉되도록 할 수 있다.
도 16은 일 실시예에 따른 웨어러블 디바이스가 복수개의 햅틱 액추에이터들의 현재 접촉 압력을 조정하기 위해, 복수의 햅틱 액추에이터들 간의 간격을 조정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 복수개의 햅틱 액추에이터들 각각에 대응되는 압력 센서를 이용하여, 복수개의 햅틱 액추에이터들 각각의 현재 접촉 압력을 측정할 수 있다.
웨어러블 디바이스(2000)는 복수개의 햅틱 액추에이터들 각각의 현재 접촉 압력에 기초하여, 복수개의 햅틱 액추에이터들 중에서 현재 접촉 압력을 조정할 하나 이상의 햅틱 액추에이터를 선택할 수 있다.
예를 들어, 웨어러블 디바이스(2000)가 복수개의 햅틱 액추에이터들 각각의 현재 접촉 압력을 측정한 결과, 일부 햅틱 액추에이터들은 사용자의 피부에 불완전하게 접촉된 햅틱 액추에이터들(1610)일 수 있다.
다른 예에서, 웨어러블 디바이스(2000)가 복수개의 햅틱 액추에이터들 각각의 현재 접촉 압력을 측정한 결과, 다른 일부 햅틱 액추에이터들은 사용자의 피부에 비접촉된 햅틱 액추에이터들(1620)일 수 있다.
웨어러블 디바이스(2000)는 복수개의 햅틱 액추에이터들 중에서, 불완전하게 접촉된 햅틱 액추에이터들(1610) 및 비접촉된 햅틱 액추에이터들(1620)을 선택할 수 있다.
일 실시예에서, 웨어러블 디바이스(2000)는 불완전하게 접촉된 햅틱 액추에이터들(1610) 및 비접촉된 햅틱 액추에이터들(1620)의 접촉 압력을 타겟 접촉 압력이 되도록 조정할 수 있다.
웨어러블 디바이스(2000)는 선택된 불완전하게 접촉된 햅틱 액추에이터들(1610) 및 비접촉된 햅틱 액추에이터들(1620)의 햅틱 액추에이터들 사이의 간격을 조정함으로써, 불완전하게 접촉된 햅틱 액추에이터들(1610) 및 비접촉된 햅틱 액추에이터들(1620)의 현재 접촉 압력을 조정할 수 있다. 이 경우, 웨어러블 디바이스(2000)는 전술한 실시예들에 따른 기어 박스 또는 전자석을 이용하여 햅틱 액추에이터들(1610, 1620) 사이의 간격을 조정할 수 있다.
도 17a는 일 실시예에 따른 웨어러블 디바이스가 스마트 의복인 경우, 햅틱 액추에이터들의 실장 구조를 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 스마트 의복(1700)일 수 있다.
일 실시예에 따른 스마트 의복(1700)은 적어도 하나의 배터리(1710), 적어도 하나의 프로세서(1720), 햅틱 액추에이터(1730)를 포함할 수 있다. 배터리는 프로세서(1700)가 스마트 의복(1700)을 제어하기 위해 필요한 전원을 공급할 수 있다. 프로세서(1700)는 햅틱 액추에이터(1730)를 제어하여 햅틱 피드백을 발생시킬 수 있다. 또한, 프로세서(1700)는 복수의 햅틱 액추에이터들 간의 간격을 조정하여, 햅틱 액추에이터가 사용자의 신체에 타겟 접촉 압력으로 접촉하도록 할 수 있다.
햅틱 액추에이터(1730)에는 센싱부가 부착되어, 복수 타입의 센서 데이터를 획득할 수 있다. 예를 들어, 센싱부는 전술한 실시예들에 따른 바이오 센서, 압력 센서, 가속도 센서, 자이로 센서를 포함할 수 있다.
일 실시예에서, 스마트 의복(1700)은 외피(1702) 및 내피(1704)로 구성될 수 있다. 이 경우, 복수의 햅틱 액추에이터들(1730)은 스마트 의복(1700)의 내피(1704)에 실장될 수 있다. 스마트 의복(1700)은 스마트 의복(1700)의 내피(1704)에 배치된 복수의 햅틱 액추에이터들(1730)을 이용하여, 스마트 의복(1700)을 착용한 사용자에게 햅틱 피드백을 제공할 수 있다.
도 17b는 일 실시예에 따른 웨어러블 디바이스가 스마트 의복인 경우, 유체의 압력을 이용하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 햅틱 액추에이터(1730)에는 센싱부가 부착되어 있을 수 있다. 센싱부는 복수 타입의 센서를 포함할 수 있으며, 복수 타입의 센서를 이용하여 복수 타입의 센서 데이터를 획득할 수 있다. 예를 들어, 센싱부는 바이오 센서, 압력 센서, 가속도 센서, 자이로 센서를 포함할 수 있다.
일 실시예에서, 스마트 의복(1700)의 내피(1704)는 유체에 의해 팽창 가능한 유체 포켓을 포함할 수 있다. 이 경우, 스마트 의복(1700)은 유체 포켓에 유체를 주입하기 위한 유체 펌프를 더 포함할 수 있다.
스마트 의복(1700)의 프로세서(1720)는 유체 포켓에 유체가 주입되거나 유체 포켓으로부터 유체가 추출되도록 유체 펌프를 제어할 수 있다. 프로세서(1720)는 유체 포켓에 유체를 주입하여 유체 포켓을 팽창시킴으로써, 햅틱 액추에이터(1730)가 사용자의 신체에 접촉되도록 제어할 수 있다.
프로세서(1720)는 햅틱 액추에이터들이 사용자의 신체에 접촉되면, 센싱부에 포함되는 복수 타입의 센서들을 이용하여 복수 타입의 센서 데이터들을 획득할 수 있다. 프로세서(1720)는 복수 타입의 센서 데이터들에 기초하여, 전술한 실시예들에 따른 타겟 접촉 압력 값을 계산할 수 있다. 프로세서(1720)는 타겟 접촉 압력 값이 계산되고 업데이트 되는 경우, 햅틱 액추에이터(1730)의 현재 접촉 압력이 업데이트된 타겟 접촉 압력 값이 되도록 햅틱 액추에이터(1730)의 현재 접촉 압력을 조정할 수 있다. 이 경우, 프로세서(1720)는 유체 포켓에 유체를 주입하거나, 유체 포켓으로부터 유체를 추출함으로써, 햅틱 액추에이터의 현재 접촉 압력을 조정할 수 있다.
도 17c 는 일 실시예에 따른 웨어러블 디바이스가 스마트 의복인 경우, 햅틱 액추에이터 간 간격을 조정하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 스마트 의복(1700)에 포함되는 햅틱 액추에이터(1730)들에는 기어 박스가 연결되어 있을 수 있다. 또한, 햅틱 액추에이터(1730)에는 센싱부가 접촉되어 있을 수 있다. 센싱부는 복수 타입의 센서를 포함할 수 있으며, 복수 타입의 센서 데이터를 획득할 수 있다. 예를 들어, 센싱부는 바이오 센서, 압력 센서, 가속도 센서, 자이로 센서를 포함할 수 있다.
프로세서(1720)는 복수개의 햅틱 액추에이터(1730)들 각각에 대응되는 압력 센서를 이용하여, 복수개의 햅틱 액추에이터(1730)들 각각의 현재 접촉 압력을 측정할 수 있다.
프로세서(1720)는 복수개의 햅틱 액추에이터(1730)들 각각의 현재 접촉 압력에 기초하여, 복수개의 햅틱 액추에이터(1730)들 중에서 현재 접촉 압력을 조정할 하나 이상의 햅틱 액추에이터를 선택할 수 있다.
프로세서(1720)는 선택된 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 타겟 접촉 압력이 되도록 조정할 수 있다. 이는, 도 16에 대한 설명에서 서술하였으므로, 동일한 설명은 생략하기로 한다.
도 18a는 일 실시예에 따른 웨어러블 디바이스가 스마트 워치인 경우, 유체의 압력을 이용하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 스마트 워치(1800)일 수 있다.
일 실시예에 따른 스마트 워치(1800)는 적어도 스트랩(1810), 유체 포켓(1820), 스트랩 조정부(1830), 센싱부(1840) 및 햅틱 액추에이터(1850)를 포함할 수 있다.
일 실시예에서, 스트랩(1810)에는 복수의 햅틱 액추에이터(1850)들이 배열될 수 있다. 또한, 스트랩(1810)에는 유체에 의해 팽창이 가능한 유체 포켓(1820)이 부착될 수 있다.
일 실시예에서, 스트랩 조정부(1830)는 유체 포켓(1820)에 유체를 주입하기 위한 실린더(1832), 유체 펌프(1834) 및 피스톤(1836)을 포함할 수 있다. 스트랩 조정부(1830)는 실린더(1832), 유체 펌프(1834) 및 피스톤(1836)을 이용하여 유체 포켓(1820)에 유체를 주입하거나 유체 포켓(1820)으로부터 유체를 추출할 수 있다.
일 실시예에서, 햅틱 액추에이터(1850)에는 센싱부(1840)가 부착되어 있을 수 있다. 센싱부(1840)는 복수 타입의 센서를 포함할 수 있으며, 복수 타입의 센서를 이용하여 복수 타입의 센서 데이터를 획득할 수 있다. 예를 들어, 센싱부(1840)는 바이오 센서, 압력 센서, 가속도 센서, 자이로 센서를 포함할 수 있다.
스마트 워치(1800)는 스트랩 조정부(1830)를 이용하여, 유체 포켓(1820)에 유체가 주입되거나 유체 포켓(1820)으로부터 유체가 추출되도록 제어할 수 있다. 스마트 워치(1800)는 유체 포켓(1820)에 유체를 주입하여 유체 포켓(1820)을 팽창시킴으로써, 햅틱 액추에이터(1850)가 사용자의 신체에 접촉되도록 제어할 수 있다.
스마트 워치(1800)는 햅틱 액추에이터들이 사용자의 신체에 접촉되면, 센싱부(1840)에 포함되는 복수 타입의 센서들을 이용하여 복수 타입의 센서 데이터들을 획득할 수 있다. 스마트 워치(1800)는 복수 타입의 센서 데이터들에 기초하여, 전술한 실시예들에 따른 타겟 접촉 압력 값을 계산할 수 있다. 스마트 워치(1800)는 타겟 접촉 압력 값이 계산되고 업데이트 되는 경우, 햅틱 액추에이터(1850)의 현재 접촉 압력이 업데이트된 타겟 접촉 압력 값이 되도록, 햅틱 액추에이터(1850)의 현재 접촉 압력을 조정할 수 있다. 이 경우, 스마트 워치(1800)는 스트랩 조정부(1830)를 이용하여 유체 포켓(1820)에 유체를 주입하거나, 유체 포켓(1820)으로부터 유체를 추출함으로써, 햅틱 액추에이터(1850)의 현재 접촉 압력을 조정할 수 있다.
도 18b는 일 실시예에 따른 웨어러블 디바이스가 스마트 워치인 경우, 스트랩의 길이를 조절하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 다른 방법을 설명하기 위한 도면이다
일 실시예에서, 웨어러블 디바이스(2000)는 스마트 워치(1800)일 수 있다.
일 실시예에 따른 스마트 워치(1800)는 적어도 스트랩(1810), 스트랩 조정부(1860), 센싱부(1840) 및 햅틱 액추에이터(1850)를 포함할 수 있다.
일 실시예에서, 스트랩(1810)에는 복수의 햅틱 액추에이터(1850)들이 배열될 수 있다.
일 실시예에서, 스트랩 조정부(1860)는 스트랩(1810)의 길이를 조정하기 위한 스프링(1862) 및 하나 이상의 기어를 포함하는 기어 박스(1864)를 포함할 수 있다. 스트랩 조정부(1860)는 기어 박스(1864)를 이용하여, 스프링(1862)을 당기거나 느슨하게 함으로써, 스트랩(1810)의 길이를 조절할 수 있다.
일 실시예에서, 햅틱 액추에이터(1850)에는 센싱부(1840)가 부착되어 있을 수 있다. 센싱부(1840)는 복수 타입의 센서를 포함할 수 있으며, 복수 타입의 센서를 이용하여 복수 타입의 센서 데이터를 획득할 수 있다. 예를 들어, 센싱부(1840)는 바이오 센서, 압력 센서, 가속도 센서, 자이로 센서를 포함할 수 있다.
스마트 워치(1800)는 스트랩 조정부(1860)를 이용하여, 스트랩(1810)의 길이를 조정할 수 있다. 스마트 워치(1800)는 기어 박스(1864)에 포함되는 하나 이상의 기어를 회전시킴으로써, 스프링(1862)이 당겨지도록 함으로써, 스트랩(1810)의 길이를 짧게 조정하여 햅틱 액추에이터(1850)가 사용자의 신체에 접촉되도록 제어할 수 있다.
스마트 워치(1800)는 햅틱 액추에이터들이 사용자의 신체에 접촉되면, 센싱부(1840)에 포함되는 복수 타입의 센서들을 이용하여 복수 타입의 센서 데이터들을 획득할 수 있다. 스마트 워치(1800)는 복수 타입의 센서 데이터들에 기초하여, 전술한 실시예들에 따른 타겟 접촉 압력 값을 계산할 수 있다. 스마트 워치(1800)는 타겟 접촉 압력 값이 계산되고 업데이트 되는 경우, 햅틱 액추에이터(1850)의 현재 접촉 압력이 업데이트된 타겟 접촉 압력 값이 되도록, 햅틱 액추에이터(1850)의 현재 접촉 압력을 조정할 수 있다. 이 경우, 스마트 워치(1800)는 스트랩 조정부(1860)를 이용하여 스트랩(1810)의 길이를 조이거나, 스트랩(1810)의 길이를 느슨하게 조정함으로써, 햅틱 액추에이터(1850)의 현재 접촉 압력을 조정할 수 있다.
도 19는 일 실시예에 따른 웨어러블 디바이스가 헤드마운트 디스플레이인 경우, 햅틱 액추에이터에 압력을 가하여 햅틱 액추에이터의 현재 접촉 압력을 조정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 웨어러블 디바이스(2000)는 헤드마운트 디스플레이(1900)일 수 있다.
일 실시예에 따른 헤드마운트 디스플레이(1900)는 적어도 패드(1910), 압력 수단(1920), 지지부재(1930), 센싱부(1940) 및 햅틱 액추에이터(1950)를 포함할 수 있다. 일 실시예에 따른 헤드마운트 디스플레이(1900)는 헤드마운트 디스플레이(1900)에 포함되는 햅틱 액추에이터(1950)에 대하여 압력을 가함으로써, 햅틱 액추에이터(1950)의 현재 접촉 압력을 조정할 수 있다.
일 실시예에서, 패드(1910)는 사용자의 신체에 접촉될 수 있다. 또한, 패드(1910)가 사용자의 신체와 접촉되는 접촉면의 반대 면에는, 복수의 햅틱 액추에이터(1950)들이 배열될 수 있다.
일 실시예에서, 압력 수단(1920)은 패드에 포함되는 햅틱 액추에이터를 사용자의 신체에 밀착시키기 위해, 햅틱 액추에이터를 향하여 압력을 가할 수 있다.
지지부재(1930)는 햅틱 액추에이터(1950)에 압력을 가하는 압력 수단(1920)을 지지할 수 있다.
일 실시예에서, 햅틱 액추에이터(1950)에는 센싱부(1940)가 부착되어 있을 수 있다. 센싱부(1940)는 복수 타입의 센서를 포함할 수 있으며, 복수 타입의 센서를 이용하여 복수 타입의 센서 데이터를 획득할 수 있다. 예를 들어, 센싱부(1940)는 바이오 센서, 압력 센서, 가속도 센서, 자이로 센서를 포함할 수 있다.
헤드마운트 디스플레이(1900)는 압력 수단(1920)을 이용하여, 햅틱 액추에이터(1950)에 대하여 압력을 가함으로써, 햅틱 액추에이터(1950)가 사용자의 신체에 접촉되도록 제어할 수 있다.
예를 들어, 블록 1902를 참조하면, 헤드마운트 디스플레이(1900)는 압력 수단(1920)을 이용하여, 햅틱 액추에이터(1950)에 압력을 가함으로써, 햅틱 액추에이터(1950)가 사용자의 이마에 접촉되도록 할 수 있다. 또한, 블록 1904를 참조하면, 헤드마운트 디스플레이(1900)는 압력 수단(1920)을 이용하여, 햅틱 액추에이터(1950)에 압력을 가함으로써, 햅틱 액추에이터(1950)가 사용자의 코와 광대뼈에 접촉되도록 할 수 있다.
일 실시예에서, 압력 수단(1920)은 햅틱 액추에이터(1950)에 압력을 가할 수 있는 다양한 구조를 포함할 수 있다. 예를 들어, 압력 수단(1920)은 유압 방식 압력 수단, 스프링, 형상 기억 합금 스프링 등일 수 있으나, 이에 한정되는 것은 아니다.
설명의 편의를 위하여, 압력 수단(1920)이 형상 기억 합금 스프링인 경우를 예로 들면, 헤드마운트 디스플레이(1900)는 형상 기억 합금 스프링을 가열함으로써, 햅틱 액추에이터(1950)에 압력을 가하여, 햅틱 액추에이터(1950)가 사용자의 신체에 접촉되도록 제어할 수 있다.
도 20은 일 실시예에 따른 서버의 구성을 도시한 블록도이다.
일 실시예에 따른 서버(3000)는 웨어러블 디바이스(2000)와 유선 통신 또는 무선 통신 방식으로 상호 연결되고, 데이터 통신을 수행할 수 있다.
일 실시예에 따른 서버(3000)는 적어도 통신 인터페이스(3100), DB(3200), 메모리(3300), 프로세서(3400)를 포함할 수 있다.
일 실시예에 따른 통신 인터페이스(3100)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
일 실시예에 따른 통신 인터페이스(3100)는 웨어러블 디바이스(2000)로 타겟 접촉 압력을 결정하기 위한 인공지능 모델을 전송할 수 있다. 또한, 통신 인터페이스(3100)는 웨어러블 디바이스(2000)로부터 사용자의 프로파일 데이터 및 생체 데이터를 수신하고, 서버(3000)에 저장된 타겟 접촉 압력을 결정하기 위한 인공지능 모델을 이용하여 계산된 타겟 접촉 압력을 웨어러블 디바이스(2000)로 전송할 수 있다. 또한, 통신 인터페이스(3100)는 웨어러블 디바이스(2000)로부터 타겟 접촉 압력을 결정하기 위한 인공지능 모델을 수신하고, 업데이트된 인공지능 모델을 웨어러블 디바이스(2000)로 전송할 수 있다.
DB(3200)는 웨어러블 디바이스(2000)로부터 수신한 데이터를 저장할 수 있다. DB(3200)는 서버(3000)에서 학습을 통하여 생성된 인공지능 모델, 및 인공지능 모델을 학습하는데 이용될 학습용 데이터셋을 저장할 수 있다.
메모리(3300)는 서버(3000)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(3300)에 저장되는 프로그램은 하나 이상의 명령어들을 포함할 수 있다. 메모리(3300)에 저장된 프로그램(하나 이상의 명령어들) 또는 어플리케이션은 프로세서(3400)에 의해 실행될 수 있다. 메모리(3300)에는 웨어러블 디바이스(2000)에 저장된 모듈과 동일한 기능을 수행하는 모듈이 저장되어 있을 수 있다. 예를 들어, 메모리(3300)에는 센서 데이터 분석 모듈(미도시), 타겟 접촉 압력 결정 모듈(미도시)에 대응되는 데이터 및 프로그램 명령어 코드들이 저장될 수 있다.
프로세서(3400)는 서버(3000)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(3400)는 메모리(3300)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시예에 따른 프로세서(3400)는 AP(Application Processor), CPU(Central Processing unit)), GPU(Graphic Processing Unit), 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 등을 포함할 수 있다.
프로세서(3400)는, 전술한 실시예들에 따른, 웨어러블 디바이스(2000)에서 수행 가능한 동작들을 수행할 수 있다.
프로세서(3400)는 웨어러블 디바이스(2000)의 햅틱 액추에이터가 사용자에 신체에 접촉되도록 설정되는 압력인, 타겟 접촉 압력을 계산할 수 있다. 프로세서(3400)는 웨어러블 디바이스(2000)로부터 사용자의 프로파일 데이터 및 생체 데이터를 수신하고, DB(3200)에 저장된 타겟 접촉 압력을 결정하기 위한 인공지능 모델을 이용하여, 웨어러블 디바이스(2000)의 햅틱 액추에이터에 대한 타겟 접촉 압력을 결정할 수 있다. 서버(3000)가 타겟 접촉 압력을 결정하는 방법은, 웨어러블 디바이스(2000)가 타겟 접촉 압력을 결정하는 방법과 대응되므로, 동일한 설명은 생략하기로 한다.
프로세서(3400)는 DB(3200)에 저장된 사용자의 프로파일 데이터 및 생체 데이터를 이용하여 학습을 수행함으로써, 타겟 접촉 압력을 결정하기 위한 인공지능 모델을 생성할 수 있다. 생성된 인공지능 모델은, 웨어러블 디바이스(2000)로 전송될 수 있다.
프로세서(3400)는 사용자가 웨어러블 디바이스(2000)를 실사용함에 따라 획득되는 복수의 센서 데이터 데이터를 웨어러블 디바이스(2000)로부터 수신하고, 타겟 접촉 압력을 결정하기 위한 인공지능 모델을 업데이트할 수 있다.
한편, 도 2에 도시된 웨어러블 디바이스(2000)의 블록도 및 도 20에 도시된 서버(3000)의 블록도는, 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 각 장치의 사양에 따라 통합, 추가 또는 생략될 수 있다. 즉 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 웨어러블 디바이스의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 웨어러블 디바이스의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 웨어러블 디바이스의 제조사 또는 전자 마켓을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 햅틱 피드백을 제공하는 웨어러블 디바이스에 있어서,
    복수 타입의 센서 데이터를 획득하는 센싱부를 포함하되, 상기 센싱부는,
    사용자의 생체 데이터를 획득하는 하나 이상의 바이오 센서 및 하나 이상의 햅틱 액추에이터가 상기 사용자의 신체에 가하는 접촉 압력 데이터를 획득하는 하나 이상의 압력 센서를 포함하고,
    상기 사용자에게 햅틱 피드백을 제공하는 하나 이상의 햅틱 액추에이터;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 사용자의 프로파일 데이터를 획득하고,
    상기 하나 이상의 바이오 센서로부터 상기 사용자의 생체 데이터를 획득하고,
    상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해질 타겟 접촉 압력을 계산하고,
    상기 하나 이상의 압력 센서를 이용하여 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해지는 현재 접촉 압력을 측정하고,
    상기 현재 접촉 압력 및 상기 타겟 접촉 압력에 기초하여, 상기 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는, 웨어러블 디바이스.
  2. 제1항에 있어서,
    상기 사용자의 생체 데이터는 사용자의 피부 상태 및 사용자의 액티비티 상태 중 적어도 하나를 식별하기 위한 센서 데이터를 포함하고,
    상기 사용자 프로파일 데이터는 상기 사용자의 연령, 성별, 신체 속성 및 피부 타입 중 적어도 하나의 정보를 포함하는, 웨어러블 디바이스.
  3. 제2항에 있어서,
    상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 사용자의 프로파일 데이터, 상기 식별된 피부 상태 및 식별된 액티비티 상태를 상기 타겟 접촉 압력을 결정하기 위하여 훈련된 인공지능 모델에 적용하여, 상기 타겟 접촉 압력을 결정하는, 웨어러블 디바이스.
  4. 제1항에 있어서,
    상기 하나 이상의 햅틱 액추에이터는 복수개의 햅틱 액추에이터들이고, 상기 하나 이상의 압력 센서는 복수개의 압력 센서이고, 상기 하나 이상의 바이오 센서는 복수개의 바이오 센서이며,
    상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력을 계산하고,
    상기 복수의 압력 센서들을 이용하여 상기 복수의 햅틱 액추에이터들 각각의 현재 접촉 압력을 측정하는, 웨어러블 디바이스.
  5. 제4항에 있어서,
    상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 복수의 햅틱 액추에이터들 각각의 현재 접촉 압력에 기초하여, 상기 복수의 햅틱 액추에이터들 중 현재 접촉 압력을 조정할 하나 이상의 햅틱 액추에이터를 선택하고,
    상기 선택된 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는, 웨어러블 디바이스.
  6. 제5항에 있어서,
    상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 생체 데이터에 기초하여, 상기 사용자의 피부 상태가 변경되었는지를 식별하고,
    상기 사용자의 피부 상태가 변경됨이 식별됨에 따라, 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력을 변경하고,
    상기 복수의 햅틱 액추에이터들 중 적어도 일부의 현재 접촉 압력을 재조정하는, 웨어러블 디바이스.
  7. 제5항에 있어서,
    상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 센싱부로부터 획득된 복수 타입의 센서 데이터 중 적어도 일부에 기초하여, 상기 사용자의 액티비티 상태가 변경되었는지를 식별하고,
    상기 사용자의 액티비티 상태가 변경됨이 식별됨에 따라, 상기 사용자의 액티비티 상태가 변경되기 전까지의 상기 타겟 접촉 압력의 변화 정도에 기초하여 상기 타겟 접촉 압력을 새로운 타겟 접촉 압력으로 변경하는, 웨어러블 디바이스.
  8. 웨어러블 디바이스가 햅틱 피드백을 제공하는 방법에 있어서,
    사용자의 프로파일 데이터를 획득하는 단계;
    하나 이상의 바이오 센서를 이용하여, 사용자의 생체 데이터를 획득하는 단계;
    상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해질 타겟 접촉 압력을 계산하는 단계;
    하나 이상의 압력 센서를 이용하여, 상기 하나 이상의 햅틱 액추에이터에 의해 상기 사용자의 신체에 가해지는 현재 접촉 압력을 측정하는 단계; 및
    상기 현재 접촉 압력 및 상기 타겟 접촉 압력에 기초하여, 상기 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 사용자의 생체 데이터는 사용자의 피부 상태 및 사용자의 액티비티 상태 중 적어도 하나를 식별하기 위한 센서 데이터를 포함하고,
    상기 사용자 프로파일 데이터는 상기 사용자의 연령, 성별, 신체 속성 및 피부 타입 중 적어도 하나의 정보를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 타겟 접촉 압력을 계산하는 단계는,
    상기 사용자의 프로파일 데이터, 상기 식별된 피부 상태 및 식별된 액티비티 상태를 상기 타겟 접촉 압력을 결정하기 위하여 훈련된 인공지능 모델에 적용하여, 상기 타겟 접촉 압력을 결정하는 단계를 포함하는, 방법.
  11. 제8항에 있어서,
    상기 하나 이상의 햅틱 액추에이터는 복수개의 햅틱 액추에이터들이고, 상기 하나 이상의 압력 센서는 복수개의 압력 센서이고, 상기 하나 이상의 바이오 센서는 복수개의 바이오 센서이며,
    상기 타겟 접촉 압력을 계산하는 단계는,
    상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력을 계산하는 단계를 포함하고,
    상기 현재 접촉 압력을 측정하는 단계는,
    상기 복수의 압력 센서들을 이용하여 상기 복수의 햅틱 액추에이터들 각각의 현재 접촉 압력을 측정하는 단계를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 방법은,
    상기 복수의 햅틱 액추에이터들 각각의 현재 접촉 압력에 기초하여, 상기 복수의 햅틱 액추에이터들 중 현재 접촉 압력을 조정할 하나 이상의 햅틱 액추에이터를 선택하는 단계를 더 포함하고,
    상기 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계는,
    상기 선택된 하나 이상의 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 방법은,
    상기 생체 데이터에 기초하여, 상기 사용자의 피부 상태가 변경되었는지를 식별하는 단계를 더 포함하고,
    상기 타겟 접촉 압력을 계산하는 단계는,
    상기 사용자의 피부 상태가 변경됨이 식별됨에 따라, 상기 사용자의 프로파일 데이터 및 상기 생체 데이터에 기초하여, 상기 복수의 햅틱 액추에이터들 각각의 타겟 접촉 압력을 변경하는 단계를 포함하고,
    상기 햅틱 액추에이터의 현재 접촉 압력을 조정하는 단계는,
    상기 복수의 햅틱 액추에이터들 중 적어도 일부의 현재 접촉 압력을 재조정하는 단계를 포함하는, 방법.
  14. 제12항에 있어서,
    상기 방법은, 센싱부로부터 복수 타입의 센서 데이터를 획득하는 단계; 및
    상기 센싱부로부터 획득된 복수 타입의 센서 데이터 중 적어도 일부에 기초하여, 상기 사용자의 액티비티 상태가 변경되었는지를 식별하는 단계를 더 포함하고,
    상기 타겟 접촉 압력을 계산하는 단계는,
    상기 사용자의 액티비티 상태가 변경됨이 식별됨에 따라, 상기 사용자의 액티비티 상태가 변경되기 전까지의 상기 타겟 접촉 압력의 변화 정도에 기초하여 상기 타겟 접촉 압력을 새로운 타겟 접촉 압력으로 변경하는, 방법.
  15. 제8항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/004216 2021-05-06 2022-03-25 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법 WO2022234952A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22798998.5A EP4250063A4 (en) 2021-05-06 2022-03-25 WEARABLE DEVICE FOR PROVIDING HAPTIC FEEDBACK AND METHOD OF OPERATING THE SAME
US17/720,567 US20220374080A1 (en) 2021-05-06 2022-04-14 Wearable device for providing haptic feedback and operation method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210058853 2021-05-06
KR10-2021-0058853 2021-05-06
KR1020210086719A KR20220151519A (ko) 2021-05-06 2021-07-01 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법
KR10-2021-0086719 2021-07-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/720,567 Continuation US20220374080A1 (en) 2021-05-06 2022-04-14 Wearable device for providing haptic feedback and operation method thereof

Publications (1)

Publication Number Publication Date
WO2022234952A1 true WO2022234952A1 (ko) 2022-11-10

Family

ID=83932204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004216 WO2022234952A1 (ko) 2021-05-06 2022-03-25 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20220374080A1 (ko)
EP (1) EP4250063A4 (ko)
WO (1) WO2022234952A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113408A (ko) * 2013-03-15 2014-09-24 임머숀 코퍼레이션 햅틱 효과의 파라미터 수정을 위한 시스템 및 방법
KR20150099019A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 전자 장치 및 입출력 장치를 제어하는 방법
US20160210826A1 (en) * 2013-09-27 2016-07-21 Nokia Technologies Oy Wearable electronic device
KR20180011458A (ko) * 2015-06-23 2018-02-01 인텔 코포레이션 햅틱 피드백 강도를 제어하기 위한 기술들
KR20180135804A (ko) * 2017-06-13 2018-12-21 임머숀 코퍼레이션 기밀 레벨에 기초한 착용가능 전자 디바이스에 대한 햅틱 효과의 발생
KR20200055933A (ko) * 2018-11-14 2020-05-22 삼성전자주식회사 생체 정보 검출을 위한 방법, 전자 장치 및 저장 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201709227D0 (en) * 2017-06-09 2017-07-26 Microsoft Technology Licensing Llc A wearable device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113408A (ko) * 2013-03-15 2014-09-24 임머숀 코퍼레이션 햅틱 효과의 파라미터 수정을 위한 시스템 및 방법
US20160210826A1 (en) * 2013-09-27 2016-07-21 Nokia Technologies Oy Wearable electronic device
KR20150099019A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 전자 장치 및 입출력 장치를 제어하는 방법
KR20180011458A (ko) * 2015-06-23 2018-02-01 인텔 코포레이션 햅틱 피드백 강도를 제어하기 위한 기술들
KR20180135804A (ko) * 2017-06-13 2018-12-21 임머숀 코퍼레이션 기밀 레벨에 기초한 착용가능 전자 디바이스에 대한 햅틱 효과의 발생
KR20200055933A (ko) * 2018-11-14 2020-05-22 삼성전자주식회사 생체 정보 검출을 위한 방법, 전자 장치 및 저장 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4250063A4 *

Also Published As

Publication number Publication date
US20220374080A1 (en) 2022-11-24
EP4250063A4 (en) 2024-06-26
EP4250063A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
AU2018327869B2 (en) Method and system for detecting dangerous situation
WO2017034141A1 (en) Method and system for determining a length of an object using an electronic devices
WO2016017970A1 (en) Method and device for encrypting or decrypting content
WO2017175922A1 (en) Cpr training system and method
WO2016099113A1 (en) Noninvasive blood glucose measurement method and apparatus
WO2021132851A1 (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
WO2016204496A1 (en) System and method of providing information of peripheral device
WO2015102156A1 (ko) 모바일 디바이스의 체지방 측정 방법 및 장치
WO2020101249A1 (en) Method, electronic device, and storage medium for detecting biometric information
WO2022234952A1 (ko) 햅틱 피드백을 제공하는 웨어러블 디바이스 및 그 동작 방법
WO2017039264A1 (ko) 사용자 단말기 및 수면 관리 방법
WO2020251073A1 (ko) 안마 기구
WO2015167318A1 (en) Wearable device and method of controlling the same
WO2020209693A1 (ko) 인공지능 모델을 갱신하는 전자 장치, 서버 및 그 동작 방법
WO2019000466A1 (zh) 人脸识别方法、装置、存储介质及电子设备
WO2023182774A1 (ko) 심박 정보를 기초로 사용자의 질환을 모니터링하는 방법 및 이를 수행하는 서버
WO2022158686A1 (ko) 암호화된 정보에 기초하여, 인공지능 모델을 이용한 추론을 수행하는 전자 장치 및 그 동작 방법
WO2021075897A1 (ko) 센싱 장치 및 센싱데이터의 처리 방법
WO2023008938A1 (ko) 대상에 대한 갑상선기능이상증의 예측방법 및 시스템
WO2019132553A1 (en) Sound output system and voice processing method
WO2022265272A1 (ko) 휠 어셈블리 인터페이스를 갖는 게임장치의 플레이어 보상 방법
WO2018004022A1 (ko) 웨어러블 디바이스의 바디 밸런스 측정 방법 및 장치
WO2022235013A1 (ko) 개인화된 운동 코칭을 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019045320A1 (ko) 소재의 전자 구조를 예측하는 방법 및 전자 장치
WO2015194879A1 (ko) 웨어러블 디바이스의 바디 밸런스 측정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22798998

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022798998

Country of ref document: EP

Effective date: 20230622

NENP Non-entry into the national phase

Ref country code: DE