WO2022191435A1 - 사용자의 동작을 보조하기 위한 전자 장치 및 시스템 - Google Patents

사용자의 동작을 보조하기 위한 전자 장치 및 시스템 Download PDF

Info

Publication number
WO2022191435A1
WO2022191435A1 PCT/KR2022/001644 KR2022001644W WO2022191435A1 WO 2022191435 A1 WO2022191435 A1 WO 2022191435A1 KR 2022001644 W KR2022001644 W KR 2022001644W WO 2022191435 A1 WO2022191435 A1 WO 2022191435A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
electronic device
motion
motion data
information
Prior art date
Application number
PCT/KR2022/001644
Other languages
English (en)
French (fr)
Inventor
강성훈
박홍식
이수미
정민규
최수영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022191435A1 publication Critical patent/WO2022191435A1/ko
Priority to US18/353,365 priority Critical patent/US20230355138A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6812—Orthopaedic devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0462—Apparatus with built-in sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Definitions

  • Various embodiments disclosed in this document relate to an electronic device and system for assisting a user's operation.
  • a wearable robot that a user can wear on the body is being developed in various forms depending on the purpose of the robot, such as a form that can be worn on a part of the body, a form that can be worn on the whole body, and a form that replaces a part of the body.
  • wearable robots are often developed for the purpose of assisting an elderly user to perform a specific motion.
  • a wearable robot may be developed for the purpose of rehabilitating a specific body or replacing it when a function of a specific body is impossible.
  • a wearable robot uses an actuator to apply a force to the body in the same direction as the user's body movement, thereby assisting the body's movement, or applying a force to the body in the opposite direction to the user's body movement direction.
  • the operation of the actuator may be programmed in various ways to assist the operation of the user.
  • the operation of the first user wearing the first wearable robot may be copied to the second wearable worn by the second user to assist the operation of the second user.
  • the electronic device may sense a user's motion, generate a motion data set, and share the motion data set with other users, so that other users may also perform the same motion.
  • the motion data set may be regenerated to fit the user's physical characteristics to provide a personalized motion data set.
  • the motion trajectory range can be adjusted to be larger than the standard, and when the user's age is higher than the average, the motion speed can be adjusted to be slower than the standard.
  • An electronic device includes a communication module, a processor operatively connected to the communication module, and the communication module includes an external electronic device including a sensor for measuring a user's motion and a server; communicate, and the processor acquires sensing data obtained by measuring a user's motion from the external electronic device through the communication module, and transmits motion data including a motion trajectory of a body according to time based on the sensed data to the user's information
  • a motion data set including standard motion data related to another user having a standard body may be generated, and the motion data set may be controlled to be transmitted to the server through the communication module.
  • An electronic device includes a communication module, a memory configured to store user information, and a processor operatively connected to the communication module and the memory, wherein the communication module includes a sensor and an actuator communicates with an external electronic device and a server, wherein the processor receives a motion data set including standard motion data related to motion of another user having a standard body from the server through the communication module, and user information stored in the memory Sensing data obtained by obtaining a target motion data set personalized to the user and measuring the user's motion from the external electronic device through the communication module in a manner that converts the motion data set based on the user information to generate feedback by comparing the target motion data set with motion data including a motion trajectory of the body according to time based on the sensed data, and generate a feedback based on the feedback to generate a signal for controlling the external electronic device. It can transmit to the external electronic device through the communication module.
  • a motion assistance system includes a first wearable device including a first sensor and a second wearable device including a second sensor and an actuator, wherein the first wearable device includes the first wearable device
  • the sensor acquires first motion data related to the motion of the first user measured by the sensor
  • the second wearable device acquires the first motion data
  • the second wearable device acquires the motion data of the second user measured by the first sensor. It is possible to obtain motion data and control the actuator based on a result of comparing the first motion data and the second motion data.
  • a user may be provided with a data set for various motions, and may be assisted or trained for various motions.
  • the exercise effect can be enhanced by performing the motion with the correct posture according to the data set generated by the trainer.
  • the user may perform the same operation as the operation performed by the trainer in real time, and may receive feedback in real time to perform the correct operation to increase the exercise effect.
  • the user may be provided with a motion data set corrected to fit his/her body characteristics, so that the user may be provided with a personalized motion assistance.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram of an electronic device according to various embodiments disclosed herein.
  • FIG. 3 is a diagram illustrating an external electronic device according to various embodiments disclosed herein.
  • FIG. 4A is a flowchart illustrating a method of controlling an electronic device such that a processor generates a motion data set based on sensing data obtained from an external electronic device and transmits it to a server according to various embodiments of the present disclosure
  • 4B is a diagram illustrating an example of sensing data obtained by a processor from an external electronic device according to various embodiments of the present disclosure.
  • 4C is a diagram illustrating an example of operation data generated by a processor and additional information obtained from a user according to various embodiments of the present disclosure.
  • 4D is a diagram illustrating an example in which a processor generates average motion data and standard motion data based on motion data according to various embodiments of the present disclosure.
  • 4E is a diagram illustrating an example of standard operation data and additional information of a processor according to various embodiments of the present disclosure.
  • 4F is a diagram illustrating an example of an operation in which a processor transmits an operation data set and operation-related content to a server according to various embodiments of the present disclosure.
  • 5A is a flowchart illustrating a method in which a processor controls an external electronic device based on a motion data set and user information according to various embodiments of the present disclosure
  • 5B is a diagram illustrating an example of a screen on which a processor displays content related to an operation according to various embodiments of the present disclosure.
  • 5C is a diagram illustrating an example of an operation in which a processor generates a target motion data set based on a motion data set and user information and transmits the generated target motion data set to an external electronic device according to various embodiments of the present disclosure
  • 5D is a diagram illustrating an example of an image including a user and feedback information generated by a processor according to various embodiments of the present disclosure.
  • 6A is a flowchart illustrating a method of generating, by a processor, a target motion data personalized to a user in a manner that a processor converts a motion data set based on user information, according to various embodiments of the present disclosure
  • FIG. 6B illustrates an example of generating target motion data personalized to a user in a manner in which a processor converts a motion data set based on user information as in the flowchart illustrated in FIG. 6A , according to various embodiments disclosed herein. It is a flow chart.
  • FIG. 7A is a diagram illustrating an example of the configuration of a motion assistance system according to various embodiments disclosed in this document.
  • FIG. 7B is a diagram illustrating a flowchart of an operation in which the motion assistance system assists a user's motion, according to an exemplary embodiment.
  • 7C is a diagram illustrating an example of a connection between components of a motion assistance system according to various embodiments disclosed in this document.
  • FIG. 8A is a diagram illustrating an example in which a first user and a second user perform a motion assistance operation in real time in a motion assistance system according to various embodiments of the present disclosure.
  • FIGS. 8B, 8C, and 8D are diagrams illustrating a method of assisting a user's motion in real time by a motion assistance system according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with at least one of the electronic device 104 and the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 .
  • at least one of these components eg, the connection terminal 178
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a
  • the secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190 ). have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 , or an external electronic device (eg, a sound output module 155 ) connected directly or wirelessly with the electronic device 101 .
  • the electronic device 102) eg, a speaker or headphones
  • the electronic device 102 may output a sound.
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : It may include a local area network (LAN) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • the server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments disclosed herein.
  • the electronic device 200 (eg, the electronic device 101 of FIG. 1 ) includes a processor 220 (eg, the processor 120 of FIG. 1 ) and a memory 230 (eg, the electronic device 101 of FIG. 1 ). memory 130) and/or a communication module 290 (eg, the communication module 190 of FIG. 1).
  • the components included in FIG. 2 are for some of the components included in the electronic device 200 , and the electronic device 200 may include various other components as illustrated in FIG. 1 .
  • the memory 230 may temporarily or non-temporarily store user information.
  • the user information may include at least one of height, body information including the length of a body part, health information including age and health status, muscle strength level, and exercise information including flexibility.
  • the communication module 290 communicates with an external electronic device and/or server through a network (eg, the first network 198 and/or the second network 199 of FIG. 1 ) to receive and/or transmit various information.
  • the processor 220 may be connected to the communication module 290 to process various information received by the communication module 290 from an external electronic device and/or a server.
  • the processor 220 may control the communication module 290 to transmit various information to an external electronic device and/or a server.
  • FIG. 3 is a diagram illustrating an external electronic device according to various embodiments disclosed herein.
  • the external electronic device 300 may include a first sensor 310 , a second sensor 320 , and/or an actuator 330 .
  • the external electronic device 300 may include a physical device that assists the user to wear it on the body (eg, legs, arms, and waist).
  • the first sensor 310 may include an inertial sensor (IMU).
  • the first sensor 310 may be an inertial sensor that measures the degree of inclination of the sensor using a combination of an accelerometer, a tachometer, and/or a magnetometer.
  • the first sensor 310 may measure an angle at which a part of the user's body is inclined from the reference point.
  • the second sensor 320 may include an encoder sensor.
  • the second sensor 320 may include a rotary encoder sensor that detects rotational motion according to the motion shape of the object.
  • the rotary encoder is a sensor that converts a mechanical rotation range into an electrical pulse, and may be a sensor that measures a rotation amount and rotation speed of a device.
  • the second sensor 320 may measure an angle at which a part of the user's body is rotated based on a designated position.
  • the actuator 330 may be a mechanical device that moves or controls the system.
  • the actuator 330 may apply a mechanical force to a device mounted on a part of the user's body to assist in moving the user's body, or may apply a load to the user's body.
  • the external electronic device referred to in this document is not limited to the form shown in FIG. 3 , and may include various types of wearable robots that can be worn by a user and assist a user's movement.
  • 4A is an electronic device (eg, the processor 220 of FIG. 2 ) according to various embodiments disclosed in this document to generate a motion data set based on sensing data obtained from an external electronic device and transmit it to a server ( Example: It is a flowchart illustrating a method of controlling the electronic device 200 of FIG. 2 .
  • the processor 220 may obtain sensing data obtained by measuring a value related to a user's motion from an external electronic device (eg, the external electronic device 300 of FIG. 3 ).
  • sensing data may be acquired from the external electronic device 300 through the processor 220 communication module (eg, the communication module 290 of FIG. 2 ).
  • the processor 220 may acquire sensing data received by the communication module 290 from the external electronic device 300 through wireless communication (eg, short-range communication such as Bluetooth or wifi).
  • the sensed data is obtained from the external electronic device 300 measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the external electronic device 300 . It may include a value related to the state of the user's body (eg, an inclined angle and/or a moving angle of the body).
  • the processor 220 may generate motion data related to the motion of the body based on the sensed data. For example, based on a value measured by the first sensor 310 and/or a value measured by the second sensor 320 included in the sensing data, the motion data (eg, the motion trajectory of the body over time) can create
  • the processor 220 may generate a motion data set based on a standard body.
  • the processor 220 converts the motion data based on a designated body, standard motion data related to another user having a standard body, and/or additional information related to the difficulty of motion received from the user. It is possible to create a motion data set including
  • the processor 220 may analyze operation data related to a plurality of operations to distinguish operations constituting one cycle (one time).
  • the processor 220 may generate the average motion data by dividing the motion data into one cycle of the motion and calculating an average of values in one cycle.
  • the average motion data may include values related to the motion of one period (eg, the range of the motion trajectory and/or the motion performance speed).
  • the processor 220 may acquire the user's body information (eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age) stored in the memory 230 .
  • the processor 220 may generate standard motion data related to another user having a standard body by converting average motion data based on designated body information.
  • standard body information includes various information on the specified body (eg, standard body height, body part length, flexibility factor, health status factor, muscle strength level, age based on standard male and female body (eg ISO 7250)). It may contain information.
  • the standard body information is body information stored in the memory 230 , and the processor 220 may convert it into standard motion data based on a comparison result between the user's body information and the standard body information. For example, the processor 220 compares the standard body information with the user's body information to correct the average motion data in response to the difference in body information, and normalizes the average motion data to the standard motion data (eg, motion). trajectory range and/or operation performance speed).
  • the processor 220 may receive additional information related to an operation from the user.
  • the additional information may include a load level for the operation and the number of repetitions of the operation.
  • the processor 220 may display a screen for user input on a display (eg, the display module 160 of FIG. 1 ) and receive additional information through the screen.
  • the processor 220 may transmit the operational data set to the server in operation 430 .
  • the processor 220 may transmit the operation data set to the server through the communication module 290 .
  • the processor 220 may control the communication module 290 so that the communication module 290 transmits the operation data set to the server through wireless communication (eg, internet communication such as wifi or LTE).
  • wireless communication eg, internet communication such as wifi or LTE.
  • 4B is a diagram illustrating an example of sensing data obtained by the processor 220 from an external electronic device according to various embodiments of the present disclosure.
  • the horizontal axis may indicate time and the vertical axis may indicate the angle of the sensor.
  • the sensed data is an external electronic device measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the external electronic device (eg, the external electronic device 300 of FIG. 3 ). It may include values related to motions of various bodies (eg, pelvis, legs) of a user who wears the . For example, while wearing the external electronic device 300 , the user may alternately bend left and right legs to close to 90 degrees (eg, a lunge operation).
  • the first sensor 310 provided in the external electronic device 300 measures the angle of the pelvis while the user performs the motion
  • the second sensor (left) measures the angle the left leg moves
  • the second sensor (Right) can measure the movement angle of the right leg.
  • the sensing data graph of FIG. 4C may indicate an angle at which a user's pelvis is tilted and an angle of movement of the left/right leg during the lunge operation.
  • the first sensor value may be measured at about 100 degrees when the user has his or her legs straightened, and the first sensor value at about 80 degrees when the user's legs are bent.
  • the values of the second sensor (L) and the second sensor (R) are about 0 degrees, and in the state where the left leg is bent forward and the right leg is bent down, the value of the second sensor (L) is About -60 degrees (rotation of 60 degrees in the forward direction based on 0 degrees), the second sensor R value may be measured at about 10 degrees (rotation of 10 degrees in the rear direction based on 0 degrees).
  • 4C is a diagram illustrating an example of operation data generated by the processor 220 and additional information obtained from a user according to various embodiments of the present disclosure.
  • the motion data 411 may include a value related to a motion of a user wearing the external electronic device.
  • the horizontal axis represents time (t)
  • the vertical axis represents the motion trajectory
  • the motion data 411 may include a body motion trajectory value according to time.
  • the motion data 411 may include a value measured by the first sensor (eg, an inclined angle of the pelvis) and a value measured by the second sensor (eg, an angle of movement of the leg) from the sensing data.
  • the motion data 411 is a motion trajectory in which a value measured by the second sensor (eg, an angle of movement of a leg) is corrected based on a value measured by the first sensor (eg, an angle at which the pelvis is tilted). It may be data related to the pelvis (eg, the degree of leg movement corrected by the angle at which the pelvis is tilted).
  • the processor 220 may receive additional information related to the difficulty of the operation from the user.
  • the additional information 412 may include a load level for the operation and/or the number of repetitions of the operation.
  • the horizontal axis indicates the number of operations
  • the vertical axis indicates the level of the load
  • the additional information 412 may include load level information according to the number of operations.
  • the additional information 412 sets a level at which the external electronic device does not apply a load to the user to 0, and has a positive value when the external electronic device 300 applies a load in a direction opposite to the user's operation.
  • the load level may be set in such a manner as to indicate a negative (-) value.
  • 4D is a diagram illustrating an example in which the processor 220 generates average motion data and standard motion data based on motion data according to various embodiments of the present disclosure.
  • the processor 220 may analyze the operation data 411 related to a plurality of operations to classify operations constituting one cycle (one time).
  • the processor 220 may classify the motion data 411 into one cycle of motion, calculate an average of values in one cycle, and generate the average motion data 421 .
  • the average motion data 421 may include a motion trajectory of the body according to time in one cycle.
  • the processor 220 may acquire the user's body information (eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age) stored in the memory 230 .
  • body information eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age
  • the processor 220 may generate the standard motion data 422 related to another user having a standard body by converting the average motion data 421 based on the designated body information.
  • standard body information includes various information on the specified body (eg, standard body height, body part length, flexibility factor, health status factor, muscle strength level, age based on standard male and female body (eg ISO 7250)). It may contain information.
  • the standard body information is body information stored in the memory 230 , and the processor 210 may convert it into standard motion data based on a comparison result between the user's body information and the standard body information. For example, the processor ( 220 compares the standard body information with the user's body information and corrects the average motion data 421 in response to the difference in body information, and normalizes the average motion data to generate the standard motion data 422 . .
  • 4E is a diagram illustrating an example of standard operation data and additional information of the processor 220 according to various embodiments of the present disclosure.
  • the standard motion data 422 may represent the trajectory of the motion of the left/right leg according to time in one cycle of motion (eg, lunge motion) based on the standard body.
  • the left leg is bent close to the pelvis ( Trajectory: about -80) represents the trajectory of aligning the right leg to the pelvis (trajectory: about 0), and on the horizontal axis 80, bending the right leg close to the pelvis (trajectory: about -80) and aligning the left leg with the pelvis (trajectory: about 0)
  • the trajectory can be displayed.
  • the load level 423 may indicate a level at which an external electronic device applies a load to a standard body user in one cycle of the lunge operation.
  • the external electronic device 300 may help the user's operation by applying a load in the same direction (-) as the user's operation, and gradually It may represent a sequence in which the user's body can be trained by applying a load in the opposite direction (+).
  • the standard number of operations in the embodiment of FIG. 4E is 10, which may mean repeating the operation of one lunge cycle 10 times.
  • 4F is a diagram illustrating an example of an operation in which the processor 220 transmits an operation data set and operation-related content 431 to a server according to various embodiments of the present disclosure.
  • the processor 220 may generate the standard operation data 422 and/or the operation data set 424 including additional information including the load level 423 and the number of operations.
  • the motion included in the motion data set may be the same motion as the motion included in the motion-related content 431 .
  • the processor 220 obtains the action-related content 431 , and transmits the action-related content 431 together with the action data set 424 to the server 108 via the communication module 290 . can be sent to
  • FIG. 5A shows a processor (eg, the processor 220 of FIG. 2 ) according to various embodiments disclosed herein, based on an operation data set and user information, an external electronic device (eg, the external electronic device 300 of FIG. 3 ). ) is a flowchart showing a method of controlling the processor
  • the processor 220 may obtain a set of motion data from a server in operation 510 .
  • the processor 220 may obtain the operation data set from the server through a communication module (eg, the communication module 290 of FIG. 2 ).
  • the processor 220 may control the communication module 290 so that the communication module 290 downloads an operation data set from a server through wireless communication (eg, wifi, LTE).
  • the motion data set converts motion data related to a body motion based on a specified body, and includes standard motion data related to another user with a standard body and/or the difficulty of motion input from the user. It may include related additional information.
  • the processor 220 may obtain the content related to the motion together with the motion data set from the server through the communication module 290 .
  • the content related to the action may be an image including a user performing the action.
  • the motion-related content and motion data set may be in the form of downloading a file uploaded on a server.
  • a server eg, an application, a site
  • the user accesses a server (eg, an application, a site) in the electronic device 200, selects content related to an action to be performed, and downloads a motion data set while streaming the action-related content, or You can download motion-related content and motion data sets together.
  • the motion-related content and motion data set may be connected to a specific user on the server and provided with the motion-related content and motion data set generated by the specific user in real time.
  • the user may connect to a specific user by accessing a server (eg, an application, a site) in the electronic device 200 , and an image including the specific user and an operation generated by the specific user using an external electronic device A data set may be provided.
  • a server eg, an application, a site
  • a data set may be provided.
  • the processor 220 may acquire user information from a memory (eg, the memory 230 of FIG. 2 ).
  • the user information may include at least one of height, body information including the length of a body part, health information including age and health status, muscle strength level, and exercise information including flexibility.
  • the user information may be information input by the user, or information generated by data accumulated in the memory 230 .
  • the processor 220 may generate a target motion data set personalized for the user.
  • the target motion data set includes target additional information personalized to the user in a way that is converted based on user information, and is converted based on target motion data and/or user information personalized to the user can do.
  • the processor 220 may generate target motion data personalized to the user by converting the motion data set based on user information. For example, the speed of the motion may be adjusted based on the length of the user's body part and/or the user's age. As another example, the processor 220 may adjust the load level based on the user's muscle strength level and/or health state. As another example, the processor 220 may correct the motion trajectory range based on the user's flexibility and/or the user's age.
  • the processor 220 may generate target additional information personalized to the user by converting the additional information based on the user information. For example, the processor 220 may adjust the load level based on the user's muscle strength level and/or health state.
  • a specific embodiment related to operation 530 may be described in the description related to FIGS. 6A and 6B .
  • the processor 220 may transmit the target motion data set to the external device 300 in operation 540 .
  • the processor 220 may transmit the target motion data set to the external electronic device 300 through the communication module 290 .
  • the processor 220 may control the communication module 290 so that the communication module 290 transmits a target motion data set to an external electronic device through wireless communication (eg, Bluetooth, wifi).
  • wireless communication eg, Bluetooth, wifi
  • the external electronic device 300 may control an actuator (eg, the actuator 330 of FIG. 3 ) based on the target motion data set.
  • the external electronic device 300 may assist the user to perform the target motion by adjusting the torque strength and direction of the actuator 330 based on the target motion data set.
  • the processor 220 may obtain sensing data obtained by measuring a user's motion from the external electronic device and generate motion data based on the sensing data.
  • sensing data may be acquired from the external electronic device 300 through the processor 220 communication module 290 .
  • the processor 220 may acquire sensing data received by the communication module 290 from the external electronic device 300 through wireless communication (eg, short-range communication such as Bluetooth or wifi).
  • the sensed data is obtained from the external electronic device 300 measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the external electronic device 300 . It may include a value related to the state of the user's body (eg, an inclined angle and/or a moving angle of the body).
  • the processor 220 may generate motion data related to the motion of the body based on the sensed data. For example, based on a value measured by the first sensor 310 and/or a value measured by the second sensor 320 included in the sensing data, the motion data (eg, the motion trajectory of the body over time) can create
  • the processor 220 may generate feedback information by comparing the motion data with the target motion data.
  • the processor 220 may determine that the user is performing an erroneous motion.
  • the processor 220 may generate feedback information that guides the user to perform the target operation in response to the determination.
  • the feedback information may have various forms such as image feedback, haptic feedback, and voice feedback.
  • the processor 220 may display an image including the user on a display (eg, the display module 160 of FIG. 1 ) and/or an external electronic device including the display.
  • the processor 220 may acquire an image included by a user captured by a camera (eg, the camera module 180 of FIG. 1 ) and display it on the display 160 or an external electronic device.
  • the processor 220 may display the image feedback by overlaying the image.
  • the processor 220 may display the image feedback by overlaying the image feedback in the form of a figure or text on the position of the body part of the user requiring the feedback on the image including the user.
  • the processor 220 may output audio (eg, the audio module 170 of FIG. 1 ) and/or a voice feedback to an external electronic device including the audio module.
  • audio eg, the audio module 170 of FIG. 1
  • the processor 220 may transmit a control signal to the external electronic device 300 in operation 570 .
  • the processor 220 may transmit a signal for controlling the external electronic device 300 to generate haptic vibration to the external electronic device 300 through the communication module 290 based on the feedback information.
  • the processor 220 may transmit a control signal to the external electronic device 300 so that the haptic sensor of the external electronic device 300 corresponding to the body part of the user requiring feedback vibrates.
  • 5B is a diagram illustrating an example of a screen on which the processor 220 displays content related to an operation according to various embodiments of the present disclosure.
  • the processor 220 may obtain the content related to the motion together with the motion data set from the server through the communication module 290 .
  • content related to an operation may include an image including a user performing the operation.
  • the motion included in the motion data set may be the same motion as the motion included in content related to the motion.
  • the method of providing the motion-related content 511 and motion data set may be in the form of downloading a file uploaded to the server.
  • the user accesses a server (eg, an application, a site) in the electronic device 200 , selects content 511 related to an operation to be performed, and streams the content 511 related to the operation while the operation is performed.
  • the data set may be downloaded, or the motion-related content 511 and the motion data set may be downloaded together.
  • the processor 220 displays the operation-related content 511 on the display 260 of the electronic device 200 or an external electronic device such that it is displayed on the external electronic device 102 including the display. 102 can be controlled.
  • the method of providing the motion-related content 512 and the motion data set is connected to the first user on the server and the motion-related content 512 and motion data set generated by the first user in real time may be in the form of being provided.
  • the second user may be connected to the first user by accessing a server (eg, an application, a site) in the electronic device 200 .
  • the processor 220 displays the content 512 related to the operation including the image generated by the first user in real time on the display 260 of the electronic device 200, or the external electronic device 102 including the display The external electronic device 102 may be controlled to be displayed on the .
  • the processor 220 may transmit the target motion data set personalized to the second user based on the motion data set generated by the first user in real time and the second user information to the external electronic device 300 in real time.
  • the processor 220 may transmit the target motion data set personalized to the second user based on the motion data set generated by the first user in real time and the second user information to the external electronic device 300 in real time.
  • 5C is a diagram illustrating an example of an operation in which the processor 220 generates a target motion data set based on the motion data set and user information and transmits it to the external electronic device 300 according to various embodiments of the present disclosure; to be.
  • the processor 220 converts the standard operation data 422 , the load level 423 , and the operation data set 424 including the number of operations based on the user information 521 , the user You can create a personalized set of target motion data.
  • the speed of motion eg, the length of one cycle of motion in the standard motion data 422
  • the load level may be corrected based on the user's muscle strength level and/or health condition.
  • the motion trajectory eg, the range of the motion trajectory of the standard motion data 422
  • the user's flexibility and/or the user's age may be corrected based on the user's flexibility and/or the user's age.
  • the processor 220 may transmit the target motion data set to the external electronic device 300 through the communication module 290 .
  • the processor 220 may control the communication module 290 so that the communication module 290 transmits the target motion data set to the external electronic device 300 through wireless communication (eg, Bluetooth, wifi). .
  • 5D is a diagram illustrating an example of an image including a user and feedback information generated by the processor 220 according to various embodiments of the present disclosure.
  • the processor 220 may determine that the user is performing an erroneous motion. In addition, the processor 220 may generate feedback information that enables the user to perform a target operation in response to the determination.
  • the processor 220 may display an image 561 including a user on the display 160 and/or an external electronic device including the display.
  • the processor 220 may acquire an image included by the user captured by the camera 180 and display it on the display 160 or an external electronic device.
  • the processor 220 may display the image feedback 562 overlaid on the image 561 .
  • the processor 220 transmits the image feedback 562 to the position (eg, left/right knee) of the user's body part requiring feedback on the image 561 with a figure (eg, below, rotation indicating figure) and text ( Example: Instruction phrases such as “Lower your knees”, “Rotate your knees”) can be displayed overlaid.
  • the processor 220 may display the feedback guide 564 on a part of the image 561 .
  • the feedback guide 564 may include a figure indicating the name of the motion and the degree of matching with the target motion for each motion cycle.
  • the processor 220 may transmit a signal for controlling the external electronic device 300 to provide haptic vibration to the external electronic device through the communication module 290 .
  • the processor 220 transmits the haptic vibration 563 to the haptic sensor of the external electronic device 300 corresponding to the user's body part (eg, left/right knee) requiring feedback.
  • a control signal can be transmitted.
  • FIG. 6A is a method in which a processor (eg, the processor 220 of FIG. 2 ) according to various embodiments disclosed herein converts a motion data set based on user information, and generates target motion data personalized to the user.
  • a processor eg, the processor 220 of FIG. 2
  • converts a motion data set based on user information and generates target motion data personalized to the user.
  • the processor 220 may obtain a set of motion data from a server in operation 610 .
  • the motion data set is related to standard motion data related to another user having a standard body and/or difficulty of motion input from the user in a manner that converts motion data related to body motion based on a specified body. Additional information may be included.
  • the processor 220 may obtain the operation data set from the server through a communication module (eg, the communication module 290 of FIG. 2 ).
  • the processor 220 may control the communication module 290 so that the communication module 290 downloads the operation data set from the server from the server through wireless communication (eg, wifi, LTE).
  • the processor 220 may obtain user information from a memory (eg, the memory 230 of FIG. 2 ) in operation 620 .
  • the user information may include height, body information including the length of a body part, health information including age and health status, exercise information including muscle strength level, and flexibility.
  • the user information may be information input by the user, or information generated by data accumulated in the memory 230 .
  • the processor 220 may generate target motion data personalized to the user in steps 630 to 660 .
  • the processor 220 may calculate a difference in information by comparing the user information with information of other users having a standard body (hereinafter referred to as a standard user).
  • the first information that the processor 220 compares in operation 640 may be a lower extremity length and/or an age.
  • the processor 220 may compare the user's lower extremity length with the standard user's lower extremity length and/or compare the user's age with the standard user's age. That is, the processor 220 may correct one cycle length (speed) of a unit motion based on a value obtained by subtracting the standard user's lower extremity length from the user's lower extremity length and/or the user's age minus the standard user's age. have.
  • one cycle length (speed) of the unit operation can be enlarged.
  • the length (speed) of one cycle of the unit operation is reduced can do.
  • the length (speed) of one cycle of the unit motion may not be adjusted.
  • the processor 220 compares the age of the user with the age of the standard user, and when the age of the user is greater than the standard user (when the difference between the first information is greater than 0, operation 640 > 0)) operation 641 , it is possible to extend the length (speed) of one cycle of a unit operation.
  • the length (speed) of one cycle of the unit operation may be reduced. have.
  • the length (speed) of one cycle of the unit operation may not be adjusted.
  • the third information that the processor 220 compares in operation 650 may be a flexibility factor and/or an age difference.
  • the flexibility factor may be a value obtained by multiplying a range in which the body can operate.
  • the processor 220 may compare the user's flexibility factor with the standard user's flexibility factor and/or compare the user's age with the standard user's age. That is, the processor 220 may correct the range of the unit motion trajectory based on the user's flexibility factor minus the standard user's flexibility factor and/or the user's age minus the standard user's age.
  • the processor 220 trajectory range of the operation. can be enlarged.
  • the motion trajectory range may be reduced.
  • the motion trajectory range may not be adjusted.
  • the processor 220 may correct additional information including the load level and/or the number of operations based on the second information.
  • the second information may be a muscle strength level and/or a health state of the user.
  • the processor 220 may compare the user's muscle strength level with the standard user's muscle strength level, and/or compare the user's health state with the standard user's health state.
  • the muscle strength level may be a numerical value based on a maximum load that a user can endure while performing an operation.
  • the health state may be a numerical value based on the maximum number of times a user can perform an operation.
  • the processor 220 compares the user's muscle strength level with the standard user's muscle strength level, and responds to that the user's muscle strength level is higher than the standard user's muscle strength level (when the difference between the second information is greater than 0) , the load level and/or the number of operations can be increased.
  • the load level and/or the number of operations may be lowered.
  • the load level and/or the number of operations may not be adjusted.
  • the processor 220 compares the health condition factor of the user with the health condition factor of the standard user, and responds that the health condition factor of the user is higher than the health condition factor of the standard user (the difference between the second information is 0 larger), the load level and/or the number of operations may be increased. Also, in response to the user's health condition factor being lower than that of the standard user (when the difference between the second information is less than 0), the load level and/or the number of operations may be lowered. Also, when the user's health condition factor is the same as that of the standard user (the difference between the second information is 0), the load level and/or the number of operations may not be adjusted.
  • the processor 220 personalizes the motion data related to the body motion to the user, the target motion data and the motion difficulty additional information (eg, the load level for the motion and/or the repetition of the motion)
  • a target motion data set including target additional data in which the number of times) is personalized to the user may be generated.
  • FIG. 6B is an example of generating target motion data personalized to a user in a manner in which the processor 220 converts a motion data set based on user information as shown in the flowchart shown in FIG. 6A according to various embodiments disclosed herein. is a flowchart showing
  • the processor 220 expands the length (speed) of one cycle of operation to perform a unit operation. It is possible to correct the motion data to slow down the speed of performing .
  • the processor 220 reduces the length (speed) of one cycle of the motion to increase the speed of performing the unit motion. The motion data can be corrected so that
  • the processor 220 may correct the additional information to increase the load level. Also, when the difference between the second information (eg, muscle strength level and/or health state) is a negative value, the processor 220 may correct the additional information to lower the load level.
  • the difference between the second information eg, muscle strength level and/or health state
  • the processor 220 when the difference between the third information (eg, flexibility factor and/or age) is a positive value, the processor 220 expands the range of the motion trajectory to expand the range of the motion trajectory.
  • the motion data can be corrected as much as possible.
  • the processor 220 may correct the motion data so that the trajectory range of the motion is reduced by reducing the trajectory range of the motion.
  • FIG. 7A is a diagram illustrating an example of the configuration of a motion assistance system according to various embodiments disclosed in this document.
  • the motion assistance system includes the first external electronic device 301 worn by the first user 1001 , the second external electronic device 302 worn by the second user 1002 , and the first user
  • One of the first electronic device 201 used by 1001 and the second electronic device 202 used by the second user 1002 may be included.
  • FIG. 7B is a diagram illustrating a flowchart of an operation in which the motion assistance system assists a user's motion, according to an exemplary embodiment.
  • the motion assistance system includes the first electronic device 201 , the second electronic device 202 , the first external electronic device 301 , the second external electronic device 302 , and the server (eg, FIG. 7C ). of the server 108).
  • the first external electronic device 301 may transmit the first sensing data to the first electronic device 201 in operation 710 .
  • the first sensed data is the first external measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the first external electronic device 301 . It may include a value related to the motion of the body of the first user 1001 who wears the electronic device 301 (eg, an inclined angle and/or a moving angle of the body).
  • the first electronic device 201 may generate a motion data set in operation 720 .
  • the first electronic device 201 converts the first motion data based on a specified body, and/or the first user 1001 and/or standard motion data related to another user having a standard body. It is possible to generate a motion data set including additional information related to the difficulty of the motion input from the .
  • the first electronic device 201 may generate first motion data related to a body motion based on the first sensing data. For example, based on a value measured by the first sensor 310 and/or a value measured by the second sensor 320 included in the first sensing data, the first motion data (eg, body motion trajectory).
  • the first electronic device 201 may analyze operation data related to a plurality of operations to classify operations constituting one cycle (one time).
  • the first electronic device 201 may generate average motion data by dividing the first motion data into one cycle of motion and calculating an average of values in one cycle.
  • the average motion data may include values related to the motion of one period (eg, the range of the motion trajectory and/or the motion performance speed).
  • the first electronic device 201 may store the user's body information (eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age).
  • body information eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age.
  • the first electronic device 201 may generate standard motion data related to another user having a standard body by converting average motion data based on designated body information.
  • standard body information includes various information on the specified body (eg, standard body height, body part length, flexibility factor, health status factor, muscle strength level, age based on standard male and female body (eg ISO 7250)). It may contain information.
  • the standard body information is body information stored by the first electronic device 201, and the first electronic device 201 may convert the user's body information into standard motion data based on a comparison result of the user's body information and the standard body information. .
  • the first electronic device 201 compares the standard body information with the body information of the first user 1001 and corrects the average motion data in response to the difference in body information, and normalizes the average motion data.
  • Standard motion data eg range of motion trajectories and/or speed at which motions are performed
  • the first electronic device 201 may receive additional information related to the difficulty of the operation from the first user 1001 .
  • the additional information may include a load level for the operation and/or the number of repetitions of the operation.
  • the first electronic device 201 may display a screen for user input on a display (eg, the display module 160 of FIG. 1 ) and receive additional information through the screen.
  • the first electronic device 201 may transmit the motion data set to the server through the communication module 290 .
  • the first electronic device 201 may control the communication module 290 so that the communication module 290 transmits the operation data set to the server through wireless communication (eg, internet communication such as wifi or LTE). have.
  • wireless communication eg, internet communication such as wifi or LTE
  • the first electronic device 201 may acquire content related to the motion and transmit the content related to the motion to the server through the communication module 290 together with the motion data set.
  • the content related to the operation may include an image including the first user 1001 performing the operation.
  • the motion included in the motion data set may be the same motion as the motion included in content related to the motion.
  • the first electronic device 201 may acquire content related to an operation through a camera (eg, the camera module 180 of FIG. 1 ).
  • the first electronic device 201 may acquire an image of the first user 1001 performing an operation by the camera 180 .
  • the first electronic device 201 may obtain content related to an operation from a server.
  • the first electronic device 201 may download an image including the first user 1001 performing an operation from a server.
  • the second electronic device 202 may obtain a motion data set and generate target motion data.
  • the second electronic device 202 may obtain the motion data set from the server through a communication module (eg, the communication module 290 of FIG. 2 ).
  • the second electronic device 202 may control the communication module 290 so that the communication module 290 downloads an operation data set from a server through wireless communication (eg, wifi, LTE).
  • wireless communication eg, wifi, LTE
  • the second electronic device 202 may obtain the motion-related content together with the motion data set from the server through the communication module 290 .
  • the content related to the operation may be an image including the first user 1001 performing the operation.
  • the motion included in the motion data set may be the same motion as the motion included in content related to the motion.
  • the motion-related content and motion data set may be in the form of downloading a file uploaded on a server.
  • the second user 1002 accesses a server (eg, an application, a site) in the second electronic device 202 , selects content related to an action to be performed, and performs an operation while streaming content related to the action You can download the data set, or download the motion-related content and motion data set together.
  • a server eg, an application, a site
  • the motion-related content and motion data set is connected to the first user 1001 on a server and provided with the motion-related content and motion data set generated by the first user 1001 in real time.
  • the second user 1002 may be connected to the first user 1001 by accessing a server (eg, an application, a site) in the second electronic device 202 , including the first user 1001 .
  • a server eg, an application, a site
  • An image and a motion data set generated by the first user 1001 using the first external electronic device 301 may be provided.
  • the second electronic device 202 may obtain the second user information from a memory (eg, the memory 230 of FIG. 2 ).
  • the second user information may include at least one of height, body information including the length of a body part, health information including age and health status, muscle strength level, and exercise information including flexibility. .
  • the second user information may be information input by the second user 1002 , or information generated by data accumulated in the memory 230 .
  • the second electronic device 202 may generate a personalized target motion data set for the second user 1002 .
  • the target motion data set may include target motion data personalized to the second user and/or target additional information personalized to the second user in a manner that is converted based on the second user information.
  • the second electronic device 202 may generate the personalized target motion data for the second user 1002 by converting the motion data based on the second user information.
  • the speed of the motion may be adjusted based on the length of the body part of the second user 1002 and/or the age of the user.
  • the load level may be adjusted based on the muscle strength level and/or health state of the second user 1002 .
  • the range of the motion trajectory may be corrected based on the flexibility of the second user 1002 and/or the age of the user.
  • the second electronic device 202 may generate personalized target additional information for the second user 1002 by converting the additional information based on the second user information.
  • the load level may be adjusted based on the muscle strength level and/or health state of the second user 1002 .
  • the second electronic device 202 may transmit the target motion data set to the second external electronic device 302 in operation 740 .
  • the second electronic device 202 may transmit the target motion data set to the second external electronic device 302 through the communication module 290 .
  • the second electronic device 202 sends the communication module 290 to the communication module 290 to transmit the target operation data set to the second external electronic device 302 through wireless communication (eg, Bluetooth, wifi). can be controlled.
  • wireless communication eg, Bluetooth, wifi
  • the second external electronic device 302 may control an actuator (eg, the actuator 330 of FIG. 3 ) based on the target motion data set.
  • the second external electronic device 302 may assist the second user 1002 to perform the target motion by adjusting the torque strength and direction of the actuator 330 based on the target motion data set. .
  • the second external electronic device 302 may transmit second sensing data to the second electronic device 202 in operation 750 .
  • the sensed data is the second external electronic device measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the second external electronic device 302 . It may include a value related to the motion of the body of the second user 1002 wearing the 302 (eg, an inclined angle and/or a moving angle of the body).
  • the second electronic device 202 may obtain the second sensing data from the second external electronic device 302 through the communication module 290 .
  • the second electronic device 202 obtains the second sensing data received by the communication module 290 from the second external electronic device 302 through wireless communication (eg, short-range communication such as Bluetooth or wifi). can do.
  • wireless communication eg, short-range communication such as Bluetooth or wifi.
  • the processor 220 may generate second motion data related to the motion of the body based on the second sensing data. For example, based on a value measured by the first sensor 310 and/or a value measured by the second sensor 320 included in the second sensing data, the second motion data (eg, motion trajectory according to time) ) can be created.
  • the second motion data eg, motion trajectory according to time
  • the second electronic device 202 may generate feedback by comparing the second motion data with the target motion data.
  • the second electronic device 202 may determine that the second user is performing an erroneous motion. Also, in response to the determination, the second electronic device 202 may generate feedback information for guiding the second user to perform the target operation.
  • the feedback information may have various forms such as image feedback, haptic feedback, and voice feedback.
  • the second electronic device 202 may display an image including the second user on a display (eg, the display module 160 of FIG. 1 ) and/or an external electronic device including the display.
  • the second electronic device 202 may acquire an image included by the second user captured by a camera (eg, the camera module 180 of FIG. 1 ) and display it on the display 160 or an external electronic device.
  • the second electronic device 202 may display the image feedback by overlaying the image.
  • the second electronic device 202 overlays the image feedback on the position of the body part of the second user 1002 requiring feedback on the image including the second user 1002 in a form such as a figure or text and displays it. can do.
  • the second electronic device 202 may output audio feedback (eg, the audio module 170 of FIG. 1 ) and/or an external electronic device including the audio module.
  • the second electronic device 202 may transmit a control signal according to feedback to the second external electronic device 302 to the second external electronic device 302 .
  • the second electronic device 202 transmits a signal for controlling the second external electronic device 302 to generate a haptic vibration based on the feedback information through the communication module 290 to the second external electronic device. to the device 302 .
  • the second electronic device 202 sends the second external electronic device 302 to vibrate the haptic sensor of the second external electronic device 302 corresponding to the body part of the second user 1002 requiring feedback.
  • a control signal can be transmitted.
  • 7C is a diagram illustrating an example of a connection between components of a motion assistance system according to various embodiments disclosed in this document.
  • the motion assistance system includes a first external electronic device 301 , a second external electronic device 302 , a first electronic device 201 , a second electronic device 202 , a server 108 , Any one of the external display devices 102 may be included.
  • the first external electronic device 301 and the first electronic device 201 may transmit/receive mutual information through short-range wireless communication (eg, Bluetooth, wifi).
  • short-range wireless communication eg, Bluetooth, wifi
  • the first electronic device 201 may transmit and receive mutual information with the server 108 through wireless communication (eg, Internet communication such as LTE or Wifi).
  • wireless communication eg, Internet communication such as LTE or Wifi.
  • the second electronic device 202 may transmit and receive mutual information with the server 108 through wireless communication (eg, Internet communication such as LTE or Wifi).
  • wireless communication eg, Internet communication such as LTE or Wifi.
  • the second electronic device 202 and the display device 102 may transmit/receive mutual information through short-range wireless communication (eg, Bluetooth, wifi) and/or wired communication.
  • short-range wireless communication eg, Bluetooth, wifi
  • the second electronic device 202 and the second external electronic device 302 may transmit/receive mutual information through (eg, Bluetooth, wifi).
  • FIG. 8A is a diagram illustrating an example in which a first user and a second user perform a motion assistance operation in real time in a motion assistance system according to various embodiments of the present disclosure.
  • the first electronic device (eg, the electronic device 201 of FIG. 7B ) may be connected to the second electronic device (eg, the electronic device 202 of FIG. 7B ) through the server 108 .
  • the first user 1001 may perform an operation by wearing the first external electronic device 301 .
  • the first external electronic device 301 and the first electronic device 201 may transmit/receive mutual information through short-range wireless communication (eg, Bluetooth, wifi).
  • the second electronic device 202 may be connected to the first electronic device 201 through the server 108 . Also, the second electronic device 202 and the second external electronic device 302 may transmit/receive mutual information through (eg, Bluetooth, wifi). Also, the second user 1002 may perform an operation by wearing the second external electronic device 302 .
  • the first electronic device 201 and/or the second electronic device 202 may display a first user screen (eg, operation-related content 512 ) and/or a second user screen (eg, a second electronic device).
  • An image 561) including 2 users may be displayed.
  • the second external electronic device 302 of FIG. 7A ), the first electronic device (eg, the first electronic device 201 of FIG. 7A ), and the second electronic device (eg the second electronic device 202 of FIG. 7A ) ) is a diagram showing a flowchart of a method of assisting a user's operation in real time by interacting with each other.
  • operations 801 to 814 may be operations performed by the first electronic device 201 and the first external electronic device 301
  • operations 851 to 867 may be performed by the second electronic device 202 and the first external electronic device 301 . It may be an operation performed by the second external electronic device 302 .
  • the first electronic device 201 may confirm a remote connection with the second electronic device 202 in operation 801 .
  • the first electronic device 201 and the second electronic device 202 may transmit and receive mutual information through a server (eg, the server 108 of FIG. 7C ).
  • the first electronic device 201 may start generating first operation data.
  • the first motion data is data related to the motion of the body of the first user 1001 , and may include a motion trajectory of the body according to time.
  • the first external electronic device 301 may transmit first sensing data sensing the operation of the first user 1001 to the first electronic device 201 .
  • the first sensed data is the first external measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the first external electronic device 301 . It may include a value related to the motion of the body of the first user 1001 who wears the electronic device 301 (eg, an inclined angle and/or a moving angle of the body).
  • the first electronic device 201 may determine whether the generation of the first operation data is finished, and repeat operation 803 until the end of the generation of the first operation data.
  • the first electronic device 201 may generate a motion data set in operation 805 .
  • the first electronic device 201 converts the first motion data based on the specified body, from standard motion data related to another user having a standard body and/or from the first user 1001 .
  • a motion data set including additional information related to the difficulty of the received motion may be generated.
  • the first electronic device 201 may generate first motion data related to a body motion based on the first sensing data. For example, based on a value measured by the first sensor 310 and/or a value measured by the second sensor 320 included in the first sensing data, the first motion data (eg, body motion trajectory).
  • the first electronic device 201 may analyze operation data related to a plurality of operations to classify operations constituting one cycle (one time).
  • the first electronic device 201 may generate average motion data by dividing motion data into one cycle of motion and calculating an average of values in one cycle.
  • the average motion data may include values related to one cycle of motion (eg, a range of motion trajectories and/or motion performance speed).
  • the first electronic device 201 may store the user's body information (eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age).
  • body information eg, body height, body part length, flexibility factor, health status factor, muscle strength level, age.
  • the first electronic device 201 may generate standard motion data related to another user having a standard body by converting average motion data based on designated body information.
  • standard body information includes various information on the specified body (eg, standard body height, body part length, flexibility factor, health status factor, muscle strength level, age based on standard male and female body (eg ISO 7250)). It may contain information.
  • the standard body information is body information stored by the first electronic device 201, and the first electronic device 201 may convert the user's body information into standard motion data based on a comparison result of the user's body information and the standard body information. .
  • the first electronic device 201 compares the standard body information with the user's body information and corrects the average motion data in response to the difference in body information, and normalizes the average motion data to the standard motion data (eg, : range of motion trajectory and/or motion performance speed) can be created.
  • the standard motion data eg, : range of motion trajectory and/or motion performance speed
  • the first electronic device 201 may receive additional information related to the difficulty of the operation from the first user 1001 .
  • the additional information may include a load level for the operation and/or the number of repetitions of the operation.
  • the first electronic device 201 may display a screen for user input on a display (eg, the display module 160 of FIG. 1 ) and receive additional information through the screen.
  • the first electronic device may transmit the motion data set to the server in operation 806 .
  • the first electronic device 201 may transmit the motion data set to the server through the communication module 290 .
  • the first electronic device 201 transmits the communication module 290 to the communication module 290 to transmit the operation data set to the server 108 through wireless communication (eg, internet communication such as wifi or LTE).
  • wireless communication eg, internet communication such as wifi or LTE.
  • the first electronic device 201 may determine whether user operation error information has been received.
  • the user operation error information is generated in response to determining that the second electronic device 202 determines that there is an error in the operation of the second user 1002 in operation 860 of the second electronic device 202 . It may contain information related to an error.
  • the first electronic device 201 may receive the user operation error information transmitted to the server by the second electronic device 202 from the server.
  • the first electronic device 201 may display feedback for correcting the motion on the user image.
  • the first electronic device 201 may display an image 561 including the second user on a display (eg, the display module 160 of FIG. 1 ) and/or an external electronic device including the display.
  • the first electronic device 201 acquires an image 561 including the second user 1002 captured by the camera of the second electronic device 202 (eg, the camera module 180 of FIG. 1 ). to display on the display 160 or an external electronic device.
  • the first electronic device 201 may display the image feedback by overlaying the image 561 .
  • the first electronic device 201 transmits the image feedback in the form of a figure or text to the location of the body part of the second user 1002 requiring feedback on the image 561 including the second user 1002 . It can be displayed overlaid.
  • the first external electronic device 301 may drive haptic feedback to a portion of the operation error of the second user 1002 .
  • the first external electronic device 301 may receive a signal for controlling to generate a haptic vibration from the first electronic device 201 .
  • the first external electronic device 301 may receive, from the first electronic device 201 , a control signal for causing the haptic sensor corresponding to the body part where the operation error of the second user 1002 occurs to vibrate. .
  • the first electronic device 201 may analyze the state of the second user 1002 in response to the accumulation of operation errors of the second user 1002 .
  • the first electronic device may display the status of the second user 1002 in operation 811 .
  • the state of the second user 1002 may include operation error information including the number of operation errors and a rate of operation errors of the second user 1002 .
  • the first electronic device 201 may determine whether there is a motion data set change input from the first user 1001 .
  • the first user 1001 may change the additional information including the load level and/or the number of operations in the first electronic device 201 .
  • the first electronic device 201 may change the motion data set and transmit the changed motion data set to the server in response to the motion change input (operation 812 - Yes), in operation 813 . have.
  • the first electronic device 201 may determine whether to terminate the operation in response to no operation change input (operation 812 - NO). According to various embodiments, in operation 814 , the first electronic device 201 may repeatedly perform operations 807 to 813 until it is determined that the operation has ended.
  • the second electronic device 202 may confirm a remote connection with the first electronic device 201 in operation 851 .
  • the second electronic device 202 and the first electronic device 201 may transmit/receive mutual information through a server.
  • the second electronic device 202 may determine whether the motion data set has been acquired. According to an embodiment, the second electronic device 202 may obtain the motion data set from the server. According to an embodiment, the motion data set may be transmitted by the first electronic device 201 to the server in operation 806 .
  • the second electronic device 202 may repeatedly perform operation 852 until the operation data set is acquired.
  • the second electronic device 202 may generate target motion data in operation 853 .
  • the second electronic device 202 may obtain the second user information from a memory (eg, the memory 230 of FIG. 2 ).
  • the second user information may include one of the height of the second user 1002 , body information including the length of a body part, health information including age and health status, and exercise information including muscle strength level and flexibility. It may include at least one.
  • the user information may be information input by the second user 1002 or information generated by data accumulated in the memory 230 .
  • the second electronic device 202 may generate a personalized target motion data set for the second user 1002 .
  • the target motion data set may include target motion data and/or target additional information personalized to the second user in a manner that is converted based on the second user information.
  • the second electronic device 202 may generate personalized target motion data for the second user 1002 by converting the motion data set based on the second user information. For example, the speed of the motion may be adjusted based on the length of the body part of the second user 1002 and/or the age of the user. As another example, the load level may be adjusted based on the muscle strength level and/or health state of the second user 1002 . As another example, the range of the motion trajectory may be corrected based on the flexibility of the second user 1002 and/or the age of the user. According to an embodiment, the second electronic device 202 may generate personalized target additional information for the second user 1002 by converting the additional information based on the second user information. For example, the load level may be adjusted based on the muscle strength level and/or health state of the second user 1002 .
  • the second external electronic device 302 may drive an actuator (eg, the actuator 330 of FIG. 3 ) according to the target motion data set.
  • an actuator eg, the actuator 330 of FIG. 3
  • the second external electronic device 302 may receive the target motion data set from the second electronic device 202 .
  • the second external electronic device 302 may control an actuator (eg, the actuator 330 of FIG. 3 ) based on the target motion data set.
  • the second external electronic device 302 may assist the second user 1002 to perform the target motion by adjusting the torque strength and direction of the actuator 330 based on the target motion data set.
  • the second external electronic device 302 may measure the operation of the second user 1002 and transmit the measured second sensing data to the second electronic device 202 . .
  • the second external electronic device 302 may transmit the second sensing data to the second electronic device 202 through the communication module.
  • the second sensed data is the second external measured by various sensors (eg, the first sensor 310 and/or the second sensor 320 of FIG. 3 ) of the second external electronic device 302 . It may include a value related to the motion of the body of the second user 1002 wearing the electronic device 302 (eg, an inclined angle and/or a moving angle of the body).
  • the second electronic device 202 may determine whether the motion sensed by the second external electronic device 302 matches the target motion.
  • the processor 220 may generate second motion data related to the motion of the body based on the second sensing data. For example, based on a value measured by the second sensor 310 and/or a value measured by the second sensor 320 included in the second sensing data, the second motion data (eg, motion trajectory according to time) ) can be created. According to an embodiment, when the absolute value of the difference between the second motion data and the target motion data is equal to or greater than a specified value, the second electronic device 202 may determine that the second user is performing an erroneous motion.
  • the second motion data eg, motion trajectory according to time
  • the second electronic device 202 may analyze the operation error in operation 857 in response to the operation not matching (operation 856 - NO).
  • the second electronic device 202 may analyze an operation error to generate feedback information.
  • the second electronic device 202 may display motion feedback on the image 561 including the second user.
  • the second electronic device 202 displays an image 561 including the second user on a display (eg, the display module 160 of FIG. 1 ) and/or an external electronic device including the display. can do.
  • the second electronic device 202 may view an image 561 including the second user 1002 captured by the camera of the second electronic device 202 (eg, the camera module 180 of FIG. 1 ). It may be obtained and displayed on the display 160 or an external electronic device.
  • the second electronic device 202 may display the image feedback by overlaying the image 561 including the second user.
  • the second electronic device 202 transmits the image feedback in the form of a figure or text to the location of the body part of the second user 1002 requiring feedback on the image 561 including the second user 1002 . It can be displayed overlaid.
  • the second external electronic device 302 may drive a haptic feedback to an operation error region.
  • the second external electronic device 302 may receive a signal for controlling to generate a haptic vibration from the second electronic device 202 .
  • the second external electronic device 302 may receive, from the second electronic device 202 , a control signal for causing a haptic sensor corresponding to a body part in which the operation error of the second user 1002 occurs to vibrate. .
  • the second electronic device 202 may transmit operation error information to the first electronic device 201 through the server.
  • the second electronic device 202 may analyze the state of the second user 1002 in response to the accumulation of operation errors.
  • the state of the second user 1002 may include operation error information including the number of operation errors and a rate of operation errors of the second user 1002 .
  • the second electronic device 202 may determine whether the operation of the second user 1002 is overface. According to an embodiment, in response to the number of operation errors and the operation error rate of the second user 1002 being greater than or equal to a specified value, it may be determined that the second user 1002 is overfaced.
  • the second external electronic device 302 displays a user warning in operation 863 .
  • the user alert may be in various forms, such as haptic vibration, screen display, or voice display.
  • the operation assistance system may end the operation in response to operation 863 being performed.
  • the second external electronic device 302 determines in operation 862 that the second electronic device 202 does not determine that the user's operation is overface and/or determines that the operation matches in operation 856, In response to receiving the changed motion data set in operation 864 , in operation 865 , the target motion data set may be updated based on the changed motion data set.
  • the second electronic device 202 may determine whether the operation has ended. According to various embodiments, in operation 814 , the second electronic device 202 may repeatedly perform operations 854 to 865 until it is determined that the operation has ended.
  • An electronic device includes a communication module and a processor operatively connected to the communication module, wherein the communication module communicates with an external electronic device including a sensor for measuring a user's motion and a server and, the processor acquires sensing data obtained by measuring a user's motion from the external electronic device through the communication module, and provides motion data including a motion trajectory of a body according to time based on the sensing data to the user's information. Based on the conversion method, a motion data set including standard motion data related to another user having a standard body may be generated, and the motion data set may be controlled to be transmitted to the server through the communication module.
  • the processor may be configured to receive a user input for additional information related to difficulty of an operation and to add the additional information to the motion data set.
  • the processor may generate the standard motion data by using an average value of the sensed data sensed a plurality of times of the user's motions.
  • the processor obtains contents related to an operation including the same operation as the motion data set, and transmits the motion data set and the contents related to the operation through the communication module. It can be controlled to send to the server.
  • the motion data set may include motion related information included in the motion related content.
  • the electronic device may further include a camera, and the processor may acquire content related to the operation including an image captured by the camera.
  • An electronic device includes a communication module, a memory configured to store user information, and a processor operatively connected to the communication module and the memory, wherein the communication module includes a sensor and an actuator In communication with an external electronic device and a server, the processor receives a motion data set including standard motion data related to motion of another user having a standard body from the server through the communication module, and receives user information stored in the memory In a manner of acquiring and converting the motion data set based on the user information, a target motion data set personalized to the user is generated, and the sensing data obtained by measuring the user's motion from the external electronic device through the communication module and compares the target motion data set with motion data including a motion trajectory of a body according to time based on the sensed data to generate feedback, and communicates a signal for controlling the external electronic device based on the feedback It may transmit to the external electronic device through the module.
  • the communication module includes a sensor and an actuator
  • the processor receives a motion data set including standard motion data related to motion of another user having a
  • the user information including at least one of the user's body information, health information, and exercise information is stored, and the processor is configured to determine a speed of an operation, a range of an operation trajectory, a load level, and Acquire the motion data set including at least one of the number of motions, and calculate at least one of the speed of motion, the motion trajectory, the load level, and the number of motions based on at least one of the user's body information, health information, and exercise information. It may be calibrated to generate the target motion data set.
  • the electronic device may further include a camera and a display, the camera may capture an image including a user, and the processor may display the feedback and the image on the display.
  • the processor may transmit a signal for controlling the external electronic device to vibrate based on the feedback to the external electronic device through the communication module.
  • the electronic device further includes a display, wherein the processor obtains content related to an operation including the same operation as the operation data set from the server through the communication module, and performs the feedback and The content related to the operation may be synchronized and output to the display.
  • a motion assistance system includes a first wearable device including a first sensor and a second wearable device including a second sensor and an actuator, wherein the first wearable device includes the first sensor acquires first motion data related to the motion of the first user measured by It is possible to acquire data and control the actuator based on a result of comparing the first motion data and the second motion data.
  • the motion assistance system further comprising a server, wherein the first wearable device transmits the first motion data to the server, and the second wearable device transmits the first motion data from the server data can be received.
  • the first wearable device stores information of a first user, and uses the first motion data with another user having a standard body based on the information of the first user. You can create standard motion data in a way that makes it relevant.
  • the second wearable device stores information of a second user, obtains the standard motion data, and sets the standard motion data based on the information of the second user.
  • the actuator may be controlled based on the target motion data.
  • the motion assistance system may further include a first electronic device, wherein the first electronic device may perform some of the operations of the first wearable device.
  • the motion assistance system may further include a second electronic device, wherein the second electronic device may perform some of the operations of the second wearable device.
  • the system further includes a first electronic device and a second electronic device, wherein the first electronic device obtains and outputs the feedback of the second user to a display, and the second electronic device The electronic device may obtain the exercise guide of the first user and output it on the display.
  • a or B at least one of A and B”, “or at least one of B,” “A, B or C,” “at least one of A, B and C,” and “B; or “at least one of C” may include any one of, or all possible combinations of, items listed together in the corresponding one of the phrases.
  • Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. that one (e.g. first) component is “coupled” or “connected” to another (e.g. second) component with or without the terms “functionally” or “communicatively” When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Therapy (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Pain & Pain Management (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Artificial Intelligence (AREA)

Abstract

전자 장치가 제공된다. 전자 장치는, 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고, 상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터를 상기 사용자의 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 생성하고, 상기 동작 데이터 세트를 상기 통신 모듈을 통하여 상기 서버로 송신하도록 제어할 수 있다.

Description

사용자의 동작을 보조하기 위한 전자 장치 및 시스템
본 문서에 개시된 다양한 실시예들은, 사용자의 동작을 보조하기 위한 전자 장치 및 시스템에 관한 것이다.
사용자가 신체에 착용할 수 있는 웨어러블 로봇은, 신체의 일부에 착용할 수도 있는 형태, 전신에 착용할 수 있는 형태, 신체의 일부를 대체하는 형태 등 로봇의 목적에 따라 다양한 형태로 개발되고 있다. 특히, 웨어러블 로봇은 노령의 사용자가 특정 동작을 수행하는 것을 보조하기 위한 목적으로 개발되는 경우가 많다. 예를 들어, 웨어러블 로봇은 특정 신체의 재활이나, 특정 신체의 기능이 불가한 경우 이를 대체하기 위한 목적으로 개발될 수 있다.
웨어러블 로봇은 액추에이터를 이용하여 착용하고 있는 사용자의 신체가 동작하는 방향과 동일한 방향으로 신체에 힘을 가하여 신체가 수행하는 동작을 보조하거나, 또는 사용자의 신체가 동작하는 방향과 반대 방향으로 신체에 힘을 가하여 신체를 단련할 수 있다. 이와 같은 웨어러블 로봇은 액추에이터의 동작이 사전에 프로그래밍되어 저장되어 있고, 저장된 동작에 따라 액추에이터를 구동할 수 있다.
고령화 사회에 접어듬에 따라, 웨어러블 로봇 산업이 매년 성장하고 있으며, 앞으로 다양한 동작을 제공할 수 있는 웨어러블 로봇의 수요가 늘어날 것으로 예상된다.
웨어러블 로봇은 사용자의 동작을 보조하기 위하여 다양한 방식으로 액추에이터의 동작이 프로그래밍될 수 있다.
본 문서에 개시된 다양한 실시예는 제 1 웨어러블 로봇을 착용한 제 1 사용자가 동작하는 내용을 제 2 사용자가 착용한 제 2 웨어러블에 복제하여 제 2 사용자의 동작을 보조할 수 있다.
구체적으로, 본 문서에 개시된 다양한 실시예의 전자 장치는 사용자의 동작을 센싱하여 동작 데이터 세트를 생성하고, 동작 데이터 세트를 다른 사용자에게 공유하여 다른 사용자도 동일한 동작을 수행할 수 있다. 또한, 사용자의 신체 구조, 건강 상태, 연령과 같은 신체적 특성이 각기 다름을 고려하여, 동작 데이터 세트를 사용자의 신체적 특성에 맞도록 재생성하여 개인화된 동작 데이터 세트를 제공할 수 있다.
예를 들어, 사용자의 다리 길이가 평균보다 긴 경우, 동작의 궤적 범위를 표준보다 크게 조절할 수 있고, 사용자의 연령이 평균보다 높은 경우, 동작의 속도를 표준보다 느리게 조절할 수 있다.
이와 같이 다양한 동작을 제공하되, 사용자 개인 특성에 맞는 동작을 수행할 수 있도록 보조할 수 있는 전자 장치를 제공하는 것이 제조 회사들이 해결해야할 기술적 과제일 것이다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 통신 모듈, 상기 통신 모듈과 작동적으로 연결되는 프로세서를 포함하고, 상기 통신 모듈은 사용자의 동작을 측정하는 센서를 포함하는 외부 전자 장치 및 서버와 통신하고, 상기 프로세서는 상기 통신 모듈을 통하여 상기 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고, 상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터를 상기 사용자의 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 생성하고, 상기 동작 데이터 세트를 상기 통신 모듈을 통하여 상기 서버로 송신하도록 제어할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 통신 모듈, 사용자 정보를 저장하도록 설정된 메모리 및 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 통신 모듈은 센서 및 액추에이터를 포함하는 외부 전자 장치 및 서버와 통신하고, 상기 프로세서는 상기 통신 모듈을 통하여 상기 서버로부터 표준 신체를 가지는 다른 사용자의 동작과 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 수신하고, 상기 메모리에 저장된 사용자 정보를 획득하고, 상기 동작 데이터 세트를 상기 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터 세트를 생성하고, 상기 통신 모듈을 통하여 상기 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고, 상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터와 상기 목표 동작 데이터 세트를 비교하여 피드백을 생성하고, 상기 피드백에 기반하여 상기 외부 전자 장치를 제어하는 신호를 상기 통신 모듈을 통하여 상기 외부 전자 장치에 송신할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템은, 제 1 센서를 포함하는 제 1 웨어러블 장치 및 제 2 센서 및 액추에이터를 포함하는 제 2 웨어러블 장치를 포함하고, 상기 제 1 웨어러블 장치는 상기 제 1 센서가 측정한 제 1 사용자의 동작과 관련된 제 1 동작 데이터를 획득하고, 상기 제 2 웨어러블 장치는 상기 제 1 동작 데이터를 획득하고, 상기 제 1 센서가 측정한 제 2 사용자의 동작과 관련된 제 2 동작 데이터를 획득하고, 상기 제 1 동작 데이터와 상기 제 2 동작 데이터를 비교한 결과에 기반하여 상기 액추에이터를 제어할 수 있다.
사용자는 다양한 동작에 대한 데이터 세트를 제공받을 수 있고, 다양한 동작에 대하여 보조받거나 단련할 수 있다.
또한, 사용자는 특정 동작을 수행하고자 할 때, 트레이너가 생성한 데이터 세트에 의하여 정확한 자세로 동작을 수행하여 운동 효과를 높일 수 있다.
또한, 사용자는 실시간으로 트레이너가 수행하는 동작과 동일한 동작을 수행할 수 있고, 실시간으로 피드백을 받아 정확한 동작을 수행하여 운동 효과를 높일 수 있다.
또한, 사용자는 자신의 신체 특성에 맞도록 보정된 동작 데이터 세트를 제공받을 수 있어, 사용자에게 개인화된 동작 보조를 제공받을 수 있다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는, 본 문서에 개시된 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은, 본 문서에 개시된 다양한 실시예에 따른 외부 전자 장치를 도시한도면이다.
도 4a는, 본 문서에 개시된 다양한 실시예에 따른 프로세서가 외부 전자 장치로부터 획득한 센싱 데이터에 기반하여 동작 데이터 세트를 생성하고 서버에 송신하도록 전자 장치를 제어하는 방법을 도시한 흐름도이다.
도 4b는, 본 발명의 다양한 실시예에 따른 프로세서가 외부 전자 장치로부터 획득한 센싱 데이터의 예시를 도시한 도면이다.
도 4c는, 본 발명의 다양한 실시예에 따른 프로세서가 생성한 동작 데이터 및 사용자로부터 획득한 부가 정보의 예시를 도시한 도면이다.
도 4d는, 본 발명의 다양한 실시예에 따른 프로세서가 동작 데이터에 기반하여 평균 동작 데이터 및 표준 동작 데이터의 생성하는 예시를 도시한 도면이다.
도 4e는, 본 발명의 다양한 실시예에 따른 프로세서가 표준 동작 데이터 및 부가 정보의 예시를 도시한 도면이다.
도 4f는, 본 발명의 다양한 실시예에 따른 프로세서가 동작 데이터 세트 및동작과 관련된 컨텐츠를 서버로 송신하는 동작의 예시를 도시한 도면이다.
도 5a는, 본 문서에 개시된 다양한 실시예에 따른 프로세서가 동작 데이터 세트와 사용자 정보에 기반하여 외부 전자 장치를 제어하는 방법을 도시한 흐름도이다.
도 5b는, 본 발명의 다양한 실시예에 따른 프로세서가 동작과 관련된 컨텐츠를 디스플레이한 화면의 예시를 도시한 도면이다.
도 5c는, 본 발명의 다양한 실시예에 따른 프로세서가 동작 데이터 세트 및 사용자 정보에 기반하여 목표 동작 데이터 세트를 생성하고, 외부 전자 장치에 송신하는 동작의 예시를 도시한 도면이다.
도 5d는, 본 발명의 다양한 실시예에 따른 사용자가 포함된 영상 및 프로세서가 생성한 피드백 정보의 예시를 도시한 도면이다.
도 6a는, 본 문서에 개시된 다양한 실시예에 따른 프로세서가 동작 데이터 세트를 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터를 생성하는 방법을 도시한 흐름도이다.
도 6b는, 본 문서에 개시된 다양한 실시예에 따른 프로세서가 도 6a에기재된 흐름도와 같이 동작 데이터 세트를 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터를 생성하는 예시를 도시한 흐름도이다.
도 7a는, 본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템의 구성의 예시를 도시한 도면이다.
도 7b는 일 실시예에 따른, 동작 보조 시스템이 사용자의 동작을 보조하는 동작의 흐름도를 도시한 도면이다.
도 7c는, 본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템의 구성 간의 연결 예시를 도시한 도면이다.
도 8a는, 본 문서의 개시된 다양한 실시예에 따른 동작 보조 시스템에서 실시간으로 제 1 사용자와 제 2 사용자가 동작 보조 동작을 수행하는 예시를 도시한 도면이다.
도 8b, 도 8c 및 도 8d는 본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템이 실시간으로 사용자의 동작을 보조하는 방법의 흐름도를 도시한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는, 본 문서에 개시된 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2를 참조하면, 전자 장치(200)(예 : 도 1의 전자 장치(101))는 프로세서(220)(예: 도 1의 프로세서(120)), 메모리(230)(예: 도 1의 메모리(130)) 및/또는 통신 모듈(290)(예 : 도 1의 통신 모듈(190))을 포함할 수 있다. 도 2에 포함된 구성 요소는 전자 장치(200)에 포함된 구성들의 일부에 대한 것이며 전자 장치(200)는 이 밖에도 도 1에 도시된 것과 같이 다양한 구성요소를 포함할 수 있다.
메모리(230)는 사용자 정보를 일시적으로 또는 비일시적으로 저장할 수 있다. 일 실시예에 따르면, 사용자 정보는 키, 신체 부분의 길이를 포함하는 신체 정보, 연령, 건강 상태를 포함하는 건강 정보, 근력 레벨, 유연성을 포함하는 운동 정보 중 적어도 하나를 포함할 수 있다.
통신 모듈(290)은 네트워크(예 : 도 1의 제1네트워크(198) 및/또는 제2네트워크(199))를 통하여 외부 전자 장치 및/또는 서버와 통신하여 다양한 정보를 수신 및/또는 송신할 수 있다. 프로세서(220)는 통신 모듈(290)과 연결되어 통신 모듈(290)이 외부 전자 장치 및/또는 서버로부터 수신한 다양한 정보를 처리할 수 있다. 또한, 프로세서(220)는 통신 모듈(290)이 다양한 정보를 외부 전자 장치 및/또는 서버로 송신하도록 제어할 수 있다.
도 3은, 본 문서에 개시된 다양한 실시예에 따른 외부 전자 장치를 도시한 도면이다.
다양한 실시예에 따르면, 외부 전자 장치(300)는 제 1 센서(310), 제 2 센서(320) 및/또는 액추에이터(330)를 포함할 수 있다. 또한, 외부 전자 장치(300)는 사용자가 신체(예 : 다리, 팔, 허리)에 착용할 수 있도록 보조하는 물리적인 장치를 포함할 수 있다.
다양한 실시예에 따르면, 제 1 센서(310)는 관성 센서(IMU)를 포함할 수 있다. 일 실시예에 따르면, 제 1 센서(310)는 가속도계, 회전 속도계 및/또는 자력계의 조합을 사용하여 센서가 기울어진 정도 측정하는 관성 센서일 수 있다. 예를 들어, 제 1 센서(310)는 사용자의 신체의 일부가 기준점에서 기울어진 각도를 측정할 수 있다.
다양한 실시예에 따르면, 제 2 센서(320)는 인코더 센서를 포함할 수 있다. 일 실시예에 따르면, 제 2 센서(320)는 물체의 운동 모양에 따라 회전운동을 검출하는 로터리 인코더 센서를 포함할 수 있다. 예를 들어, 로터리 인코더는 기계적인 회전 범위를 전기적인 펄스로 변환하는 센서로, 장치의 회전량, 회전 속도를 측정하는 센서일 수 있다. 예를 들어, 제 2 센서(320)는 사용자의 신체의 일부가 지정된 위치를 기준으로 회전된 각도를 측정할 수 있다.
다양한 실시예에 따르면, 액추에이터(330)는 시스템을 움직이거나 제어하는기계 장치일 수 있다. 예를 들어, 액추에이터(330)는 사용자의 신체의 일부에 장착된 장치에 기계적인 힘을 부가하여 사용자의 신체를 움직이도록 보조하거나, 사용자의 신체에 부하를 가할 수 있다.
본 문서에서 언급하는 외부 전자 장치는 도 3에 개시된 형태에 한정되지 않으며, 사용자가 착용할 수 있고 사용자의 동작을 보조하는 다양한 형태의 웨어러블 로봇을 포함할 수 있다.
도 4a는, 본 문서에 개시된 다양한 실시예에 따른 프로세서(예 : 도 2의 프로세서(220))가 외부 전자 장치로부터 획득한 센싱 데이터에 기반하여 동작 데이터 세트를 생성하고 서버에 송신하도록 전자 장치(예 : 도 2 의 전자 장치(200))를 제어하는 방법을 도시한 흐름도이다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 410에서, 외부 전자 장치(예 :도 3의 외부 전자 장치(300))로부터 사용자의 동작과 관련된 값을 측정한 센싱 데이터를 획득할 수 있다.
일 실시예에 따르면, 프로세서(220) 통신 모듈(예 : 도 2의 통신 모듈(290))을 통하여 외부 전자 장치(300)로부터 센싱 데이터를 획득할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : 블루투스, wifi와 같은 단거리 통신)를 통하여 외부 전자 장치(300)로부터 수신한 센싱 데이터를 획득할 수 있다.
일 실시예에 따르면, 센싱 데이터는 외부 전자 장치(300)의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 외부 전자 장치(300)를 착용한 사용자의의 신체의 상태와 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 센싱 데이터에 기반하여 신체의 동작과 관련된 동작 데이터를 생성할 수 있다. 예를 들어, 센싱 데이터에 포함되는 제 1 센서(310)가 측정한 값 및/또는 제 2 센서(320)가 측정한 값에 기반하여, 동작 데이터(예 : 시간에 따른 신체의 동작 궤도)를 생성할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 420에서, 표준 신체를 기준으로 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 프로세서(220)는, 동작 데이터를 지정된 신체에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터 및/또는 사용자로부터 입력 받은 동작의 난이도와 관련된 부가 정보를 포함하는 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 프로세서(220)는 복수회의 동작과 관련된 동작 데이터를 분석하여, 한 주기(한 회)를 구성하는 동작을 구분할 수 있다. 프로세서(220)는 동작 데이터를 동작의 한 주기로 나누고, 한 주기에서의 값들의 평균을 계산하여 평균 동작 데이터를 생성할 수 있다. 평균 동작 데이터는 한 주기의 동작과 관련된 값(예 : 동작의 궤적 범위 및/또는 동작 수행 속도)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 메모리(230)에 저장된 사용자의 신체 정보(예 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 획득할 수 있다.일 실시예에 따르면, 프로세서(220)는 평균 동작 데이터를 지정된 신체 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 생성할 수 있다. 예를 들어, 표준 신체 정보는 지정된 신체의 다양한 정보(예 : 남녀 표준 신체(예 : ISO 7250)에 기반한 표준 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 포함하는 정보일 수 있다. 표준 신체 정보는 메모리(230)가 저장하고 있는 신체 정보로써, 프로세서(220)는 사용자의 신체 정보 및 표준 신체 정보의 비교 결과에 기반하여 표준 동작 데이터로 변환할 수 있다. 예를 들어, 프로세서(220)는 표준 신체 정보와와 사용자의 신체 정보를 비교하여 신체 정보의 차이에 대응하여 평균 동작 데이터를 보정하는 방식으로, 평균 동작 데이터를 정규화 하여 표준 동작 데이터(예 : 동작의 궤적 범위 및/또는 동작 수행 속도)를 생성할 수 있다.
일 실시예에 따르면, 프로세서(220)는 사용자로부터 동작과 관련된 부가 정보를 입력받을 수 있다. 예를 들어, 부가 정보는 동작에 대한 부하 레벨, 동작의 반복 횟수를 포함할 수 있다. 일 실시예에 따르면, 프로세서(220)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))에 사용자 입력을 위한 화면을 표시하고, 상기 화면을 통하여 부가 정보를 입력받을 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 430에서, 동작 데이터 세트를 서버로 송신할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터 세트를 통신 모듈(290)을 통하여 서버로 송신할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : wifi, LTE와 같은 인터넷 통신)를 통하여 동작 데이터 세트를 서버로 송신하도록 통신 모듈(290)을 제어할 수 있다.
도 4b는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 외부 전자 장치로부터 획득한 센싱 데이터의 예시를 도시한 도면이다.
도 4b의 그래프를 참조하면, 가로축은 시간, 세로축은 센서의 각도를 나타낼수 있다. 센싱 데이터는 외부 전자 장치(예 : 도 3의 외부 전자 장치(300))의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 외부 전자 장치를 착용한 사용자의 다양한 신체(예 : 골반, 다리)의 동작과 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다. 예를 들어, 사용자는 외부 전자 장치(300)를 착용한 상태로 좌/우의 다리를 번갈아가며 90도에 가깝게 구부리는 동작(예 : 런지 동작)을 수행할 수 있다. 외부 전자 장치(300)에 구비된 제 1 센서(310)는 사용자가 동작을 수행하는 동안 골반의 각도를 측정하고, 제 2 센서(좌)는 왼쪽 다리가 움직인 각도를 측정하고, 제 2 센서(우)는 오른쪽 다리가 움직인 각도를 측정할 수 있다. 예를 들어, 도 4c의 센싱 데이터 그래프는, 런지 동작을 하는 시간 동안에 사용자의 골반이 기울어진 각도 및 좌/우 다리의 움직인 각도를 나타낼 수 있다. 제 1 센서가 측정한 값에 대한 그래프를 참조하면, 사용자가 다리를 편 상태에서는 제 1 센서 값이 약 100도, 다리를 구부린 상태에서는 제 1 센서 값이 약 80도로 측정될 수 있다. 또한, 사용자가 다리를 편 상태에서는 제 2 센서(L) 및 제 2 센서(R)의 값이 약 0도, 왼쪽 다리를 앞으로 구부리고 오른쪽 다리를 아래로 구부린 상태에서는 제 2 센서(L)값이 약 -60도(0도를 기준으로 앞쪽 방향으로 60도 회전), 제 2 센서(R)값이 약 10도(0도를 기준으로 뒤쪽 방향으로 10도 회전)로 측정될 수 있다.
도 4c는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 생성한 동작 데이터 및 사용자로부터 획득한 부가 정보의 예시를 도시한 도면이다.
동작 데이터(411)는 외부 전자 장치를 착용한 사용자의 동작과 관련된 값을 포함할 수 있다. (a) 그래프를 참조하면, 가로 축은 시간(t), 세로 축은 동작의 궤도를 나타내고, 동작 데이터(411)는 시간에 따른 신체의 동작 궤도 값를 포함할 수 있다. 예를 들어, 동작 데이터(411)는 센싱 데이터에서 제 1 센서가 측정한 값(예 : 골반의 기울어진 각도)와 제 2 센서가 측정한 값(예 : 다리가 움직인 각도)에 기반하여 골반과 다리가 정렬되어있을 때를 기준으로 골반과 다리 사이의 각도가 작아지면 음(-)의 값, 각도가 커지면 양(+)의 값 또는 그 반대의 방식으로 다리의 동작 궤도 값을 나타낼 수 있다. 예를 들어, 동작 데이터(411)는 제 2 센서가 측정한 값(예 : 다리가 움직인 각도)를 제 1 센서가 측정한 값(예 : 골반이 기울어진 각도)에 기반하여 보정한 동작 궤도와 관련덴 데이터(예 : 골반이 기울어진 각도 만큼 보정된 다리 움직임 정도)일 수 있다.
일 실시예에 따르면, 프로세서(220)는 사용자로부터 동작의 난이도와 관련된 부가 정보를 입력받을 수 있다. 부가 정보(412)는 동작에 대한 부하 레벨 및/또는 동작의 반복 횟수를 포함할 수 있다. (b) 그래프를 참조하면, 가로 축은 동작 횟수, 세로 축은 부하의 레벨을 나타내고, 부가 정보(412)는 동작 횟수에 따른 부하 레벨 정보를 포함할 수 있다. 예를 들어, 부가 정보(412)는 외부 전자 장치가 사용자에게 부하를 주지 않는 레벨을 0으로 설정하고, 외부 전자 장치(300)가 사용자의 동작과 반대 방향으로 부하를 가하면 양(+)의 값, 외부 전자 장치가 사용자의 동작과 같은 방향으로 부하를 가해 사용자의 동작을 도와주면 음(-)의 값을 나타내는 방식으로 부하 레벨을 설정할 수 있다.
도 4d는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 동작 데이터에 기반하여 평균 동작 데이터 및 표준 동작 데이터의 생성하는 예시를 도시한 도면이다.
일 실시예에 따르면, 프로세서(220)는 복수회의 동작과 관련된 동작 데이터(411)를 분석하여, 한 주기(한 회)를 구성하는 동작을 구분할 수 있다. 프로세서(220)는 동작 데이터(411)를 동작의 한 주기로 분류하고, 한 주기에서의 값들의 평균을 계산하여 평균 동작 데이터(421)를 생성할 수 있다. 평균 동작 데이터(421)는 한 주기에서 시간에 따른 신체의 동작 궤도를 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 메모리(230)에 저장된 사용자의 신체 정보(예 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 획득할 수 있다.
일 실시예에 따르면, 프로세서(220)는 평균 동작 데이터(421)를 지정된 신체 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터(422)를 생성할 수 있다. 예를 들어, 표준 신체 정보는 지정된 신체의 다양한 정보(예 : 남녀 표준 신체(예 : ISO 7250)에 기반한 표준 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 포함하는 정보일 수 있다. 표준 신체 정보는 메모리(230)가 저장하고 있는 신체 정보로써, 프로세서(210)는 사용자의 신체 정보 및 표준 신체 정보의 비교 결과에 기반하여 표준 동작 데이터로 변환할 수 있다.예를 들어, 프로세서(220)는 표준 신체 정보와 사용자의 신체 정보를 비교하여 신체 정보의 차이에 대응하여 평균 동작 데이터(421)를 보정하는 방식으로, 평균 동작 데이터를 정규화 하여 표준 동작 데이터(422)를 생성할 수 있다.
도 4e는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 표준 동작 데이터 및 부가 정보의 예시를 도시한 도면이다.
도 4e의 표준 동작 데이터 그래프를 참조하면, 표준 동작 데이터(422)는 표준 신체를 기준으로, 동작(예 : 런지 동작)의 한 주기에서 시간에 따른 좌/우 다리의 동작의 궤적을 나타낼 수 있다. 표준 동작 데이터(422) (좌/우)의 그래프를 참조하면, 가로축 0에서, 골반과 다리가 정렬된 상태는 궤적이 0임을 기준으로, 가로 축 30에서, 왼쪽 다리를 골반에 가깝게 구부리면서(궤적 : 약 -80) 오른쪽 다리를 골반에 정렬하는(궤적 : 약 0) 궤적을 나타내고, 가로 축 80에서, 오른쪽 다리를 골반에 가깝게 구부리면서(궤적 : 약 -80) 왼쪽 다리를 골반에 정렬하는(궤적 : 약 0) 궤적을 나타낼 수 있다.
도 4e의 부하 레벨 그래프를 참조하면, 부하 레벨(423)은 런지 동작 한 주기에서 외부 전자 장치가 표준 신체의 사용자에게 부하를 주는 레벨을 나타낼 수 있다. 부하 레벨 그래프(좌/우)를 참조하면, 동작의 초반부에는 외부 전자 장치(300)가 사용자의 동작과 같은 방향(-)으로 부하를 가해 사용자의 동작을 도와줄 수 있고, 점점 사용자의 동작과 반대 방향(+)으로 부하를 가해 사용자의 신체를 단련시킬 수 있는 시퀀스를 나타낼 수 있다.
또한, 도 4e의 실시예의 표준 동작 횟수는 10회로, 런지 한 주기의 동작을 10회 반복함을 의미할 수 있다.
도 4f는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 동작 데이터 세트 및 동작과 관련된 컨텐츠(431)를 서버로 송신하는 동작의 예시를 도시한 도면이다.
일 실시예에 따르면, 프로세서(220)는, 표준 동작 데이터(422) 및/또는 부하 레벨(423) 및 동작 횟수를 포함하는 부가 정보를 포함하는 동작 데이터 세트(424)를 생성할 수 있다. 예를 들어, 동작 데이터 세트에 포함된 동작은 동작과 관련된 컨텐츠(431)에 포함된 동작과 동일한 동작일 수 있다.
일 실시예에 따르면, 프로세서(220)는, 동작과 관련된 컨텐츠(431)를 획득하고, 동작과 관련된 컨텐츠(431)를 동작 데이터 세트(424)와 함께 통신 모듈(290)을 통하여 서버(108)로 송신할 수 있다.
도 5a는, 본 문서에 개시된 다양한 실시예에 따른 프로세서(예 : 도 2의 프로세서(220))가 동작 데이터 세트와 사용자 정보에 기반하여 외부 전자 장치(예 : 도 3의 외부 전자 장치(300))를 제어하는 방법을 도시한 흐름도이다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 510에서, 서버로부터 동작 데이터 세트를 획득할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터 세트를 통신 모듈(예 : 도 2의 통신 모듈(290))을 통하여 서버로부터 획득할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : wifi, LTE)를 통하여 서버로부터 동작 데이터 세트를 다운받도록 통신 모듈(290)을 제어할 수 있다.
일 실시예에 따르면, 동작 데이터 세트는 신체의 동작과 관련된 동작 데이터를 지정된 신체에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터 및/또는 사용자로부터 입력 받은 동작의 난이도와 관련된 부가 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터 세트와 함께 동작과 관련된 컨텐츠를 통신 모듈(290)을 통하여 서버로부터 획득할 수 있다. 예를들어, 동작과 관련된 컨텐츠는 동작을 수행하는 사용자를 포함하는 영상일 수 있다.
일 실시예에 따르면, 동작과 관련된 컨텐츠 및 동작 데이터 세트는 서버 상에 업로드된 파일을 다운받는 형태일 수 있다. 예를 들어, 사용자는 전자 장치(200)에서 서버(예 : 애플리케이션, 사이트)에 접속하여, 수행하고자 하는 동작과 관련된 컨텐츠를 선택하여 동작과 관련된 컨텐츠를 스트리밍하는 동안, 동작 데이터 세트를 다운로드 받거나, 동작과 관련된 컨텐츠와 동작 데이터 세트를 함께 다운로드 받을 수 있다.
일 실시예에 따르면, 동작과 관련된 컨텐츠 및 동작 데이터 세트는 특정 사용자와 서버 상에서 연결되어 실시간으로 특정 사용자가 생성한 동작과 관련된 컨텐츠 및 동작 데이터 세트를 제공받는 형태일 수 있다. 예를 들어, 사용자는 전자 장치(200)에서 서버(예 : 어플리케이션, 사이트)에 접속하여, 특정 사용자와 연결될 수 있고, 특정 사용자를 포함하는 영상 및 특정 사용자가 외부 전자 장치를 이용하여 생성한 동작 데이터 세트를 제공받을 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 520에서, 메모리(예 : 도 2의메모리(230))로부터 사용자 정보를 획득할 수 있다.
일 실시예에 따르면, 사용자 정보는 키, 신체 부분의 길이를 포함하는 신체 정보, 연령, 건강 상태를 포함하는 건강 정보, 근력 레벨, 유연성을 포함하는 운동 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 사용자 정보는 사용자에 의하여 입력받은 정보일 수 있고, 메모리(230)에 축적된 데이터에 의하여 생성된 정보일 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 530에서, 사용자에게 개인화된 목표 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 목표 동작 데이터 세트는 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터 및/또는 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 부가 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터 세트를 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터를 생성할 수 있다. 예를 들어, 사용자의 신체 부분의 길이 및/또는 사용자의 연령에 기반하여 동작의 속도를 조절할 수 있다. 다른 예를 들어, 프로세서(220)는 사용자의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 조절할 수 있다. 또 다른 예를 들어, 프로세서(220)는 사용자의 유연성 및/또는 사용자의 연령에 기반하여 동작의 궤적 범위를 보정할 수 있다.
일 실시예에 따르면, 프로세서(220)는 부가 정보를 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 부가 정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 사용자의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 조절할 수 있다.
동작 530과 관련된 구체적인 실시예는 도 6a 및 도 6b와 관련한 설명에서 기술될 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 540에서, 목표 동작 데이터 세트를 외부 장치(300)에 송신할 수 있다.
일 실시예에 따르면, 프로세서(220)는 통신 모듈(290)을 통하여 외부 전자 장치(300)에 목표 동작 데이터 세트를 송신할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : 블루투스, wifi)를 통하여 외부 전자 장치로 목표 동작 데이터 세트를 송신하도록 통신 모듈(290)을 제어할 수 있다.
일 실시예에 따르면, 외부 전자 장치(300)는 목표 동작 데이터 세트에 기반하여 액추에이터(예 : 도 3의 액추에이터(330))를 제어할 수 있다. 예를 들어, 외부 전자 장치(300)는 목표 동작 데이터 세트에 기반하여 액추에이터(330)의 토크 강도와 방향을 조절하여 사용자가 목표 동작을 수행할 수 있도록 보조할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 550에서, 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고, 센싱 데이터에 기반하여 동작 데이터를 생성할 수 있다.
일 실시예에 따르면, 프로세서(220) 통신 모듈(290)을 통하여 외부 전자 장치(300)로부터 센싱 데이터를 획득할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : 블루투스, wifi와 같은 단거리 통신)를 통하여 외부 전자 장치(300)로부터 수신한 센싱 데이터를 획득할 수 있다.
일 실시예에 따르면, 센싱 데이터는 외부 전자 장치(300)의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 외부 전자 장치(300)를 착용한 사용자의의 신체의 상태와 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 센싱 데이터에 기반하여 신체의 동작과 관련된 동작 데이터를 생성할 수 있다. 예를 들어, 센싱 데이터에 포함되는 제 1 센서(310)가 측정한 값 및/또는 제 2 센서(320)가 측정한 값에 기반하여, 동작 데이터(예 : 시간에 따른 신체의 동작 궤도)를 생성할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 560에서, 동작 데이터와 목표 동작 데이터를 비교하여 피드백 정보를 생성할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터와 목표 동작 데이터의 차이의 절대값이 지정된 값 이상인 경우, 사용자가 잘못된 동작을 수행하고 있다고 판단할 수 있다. 또한, 프로세서(220)는 상기 판단에 대응하여 사용자가 목표 동작을 수행할 수 있도록 가이드하는 피드백 정보를 생성할 수 있다. 예를 들어, 피드백 정보는 영상 피드백, 햅틱 피드백, 음성 피드백과 같이 다양한 형태일 수 있다.
일 실시예에 따르면, 프로세서(220)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))및/또는 디스플레이를 포함하는 외부 전자 장치에 사용자를 포함한 영상을 디스플레이 할 수 있다. 예를 들어, 프로세서(220)는 카메라(예 : 도 1의 카메라 모듈(180))가 촬영한 사용자가 포함한 영상을 획득하여 디스플레이(160) 또는 외부 전자 장치에 디스플레이 할 수 있다. 또한, 프로세서(220)는 상기 영상에 오버레이하여 영상 피드백을 디스플레이할 수 있다. 예를 들어, 프로세서(220)는 영상 피드백을 사용자가 포함된 영상 상에서 피드백이 필요한 사용자의 신체 부위 위치에 도형, 텍스트와 같은 형태로 오버레이하여 디스플레이할 수 있다.
일 실시예에 따르면, 프로세서(220)는 오디오(예 : 도 1 의 오디오 모듈(170)) 및/또는 오디오 모듈을 포함하는 외부 전자 장치에 음성 피드백을 출력할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 570에서, 외부 전자 장치(300)에 제어 신호를 송신할 수 있다.
일 실시예에 따르면, 프로세서(220)는 피드백 정보에 기반하여 외부 전자 장치(300)가 햅틱 진동을 발생시키도록 제어하는 신호를 상기 통신 모듈(290)을 통하여 외부 전자 장치(300)에 송신할 수 있다. 예를 들어, 프로세서(220)는 피드백이 필요한 사용자의 신체 부위에 대응하는 외부 전자 장치(300)의 햅틱 센서가 진동하도록 외부 전자 장치(300)에 제어 신호를 송신할 수 있다.
도 5b는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 동작과 관련된 컨텐츠를 디스플레이한 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터 세트와 함께 동작과 관련된 컨텐츠를 통신 모듈(290)을 통하여 서버로부터 획득할 수 있다. 예를 들어, 동작과 관련된 컨텐츠는 동작을 수행하는 사용자를 포함하는 영상을 포함할 수 있다. 예를 들어, 동작 데이터 세트에 포함된 동작은 동작과 관련된 컨텐츠에 포함된 동작과 동일한 동작일 수 있다.
그림 (a)를 참조하면, 동작과 관련된 컨텐츠(511) 및 동작 데이터 세트의 제공 방식은 서버 상에 업로드된 파일을 다운받는 형태일 수 있다. 예를 들어, 사용자는 전자 장치(200)에서 서버(예 : 애플리케이션, 사이트)에 접속하여, 수행하고자 하는 동작과 관련된 컨텐츠(511)를 선택하여 동작과 관련된 컨텐츠(511)를 스트리밍하는 동안, 동작 데이터 세트를 다운로드 받거나, 동작과 관련된 컨텐츠(511)와 동작 데이터 세트를 함께 다운로드 받을 수 있다. 일 실시예에 따르면, 프로세서(220)는 동작과 관련된 컨텐츠(511)를 전자 장치(200)의 디스플레이(260) 상에 디스플레이 하거나, 디스플레이를 포함하는 외부 전자 장치(102)에 디스플레이되도록 외부 전자 장치(102)를 제어할 수 있다.
그림 (b)를 참조하면, 동작과 관련된 컨텐츠(512) 및 동작 데이터 세트의 제공 방식은 제 1 사용자와 서버 상에서 연결되어 실시간으로 제 1 사용자가 생성한 동작과 관련된 컨텐츠(512) 및 동작 데이터 세트를 제공받는 형태일 수 있다. 예를 들어, 제 2 사용자는 전자 장치(200)에서 서버(예 : 어플리케이션, 사이트)에 접속하여, 제 1 사용자와 연결될 수 있다. 프로세서(220)는 제 1 사용자가 실시간으로 생성한 영상을 포함하는 동작과 관련된 컨텐츠(512)를 전자 장치(200)의 디스플레이(260) 상에 디스플레이 하거나, 디스플레이를 포함하는 외부 전자 장치(102)에 디스플레이되도록 외부 전자 장치(102)를 제어할 수 있다. 또한, 프로세서(220)는 제 1 사용자가 실시간으로 생성한 동작 데이터 세트 및 제 2 사용자 정보에 기반하여 생성된 제 2 사용자에게 개인화된 목표 동작 데이터 세트를 실시간으로 외부 전자 장치(300)에 송신할 수 있다. 이와 관련된 구체적인 실시예는 아래 도 8a에 대한 설명에서 기술될 수 있다.
도 5c는, 본 발명의 다양한 실시예에 따른 프로세서(220)가 동작 데이터 세트 및 사용자 정보에 기반하여 목표 동작 데이터 세트를 생성하고, 외부 전자 장치(300)에 송신하는 동작의 예시를 도시한 도면이다.
일 실시예에 따르면, 프로세서(220)는 표준 동작 데이터(422)와 부하 레벨(423), 동작 횟수를 포함하는 동작 데이터 세트(424)를 사용자 정보(521)에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터 세트를 생성할 수 있다. 예를 들어, 사용자의 신체 부분의 길이 및/또는 사용자의 연령에 기반하여 동작의 속도(예 : 표준 동작 데이터(422)의 동작의 한 주기 길이)를 보정할 수 있다. 다른 예를 들어, 사용자의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 보정할 수 있다. 또 다른 예를 들어, 사용자의 유연성 및/또는 사용자의 연령에 기반하여 동작의 궤도(예 : 표준 동작 데이터(422)의 동작 궤적의 범위)를 보정할 수 있다.
일 실시예에 따르면, 프로세서(220)는 통신 모듈(290)을 통하여 외부 전자 장치(300)에 목표 동작 데이터 세트를 송신할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : 블루투스, wifi)를 통하여 외부 전자 장치(300)로 목표 동작 데이터 세트를 송신하도록 통신 모듈(290)을 제어할 수 있다.
도 5d는, 본 발명의 다양한 실시예에 따른 사용자가 포함된 영상 및 프로세서(220)가 생성한 피드백 정보의 예시를 도시한 도면이다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터와 목표 동작 데이터의 차이 값이 지정된 값 이상인 경우, 사용자가 잘못된 동작을 수행하고 있다고 판단할 수 있다. 또한, 프로세서(220)는 상기 판단에 대응하여 사용자가 목표 동작을 수행할 수 있도록 하는 피드백 정보를 생성할 수 있다.
도 5d의 실시예에 따르면, 프로세서(220)는 디스플레이(160) 및/또는 디스플레이를 포함하는 외부 전자 장치에 사용자를 포함한 영상(561)을 디스플레이 할 수 있다. 예를 들어, 프로세서(220)는 카메라(180)가 촬영한 사용자가 포함한 영상을 획득하여 디스플레이(160) 또는 외부 전자 장치에 디스플레이 할 수 있다. 또한, 프로세서(220)는 영상(561)에 오버레이하여 영상 피드백(562)을 디스플레이할 수 있다. 예를 들어, 프로세서(220)는 영상 피드백(562)을 영상(561) 상에서 피드백이 필요한 사용자의 신체 부위 위치(예 : 좌/우 무릎)에 도형(예 : 아래, 회전 지시 도형) 및 텍스트(예 : “무릎을 낮추세요”, “무릎을 회전하세요”와 같은 지시 문구)와 같은 형태로 오버레이하여 디스플레이할 수 있다. 또한, 프로세서(220)는 영상(561)의 일부에 피드백 가이드(564)를 표시할 수 있다. 예를 들어, 피드백 가이드(564)는 동작의 명칭, 동작 회차별 목표 동작과의 일치 정도를 표시한 도형을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 외부 전자 장치(300)가 햅틱 진동을 제공하도록 제어하는 신호를 상기 통신 모듈(290)을 통하여 외부 전자 장치에 송신할 수 있다. 예를 들어, 프로세서(220)는 피드백이 필요한 사용자의 신체 부위(예 : 좌/우 무릎)에 대응하는 외부 전자 장치(300)의 햅틱 센서가 햅틱 진동(563)하도록 외부 전자 장치(300)에 제어 신호를 송신할 수 있다.
도 6a는, 본 문서에 개시된 다양한 실시예에 따른 프로세서(예 : 도 2의 프로세서(220))가 동작 데이터 세트를 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터를 생성하는 방법을 도시한 흐름도이다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 610에서, 서버로부터 동작 데이터 세트를 획득할 수 있다.
일 실시예에 따르면, 동작 데이터 세트는 신체의 동작과 관련된 동작 데이터를 지정된 신체를 기준으로 변환하는 방식으로 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터 및/또는 사용자로부터 입력받은 동작의 난이도와 관련된 부가 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 데이터 세트를 통신 모듈(예 : 도 2의 통신 모듈(290))을 통하여 서버로부터 획득할 수 있다. 예를 들어, 프로세서(220)는 통신 모듈(290)이 무선 통신(예 : wifi, LTE)를 통하여 서버로부터 동작 데이터 세트를 서버로부터 다운받도록 통신 모듈(290)을 제어할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는, 동작 620에서, 메모리(예 : 도 2의메모리(230))로부터 사용자 정보를 획득할 수 있다.
일 실시예에 따르면, 사용자 정보는 키, 신체 부분의 길이를 포함하는 신체 정보, 연령, 건강 상태를 포함하는 건강 정보, 근력 레벨, 유연성을 포함하는 운동 정보를 포함할 수 있다.
일 실시예에 따르면, 사용자 정보는 사용자에 의하여 입력받은 정보일 수 있고, 메모리(230)에 축적된 데이터에 의하여 생성된 정보일 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 동작 630 내지 660에서, 사용자에게 개인화된 목표 동작 데이터를 생성할 수 있다.
일 실시예에 따르면, 프로세서(220)는, 동작 630에서, 사용자 정보와 표준 신체를 가지는 다른 사용자(이하, 표준 사용자) 정보와 비교하여, 정보의 차이를 계산할 수 있다.
일 실시예에 따르면, 동작 640에서 프로세서(220)가 비교하는 제 1 정보는 하지 길이 및/또는 연령일 수 있다. 예를 들어, 프로세서(220)는 사용자의 하지 길이와 표준 사용자의 하지 길이를 비교 및/또는 사용자의 연령과 표준 사용자의 연령을 비교할 수 있다. 즉, 프로세서(220)는 사용자의 하지 길이에서 표준 사용자의 하지 길이를 뺀 값 및/또는 사용자의 연령에서 표준 사용자의 연령을 뺀 값에 기반하여 단위 동작의 한 주기 길이(속도)를 보정할 수 있다.
프로세서(220)는 사용자의 하지 길이가 표준 사용자의 하지 길이보다 김에 대응하여(제 1 정보의 차이가 0보다 큰 경우, 동작 640 > 0), 동작 641에서, 단위 동작의 한 주기 길이(속도)를 확대할 수 있다. 또한, 사용자의 하지 길이가 표준 사용자의 하지 길이보다 짧음에 대응하여(제 1 정보의 차이가 0보다 작은 경우, 동작 640<0), 동작 642에서, 단위 동작의 한 주기 길이(속도)를 축소할 수 있다. 또한, 사용자의 하지 길이가 표준 사용자의 하지 길이와 같음에 대응하여(제 1 정보의 차이가 0인 경우, 동작 640 = 0), 단위 동작의 한 주기 길이(속도)를 조정하지 않을 수 있다.
예를 들어, 프로세서(220)는 사용자의 연령과 표준 사용자의 연령을 비교하여, 사용자의 연령이 표준 사용자보다 많은 경우(제 1 정보의 차이가 0보다 큰 경우, 동작 640 > 0)) 동작 641에서, 단위 동작의 한 주기 길이(속도)를 확대할 수 있다. 또한, 사용자의 연령이 표준 사용자의 연령보다 적음에 대응하여(제 1 정보의 차이가 0보다 작은 경우, 동작 640<0), 동작 642에서, 단위 동작의 한 주기 길이(속도)를 축소할 수 있다. 또한, 사용자의 연령이 표준 사용자의 연령과 같음에 대응하여(제 1 정보의 차이가 0인 경우, 동작 640 = 0), 단위 동작의 한 주기 길이(속도)를 조정하지 않을 수 있다.
일 실시예에 따르면, 동작 650에서 프로세서(220)가 비교하는 제 3 정보는 유연성 인자 및/또는 연령 차이일 수 있다. 예를 들어, 유연성 인자는 신체가 가동할 수 있는 범위를 숫자와한 값일 수 있다.
예를 들어, 프로세서(220)는 사용자의 유연성 인자와 표준 사용자의 유연성 인자를 비교 및/또는 사용자의 연령과 표준 사용자의 연령을 비교할 수 있다. 즉, 프로세서(220)는 사용자의 유연성 인자에서 표준 사용자의 유연성 인자를 뺀 값 및/또는 사용자의 연령에서 표준 사용자의 연령을 뺀 값에 기반하여 단위 동작 궤적의 범위를 보정할 수 있다.
예를 들어, 프로세서(220)는 사용자의 유연성 인자가 표준 사용자의 유연성 인자보다 큼에 대응하여(제 3 정보의 차이가 0보다 큰 경우, 동작 650 > 0), 동작 651에서, 동작의 궤적 범위를 확대할 수 있다. 또한, 사용자의 유연성 인자가 표준 사용자의 유연성 인자보다 작음(제 3 정보의 차이가 0보다 작은 경우, 동작 650<0)에 대응하여 동작 652에서, 동작의 궤적 범위를 축소할 수 있다. 또한, 사용자의 유연성 인자가 표준 사용자의 유연성 인자와 같은 경우(제 3 정보의 차이가 0인 경우, 동작 650 = 0), 동작의 궤적 범위를 조정하지 않을 수 있다.
예를 들어, 프로세서(220)는 사용자의 연령과 표준 사용자의 연령을 비교하여, 사용자의 연령이 표준 사용자보다 많음에 대응하여(제 3 정보의 차이가 0보다 큰 경우, 동작 650 > 0), 동작 651에서, 단위 동작의 궤적 범위를 확대할 수 있다. 또한, 사용자의 연령이 표준 사용자의 연령보다 적음에 대응하여(제 3 정보의 차이가 0보다 작은 경우, 동작 650<0), 동작 652에서, 단위 동작의 궤궤적 범위를 축소할 수 있다. 또한, 사용자의 연령이 표준 사용자의 연령과 같은 경우(제 3 정보의 차이가 0인 경우, 동작 650 = 0), 단위 동작의 궤적 범위를 조정하지 않을 수 있다.
일 실시예에 따르면, 프로세서(220)는, 동작 660에서, 제 2 정보에 기반하여 부하 레벨 및/또는 동작 횟수를 포함하는 부가 정보를 보정할 수 있다. 예를 들어, 제 2 정보는 사용자의 근력 레벨 및/또는 건강 상태일 수 있다. 예를 들어, 프로세서(220)는 사용자의 근력 레벨과 표준 사용자의 근력 레벨을 비교하고, 및/또는 사용자의 건강 상태와 표준 사용자의 건강 상태를 비교할 수 있다. 일 실시예에 따르면, 근력 레벨은 사용자가 동작을 수행함에 있어서 견딜 수 있는 최대치의 부하를 기준으로 숫자화한 값일 수 있다. 일 실시예에 따르면, 건강 상태는 사용자가 동작을 수행함에 있어서 최대로 수행할 수 있는 횟수를 기준으로 숫자화한 값일 수 있다.
예를 들어, 프로세서(220)는 사용자의 근력 레벨과 표준 사용자의 근력 레벨을 비교하여, 사용자의 근력 레벨이 표준 사용자의 근력 레벨보다 높음에 대응하여(제 2 정보의 차이가 0보다 큰 경우), 부하 레벨 및/또는 동작 횟수를 높일 수 있다. 또한, 사용자의 근력 레벨이 표준 사용자의 근력 레벨보다 낮음에 대응하여(제 2 정보의 차이가 0보다 작은 경우), 부하 레벨 및/또는 동작 횟수를 낮출 수 있다. 또한, 사용자의 근력 레벨이 표준 사용자의 근력 레벨과 같은 경우(제 2 정보의 차이가 0인 경우), 부하 레벨 및/또는 동작 횟수를 조정하지 않을 수 있다.
예를 들어, 프로세서(220)는 사용자의 건강 상태 인자와 표준 사용자의 건강 상태 인자를 비교하여, 사용자의 건강 상태 인자가 표준 사용자의 건강 상태 인자보다 높음에 대응하여(제 2 정보의 차이가 0보다 큰 경우), 부하 레벨 및/또는 동작 횟수를 높일 수 있다. 또한, 사용자의 건강 상태 인자가 표준 사용자의 건강 상태 인자보다 낮음에 대응하여(제 2 정보의 차이가 0보다 작은 경우), 부하 레벨 및/또는 동작 횟수를 낮출 수 있다. 또한, 사용자의 건강 상태 인자가 표준 사용자의 건강 상태 인자와 같은 경우(제 2 정보의 차이가 0인 경우), 부하 레벨 및/또는 동작 횟수를 조정하지 않을 수 있다.
일 실시예에 따르면, 프로세서(220)는, 동작 670에서 신체의 동작과 관련된 동작 데이터를 사용자에게 개인화한 목표 운동 데이터 및 동작의 난이도 부가 정보(예 : 동작에 대한 부하 레벨 및/또는 동작의 반복 횟수)를 사용자에게 개인화한 목표 부가 데이터를 포함하는 목표 동작 데이터 세트를 생성할 수 있다.
도 6b는, 본 문서에 개시된 다양한 실시예에 따른 프로세서(220)가 도 6a에기재된 흐름도와 같이 동작 데이터 세트를 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터를 생성하는 예시를 도시한 흐름도이다.
그림 (a)를 참조하면, 프로세서(220)는 제 1 정보(예 : 하지 길이 및/또는 연령)의 차이가 양(+)의 값인 경우, 동작의 한 주기 길이(속도)를 확대하여 단위 동작을 수행하는 속도를 느리게 하도록 동작 데이터를 보정할 수 있다. 또한, 프로세서(220)는 제 1 정보(예 : 하지 길이 및/또는 연령)의 차이가 음(-)의 값인 경우, 동작의 한 주기 길이(속도)를 축소하여 단위 동작을 수행하는 속도를 빠르게 하도록 동작 데이터를 보정할 수 있다.
그림 (b)를 참조하면, 프로세서(220)는 제 2 정보(예 : 근력 레벨 및/또는 건강 상태)의 차이가 양(+)의 값인 경우, 부하 레벨을 높이도록 부가 정보를 보정할 수 있다. 또한, 프로세서(220)는 제 2 정보(예 : 근력 레벨 및/또는 건강 상태)의 차이가 음(-)의 값인 경우, 부하 레벨을 낮추도록 부가 정보를 보정할 수 있다.
그림 (c) 를 참조하면, 프로세서(220)는 제 3 정보(예 : 유연성 인자 및/또는 연령)의 차이가 양(+)의 값인 경우, 동작의 궤적 범위를 확대하여 동작궤적의 범위가 확대되도록 동작 데이터를 보정할 수 있다. 또한, 프로세서(220)는 제 3 정보(예 : 유연성 인자 및/또는 연령)의 차이가 음(-)의 값인 경우, 동작의 궤적 범위를 축소하여 동작의 궤적 범위가 축소되도록 동작 데이터를 보정할 수 있다.
도 7a는, 본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템의 구성의 예시를 도시한 도면이다.
다양할 실시예에 따르면, 동작 보조 시스템은 제 1 사용자(1001)가 착용하는 제 1 외부 전자 장치(301), 제 2 사용자(1002)가 착용하는 제 2 외부 전자 장치(302), 제 1 사용자(1001)가 사용하는 제 1 전자 장치(201), 제 2 사용자(1002)가 사용하는 제 2 전자 장치(202) 중 어느 하나를 포함할 수 있다.
도 7b는 일 실시예에 따른, 동작 보조 시스템이 사용자의 동작을 보조하는 동작의 흐름도를 도시한 도면이다.
다양한 실시예에 따르면, 동작 보조 시스템은 제 1 전자 장치(201), 제 2 전자 장치(202), 제 1 외부 전자 장치(301), 제 2 외부 전자 장치(302), 서버(예 : 도 7c의 서버(108)) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 제 1 외부 전자 장치(301)는, 동작 710에서, 제 1 센싱 데이터를 제 1 전자 장치(201)로 송신할 수 있다.
일 실시예에 따르면, 제 1 센싱 데이터는 제 1 외부 전자 장치(301)의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 제 1 외부 전자 장치(301)를 착용한 제 1 사용자(1001)의의 신체의 동작과 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는, 동작 720에서, 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는, 제 1 동작 데이터를 지정된 신체에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터 및/또는 제 1 사용자(1001)로부터 입력 받은 동작의 난이도와 관련된 부가 정보를 포함하는 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 제 1 센싱 데이터에 기반하여 신체의 동작과 관련된 제 1 동작 데이터를 생성할 수 있다. 예를 들어, 제 1 센싱 데이터에 포함되는 제 1 센서(310)가 측정한 값 및/또는 제 2 센서(320)가 측정한 값에 기반하여, 제 1 동작 데이터(예 : 시간에 따른 신체의 동작 궤도)를 생성할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 복수회의 동작과 관련된 동작 데이터를 분석하여, 한 주기(한 회)를 구성하는 동작을 구분할 수 있다. 제 1 전자 장치(201)는 제 1 동작 데이터를 동작의 한 주기로 나누고, 한 주기에서의 값들의 평균을 계산하여 평균 동작 데이터를 생성할 수 있다. 평균 동작 데이터는 한 주기의 동작과 관련된 값(예 : 동작의 궤적 범위 및/또는 동작 수행 속도)을 포함할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 사용자의 신체 정보(예 : 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 저장할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 평균 동작 데이터를 지정된 신체 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 생성할 수 있다. 예를 들어, 표준 신체 정보는 지정된 신체의 다양한 정보(예 : 남녀 표준 신체(예 : ISO 7250)에 기반한 표준 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 포함하는 정보일 수 있다. 표준 신체 정보는, 제 1 전자 장치(201)가 저장하고 있는 신체 정보로써, 제 1 전자 장치(201)는 사용자의 신체 정보 및 표준 신체 정보의 비교 결과에 기반하여 표준 동작 데이터로 변환할 수 있다. 예를 들어, 제 1 전자 장치(201)는 표준 신체 정보와 제 1 사용자(1001)의 신체 정보를 비교하여 신체 정보의 차이에 대응하여 평균 동작 데이터를 보정하는 방식으로, 평균 동작 데이터를 정규화 하여 표준 동작 데이터(예 : 동작 궤적의 범위 및/또는 동작 수행 속도)를 생성할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 제 1 사용자(1001)로부터 동작의 난이도와 관련된 부가 정보를 입력받을 수 있다. 예를 들어, 부가 정보는 동작에 대한 부하 레벨 및/또는 동작의 반복 횟수를 포함할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))에 사용자 입력을 위한 화면을 표시하고, 상기 화면을 통하여 부가 정보를 입력받을 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 동작 데이터 세트를 통신 모듈(290)을 통하여 서버로 송신할 수 있다. 예를 들어, 제 1 전자 장치(201)는 통신 모듈(290)이 무선 통신(예 : wifi, LTE와 같은 인터넷 통신)를 통하여 동작 데이터 세트를 서버로 송신하도록 통신 모듈(290)을 제어할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는, 동작과 관련된 컨텐츠를 획득하고, 동작과 관련된 컨텐츠를 동작 데이터 세트와 함께 통신 모듈(290)을 통하여 서버로 송신할 수 있다. 예를 들어, 동작과 관련된 컨텐츠는 동작을 수행하는 제 1 사용자(1001)를 포함하는 영상을 포함할 수 있다. 예를 들어, 동작 데이터 세트에 포함된 동작은 동작과 관련된 컨텐츠에 포함된 동작과 동일한 동작일 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 카메라(예 : 도 1의 카메라 모듈(180))를 통하여 동작과 관련된 컨텐츠를 획득할 수 있다. 예를 들어, 제 1 전자 장치(201)는 카메라(180)가 동작을 수행하는 제 1 사용자(1001)를 촬영한 영상을 획득할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 서버로부터 동작과 관련된 컨텐츠를 획득할 수 있다. 예를 들어, 제 1 전자 장치(201)는 동작을 수행하는 제 1 사용자(1001)를 포함하는 영상을 서버에서 다운로드 받을 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 730에서, 동작 데이터 세트를 획득하고, 목표 동작 데이터를 생성할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 동작 데이터 세트를 통신 모듈(예 : 도 2의 통신 모듈(290))을 통하여 서버로부터 획득할 수 있다. 예를 들어, 제 2 전자 장치(202)는 통신 모듈(290)이 무선 통신(예 : wifi, LTE)를 통하여 서버로부터 동작 데이터 세트를 다운받도록 통신 모듈(290)을 제어할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 동작 데이터 세트와 함께 동작과 관련된 컨텐츠를 통신 모듈(290)을 통하여 서버로부터 획득할 수 있다. 예를 들어, 동작과 관련된 컨텐츠는 동작을 수행하는 제 1 사용자(1001)를 포함하는 영상일 수 있다. 예를 들어, 동작 데이터 세트에 포함된 동작은 동작과 관련된 컨텐츠에 포함된 동작과 동일한 동작일 수 있다.
일 실시예에 따르면, 동작과 관련된 컨텐츠 및 동작 데이터 세트는 서버 상에 업로드된 파일을 다운받는 형태일 수 있다. 예를 들어, 제 2 사용자(1002)는 제 2 전자 장치(202)에서 서버(예 : 애플리케이션, 사이트)에 접속하여, 수행하고자 하는 동작과 관련된 컨텐츠를 선택하여 동작과 관련된 컨텐츠를 스트리밍하는 동안 동작 데이터 세트를 다운로드 받거나, 동작과 관련된 컨텐츠와 동작 데이터 세트를 함께 다운로드 받을 수 있다.
일 실시예에 따르면, 동작과 관련된 컨텐츠 및 동작 데이터 세트는 제 1 사용자(1001)와 서버 상에서 연결되어 실시간으로 제 1 사용자(1001)가 생성한 동작과 관련된 컨텐츠 및 동작 데이터 세트를 제공받는 형태일 수 있다. 예를 들어, 제 2 사용자(1002)는 제 2 전자 장치(202)에서 서버(예 : 어플리케이션, 사이트)에 접속하여, 제 1 사용자(1001)와 연결될 수 있고, 제 1 사용자(1001)를 포함하는 영상 및 제 1 사용자(1001)가 제 1 외부 전자 장치(301)를 이용하여 생성한 동작 데이터 세트를 제공받을 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 메모리(예 : 도 2의메모리(230))로부터 제 2 사용자 정보를 획득할 수 있다.
일 실시예에 따르면, 제 2 사용자 정보는 키, 신체 부분의 길이를 포함하는 신체 정보, 연령, 건강 상태를 포함하는 건강 정보, 근력 레벨, 유연성을 포함하는 운동 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 제 2 사용자 정보는 제 2 사용자(1002)에 의하여 입력받은 정보일 수 있고, 메모리(230)에 축적된 데이터에 의하여 생성된 정보일 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 제 2 사용자(1002)에게 개인화된 목표 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 목표 동작 데이터 세트는 제 2 사용자 정보에 기반하여 변환하는 방식으로, 제 2 사용자에게 개인화된 목표 동작 데이터 및/또는 제 2 사용자에게 개인화된 목표 부가 정보를 포함할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 동작 데이터를 제 2 사용자 정보에 기반하여 변환하는 방식으로, 제 2 사용자(1002)에게 개인화된 목표 동작 데이터를 생성할 수 있다. 예를 들어, 제 2 사용자(1002)의 신체 부분의 길이 및/또는 사용자의 연령에 기반하여 동작의 속도를 조절할 수 있다. 다른 예를 들어, 제 2 사용자(1002)의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 조절할 수 있다. 또 다른 예를 들어, 제 2 사용자(1002)의 유연성 및/또는 사용자의 연령에 기반하여 동작 궤도의 범위를 보정할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 부가 정보를 제 2 사용자 정보에 기반하여 변환하는 방식으로, 제 2 사용자(1002)에게 개인화된 목표 부가 정보를 생성할 수 있다. 예를 들어, 제 2 사용자(1002)의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 조절할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 740에서, 목표 동작 데이터 세트를 제 2 외부 전자 장치(302)로 송신할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 통신 모듈(290)을 통하여 제 2 외부 전자 장치(302)에 목표 동작 데이터 세트를 송신할 수 있다. 예를 들어, 제 2 전자 장치(202)는 통신 모듈(290)이 무선 통신(예 : 블루투스, wifi)를 통하여 제 2 외부 전자 장치(302)로 목표 동작 데이터 세트를 송신하도록 통신 모듈(290)을 제어할 수 있다.
일 실시예에 따르면, 제 2 외부 전자 장치(302)는 목표 동작 데이터 세트에 기반하여 액추에이터(예 : 도 3의 액추에이터(330))를 제어할 수 있다. 예를 들어, 제 2 외부 전자 장치(302)는 목표 동작 데이터 세트에 기반하여 액추에이터(330)의 토크 강도와 방향을 조절하여 제 2 사용자(1002)가 목표 동작을 수행할 수 있도록 보조할 수 있다.
다양한 실시예에 따르면, 제 2 외부 전자 장치(302)는, 동작 750에서, 제 2 센싱 데이터를 제 2 전자 장치(202)로 송신할 수 있다.
일 실시예에 따르면, 센싱 데이터는 제 2 외부 전자 장치(302)의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 제 2 외부 전자 장치(302)를 착용한 제 2 사용자(1002)의의 신체의 동작과 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 통신 모듈(290)을 통하여 제 2 외부 전자 장치(302)로부터 제 2 센싱 데이터를 획득할 수 있다. 예를 들어, 제 2 전자 장치(202)는 통신 모듈(290)이 무선 통신(예 : 블루투스, wifi와 같은 단거리 통신)를 통하여 제 2 외부 전자 장치(302)로부터 수신한 제 2 센싱 데이터를 획득할 수 있다.
일 실시예에 따르면, 프로세서(220)는 제 2 센싱 데이터에 기반하여 신체의 동작과 관련된 제 2 동작 데이터를 생성할 수 있다. 예를 들어, 제 2 센싱 데이터에 포함되는 제 1 센서(310)가 측정한 값 및/또는 제 2 센서(320)가 측정한 값에 기반하여, 제 2 동작 데이터(예 : 시간에 따른 동작 궤도)를 생성할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 760에서, 제 2 동작 데이터와 목표 동작 데이터를 비교하여 피드백을 생성할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 제 2 동작 데이터와 목표 동작 데이터의 차이의 절대값이 지정된 값 이상인 경우, 제 2 사용자가 잘못된 동작을 수행하고 있다고 판단할 수 있다. 또한, 제 2 전자 장치(202)는 상기 판단에 대응하여 제 2 사용자가 목표 동작을 수행할 수 있도록 가이드하는 피드백 정보를 생성할 수 있다. 예를 들어, 피드백 정보는 영상 피드백, 햅틱 피드백, 음성 피드백과 같이 다양한 형태일 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))및/또는 디스플레이를 포함하는 외부 전자 장치에 제 2 사용자를 포함한 영상을 디스플레이 할 수 있다. 예를 들어, 제 2 전자 장치(202)는 카메라(예 : 도 1의 카메라 모듈(180))가 촬영한 제 2 사용자가 포함한 영상을 획득하여 디스플레이(160) 또는 외부 전자 장치에 디스플레이 할 수 있다. 또한, 제 2 전자 장치(202)는 상기 영상에 오버레이하여 영상 피드백을 디스플레이할 수 있다. 예를 들어, 제 2 전자 장치(202)는 영상 피드백을 제 2 사용자(1002)가 포함된 영상 상에서 피드백이 필요한 제 2 사용자(1002)의 신체 부위 위치에 도형, 텍스트와 같은 형태로 오버레이하여 디스플레이할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 오디오(예 : 도 1 의 오디오 모듈(170)) 및/또는 오디오 모듈을 포함하는 외부 전자 장치에 음성 피드백을 출력할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 770에서, 제 2 외부 전자 장치(302)에 피드백에 따른 제어 신호를 제 2 외부 전자 장치(302)로 송신할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 피드백 정보에 기반하여 제 2 외부 전자 장치(302)가 햅틱 진동을 발생시키도록 제어하는 신호를 상기 통신 모듈(290)을 통하여 제 2 외부 전자 장치(302)에 송신할 수 있다. 예를 들어, 제 2 전자 장치(202)는 피드백이 필요한 제 2 사용자(1002)의 신체 부위에 대응하는 제 2 외부 전자 장치(302)의 햅틱 센서가 진동하도록 제 2 외부 전자 장치(302)에 제어 신호를 송신할 수 있다.
도 7c는, 본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템의 구성 간의 연결 예시를 도시한 도면이다.
다양할 실시예에 따르면, 동작 보조 시스템은 제 1 외부 전자 장치(301), 제 2 외부 전자 장치(302), 제 1 전자 장치(201), 제 2 전자 장치(202), 서버(108), 외부 디스플레이 장치(102)중 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 제 1 외부 전자 장치(301) 및 제 1 전자 장치(201)는 단거리 무선 통신(예 : 블루투스, wifi)을 통하여 상호 정보를 송수신할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 서버(108)와 무선 통신(예 : LTE, Wifi와 같은 인터넷 통신)을 통하여 상호 정보를 송수신할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 서버(108)와 무선 통신(예 : LTE, Wifi와 같은 인터넷 통신)을 통하여 상호 정보를 송수신할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 및 디스플레이 장치(102)는 단거리 무선 통신(예 : 블루투스, wifi) 및/또는 유선 통신을 통하여 상호 정보를 송수신할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202) 및 제 2 외부 전자 장치(302)는 (예 : 블루투스, wifi)을 통하여 상호 정보를 송수신할 수 있다.
도 8a는, 본 문서의 개시된 다양한 실시예에 따른 동작 보조 시스템에서 실시간으로 제 1 사용자와 제 2 사용자가 동작 보조 동작을 수행하는 예시를 도시한 도면이다.
일 실시예에 따르면, 제 1 전자 장치(예 : 도 7b의 전자 장치(201))는 서버(108)를 통해 제 2 전자 장치(예 : 도 7b의 전자 장치(202))와 연결될 수 있다. 또한, 제 1 사용자(1001)는 제 1 외부 전자 장치(301)를 착용하여 동작을 수행할 수 있다. 또한, 제 1 외부 전자 장치(301) 및 제 1 전자 장치(201)는 단거리 무선 통신(예 : 블루투스, wifi)을 통하여 상호 정보를 송수신할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 서버(108)를 통해 제 1 전자 장치(201)와 연결될 수 있다. 또한, 제 2 전자 장치(202) 및 제 2 외부 전자 장치(302)는 (예 : 블루투스, wifi)을 통하여 상호 정보를 송수신할 수 있다. 또한, 제 2 사용자(1002)는 제 2 외부 전자 장치(302)를 착용하여 동작을 수행할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201) 및/또는 제 2 전자 장치(202)는 제 1 사용자 화면(예 : 동작과 관련된 컨텐츠(512)) 및/또는 제 2 사용자 화면(예 : 제 2 사용자가 포함된 영상(561))을 디스플레이할 수 있다.
도 8b, 도 8c 및 도 8d는 본 문서에 개시된 다양한 실시예에 따른 동작 보조 시스템에서 제 1 외부 전자 장치(예 : 도 7a의 제 1 외부 전자 장치(301)), 제 2 외부 전자 장치(예 : 도 7a의 제 2 외부 전자 장치(302)), 제 1 전자 장치(예 : 도 7a의 제 1 전자 장치(201)), 제 2 전자 장치(예 : 도 7a의 제 2 전자 장치(202))가 각각 상호 작용하여 실시간으로 사용자의 동작을 보조하는 방법의 흐름도를 도시한 도면이다.
다양한 실시예에 따르면, 동작 801 내지 동작 814는 제 1 전자 장치(201) 및 제 1 외부 전자 장치(301)에서 수행되는 동작일 수 있고, 동작 851 내지 동작 867은 제 2 전자 장치(202) 및 제 2 외부 전자 장치(302)에서 수행되는 동작일 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는 동작 801에서, 제 2 전자 장치(202)와의 원격 연결을 확인할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)와 제 2 전자 장치(202)는, 서버(예:도 7c의 서버(108))를 통하여 상호 정보를 송수신할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는 동작 802에서, 제 1 동작 데이터를 생성을 시작할 수 있다. 일 실시예에 따르면, 제 1 동작 데이터는 제 1 사용자(1001)의 신체의 동작과 관련된 데이터로, 시간에 따른 신체의 동작 궤도를 포함할 수 있다.
다양한 실시예에 따르면, 제 1 외부 전자 장치(301)는 동작 803에서, 제 1 사용자(1001)의 동작을 센싱한 제 1 센싱 데이터를 제 1 전자 장치(201)로 전송할 수 있다.
일 실시예에 따르면, 제 1 센싱 데이터는 제 1 외부 전자 장치(301)의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 제 1 외부 전자 장치(301)를 착용한 제 1 사용자(1001)의의 신체의 동작과 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는 동작 804에서, 제 1 동작 데이터의 생성을 종료하였는지 판단하고, 종료할 때까지 동작 803을 반복하여 수행할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는 동작 805에서, 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는, 제 1 동작 데이터를 지정된 신체에 기반하여 변환하는 방식으로 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터 및/또는 제 1 사용자(1001)로부터 입력 받은 동작의 난이도와 관련된 부가 정보를 포함하는 동작 데이터 세트를 생성할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 제 1 센싱 데이터에 기반하여 신체의 동작과 관련된 제 1 동작 데이터를 생성할 수 있다. 예를 들어, 제 1 센싱 데이터에 포함되는 제 1 센서(310)가 측정한 값 및/또는 제 2 센서(320)가 측정한 값에 기반하여, 제 1 동작 데이터(예 : 시간에 따른 신체의 동작 궤도)를 생성할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 복수회의 동작과 관련된 동작 데이터를 분석하여, 한 주기(한 회)를 구성하는 동작을 구분할 수 있다. 제 1 전자 장치(201)는 동작 데이터를 동작의 한 주기로 나누고, 한 주기에서의 값들의 평균을 계산하여 평균 동작 데이터를 생성할 수 있다. 평균 동작 데이터는 한 주기의 동작과 관련된 값(예 : 동작 궤적의 범위 및/또는 동작 수행 속도)을 포함할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 사용자의 신체 정보(예 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 저장할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 평균 동작 데이터를 지정된 신체 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 생성할 수 있다. 예를 들어, 표준 신체 정보는 지정된 신체의 다양한 정보(예 : 남녀 표준 신체(예 : ISO 7250)에 기반한 표준 신체의 키, 신체 부위의 길이, 유연성 인자, 건강 상태 인자, 근력 레벨, 연령)를 포함하는 정보일 수 있다. 표준 신체 정보는, 제 1 전자 장치(201)가 저장하고 있는 신체 정보로써, 제 1 전자 장치(201)는 사용자의 신체 정보 및 표준 신체 정보의 비교 결과에 기반하여 표준 동작 데이터로 변환할 수 있다. 예를 들어, 제 1 전자 장치(201)는 표준 신체 정보와 사용자의 신체 정보를 비교하여 신체 정보의 차이에 대응하여 평균 동작 데이터를 보정하는 방식으로, 평균 동작 데이터를 정규화 하여 표준 동작 데이터(예 : 동작 궤적의 범위 및/또는 동작 수행 속도)를 생성할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 제 1 사용자(1001)로부터 동작의 난이도와 관련된 부가 정보를 입력받을 수 있다. 예를 들어, 부가 정보는 동작에 대한 부하 레벨 및/또는 동작의 반복 횟수를 포함할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))에 사용자 입력을 위한 화면을 표시하고, 상기 화면을 통하여 부가 정보를 입력받을 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치는 동작 806에서, 동작 데이터 세트를 서버로 전송할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 동작 데이터 세트를 통신 모듈(290)을 통하여 서버로 송신할 수 있다. 예를 들어, 제 1 전자 장치(201)는 통신 모듈(290)이 무선 통신(예 : wifi, LTE와 같은 인터넷 통신)를 통하여 동작 데이터 세트를 서버(108)로 송신하도록 통신 모듈(290)을 제어할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는 동작 807에서, 사용자 동작 오류 정보를 수신하였는지 판단할 수 있다. 일 실시예에 따르면, 사용자 동작 오류 정보는, 제 2 전자 장치(202)의 동작 860에서, 제 2 전자 장치(202)가 제 2 사용자(1002)의 동작에 오류가 있음을 판단함에 대응하여 생성한 오류와 관련된 정보를 포함할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(201)는 제 2 전자 장치(202)가 서버에 송신한 사용자 동작 오류 정보를 서버로부터 수신할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는 사용자 동작 오류 정보를 수신함에 대응하여, 동작 808에서, 사용자 영상에 동작을 교정하기 위한 피드백을 표시할 수 있다.
일 실시예에 따르면, 제 1 전자 장치(201)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))및/또는 디스플레이를 포함하는 외부 전자 장치에 제 2 사용자를 포함한 영상(561)을 디스플레이 할 수 있다. 예를 들어, 제 1 전자 장치(201)는 제 2 전자 장치(202)의 카메라(예 : 도 1의 카메라 모듈(180))가 촬영한 제 2 사용자(1002)를 포함한 영상(561)을 획득하여 디스플레이(160) 또는 외부 전자 장치에 디스플레이 할 수 있다. 또한, 제 1 전자 장치(201)는 영상(561)에 오버레이하여 영상 피드백을 디스플레이할 수 있다. 예를 들어, 제 1 전자 장치(201)는 영상 피드백을 제 2 사용자(1002)가 포함된 영상(561) 상에서 피드백이 필요한 제 2 사용자(1002)의 신체 부위 위치에 도형, 텍스트와 같은 형태로 오버레이하여 디스플레이할 수 있다.
다양한 실시예에 따르면, 제 1 외부 전자 장치(301)는, 동작 809에서, 제 2 사용자(1002)의 동작 오류 부위에 햅틱 피드백을 구동할 수 있다.
일 실시예에 따르면, 제 1 외부 전자 장치(301)는 제 1 전자 장치(201)로부터 햅틱 진동을 발생시키도록 제어하는 신호를 수신할 수 있다. 예를 들어, 제 1 외부 전자 장치(301)는 제 1 전자 장치(201)로부터 제 2 사용자(1002)의 동작 오류가 발생한 신체 부위에 대응하는 햅틱 센서가 진동하도록 하는 제어 신호를 수신할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는, 동작 810에서, 제 2 사용자(1002)의 동작 오류가 누적됨에 대응하여 제 2 사용자(1002)의 상태를 분석할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치는, 동작 811에서, 제 2 사용자(1002)의 상태를 표시할 수 있다. 일 실시예에 따르면 제 2 사용자(1002)의 상태는 제 2 사용자(1002)의 동작 오류 횟수, 동작 오류 비율을 포함하는 동작 오류 정보를 포함할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는, 동작 812에서, 제 1 사용자(1001)로부터 동작 데이터 세트 변경 입력이 있는지 여부를 판단할 수 있다. 일 실시예에 따르면, 제 1 사용자(1001)는 제 1 전자 장치(201)에서 부하 레벨 및/또는 동작 횟수를 포함하는 부가 정보를 변경할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는, 동작 변경 입력이 있음에 대응하여(동작 812 - 예), 동작 813에서, 동작 데이터 세트를 변경하고, 서버에 변경된 동작 데이터 세트를 전송할 수 있다.
다양한 실시예에 따르면, 제 1 전자 장치(201)는, 동작 변경 입력이 없음에 대응하여(동작 812 - 아니오), 동작 종료 여부를 판단할 수 있다. 다양한 실시예에 따르면, 제 1 전자 장치(201)는, 동작 814에서, 동작을 종료하였음을 판단할 때까지 동작 807 내지 동작 813을 반복하여 수행할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 851에서, 제 1 전자 장치(201)와의 원격 연결을 확인할 수 있다. 일 실시예에 따르면, 제 2 전자 장치(202)와 제 1 전자 장치(201)는, 서버를 통하여 상호 정보를 송수신할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 852에서, 동작 데이터 세트를 획득하였는지 여부를 판단할 수 있다. 일 실시예에 따르면, 제 2 전자 장치(202)는, 서버로부터 동작 데이터 세트를 획득할 수 있다. 일 실시예에 따르면, 동작 데이터 세트는, 제 1 전자 장치(201)가 동작 806에서 서버로 송신한 것일 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 데이터 세트를 획득할 때까지 동작 852를 반복하여 수행할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 데이터 세트를 획득함에 대응하여(동작 852 - 예), 동작 853에서, 목표 동작 데이터를 생성할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 메모리(예 : 도 2의메모리(230))로부터 제 2 사용자 정보를 획득할 수 있다. 일 실시예에 따르면, 제 2 사용자 정보는 제 2 사용자(1002)의 키, 신체 부분의 길이를 포함하는 신체 정보, 연령, 건강 상태를 포함하는 건강 정보, 근력 레벨, 유연성을 포함하는 운동 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 사용자 정보는 제 2 사용자(1002)에 의하여 입력받은 정보일 수 있고, 메모리(230)에 축적된 데이터에 의하여 생성된 정보일 수 있다. 다양한 실시예에 따르면, 제 2 전자 장치(202)는, 제 2 사용자(1002)에게 개인화된 목표 동작 데이터 세트를 생성할 수 있다. 일 실시예에 따르면, 목표 동작 데이터 세트는 제 2 사용자 정보에 기반하여 변환하는 방식으로 제 2 사용자에게 개인화된 목표 동작 데이터 및/또는 목표 부가 정보를 포함할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 동작 데이터 세트를 제 2 사용자 정보에 기반하여 변환하는 방식으로, 제 2 사용자(1002)에게 개인화된 목표 동작 데이터를 생성할 수 있다. 예를 들어, 제 2 사용자(1002)의 신체 부분의 길이 및/또는 사용자의 연령에 기반하여 동작의 속도를 조절할 수 있다. 다른 예를 들어, 제 2 사용자(1002)의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 조절할 수 있다. 또 다른 예를 들어, 제 2 사용자(1002)의 유연성 및/또는 사용자의 연령에 기반하여 동작 궤도의 범위를 보정할 수 있다. 일 실시예에 따르면, 제 2 전자 장치(202)는 부가 정보를 제 2 사용자 정보에 기반하여 변환하는 방식으로, 제 2 사용자(1002)에게 개인화된 목표 부가 정보를 생성할 수 있다. 예를 들어, 제 2 사용자(1002)의 근력 레벨 및/또는 건강 상태에 기반하여 부하 레벨을 조절할 수 있다.
다양한 실시예에 따르면, 제 2 외부 전자 장치(302)는, 동작 854에서, 목표 동작 데이터 세트에 따라 액추에이터(예 : 도 3의 액추에이터(330)를 구동할 수 있다.
일 실시예에 따르면, 제 2 외부 전자 장치(302)는 제 2 전자 장치(202)로부터에 목표 동작 데이터 세트를 수신할 수 있다. 일 실시예에 따르면, 제 2 외부 전자 장치(302)는 목표 동작 데이터 세트에 기반하여 액추에이터(예 : 도 3의 액추에이터(330))를 제어할 수 있다. 예를 들어, 제 2 외부 전자 장치(302)는 목표 동작 데이터 세트에 기반하여 액추에이터(330)의 토크 강도와 방향을 조절하여 제 2 사용자(1002)가 목표 동작을 수행하도록 보조할 수 있다.
다양한 실시예에 따르면, 제 2 외부 전자 장치(302)는, 동작 855에서, 제 2 사용자(1002)의 동작을 측정하고, 측정한 제 2 센싱 데이터를 제 2 전자 장치(202)로 전송할 수 있다.
일 실시예에 따르면, 제 2 외부 전자 장치(302)는 통신 모듈을 통하여 제 2 전자 장치(202)에 제 2 센싱 데이터를 송신할 수 있다. 일 실시예에 따르면, 제 2 센싱 데이터는 제 2 외부 전자 장치(302)의 다양한 센서(예 : 도 3의 제 1 센서(310) 및/또는 제 2 센서(320))가 측정한 제 2 외부 전자 장치(302)를 착용한 제 2 사용자(1002)의의 신체의 동작과 관련된 값(예 : 신체의 기울어진 각도 및/또는 움직인 각도)을 포함할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 856에서, 제 2 외부 전자 장치(302)가 센싱한 동작과 목표 동작이 일치하는지 여부를 판단할 수 있다.
일 실시예에 따르면, 프로세서(220)는 제 2 센싱 데이터에 기반하여 신체의 동작과 관련된 제 2 동작 데이터를 생성할 수 있다. 예를 들어, 제 2 센싱 데이터에 포함되는 제 2 센서(310)가 측정한 값 및/또는 제 2 센서(320)가 측정한 값에 기반하여, 제 2 동작 데이터(예 : 시간에 따른 동작 궤도)를 생성할 수 있다. 일 실시예에 따르면, 제 2 전자 장치(202)는 제 2 동작 데이터와 목표 동작 데이터의 차이의 절대값이 지정된 값 이상인 경우, 제 2 사용자가 잘못된 동작을 수행하고 있다고 판단할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는 동작이 일치하지 않음에 대응하여(동작 856 - 아니오), 동작 857에서, 동작 오류를 분석할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 동작 오류를 분석하여 피드백 정보를 생성할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 858에서, 제 2 사용자가 포함된 영상(561)에 동작 피드백을 표시할 수 있다.
일 실시예에 따르면, 제 2 전자 장치(202)는 디스플레이(예 : 도 1의 디스플레이 모듈(160))및/또는 디스플레이를 포함하는 외부 전자 장치에 제 2 사용자가 포함된 영상(561)을 디스플레이 할 수 있다. 예를 들어, 제 2 전자 장치(202)는 제 2 전자 장치(202)의 카메라(예 : 도 1의 카메라 모듈(180))가 촬영한 제 2 사용자(1002)가 포함된 영상(561)을 획득하여 디스플레이(160) 또는 외부 전자 장치에 디스플레이 할 수 있다. 또한, 제 2 전자 장치(202)는 제 2 사용자가 포함된 영상(561)에 오버레이하여 영상 피드백을 디스플레이할 수 있다. 예를 들어, 제 2 전자 장치(202)는 영상 피드백을 제 2 사용자(1002)가 포함된 영상(561) 상에서 피드백이 필요한 제 2 사용자(1002)의 신체 부위 위치에 도형, 텍스트와 같은 형태로 오버레이하여 디스플레이할 수 있다.
다양한 실시예에 따르면, 제 2 외부 전자 장치(302)는, 동작 859에서, 동작 오류 부위에 햅틱 피드백을 구동할 수 있다.
일 실시예에 따르면, 제 2 외부 전자 장치(302)는 제 2 전자 장치(202)로부터 햅틱 진동을 발생시키도록 제어하는 신호를 수신할 수 있다. 예를 들어, 제 2 외부 전자 장치(302)는 제 2 전자 장치(202)로부터 제 2 사용자(1002)의 동작 오류가 발생한 신체 부위에 대응하는 햅틱 센서가 진동하도록 하는 제어 신호를 수신할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 860에서, 서버를 통하여 제 1 전자 장치(201)에 동작 오류 정보를 전송할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 861에서, 동작 오류가 누적됨에 대응하여 제 2 사용자(1002)의 상태를 분석할 수 있다. 일 실시예에 따르면 제 2 사용자(1002)의 상태는 제 2 사용자(1002)의 동작 오류 횟수, 동작 오류 비율을 포함하는 동작 오류 정보를 포함할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 862에서, 제 2 사용자(1002)의 동작이 오버페이스인지 여부를 판단할 수 있다. 일 실시예에 따르면 제 2 사용자(1002)의 동작 오류 횟수, 동작 오류 비율이 지정된 값 이상임에 대응하여, 오버페이스라고 판단할 수 있다.
다양한 실시예에 따르면, 제 2 외부 전자 장치(302)는, 제 2 전자 장치(202)가 제 2 사용자(1002)의 동작이 오버페이스라고 판단함에 대응하여, 동작 863에서, 사용자 경고의 표시를 할 수 있다. 사용자 경고는 햅틱 진동, 화면 표시, 음성 표시와 같이 다양한 형태일 수 있다. 일 실시예에 따르면, 동작 보조 시스템은, 동작 863이 수행됨에 대응하여, 동작을 종료할 수 있다.
다양한 실시예에 따르면, 제 2 외부 전자 장치(302)는, 동작 862에서 제 2 전자 장치(202)가 사용자의 동작이 오버페이스라고 판단하지 않거나 및/또는 동작 856에서 동작이 일치한다고 판단하고, 동작 864에서 변경된 동작 데이터 세트를 수신함에 대응하여, 동작 865에서, 변경된 동작 데이터 세트에 기반하여 목표 동작 데이터 세트를 업데이트 할 수 있다.
다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 866에서, 동작이 종료되었는지 여부를 판단할 수 있다. 다양한 실시예에 따르면, 제 2 전자 장치(202)는, 동작 814에서, 동작을 종료하였음을 판단할 때까지 동작 854 내지 동작 865을 반복하여 수행할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 모듈, 상기 통신 모듈과 작동적으로 연결되는 프로세서를 포함하고, 상기 통신 모듈은 사용자의 동작을 측정하는 센서를 포함하는 외부 전자 장치 및 서버와 통신하고, 상기 프로세서는 상기 통신 모듈을 통하여 상기 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고, 상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터를 상기 사용자의 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 생성하고, 상기 동작 데이터 세트를 상기 통신 모듈을 통하여 상기 서버로 송신하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 동작의 난이도와 관련된 부가 정보에 대한 사용자 입력을 수신하고, 상기 부가 정보를 상기 동작 데이터 세트에 추가하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 사용자의 복수 회의 동작을 센싱한 상기 센싱 데이터의 평균값을 이용하여 상기 표준 동작 데이터를 생성 할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 동작 데이터 세트와 동일한 동작을 포함하는 동작과 관련된 컨텐츠를 획득하고, 상기 동작 데이터 세트 및 상기 동작과 관련된 컨텐츠를 상기 통신 모듈을 통하여 상기 서버로 송신하도록 제어 할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 동작 데이터 세트는 상기 동작과 관련된 컨텐츠에 포함된 동작과 관련된 정보를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 카메라를 더 포함하고, 상기 프로세서는 상기 카메라를 통하여 촬영한 영상을 포함하는 상기 동작과 관련된 컨텐츠를 획득할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 모듈, 사용자 정보를 저장하도록 설정된 메모리 및 상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 통신 모듈은 센서 및 액추에이터를 포함하는 외부 전자 장치 및 서버와 통신하고, 상기 프로세서는 상기 통신 모듈을 통하여 상기 서버로부터 표준 신체를 가지는 다른 사용자의 동작과 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 수신하고, 상기 메모리에 저장된 사용자 정보를 획득하고, 상기 동작 데이터 세트를 상기 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터 세트를 생성하고, 상기 통신 모듈을 통하여 상기 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고, 상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터와 상기 목표 동작 데이터 세트를 비교하여 피드백을 생성하고, 상기 피드백에 기반하여 상기 외부 전자 장치를 제어하는 신호를 상기 통신 모듈을 통하여 상기 외부 전자 장치에 송신할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보, 건강 정보 및 운동 정보 중 적어도 하나를 포함하는 상기 사용자 정보를 저장하고, 상기 프로세서는 동작의 속도, 동작의 궤적 범위, 부하 레벨 및 동작 횟수 중 적어도 하나를 포함하는 상기 동작 데이터 세트를 획득하고, 상기 사용자의 신체 정보, 건강 정보 및 운동 정보 중 적어도 하나에 기반하여 동작의 속도, 동작의 궤적, 부하 레벨 및 동작 횟수 중 적어도 하나를 보정하여 상기 목표 동작 데이터 세트를 생성할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 카메라 및 디스플레이를 더 포함하고, 상기 카메라는 사용자를 포함하는 영상을 촬영하고, 상기 프로세서는 상기 피드백 및 상기 영상을 상기 디스플레이에 표시할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 피드백에 기반하여 상기 외부 전자 장치가 진동하도록 제어하는 신호를 상기 통신 모듈을 통하여 상기 외부 전자 장치에 송신할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서, 디스플레이를 더 포함하고, 상기 프로세서는 상기 통신 모듈을 통하여 상기 서버로부터 상기 동작 데이터 세트와 동일한 동작을 포함하는 동작과 관련된 컨텐츠를 획득하고, 상기 피드백과 상기 동작과 관련된 컨텐츠를 동기화하여 상기 디스플레이에 출력할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템은, 제 1 센서를 포함하는 제 1 웨어러블 장치 및 제 2 센서 및 액추에이터를 포함하는 제 2 웨어러블 장치를 포함하고, 상기 제 1 웨어러블 장치는 상기 제 1 센서가 측정한 제 1 사용자의 동작과 관련된 제 1 동작 데이터를 획득하고, 상기 제 2 웨어러블 장치는 상기 제 1 동작 데이터를 획득하고, 상기 제 1 센서가 측정한 제 2 사용자의 동작과 관련된 제 2 동작 데이터를 획득하고, 상기 제 1 동작 데이터와 상기 제 2 동작 데이터를 비교한 결과에 기반하여 상기 액추에이터를 제어할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템에서, 서버를 더 포함하고,상기 제 1 웨어러블 장치는 상기 제 1 동작 데이터를 상기 서버로 송신하고, 상기 제 2 웨어러블 장치는 상기 서버로부터 상기 제 1 동작 데이터를 수신할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템에서, 상기 제 1 웨어러블 장치는 제 1 사용자의 정보를 저장하고, 상기 제 1 동작 데이터를 상기 제 1 사용자의 정보에 기반하여 표준 신체를 가지는 다른 사용자와 관련되도록 변환하는 방식으로 표준 동작 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템에서, 상기 제 2 웨어러블 장치는 제 2 사용자의 정보를 저장하고, 상기 표준 동작 데이터를 획득하고, 상기 표준 동작 데이터를 상기 제 2 사용자의 정보에 기반하여 변환하는 방식으로 제 2 사용자에게 개인화된 목표 동작 데이터를 생성하고, 상기 목표 동작 데이터에 기반하여 상기 액추에이터를 제어할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템에서, 제 1 전자 장치를 더 포함하고, 상기 제 1 전자 장치는 상기 제 1 웨어러블 장치의 동작 중 일부를 수행할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템에서, 제 2 전자 장치를 더 포함하고, 상기 제 2 전자 장치는 상기 제 2 웨어러블 장치의 동작 중 일부를 수행할 수 있다.
본 발명의 다양한 실시예에 따른 동작 보조 시스템에서, 제 1 전자 장치 및 제 2 전자 장치를 더 포함하고, 상기 제 1 전자 장치는 상기 제 2 사용자의 피드백을 획득하여 디스플레이에 출력하고, 상기 제 2 전자 장치는 상기 제 1 사용자의 운동 가이드를 획득하여 디스플레이에 출력할 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
그리고 본 명세서와 도면에 개시된 본 문서에 개시된 실시예들은 본 문서에 개시된 실시예에 따른 기술 내용을 쉽게 설명하고 본 문서에 개시된 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 문서에 개시된 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 문서에 개시된 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 문서에 개시된 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 문서에 개시된 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 모듈;
    상기 통신 모듈과 작동적으로 연결되는 프로세서를 포함하고,
    상기 통신 모듈은
    사용자의 동작을 측정하는 센서를 포함하는 외부 전자 장치 및 서버와 통신하고,
    상기 프로세서는
    상기 통신 모듈을 통하여 상기 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고,
    상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터를 상기 사용자의 정보에 기반하여 변환하는 방식으로, 표준 신체를 가지는 다른 사용자와 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 생성하고,
    상기 동작 데이터 세트를 상기 통신 모듈을 통하여 상기 서버로 송신하도록 제어하는
    전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    동작의 난이도와 관련된 부가 정보에 대한 사용자 입력을 수신하고,
    상기 부가 정보를 상기 동작 데이터 세트에 추가하도록 설정된 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는
    사용자의 복수 회의 동작을 센싱한 상기 센싱 데이터의 평균값을 이용하여 상기 표준 동작 데이터를 생성하는
    전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는
    상기 동작 데이터 세트와 동일한 동작을 포함하는 동작과 관련된 컨텐츠를 획득하고,
    상기 동작 데이터 세트 및 상기 동작과 관련된 컨텐츠를 상기 통신 모듈을 통하여 상기 서버로 송신하도록 제어하는
    전자 장치.
  5. 제4항에 있어서,
    상기 동작 데이터 세트는 상기 동작과 관련된 컨텐츠에 포함된 동작과 관련된 정보를 포함하는 전자 장치.
  6. 제4항에 있어서,
    카메라를 더 포함하고,
    상기 프로세서는
    상기 카메라를 통하여 촬영한 영상을 포함하는 상기 동작과 관련된 컨텐츠를 획득하는
    전자 장치.
  7. 전자 장치에 있어서,
    통신 모듈;
    사용자 정보를 저장하도록 설정된 메모리; 및
    상기 통신 모듈 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고,
    상기 통신 모듈은
    센서 및 액추에이터를 포함하는 외부 전자 장치 및 서버와 통신하고,
    상기 프로세서는
    상기 통신 모듈을 통하여 상기 서버로부터 표준 신체를 가지는 다른 사용자의 동작과 관련된 표준 동작 데이터를 포함하는 동작 데이터 세트를 수신하고,
    상기 메모리에 저장된 사용자 정보를 획득하고,
    상기 동작 데이터 세트를 상기 사용자 정보에 기반하여 변환하는 방식으로, 사용자에게 개인화된 목표 동작 데이터 세트를 생성하고,
    상기 통신 모듈을 통하여 상기 외부 전자 장치로부터 사용자의 동작을 측정한 센싱 데이터를 획득하고,
    상기 센싱 데이터에 기반한 시간에 따른 신체의 동작 궤도를 포함하는 동작 데이터와 상기 목표 동작 데이터 세트를 비교하여 피드백을 생성하고,
    상기 피드백에 기반하여 상기 외부 전자 장치를 제어하는 신호를 상기 통신 모듈을 통하여 상기 외부 전자 장치에 송신하는
    전자 장치.
  8. 제7항에 있어서,
    사용자의 신체 정보, 건강 정보 및 운동 정보 중 적어도 하나를 포함하는 상기 사용자 정보를 저장하고,
    상기 프로세서는
    동작의 속도, 동작의 궤적 범위, 부하 레벨 및 동작 횟수 중 적어도 하나를 포함하는 상기 동작 데이터 세트를 획득하고,
    상기 사용자의 신체 정보, 건강 정보 및 운동 정보 중 적어도 하나에 기반하여 동작의 속도, 동작의 궤적, 부하 레벨 및 동작 횟수 중 적어도 하나를 보정하여 상기 목표 동작 데이터 세트를 생성하는
    전자 장치.
  9. 제7항에 있어서,
    카메라; 및
    디스플레이를 더 포함하고,
    상기 카메라는 사용자를 포함하는 영상을 촬영하고,
    상기 프로세서는
    상기 피드백 및 상기 영상을 상기 디스플레이에 표시하는
    전자 장치.
  10. 제7항에 있어서,
    상기 프로세서는
    상기 피드백에 기반하여 상기 외부 전자 장치가 진동하도록 제어하는 신호를 상기 통신 모듈을 통하여 상기 외부 전자 장치에 송신하는
    전자 장치.
  11. 제7항에 있어서,
    디스플레이를 더 포함하고,
    상기 프로세서는
    상기 통신 모듈을 통하여 상기 서버로부터 상기 동작 데이터 세트와 동일한 동작을 포함하는 동작과 관련된 컨텐츠를 획득하고,
    상기 피드백과 상기 동작과 관련된 컨텐츠를 동기화하여 상기 디스플레이에 출력하는
    전자 장치.
  12. 동작 보조 시스템에 있어서,
    제 1 센서를 포함하는 제 1 웨어러블 장치; 및
    제 2 센서 및 액추에이터를 포함하는 제 2 웨어러블 장치를 포함하고,
    상기 제 1 웨어러블 장치는
    상기 제 1 센서가 측정한 제 1 사용자의 동작과 관련된 제 1 동작 데이터를 획득하고,
    상기 제 2 웨어러블 장치는
    상기 제 1 동작 데이터를 획득하고,
    상기 제 1 센서가 측정한 제 2 사용자의 동작과 관련된 제 2 동작 데이터를 획득하고,
    상기 제 1 동작 데이터와 상기 제 2 동작 데이터를 비교한 결과에 기반하여 상기 액추에이터를 제어하는
    동작 보조 시스템.
  13. 제12항에 있어서,
    서버를 더 포함하고,
    상기 제 1 웨어러블 장치는
    상기 제 1 동작 데이터를 상기 서버로 송신하고,
    상기 제 2 웨어러블 장치는
    상기 서버로부터 상기 제 1 동작 데이터를 수신하는
    동작 보조 시스템.
  14. 제12항에 있어서,
    상기 제 1 웨어러블 장치는
    제 1 사용자의 정보를 저장하고,
    상기 제 1 동작 데이터를 상기 제 1 사용자의 정보에 기반하여 표준 신체를 가지는 다른 사용자와 관련되도록 변환하는 방식으로 표준 동작 데이터를 생성하는
    동작 보조 시스템.
  15. 제14항에 있어서,
    상기 제 2 웨어러블 장치는
    제 2 사용자의 정보를 저장하고,
    상기 표준 동작 데이터를 획득하고,
    상기 표준 동작 데이터를 상기 제 2 사용자의 정보에 기반하여 변환하는 방식으로 제 2 사용자에게 개인화된 목표 동작 데이터를 생성하고,
    상기 목표 동작 데이터에 기반하여 상기 액추에이터를 제어하는
    동작 보조 시스템.
PCT/KR2022/001644 2021-03-09 2022-01-28 사용자의 동작을 보조하기 위한 전자 장치 및 시스템 WO2022191435A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/353,365 US20230355138A1 (en) 2021-03-09 2023-07-17 Electronic device and system for assisting user motion

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0030993 2021-03-09
KR1020210030993A KR20220126561A (ko) 2021-03-09 2021-03-09 사용자의 동작을 보조하기 위한 전자 장치 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/353,365 Continuation US20230355138A1 (en) 2021-03-09 2023-07-17 Electronic device and system for assisting user motion

Publications (1)

Publication Number Publication Date
WO2022191435A1 true WO2022191435A1 (ko) 2022-09-15

Family

ID=83228221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001644 WO2022191435A1 (ko) 2021-03-09 2022-01-28 사용자의 동작을 보조하기 위한 전자 장치 및 시스템

Country Status (3)

Country Link
US (1) US20230355138A1 (ko)
KR (1) KR20220126561A (ko)
WO (1) WO2022191435A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075986A1 (ko) * 2022-10-04 2024-04-11 삼성전자주식회사 운동 프로그램을 제공하는 전자 장치 및 웨어러블 장치, 이들의 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512469B1 (ko) * 2022-09-21 2023-03-22 주식회사 아반솔루션 운동 관리 솔루션을 제공하는 방법 및 서버
KR20240043378A (ko) * 2022-09-27 2024-04-03 삼성전자주식회사 합성 보행 데이터를 생성하는 방법 및 그 방법을 수행하는 전자 장치
WO2024076097A1 (ko) * 2022-10-07 2024-04-11 삼성전자주식회사 웨어러블 장치와 전자 장치 간의 인터랙션 방법 및 이를 수행하는 웨어러블 장치 및 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130034896A (ko) * 2011-09-29 2013-04-08 연세대학교 원주산학협력단 근전도 피드백 기반의 능동형 상지 재활 훈련 시스템
KR20180026196A (ko) * 2016-09-02 2018-03-12 박세빈 유저 반응형 운동처방 시스템 및 이를 이용한 운동처방 프로그램 제공 방법
KR101913187B1 (ko) * 2017-09-06 2019-01-14 주식회사 쎄텍 편마비 환자용 보행 보조장치 및 그 제어방법
JP2019092603A (ja) * 2017-11-17 2019-06-20 トヨタ自動車株式会社 歩行評価装置、歩行訓練システムおよび歩行評価方法
KR102051946B1 (ko) * 2013-04-03 2020-01-09 한국전자통신연구원 스마트 웨어 제어 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130034896A (ko) * 2011-09-29 2013-04-08 연세대학교 원주산학협력단 근전도 피드백 기반의 능동형 상지 재활 훈련 시스템
KR102051946B1 (ko) * 2013-04-03 2020-01-09 한국전자통신연구원 스마트 웨어 제어 장치 및 그 방법
KR20180026196A (ko) * 2016-09-02 2018-03-12 박세빈 유저 반응형 운동처방 시스템 및 이를 이용한 운동처방 프로그램 제공 방법
KR101913187B1 (ko) * 2017-09-06 2019-01-14 주식회사 쎄텍 편마비 환자용 보행 보조장치 및 그 제어방법
JP2019092603A (ja) * 2017-11-17 2019-06-20 トヨタ自動車株式会社 歩行評価装置、歩行訓練システムおよび歩行評価方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075986A1 (ko) * 2022-10-04 2024-04-11 삼성전자주식회사 운동 프로그램을 제공하는 전자 장치 및 웨어러블 장치, 이들의 제어 방법

Also Published As

Publication number Publication date
US20230355138A1 (en) 2023-11-09
KR20220126561A (ko) 2022-09-16

Similar Documents

Publication Publication Date Title
WO2022191435A1 (ko) 사용자의 동작을 보조하기 위한 전자 장치 및 시스템
WO2022154483A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021246783A1 (ko) 롤러블 디스플레이를 갖는 전자 장치 및 이를 위한 디스플레이 방법
WO2023075561A1 (ko) 통신을 위한 전자 장치 및 이의 동작 방법
WO2023003429A1 (ko) 무선 충전 회로를 포함하는 전자 장치
WO2023022348A1 (ko) 힌지 어셈블리 및 이를 포함하는 전자 장치
WO2023017954A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2022030746A1 (ko) 관성 센서를 이용하여 전자 장치의 착용 상태를 감지하는 전자 장치 및 그 제어 방법
WO2022098145A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 방법
WO2022124561A1 (ko) 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
WO2022154166A1 (ko) 콘텐츠 생성 기능을 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2024071708A1 (ko) 웨어러블 장치 및 그 장치를 제어하는 방법
WO2023043035A1 (ko) 적어도 하나의 웨어러블 장치를 제어하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2024150966A1 (ko) 알림 정보를 출력하는 전자 장치 및 이의 동작 방법
WO2024076131A1 (ko) 웨어러블 장치의 센싱 정보에 기초하여 참조 영상 출력 방법 및 그 방법을 수행하는 전자 장치
WO2024034889A1 (ko) 보행 상태 결정 방법 및 그 방법을 수행하는 장치
WO2023128651A1 (ko) 운동 모드에 기초하여 웨어러블 장치를 제어하는 방법 및 그 방법을 수행하는 전자 장치
WO2022114584A1 (ko) 전자 장치 및 전자 장치에서 컨텐츠를 표시하는 방법
WO2023113305A1 (ko) 기어 어셈블리를 포함하는 롤러블 전자 장치
WO2024101756A1 (ko) 연결 구조를 포함하는 카메라 장치 및 이를 포함하는 전자 장치
WO2024034823A1 (ko) 전자 장치 및 이를 이용한 폴딩 상태 변경에 따른 화면 표시 방법
WO2022014994A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치
WO2022239931A1 (ko) 전자 장치 및 전자 장치에서 이미지 촬영 방법
WO2023085568A1 (ko) 액세서리 장치 및 이를 포함하는 전자 장치
WO2023075333A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767332

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767332

Country of ref document: EP

Kind code of ref document: A1