WO2022139155A1 - 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 - Google Patents

컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022139155A1
WO2022139155A1 PCT/KR2021/015211 KR2021015211W WO2022139155A1 WO 2022139155 A1 WO2022139155 A1 WO 2022139155A1 KR 2021015211 W KR2021015211 W KR 2021015211W WO 2022139155 A1 WO2022139155 A1 WO 2022139155A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
content
posture
state
Prior art date
Application number
PCT/KR2021/015211
Other languages
English (en)
French (fr)
Inventor
최현미
박정미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022139155A1 publication Critical patent/WO2022139155A1/ko
Priority to US18/196,724 priority Critical patent/US20230285807A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068—Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2214/00—Training methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • A63B2230/625—Measuring physiological parameters of the user posture used as a control parameter for the apparatus

Definitions

  • the present invention relates to an electronic device that provides a care service related to content providing information, and a method for controlling the same.
  • the present disclosure has been made in accordance with the above-mentioned necessity, and an object of the present invention is to provide an electronic device that provides a user-friendly care service through interaction with a user in the process of providing content, and a method for controlling the same.
  • an electronic device provides a display, a camera, a memory in which reference information related to content providing information is stored, and while the content is provided through the display, the camera obtains an image of a user through , obtains context information related to the user based on the image, and compares the obtained context information with the reference information to perform the user's performance on information provided by the content
  • It may include a processor that identifies a state and controls an output state of the content based on the user's performance state.
  • the content includes sub information corresponding to each of a plurality of steps
  • the processor compares the context information of the user obtained while sub information corresponding to one step among the plurality of steps is provided through the display with reference information corresponding to the sub information for the one step
  • the user's performance status may be identified, and an output status of the content related to the one step may be controlled based on the user's performance status.
  • the memory stores information on an output type of content for each performance level of the user
  • the processor identifies a performance level corresponding to the user's performance state, and the identified information stored in the memory
  • Information on an output type of content corresponding to a performance level may be identified, and an output state of the content may be controlled based on the identified output type.
  • the output type of the content may include at least one of a still screen output, a repeated output of sub information corresponding to a specific step, an output speed adjustment, or an enlarged output of the content.
  • the processor obtains the user's posture information based on the image obtained while content providing health information including an exercise posture is provided through the display, and the obtained posture information is obtained. to identify the user's performance state with respect to the exercise posture by comparing the posture information and the posture information included in the reference information, and provide different feedback for guiding the user's posture based on the user's performance state
  • the drive unit can be controlled.
  • the electronic device is implemented as a robot that provides a health care service, and the robot takes care of the user's posture so that the user performs the exercise posture provided by the content based on the user's performance state.
  • Guide information for performing an operation or guiding the user's posture may be provided.
  • the processor at least one of a degree of agreement between the obtained posture information and the posture information included in the reference information, a frequency of mismatch between the obtained posture information and the posture information included in the reference information, or the difficulty of the exercise posture Based on the , the user's performance level may be identified, and feedback corresponding to the identified performance level may be provided.
  • the processor obtains the user's state information based on the image obtained while content providing task information including a plurality of steps is provided through the display, and obtains the obtained state information and the reference To compare the status information included in the information to identify the user's performance status for each of the plurality of steps, and to provide guide information corresponding to a step requiring feedback among the plurality of steps based on the user's performance status
  • the display can be controlled.
  • the processor obtains first state information of the user by inputting the image into a first neural network model, and obtains second state information of the user by inputting the user's voice into a second neural network model
  • the display may be controlled to provide guide information corresponding to a step requiring feedback among the plurality of steps based on the identified performance state, the first state information, and the second state information.
  • a method of controlling an electronic device includes: while content providing information is displayed, acquiring an image of a user through a camera; a context related to the user based on the image Acquiring information, comparing the obtained context information and reference information related to the content to identify the user's performance state with respect to the information provided in the content, and the user's performance status of the content It may include controlling the output state.
  • the content includes sub information corresponding to each of a plurality of steps
  • the step of identifying the user's performance state includes sub information corresponding to one of the plurality of steps being provided through the display.
  • the step of identifying the user's performance state for the one step by comparing the obtained user context information and reference information corresponding to the sub information, and controlling the output state of the content includes: the user's performance state An output state of the content related to the one step may be controlled based on the .
  • the identifying of the user's performance state includes identifying a performance level corresponding to the user's performance state
  • controlling the output state of the content includes an output type of content corresponding to the identified performance level
  • the method may include identifying information on , and controlling an output state of the content based on the identified output type.
  • the output type of the content may include at least one of a still screen output, a repeated output of sub information corresponding to a specific step, an output speed adjustment, or an enlarged output of the content.
  • the step of obtaining the context information related to the user the step of obtaining the posture information of the user based on the image obtained while content providing health information including an exercise posture is provided through the display Including, wherein the step of identifying the performance state of the user may include comparing the acquired posture information and the posture information included in the reference information to identify the user's performance state with respect to the exercise posture, and the user's performance and providing different feedback for guiding the user's posture based on the state.
  • 1 is a diagram for explaining a method of providing content to a user of an electronic device.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining steps included in content and reference information for each step according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a method of identifying a user's performance state based on posture information according to an embodiment of the present disclosure.
  • 6A and 6B illustrate various types of feedback provided by the electronic device based on an operation of the electronic device identifying a performance level corresponding to a user's performance state according to various criteria and a performance level according to an embodiment of the present disclosure
  • FIG. 7A and 7B are diagrams for explaining a posture correction operation and an imitation training operation of an electronic device according to an embodiment of the present disclosure.
  • FIGS. 8A to 8C are diagrams for explaining an operation in which an electronic device controls an output state of content by recognizing a user's facial expression according to an embodiment of the present disclosure
  • 9A to 9C are diagrams for explaining an operation in which an electronic device recognizes a user's voice and controls an output state of content according to an embodiment of the present disclosure
  • FIG. 10 is a block diagram for specifically explaining a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component
  • another component eg, a second component
  • an element may be directly connected to another element or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device.
  • an embodiment of the present disclosure will be described in more detail with reference to the accompanying drawings.
  • 1 is a diagram for explaining a method of providing content to a user of an electronic device.
  • the electronic device 10 may provide content 20 that provides information to a user 30 .
  • the content 20 may be health-related content describing a squat operation.
  • the user 30 may follow a specific operation based on information provided through the content 20 provided by the electronic device 10 .
  • the operation of the user 30 may be an operation that follows the squat operation included in the health-related content.
  • the operation of the user 30 may be an operation of following the origami operation included in the kids-related content, or following the material handling operation included in the cooking-related content.
  • the user 30 may accept and understand the information provided by the content 20 , but may not follow the operation included in the content 20 .
  • the term 'performing state' refers to information on whether the user understands information included in the content provided from the electronic device, or information on whether a specific operation is accurately followed based on the information included in the content, and refers to the state involved.
  • a plurality of users receiving the content 20 through the electronic device 10 may have different abilities to perform the above-described operations according to individual body characteristics and an understanding of a field related to information provided through the content.
  • a user with inflexible lower body may have difficulty following the squat motion
  • a color-blind user may not be able to quickly follow the origami motion
  • a user unskilled in knife sharpening may have difficulty following the squat motion accurately. may have difficulties with
  • the existing electronic device has a problem in that it cannot provide a satisfactory service to the user because the user's performance state is not considered.
  • the electronic device can provide a care service in consideration of the user's performance state through interaction with the user.
  • the two expressions are used interchangeably on the premise that the expression 'providing interaction' and the expression 'providing feedback' to the user by the electronic device have the same meaning.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a display 110 , a camera 120 , a memory 130 , and a processor 140 .
  • the display 110 may be implemented as a display of various types, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a quantum dot light-emitting diode (QLED) display, a plasma display panel (PDP), and the like.
  • the display 110 may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of a TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), and the like. Meanwhile, the display 110 may be implemented as a flexible display, a three-dimensional display, or the like.
  • the camera 120 may acquire an image by capturing an area within a field of view (FoV) of the camera.
  • FoV field of view
  • the camera 120 may include an object, for example, a lens for focusing visible light or a signal reflected and received by a user to the image sensor, and an image sensor capable of detecting the visible light or signal.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels.
  • the camera 120 may be implemented as a depth camera operating in a Time-Of-Flight (ToF) method.
  • ToF Time-Of-Flight
  • the memory 130 may store data necessary for various embodiments of the present disclosure.
  • the memory 130 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory that is detachable from the electronic device 100 according to the purpose of data storage.
  • data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100
  • data for an extended function of the electronic device 100 is detachable from the electronic device 100 . It can be stored in any available memory.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)
  • non-volatile memory examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD), etc.
  • a memory card eg, a compact flash (CF)
  • CF compact flash
  • USB port (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.), external memory that can be connected to the USB port (for example, it may be implemented in a form such as a USB memory).
  • the memory 130 may store reference information related to content providing information.
  • the reference information may be information corresponding to information included in the content providing information.
  • the processor 140 controls the overall operation of the electronic device 100 .
  • the processor 140 may be connected to each component of the electronic device 100 to control the overall operation of the electronic device 100 .
  • the processor 140 may be connected to the display 110 , the camera 120 , and the memory 130 to control the operation of the electronic device 100 .
  • the processor 140 includes a digital signal processor (DSP), a microprocessor, a central processing unit (CPU), a micro controller unit (MCU), and a micro processing unit (MPU). unit), a Neural Processing Unit (NPU), a controller, an application processor (application processor (AP)), etc. may be named various names, but in the present specification, it will be referred to as the processor 140 .
  • DSP digital signal processor
  • CPU central processing unit
  • MCU micro controller unit
  • MPU micro processing unit
  • unit a Neural Processing Unit
  • AP application processor
  • the processor 140 may be implemented as a system on chip (SoC), large scale integration (LSI), or a field programmable gate array (FPGA) type.
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 140 may include a volatile memory such as SRAM.
  • the processor 140 may acquire an image captured by the user through the camera 120 while the content is provided through the display 110 .
  • the content according to an example may be health, kids, or cooking related content, but is not limited thereto.
  • the processor 140 according to an example may control the camera 120 to acquire an image including at least one of a front part, a side part, and a rear part of the user.
  • the processor 140 may acquire context information related to the user based on the acquired image.
  • Context information may include information about a user's performance state corresponding to information provided through content among information included in the acquired image.
  • the context information may include at least one of posture information of a user receiving content, facial expression information of the user, and voice information of the user.
  • the processor 140 may compare the obtained context information and the reference information stored in the memory 130 to identify the user's performance state with respect to the information provided by the content.
  • the processor 140 may control the output state of the content based on the identified user's performance state. Specifically, the processor 140 may change the output type of the content being provided and provide it.
  • the output type of the content may include at least one of outputting a still screen, repeating specific information included in the content, adjusting an output speed of the content, or expanding the content.
  • Content according to an embodiment of the present disclosure may be composed of a plurality of steps including sub information.
  • the content according to an example is health-related content
  • the content may be composed of a plurality of steps including sub information corresponding to each motion of the exercise.
  • the processor 140 compares the user's context information obtained while sub information corresponding to one step among the plurality of steps is provided through the display and reference information corresponding to the sub information to obtain one It is possible to identify the user's performance status for the steps of
  • the processor 140 when the content according to an example is health-related content, the processor 140 according to an example provides context information including the user's exercise posture information and reference information corresponding to sub information corresponding to each motion of the exercise. By comparison, it is possible to identify the user's performance state for the step corresponding to each motion of the exercise.
  • the processor 140 may control an output state of content related to one step based on the identified user's performance state.
  • the processor 140 may identify a performance level corresponding to the user's performance state.
  • the performance level according to an example may be a level related to the degree to which the user's performance state is good.
  • the processor 140 may control the output state of the content based on the user's performance level and information on the output type of the content for each user's performance level stored in the memory 130 .
  • the processor 140 may control the output state of the content to repeatedly output sub information corresponding to a specific step included in the content. .
  • the content may provide health information including an exercise posture.
  • the processor 140 may acquire the user's posture information based on an image acquired while the content is provided through the display 110 .
  • the processor 140 may identify the user's performance state with respect to the exercise posture by comparing the obtained posture information and the posture information included in the reference information.
  • the processor 140 may control the driving unit provided in the electronic device 100 to provide different feedback for guiding the user's posture based on the identified performance state.
  • the processor 140 according to an example may control the driving unit to provide different feedback including at least one of driving of the electronic device 100 or driving of a mechanical part provided in the electronic device 100 . .
  • the processor 140 determines at least one of the degree of agreement between the obtained posture information and the posture information included in the reference information, the frequency of mismatch between the obtained posture information and the posture information included in the reference, or the difficulty of the exercise posture. Based on the performance level of the user may be identified.
  • the electronic device 100 is implemented as a robot that provides a health care service, and the robot according to an embodiment allows the user to perform an exercise posture provided by the content based on the user's performance state. Actions to care for the posture of the person can be provided as feedback.
  • the robot may provide, as feedback, an operation of providing guide information for guiding the user's posture. This will be described in detail with reference to FIGS. 7A and 7B.
  • the processor 140 may acquire user status information based on an image acquired while content providing task information is provided through the display 110 .
  • the task information may be information including a plurality of steps combined based on a priority between steps.
  • step 2 may be a step initiated on the premise of completion of step 1
  • step 3 is the completion of steps 1 and 2 It may be a step that is started on the premise that
  • the processor 140 compares the obtained state information and the state information included in the reference information to identify the user's performance state for each of a plurality of steps, and feedback among the plurality of steps based on the user's performance state
  • the display 110 may be controlled to provide guide information corresponding to this necessary step.
  • the processor 140 inputs the obtained image to the first neural network model to obtain first state information of the user, and inputs the user's voice to the second neural network model to input the user's second state information to the second neural network model. information can be obtained.
  • the electronic device 100 further includes a speaker, and the processor 140 according to an embodiment prevents the user's image from being acquired while information on one of the plurality of steps is provided.
  • the speaker may be controlled to output guide information related to the task information.
  • the processor 140 when an image of the user is not obtained, the processor 140 according to an example identifies that the user has stopped watching the content, and may control the speaker to output a guide voice informing that the user stops providing the content. Meanwhile, the processor 140 may control the speaker to output a guide voice requesting the user to concentrate on the content.
  • FIG. 3 is a block diagram illustrating a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • Each block shown in FIG. 3 may correspond to a plurality of modules related to the functional configuration of the electronic device 100 .
  • the plurality of modules may be a software module stored in the memory of the electronic device 100 or a hardware module implemented as a circuit on the electronic device 100 .
  • each of the plurality of modules may be implemented in a form in which software and hardware are combined.
  • the electronic device 100 may provide a service to the user 300 through a task model 20 and an interaction model 30 .
  • the task model 20 includes a content extractor 21 and a context analyzer 22, and the interaction model 30 according to an example includes a posture analyzer, 31), a performance evaluator (32), a face/voice recognizer (33), and an intention analyzer (34).
  • the content 200 may be composed of a plurality of steps including sub information.
  • the content extractor 21 may extract valid information from the image or text-based content 200 .
  • the content extraction unit 21 extracts a content area from an image provided through the display 110 according to a preset extraction rule.
  • the context analyzer 22 may acquire a context based on information included in the content 200 provided through the extracted content area. Specifically, the context analyzer 22 may acquire a context based on a change in an image included in the content 200 , a voice, a subtitle, a caption, and the like.
  • the context analyzer 22 may identify a plurality of steps constituting the content 200 based on the obtained context.
  • the context analysis unit 22 'takes a starting posture', 'sit', 'stand up' and A plurality of steps corresponding to 'standing correctly' can be identified.
  • the task model 20 may identify an ideal shape for the plurality of steps identified based on reference information corresponding to the plurality of steps identified by the context analyzer 22 .
  • Reference information according to an embodiment of the present disclosure may be information generated based on an acquired context, or information stored in the memory 130 included in the electronic device 100 based on professional data.
  • Reference information according to an example may include information on main points and difficulty for a step as shown in Table 1 below.
  • step main point difficulty 1 Take the starting position leg width Easy 2) sit down angle of thigh and shin curvature of the waist Medium 3) stand up left and right body balance direction of gaze Hard 4) Standing upright Concordance with starting posture Easy
  • the task model 20 identifies the case where the difference between the leg width and the shoulder width is less than or equal to a threshold value for a step corresponding to 'taking a starting posture' based on reference information as an ideal form for the step
  • the interaction model 30 may include a posture analysis unit 31 , a performance evaluation unit 32 , a face/voice recognition unit 33 , and an intention analysis unit 34 .
  • the interaction model 30 according to an example may exchange information with the task model 20 .
  • the posture analysis unit 31 analyzes the posture of the user 300 .
  • the term 'posture analysis unit' is used in FIG. 3
  • the posture analysis unit 31 is obtained through the camera 120.
  • a result created by the user 300 may be analyzed from the image.
  • the posture analyzer 31 may obtain context information related to the user by analyzing the posture.
  • the context information related to the user may be information corresponding to the user's posture.
  • the posture analyzer 31 may analyze the posture of the user 300 through skeleton analysis, which will be described in detail with reference to FIG. 5 .
  • the performance evaluation unit 32 compares the user's posture information obtained through analysis in which sub information corresponding to one of a plurality of steps is provided and reference information corresponding to the sub information, It is possible to identify the user's performance status.
  • the performance evaluation unit 32 compares the ideal form for 'taking a starting posture', which is a step included in the content, and context information related to the user, to the corresponding step. The user's performance status can be identified.
  • the face/voice recognizer 33 may recognize a user's face and voice. Specifically, the face/voice recognition unit 33 according to an example may obtain expression information of the user based on an image of the user's face, or obtain utterance intention information included in the voice by recognizing the user's voice. have.
  • the intention analysis unit 34 may identify the degree of understanding of the user 300 in the information provided by the content based on the acquired expression information or the utterance intention information.
  • the user 300 may make a specific expression or make a utterance with a specific content.
  • the specific expression according to an example may be a frown expression
  • the specific content according to an example may be contents suggesting that information provided through the content 200 is difficult to understand.
  • the intention analysis unit 34 identifies that the user's understanding of the corresponding step is not high. can do.
  • the intention analyzer 34 may recognize the user's voice to obtain utterance intention information included in the voice, and identify the user's understanding level based on the obtained utterance intention information.
  • the interaction model 30 may determine an interaction to be provided to the user 300 based on information exchange with the task model 20 .
  • the interaction model 30 may provide different types of interactions based on the user's performance state or the user's understanding of information provided through the content 200 .
  • the interaction model 30 is provided to the user 300 based on factors irrelevant to the user's characteristics, such as the user's performance state and understanding, as well as the difficulty of individual steps constituting the content and the specifications of the electronic device. You can also decide which interaction to do.
  • the electronic device 100 can provide an appropriate interaction to the user 300 in consideration of the user's performance state and level of understanding, so that the user's satisfaction with the service can be improved.
  • FIG. 4 is a diagram for explaining steps included in content and reference information for each step according to an embodiment of the present disclosure.
  • content 200 may be provided on the display 110 provided in the electronic device 100 according to an embodiment of the present disclosure.
  • the content 200 according to an example may be health-related content informing a squat operation.
  • the processor 140 may identify ( 401 ) a plurality of steps included in the content. Specifically, the processor 140 identifies steps corresponding to 'taking a starting posture (410)', 'sitting (420)', 'standing 430', and 'standing upright (440)' constituting the squat motion. can do.
  • the processor 140 may obtain reference information for each step ( 402 ).
  • the reference information 402 for each step according to an example may be stored in the memory 130 included in the electronic device 100 .
  • the reference information corresponding to 'taking the starting posture 410' may be threshold numerical information 411 corresponding to the difference between the leg width and the shoulder width.
  • reference information corresponding to 'sitting 420' may be information on the angle 421 between the thigh and shin and the curvature 422 of the waist.
  • the reference information corresponding to 'standing 430' may be information on the balance 431 of the left and right sides of the body and the direction of the gaze 432, and the reference information corresponding to 'standing upright 440' is the starting posture and may be information on the matching rate 441 of
  • An ideal form corresponding to the 'sit 420' step according to an embodiment of the present disclosure may be a posture in which the angle between the thigh and shin is 90 degrees and the curvature of the waist is 1 (1/m) or more.
  • FIG. 5 is a diagram for explaining a method of identifying a user's performance state based on posture information according to an embodiment of the present disclosure.
  • the processor 140 may identify the performance state of the user for each step based on the identified reference information 402 for each step and the user's context information.
  • the user's context information is the posture information of the user 301 performing the squat operation.
  • the processor 140 may acquire posture information of the user 300 through a skeleton analysis.
  • Skeleton analysis is an analysis method for motion analysis included in an image.
  • the camera 120 provided in the electronic device 100 may be implemented as a depth camera.
  • the processor 140 may identify a point corresponding to a joint of the user's body included in an image obtained through the depth camera. Also, the processor 140 may generate a skeleton model in which each point is connected based on a positional relationship between points corresponding to the joint. Since skeleton analysis is a prior art in the technical field related to motion analysis, further detailed description will be omitted.
  • the processor 140 may acquire the user's skeleton model 310 through the skeleton analysis of the image of the user 301 acquired through the camera 120 .
  • the processor 140 may acquire the user's posture information based on the user's skeleton model 310 .
  • the processor 140 may identify the user's performance status for each step based on the user's posture information and the reference information 402 for each step.
  • the user is performing an operation corresponding to 'sit 420' among the steps included in the content.
  • the processor 140 may identify the user's performance state based on the posture information of the user 301 performing the 'sit 420' operation and reference information corresponding to the 'sit 420'. .
  • the processor 140 determines whether the user maintains the angle between the thigh and the shin at a certain angle, and whether the curvature of the waist is greater than or equal to the critical curvature, etc., based on whether the user's 'sitting 420' step is performed. can be identified.
  • the processor 140 may classify and identify a performance state according to various criteria. Specifically, the processor 140 according to an example performs the user's performance state 500 based on the types of the user's performance score (Score, 510), the error rate (Error Rate, 520), and the difficulty of the operation (Complexity, 530). can be identified.
  • Score the types of the user's performance score
  • Error Rate the error rate
  • Complexity 530
  • the performance score 510 may be a numerical value identified based on how closely the user took an ideal shape for the step.
  • the processor 140 may identify the user's performance score 510 as 80 points based on the degree of matching between the user's posture and the ideal shape corresponding to the 'sit 420' step.
  • the processor 140 When the user repeats the operation corresponding to the 'sit 420' step a plurality of times, the processor 140 according to an example identifies the average of the performance scores corresponding to each round as the final user's performance score 510 You may.
  • the error rate 520 means a probability that a user performs an operation in which the degree of matching with an ideal shape corresponding to a specific step is less than or equal to a threshold value. Specifically, when the user repeats the operation corresponding to the 'sit 420' step a plurality of times, the processor 140 according to an example shows the ideal shape corresponding to the user's 'sit 420' step by 70% or less. It can be identified that the rate of performing the operation indicating the degree of agreement of ' is 8%.
  • the difficulty 530 means a degree to which it is difficult for a user to follow an ideal form for a step. Specifically, the difficulty corresponding to the 'sit 420' step may be 'Medium'.
  • the processor 140 may determine a threshold value serving as a reference when determining the above-described error rate 520 based on the difficulty level corresponding to each step. Specifically, when the difficulty corresponding to the specific step is 'Easy', the processor 140 may determine the threshold value used as a criterion for determining the error rate 520 as 90 percent. Meanwhile, when the difficulty is 'Medium', the threshold value may be determined as 80 percent, and when the difficulty level is 'Hard', the threshold value may be determined as 70 percent.
  • 6A and 6B illustrate various types of feedback provided by the electronic device based on an operation of the electronic device identifying a performance level corresponding to a user's performance state according to various criteria and a performance level according to an embodiment of the present disclosure
  • the electronic device 100 may identify a user's performance level based on a performance score 510 , an error rate 520 , and a difficulty 530 .
  • the processor 140 may identify a performance level corresponding to the typed performance state based on the numerical values for the performance score 510 and the error rate 520 . Specifically, when the user's performance score exceeds 80 ( 511 ), the processor 140 may identify the performance level corresponding to the user's performance state typed as the performance score 510 as '1'.
  • the processor 140 when the user's performance score is greater than 50 points and less than or equal to 80 points (512), the processor 140 according to an example identifies the performance level corresponding to the user's performance state typed by the performance score 510 as '2'.
  • the processor 140 may identify the performance level corresponding to the user's performance state typed as the error rate 520 as '3'. .
  • the processor 140 may identify the performance level corresponding to the user's performance state typed by the error rate 520 as '4'.
  • the processor 140 may identify the performance level corresponding to the user's performance state typed as the difficulty level 530 as 1. Since more active interaction is required in the case of 'Hard' difficulty 533 than in the case of 'Easy' difficulty 531, the processor 140 according to an example increases the difficulty of the user typed as the difficulty 530 as the difficulty increases. It is possible to identify a high performance level corresponding to the performance state.
  • the electronic device 100 may provide various types of interactions 600 based on a plurality of performance levels obtained based on the types of performance states according to various criteria. .
  • the interaction type is a basic operation (Basic Control, 610), a speed control (Speed Control, 620), a focused feedback (630), a visual feedback (Visual Feedback, 640), a posture correction (Posture) Correction, 650) or mimic training (Mimic Training, 660).
  • the basic manipulation 610 may be an interaction type corresponding to output of a still screen or repeated output of sub information corresponding to a specific step.
  • the visual feedback 640 according to an example may be an interaction type in which the electronic device 100 outputs an image obtained by photographing a user's posture through the camera 120 through the display 110 , and the remaining interaction types are It will be described with reference to the drawings to be described later.
  • the above-described plurality of interaction types are represented by symbols such as 'In (n is a natural number)'. From I1 to I6, it means that the electronic device 100 can provide an active interaction to the user.
  • the processor 140 may determine an interaction type to be provided based on the user's posture 540 as well as the performance level. Specifically, the processor 140 may determine whether to provide the interaction with the posture correction 650 based on whether the user can gaze at the display and the degree of concentration required to maintain the current user's posture. If the user cannot stare at the display, the need for posture correction using a separate driving unit (not shown) provided in the electronic device 100 is great, and if a lot of concentration is required for the user to maintain the current posture, the content is output through the display. This is because the practical benefit of correcting posture in a physical way is higher than controlling the type.
  • the processor 140 may determine whether to provide the imitation training 660 interaction based on the specification 550 of the robot. Specifically, when the robot according to an example is implemented as a humanoid type, the robot can directly perform the ideal form corresponding to the sub information provided through the content to guide the posture that the user intends to take for a specific step. .
  • 6B is a table showing various types of feedback provided by the electronic device based on the performance level.
  • S on the vertical axis is a symbol indicating performance score
  • E and C on the horizontal axis are symbols indicating error rate and difficulty, respectively.
  • the sum of the performance level corresponding to the performance state typed by the error rate 520 and the performance level corresponding to the performance state typed by the difficulty 530 is 3, and the When the performance level corresponding to the performance state is 1 (601), a basic operation 610 type of interaction may be provided.
  • the sum of the performance level corresponding to the performance state typified by the error rate 520 and the performance level corresponding to the performance state typed by the difficulty 530 is 4, and
  • a speed control ( 620 ) type of interaction may be provided.
  • the sum of the performance level corresponding to the performance state typed by the error rate 520 and the performance level corresponding to the performance state typed by the difficulty 530 is 6, and the sum of the performance level corresponding to the performance state typed by the performance score is 6.
  • the performance level is 2 ( 603 )
  • a focused feedback 630 type of interaction may be provided.
  • the sum of the performance level corresponding to the performance state typed by the error rate 520 and the performance level corresponding to the performance state typed by the difficulty 530 is 5, and the sum of the performance level corresponding to the performance state typed by the performance score is 5
  • a visual feedback 640 type of interaction may be provided.
  • the sum of the performance level corresponding to the performance state typed by the error rate 520 and the performance level corresponding to the performance state typed by the difficulty 530 is 7, and the sum of the performance level corresponding to the performance state typed by the performance score is 7.
  • the performance level is 4 ( 605 )
  • the processor 140 may provide a posture correction 650 or imitation training 660 type of interaction based on the user's posture 540 and the specification 550 of the electronic device.
  • FIG. 7A and 7B are diagrams for explaining a posture correction operation and an imitation training operation of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may include a driving unit 710 .
  • the driving unit 710 is illustrated as including a mechanical part provided in the electronic device 101 , and is provided in the lower part of the electronic device 100 as well as the illustrated robot arm-shaped part.
  • parts in the form of a wheel or an arm coupled to the rear surface of the display 110 may also be included in the driving unit 710 .
  • an incorrect posture taken by the user 301 may be corrected through the driving unit 710 .
  • the electronic device 100 may touch the user 301 through the driving unit 710 in the process of providing the corresponding interaction.
  • the electronic device 100 may move the position of the display 100 closer to the user 301 through the driving unit 710 or adjust the angle of the display 100 .
  • the electronic device 102 may be implemented as a humanoid type robot.
  • the humanoid type robot 102 may include a driving unit including an integral configuration for driving the robot.
  • the robot 102 may provide a imitation training-type interaction to the user by following an operation corresponding to a specific step included in the content provided through the display 110 .
  • the robot 102 may include a speaker 720 , and control the speaker 720 to output a voice saying “follow me” while providing the user 301 with an imitation training-type interaction. can do.
  • FIGS. 8A to 8C are diagrams for explaining an operation in which an electronic device controls an output state of content by recognizing a user's facial expression according to an embodiment of the present disclosure
  • the electronic device 100 may provide origami-related content that provides task information including a plurality of steps to the user 302 .
  • the processor 140 may identify a plurality of steps included in the origami operation.
  • the processor 140 identifies the 'result' corresponding to each step as an ideal form for the step, and compares the result made by the user 302 with the ideal form to identify the performance state of the user 302. can
  • the processor 140 may provide an interaction to the user 302 based on the identified performance state.
  • the processor 140 may repeatedly output sub information corresponding to the step. Meanwhile, the processor 140 may successively output sub information corresponding to the first step included in the content and sub information corresponding to subsequent steps.
  • the processor 140 may provide a preset interaction prior to identifying the user's performance state.
  • the processor 140 may identify the face of the user 302 based on the image acquired through the camera 120 .
  • the processor may acquire facial expression information of the user based on the face image of the user.
  • the processor 140 may obtain facial expression information of a user by inputting a facial image into the first neural network model, and the first neural network model receives a plurality of images and outputs an image including a face with a grimacing expression It may be a model trained to do so.
  • the processor 140 may control the display 110 to identify that the user makes a grimacing expression 810 and, accordingly, provide guide information corresponding to a step requiring feedback. Specifically, the processor 140 may control the display 110 to display guide information in which the output type of sub information corresponding to the step requiring feedback is changed.
  • the guide information identifies a step corresponding to the sub information that was being provided at the moment when the user 302 made a frown among the steps included in the origami operation, and provides the sub information of the step again.
  • a UI informing that the sub information is to be provided again may be provided together.
  • the electronic device 100 may identify a user making a grimacing expression ( 810 ) and immediately stop ( 821 ) the provision of content.
  • the processor 140 may identify the user making a grimacing expression ( 810 ), and immediately adjust ( 822 ) the output speed of the content.
  • 9A to 9C are diagrams for explaining an operation in which an electronic device recognizes a user's voice and controls an output state of content according to an embodiment of the present disclosure
  • the electronic device 100 may provide cooking-related content that provides task information including a plurality of steps to the user 303 .
  • the processor 140 may identify a plurality of steps included in the cooking operation.
  • the processor 140 identifies the 'result' corresponding to each step as an ideal form for the step, and compares the result made by the user 303 with the ideal form to identify the performance state of the user 302. can
  • the processor 140 may provide an interaction to the user 303 based on the identified performance state.
  • the processor 140 may repeatedly output sub information corresponding to the step. Meanwhile, the processor 140 may successively output sub information corresponding to the first step included in the content and sub information corresponding to subsequent steps.
  • the processor 140 may provide a preset interaction prior to identifying the user's performance state.
  • the processor 140 may recognize the user's utterance. Specifically, the processor 140 recognizes a utterance based on the user's voice information acquired through a separately provided microphone (not shown) or recognizes the utterance based on the user's mouth image acquired through the camera 120 . can do.
  • the processor 140 may obtain the user's utterance information by inputting the voice information into the second neural network model, and the second neural network model It may be a model trained to receive a plurality of voice information and output a voice including an utterance describing an unpleasant mood.
  • the processor 140 may control the display 110 to identify an utterance describing a user's unpleasant mood, and accordingly provide guide information corresponding to a step requiring feedback. Specifically, the processor 140 may control the display 110 to display guide information in which the output type of sub information corresponding to the step requiring feedback is changed.
  • the guide information identifies a step corresponding to the sub information being provided at the moment the user 303 speaks among the steps included in the cooking operation, provides the sub information of the corresponding step again, and provides the sub information at the same time.
  • a UI notifying the intention of providing it again may be provided together.
  • the electronic device 100 identifies the user's utterance 910 and displays a UI 921 requesting an input as to whether to stop providing content. You may.
  • the processor 140 may identify the user's utterance 910 and enlarge a specific part of the screen provided through the content ( 922 ). This may be an interaction type corresponding to the focused feedback 630 described with reference to FIG. 6A .
  • the processor 140 may control the display 110 to stop providing content when the user 303 is identified as having a conversation with another person based on the user's voice received through the microphone.
  • the electronic device 100 may provide various interactions based on the user's understanding of information included in the content.
  • FIG. 10 is a block diagram for specifically explaining a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 ′ includes a display 110 , a camera 120 , a memory 130 , a processor 140 , a speaker 150 , a communication interface 160 , a driver 170 , and a microphone ( 180).
  • a display 110 the electronic device 100 ′ includes a display 110 , a camera 120 , a memory 130 , a processor 140 , a speaker 150 , a communication interface 160 , a driver 170 , and a microphone ( 180).
  • the memory 130 may store information about the first neural network model 131 and the second neural network model 132 including a plurality of layers.
  • storing information about the neural network model means various information related to the operation of the neural network model, for example, information on a plurality of layers included in the neural network model, parameters used in each of the plurality of layers (for example, filter coefficients) , bias, etc.) may be stored.
  • the memory 130 receives a plurality of images according to an embodiment and receives the learned first neural network model 131 learned to output an image including a grimacing face and a plurality of voice information.
  • Information about the second neural network model 132 trained to output a voice including a utterance describing an unpleasant mood may be stored.
  • the speaker 150 is a device that converts the electroacoustic signal of the electronic device 100 into sound waves.
  • the speaker 150 may include a permanent magnet, a coil, and a diaphragm, and may output sound by vibrating the diaphragm due to electromagnetic interaction between the permanent magnet and the coil.
  • the communication interface 160 may input and output various types of data.
  • the communication interface 160 is an AP-based Wi-Fi (Wi-Fi, Wireless LAN network), Bluetooth (Bluetooth), Zigbee (Zigbee), wired / wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical , Coaxial, etc. to communicate various types of data with an external device (eg, a source device), an external storage medium (eg, a USB memory), and an external server (eg, a web hard drive). can transmit and receive.
  • an external device eg, a source device
  • an external storage medium eg, a USB memory
  • an external server eg, a web hard drive
  • the driving unit 170 may drive the electronic device 100 under the control of the processor 140 when the electronic device 100 provides an interaction to the user. Specifically, the driving unit 170 may move the position of the electronic device 100 or drive a mechanical part included in the electronic device 100 .
  • the driving unit 170 is a power generating device that generates power (eg, a gasoline engine, a diesel engine, a liquefied petroleum gas (LPG) engine, an electric motor, etc.) according to the fuel used (or energy source), driving A steering device for controlling a direction (eg, mechanical steering, hydraulic steering, electronic control power steering (EPS), etc.), a driving device for driving the electronic device 100 according to power (eg wheels, propellers, etc.)
  • the driving unit 170 may be provided in a different form based on the type in which the electronic device 100 is implemented.
  • the microphone 180 is configured to receive an acoustic signal.
  • the microphone 180 is a component that collectively refers to a device that receives a sound wave and generates a current of the same waveform.
  • the microphone 180 receives a signal including the user's voice, but the microphone 180 according to an example can receive various acoustic signals such as footsteps, breathing sounds, and plosive sounds as well as the user's voice. have.
  • the processor 140 may identify whether the user performing the running operation is exercising at an appropriate speed based on the generation interval of the footsteps received through the microphone 180 .
  • the processor 140 may identify whether the user's breathing is stable based on the breath sound received through the microphone 180 .
  • the processor 140 may provide a corresponding interaction after identifying that the user is injured due to a cause such as a fall during exercise based on the plosive sound received through the microphone 180 . Accordingly, when the reliability of image information acquired through the camera 120 is low, the electronic device 100 may perform more accurate situation recognition.
  • FIG. 11 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • the method of controlling an electronic device acquires an image captured by a user through a camera while content providing information is displayed ( S1110 ). Subsequently, context information related to the user is acquired based on the image (S1120). Then, by comparing the obtained context information and the reference information related to the content, the user's performance state with respect to the information provided from the content is identified (S1130). Finally, the output state of the content is controlled based on the user's performance state (S1140).
  • the content includes sub information corresponding to each of the plurality of steps, and the step of identifying the user's performance state (S1130) is obtained while sub information corresponding to one of the plurality of steps is provided through the display. Comparing the user's context information and reference information corresponding to the sub information to identify the user's performance status for one step, and controlling the output status of the content (S1140) is one step based on the user's performance status You can control the output state of the related content.
  • the step of identifying the user's performance state (S1130) identifies a performance level corresponding to the user's performance state
  • the step of controlling the output state of the content (S1140) is an output type of the content corresponding to the identified performance level It may include identifying information about the , and controlling an output state of the content based on the identified output type.
  • the output type of the content may include at least one of a still screen output, a repeated output of sub information corresponding to a specific step, an output speed adjustment, or an enlarged output of the content.
  • the step of obtaining context information related to the user includes obtaining the posture information of the user based on an image obtained while content providing health information including an exercise posture is provided through a display and
  • the step of identifying the user's performance state is a step of identifying the user's performance state for the exercise posture by comparing the obtained posture information and the posture information included in the reference information, and the user's performance status based on the user's performance state providing different feedback to guide the posture.
  • the electronic device is implemented as a robot that provides a health care service, and the step of providing different feedback performs an operation of taking care of the user's posture so that the user performs the exercise posture provided by the content based on the user's performance state.
  • guide information for guiding the user's posture may be provided.
  • the step of identifying the user's performance state (S1130) further includes the step of identifying the user's performance level based on at least one of the frequency of mismatch between the obtained posture information and the posture information included in the reference information or the difficulty of the exercise posture. and providing different feedback may provide feedback corresponding to the identified performance level.
  • the step of obtaining context information related to the user includes obtaining status information of the user based on an image obtained while content providing task information including a plurality of steps is provided through a display.
  • the step of identifying the user's performance state is based on the user's performance state and the step of identifying the user's performance state for each of a plurality of steps by comparing the obtained state information and the state information included in the reference information to provide guide information corresponding to a step requiring feedback among a plurality of steps.
  • the obtaining of the user's state information includes: inputting an image into the first neural network model to obtain the user's first state information; and inputting the user's voice into the second neural network model to obtain the user's second state information.
  • and providing guide information may provide guide information corresponding to a step requiring feedback among a plurality of steps based on the identified performance state, first state information, and second state information.
  • guide information related to task information may be output.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor 140 itself.
  • embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation of the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium. have.
  • the specific device performs the processing operation in the electronic device 100 according to the various embodiments described above.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 디스플레이. 카메라, 정보가 제공되는 컨텐츠와 관련된 레퍼런스 정보가 저장된 메모리 및 프로세서를 포함한다. 프로세서는 컨텐츠가 디스플레이를 통해 제공되는 동안 카메라를 통해 사용자를 촬영한 이미지를 획득하고, 이미지에 기초하여 사용자와 관련된 컨텍스트 정보를 획득하고, 획득된 컨텍스트 정보 및 레퍼런스 정보를 비교하여 컨텐츠에서 제공하는 정보에 대한 사용자의 수행 상태를 식별하고, 사용자의 수행 상태에 기초하여 컨텐츠의 출력 상태를 제어할 수 있다.

Description

컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법
본 발명은 정보를 제공하는 컨텐츠와 관련된 케어 서비스를 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 유튜브(Youtube) 등의 UGC(User Generated Contents) 기반의 플랫폼이 대중화됨에 따라 다양한 사용자의 니즈를 충족시킬 수 있는 컨텐츠가 제작 및 배포되고 있다. 이에 따라 이러한 컨텐츠를 사용자에게 제공하는 로봇의 개발 역시 활발히 이루어지고 있다. 그러나 기존의 로봇은 단방향 컨텐츠를 사용자에게 제공하는 기능을 수행할 뿐, 컨텐츠를 제공받는 사용자의 특성 및 상황 변화를 반영하지 못하여 만족스러운 서비스를 제공하기 어려운 문제점이 있었다. 이에 따라 컨텐츠를 제공하는 과정에서 사용자와의 인터랙션을 통해 사용자 친화적인 케어 서비스를 제공하는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 컨텐츠를 제공하는 과정에서 사용자와의 인터랙션을 통해 사용자 친화적인 케어 서비스를 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 디스플레이, 카메라, 정보를 제공하는 컨텐츠와 관련된 레퍼런스 정보가 저장된 메모리 및 상기 컨텐츠가 상기 디스플레이를 통해 제공되는 동안, 상기 카메라를 통해 사용자를 촬영한 이미지를 획득하고, 상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하고, 상기 획득된 컨텍스트 정보 및 상기 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공하는 정보에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 프로세서를 포함할 수 있다.
여기서, 상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며,
상기 프로세서는, 상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 상기 메모리는, 상기 사용자의 수행 레벨 별 컨텐츠의 출력 타입에 대한 정보를 저장하고, 상기 프로세서는, 상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고, 상기 메모리에 저장된 정보 중 상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하고, 상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 상기 컨텐츠의 출력 타입은, 정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
한편, 구동부를 더 포함하며, 상기 프로세서는, 운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하고, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하도록 상기 구동부를 제어할 수 있다.
여기서, 상기 전자 장치는, 헬스 케어 서비스를 제공하는 로봇으로 구현되며, 상기 로봇은, 상기 사용자의 수행 상태에 기초하여 상기 사용자가 상기 컨텐츠에서 제공하는 운동 자세를 수행하도록 상기 사용자의 자세를 케어하는 동작을 수행하거나 상기 사용자의 자세를 가이드하는 가이드 정보를 제공할 수 있다.
또한, 상기 프로세서는, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 상기 운동 자세의 난이도 중 적어도 하나에 기초하여 상기 사용자의 수행 레벨을 식별하고, 상기 식별된 수행 레벨에 대응되는 피드백을 제공할 수 있다.
한편, 상기 프로세서는, 복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 상태 정보를 획득하고, 상기 획득된 상태 정보 및 상기 레퍼런스 정보에 포함된 상태 정보를 비교하여 상기 복수의 스텝 각각에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 프로세서는, 상기 이미지를 제1 신경망 모델에 입력하여 상기 사용자의 제1 상태 정보를 획득하고, 상기 사용자의 음성을 제2 신경망 모델에 입력하여 상기 사용자의 제2 상태 정보를 획득하고, 상기 식별된 수행 상태, 상기 제1 상태 정보 및 제2 상태 정보에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어할 수 있다.
또한, 스피커를 더 포함하며, 상기 프로세서는, 상기 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 상기 사용자의 이미지가 획득되지 않는 경우, 상기 태스크 정보와 관련된 가이드 정보를 출력하도록 상기 스피커를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 정보를 제공하는 컨텐츠가 디스플레이되는 동안, 카메라를 통해 사용자를 촬영한 이미지를 획득하는 단계, 상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계, 상기 획득된 컨텍스트 정보 및 상기 컨텐츠와 관련된 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공되는 정보에 대한 상기 사용자의 수행 상태를 식별하는 단계 및 상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계를 포함할 수 있다.
여기서, 상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고, 상기 컨텐츠의 출력 상태를 제어하는 단계는, 상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고, 상기 컨텐츠의 출력 상태를 제어하는 단계는, 상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하는 단계 및 상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계를 포함할 수 있다.
여기서, 상기 컨텐츠의 출력 타입은, 정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
한편, 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계는, 운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하는 단계를 포함하고, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하는 단계 및 상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하는 단계를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 컨텐츠를 통해 제공되는 정보에 대한 이해도 내지 수행 상태가 상이한 사용자들에게 만족스러운 케어 서비스를 제공할 수 있게 된다.
도 1은 전자 장치의 사용자에 대한 컨텐츠 제공 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 컨텐츠에 포함된 스텝 및 스텝별 레퍼런스 정보에 대해 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 자세 정보에 기초하여 사용자의 수행 상태를 식별하는 방법을 설명하기 위한 도면이다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 전자 장치가 다양한 기준에 따라 사용자의 수행 상태에 대응되는 수행 레벨을 식별하는 동작 및 수행 레벨에 기초하여 전자 장치가 제공하는 다양한 종류의 피드백을 설명하기 위한 도면이다.
도 7a 및 7b는 본 개시의 일 실시 예에 따른 전자 장치의 자세 교정 동작 및 모방 트레이닝 동작을 설명하기 위한 도면이다.
도 8a 내지 8c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 표정을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 9a 내지 9c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 음성을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용자라는 용어는 전자 장치를 사용하는 사람을 지칭할 수 있다. 이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 전자 장치의 사용자에 대한 컨텐츠 제공 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(10)는 사용자(30)에게 정보를 제공하는 컨텐츠(20)를 제공할 수 있다. 여기서, 컨텐츠(20)는 스쿼트 동작을 설명하는 헬스 관련 컨텐츠일 수 있다.
사용자(30)는 전자 장치(10)가 제공하는 컨텐츠(20)를 통해 제공되는 정보에 기초하여 특정 동작을 따라할 수 있다. 일 예에 따른 사용자(30)의 동작은 헬스 관련 컨텐츠에 포함된 스쿼트 동작을 따라하는 동작일 수 있다.
다른 예에 따른 사용자(30)의 동작은 키즈 관련 컨텐츠에 포함된 종이접기 동작을 따라하거나, 요리 관련 컨텐츠에 포함된 재료 손질 동작을 따라하는 동작일 수 있다.
한편, 사용자(30)는 컨텐츠(20)가 제공하는 정보를 수용하여 이해할 뿐 컨텐츠(20)에 포함된 동작은 따라하지 않을 수 있다. 본 명세서에서 사용하는 '수행 상태'라는 용어는 사용자가 전자 장치로부터 제공되는 컨텐츠에 포함된 정보를 이해하고 있는지에 대한 정보 또는 컨텐츠에 포함된 정보에 기초하여 특정 동작을 정확히 따라하는지에 대한 정보와 관련된 상태를 지칭한다.
전자 장치(10)를 통해 컨텐츠(20)를 제공받는 복수의 사용자들은 개인별 신체 특성 및 컨텐츠를 통해 제공되는 정보에 관련된 분야에 대한 이해도 등에 따라 상술한 동작을 수행할 수 있는 능력이 모두 상이할 수 있다.
구체적으로, 하체가 유연하지 않은 사용자는 스쿼트 동작을 따라하는 데 어려움을 겪을 수 있고, 색약인 사용자는 종이접기 동작을 빠르게 따라할 수 없으며, 칼질에 숙련되지 않은 사용자는 재료 손질 동작을 정확히 따라하는 데 어려움을 겪을 수 있다.
그러므로 컨텐츠에 포함된 동작을 수행함에 있어 컨텐츠를 제공받은 복수의 사용자들의 각 수행 상태는 상이할 수 밖에 없다. 그럼에도 기존의 전자 장치는 사용자의 수행 상태를 고려하지 않아 사용자에게 만족스러운 서비스를 제공할 수 없는 문제점을 갖고 있었다.
이에 따라, 이하에서는 전자 장치가 사용자와의 인터랙션을 통해 사용자의 수행 상태를 고려한 케어 서비스를 제공할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다. 본 명세서에서는 전자 장치가 사용자에 대해 '인터랙션을 제공한다'는 표현과 '피드백을 제공한다'는 표현이 동일한 의미인 것을 전제로 두 표현을 혼용하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여, 본 개시의 일 실시 예에 따른 전자 장치(100)는 디스플레이(110), 카메라(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, QLED(Quantum dot light-emitting diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
카메라(120)는 카메라의 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 영상을 획득할 수 있다.
카메라(120)는 객체, 예를 들어 사용자에 의해 반사되어 수신되는 가시광 또는 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 또는 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
또한, 본 개시의 일 실시 예에 따른 카메라(120)는 ToF(Time-Of-Flight) 방식으로 작동하는 뎁스 카메라로 구현될 수 있다.
메모리(130)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 실시 예에 따른 메모리(130)는 정보를 제공하는 컨텐츠와 관련된 레퍼런스 정보를 저장할 수 있다. 여기서, 레퍼런스 정보란 정보를 제공하는 컨텐츠에 포함된 정보에 대응되는 정보일 수 있다.
프로세서(140)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(140)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(140)는 디스플레이(110), 카메라(120) 및 메모리(130)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(140)로 기재한다.
프로세서(140)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(140)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 컨텐츠가 디스플레이(110)를 통해 제공되는 동안 카메라(120)를 통해 사용자를 촬영한 이미지를 획득할 수 있다.
일 예에 따른 컨텐츠는 헬스, 키즈 또는 요리 관련 컨텐츠일 수 있으나, 이에 한정되지는 않는다. 일 예에 따른 프로세서(140)는 사용자의 전면부, 측면부 또는 후면부 중 적어도 하나를 포함하는 이미지를 획득하도록 카메라(120)를 제어할 수 있다.
또한, 일 예에 따른 프로세서(140)는 획득한 이미지에 기초하여 사용자와 관련된 컨텍스트 정보를 획득할 수 있다. 일 예에 따른 컨텍스트 정보는 획득된 이미지에 포함된 정보 중 컨텐츠를 통해 제공되는 정보에 대응되는 사용자의 수행 상태에 관한 정보를 포함할 수 있다.
구체적으로, 일 예에 따른 컨텍스트 정보는 컨텐츠를 제공받고 있는 사용자의 자세 정보, 사용자의 표정 정보 또는 사용자의 음성 정보 중 적어도 하나의 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 획득된 컨텍스트 정보 및 메모리(130)에 저장된 레퍼런스 정보를 비교하여 컨텐츠에서 제공하는 정보에 대한 사용자의 수행 상태를 식별할 수 있다.
또한, 일 예에 따른 프로세서(140)는 식별된 사용자의 수행 상태에 기초하여 컨텐츠의 출력 상태를 제어할 수 있다. 구체적으로, 프로세서(140)는 제공중인 컨텐츠의 출력 타입을 변경하여 제공할 수 있다. 일 예에 따른 컨텐츠의 출력 타입은 정지 화면 출력, 컨텐츠에 포함된 특정 정보 반복 제공, 컨텐츠의 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠는 서브 정보를 포함하는 복수의 스텝으로 구성될 수 있다. 구체적으로, 일 예에 따른 컨텐츠가 헬스 관련 컨텐츠인 경우, 컨텐츠는 운동의 각 동작에 대응되는 서브 정보를 포함하는 복수의 스텝으로 구성될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 디스플레이를 통해 제공되는 동안 획득된 사용자의 컨텍스트 정보 및 서브 정보에 대응되는 레퍼런스 정보를 비교하여 하나의 스텝에 대한 사용자의 수행 상태를 식별할 수 있다.
구체적으로, 일 예에 따른 컨텐츠가 헬스 관련 컨텐츠인 경우, 일 예에 따른 프로세서(140)는 사용자의 운동 자세 정보를 포함하는 컨텍스트 정보와 운동의 각 동작에 대응되는 서브 정보에 대응되는 레퍼런스 정보를 비교하여 운동의 각 동작에 대응되는 스텝에 대한 사용자의 수행 상태를 식별할 수 있다.
일 예에 따른 프로세서(140)는 식별된 사용자의 수행 상태에 기초하여 하나의 스텝과 관련된 컨텐츠의 출력 상태를 제어할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 사용자의 수행 상태에 대응되는 수행 레벨을 식별할 수 있다. 여기서, 일 예에 따른 수행 레벨은 사용자의 수행 상태가 양호한 정도에 관한 레벨일 수 있다.
일 예에 따른 프로세서(140)는 메모리(130)에 저장된 사용자의 수행 레벨 별 컨텐츠의 출력 타입에 대한 정보 및 사용자의 수행 레벨에 기초하여 컨텐츠의 출력 상태를 제어할 수 있다.
일 예에 따른 컨텐츠가 서브 정보를 포함하는 복수의 스텝으로 구성된 경우, 일 에에 따른 프로세서(140)는 컨텐츠에 포함된 특정 스텝에 대응되는 서브 정보를 반복 출력하도록 컨텐츠의 출력 상태를 제어할 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠가 헬스 관련 컨텐츠인 경우, 컨텐츠는 운동 자세를 포함하는 헬스 정보를 제공할 수 있다. 일 예에 따른 프로세서(140)는 컨텐츠가 디스플레이(110)를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 자세 정보를 획득할 수 있다.
또한, 일 예에 따른 프로세서(140)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보를 비교하여 운동 자세에 대한 사용자의 수행 상태를 식별할 수 있다. 프로세서(140)는 식별된 수행 상태에 기초하여 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하도록 전자 장치(100)에 구비된 구동부를 제어할 수 있다. 구체적으로, 일 예에 따른 프로세서(140)는 전자 장치(100)의 주행 또는 전자 장치(100)에 구비된 기계적 부속의 구동 중 적어도 하나를 포함하는 상이한 피드백을 제공하기 위해 구동부를 제어할 수 있다.
여기서, 일 예에 따른 프로세서(140)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 획득된 자세 정보 및 레퍼런스에 포함된 자세 정보간 불일치 빈도 또는 운동 자세의 난이도 중 적어도 하나에 기초하여 사용자의 수행 레벨을 식별할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 헬스 케어 서비스를 제공하는 로봇으로 구현되며, 일 예에 따른 로봇은 사용자의 수행 상태에 기초하여 사용자가 컨텐츠에서 제공하는 운동 자세를 수행하도록 사용자의 자세를 케어하는 동작을 피드백으로써 제공할 수 있다.
또한, 로봇은 사용자의 자세를 가이드하는 가이드 정보를 제공하는 동작을 피드백으로써 제공할 수도 있다. 이에 관해서는 도 7a 및 7b를 통해 상세히 설명하도록 한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 태스크 정보를 제공하는 컨텐츠가 디스플레이(110)를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 상태 정보를 획득할 수 있다. 여기서, 일 예에 따른 태스크 정보는 스텝간 우선순위에 기초하여 결합된 복수의 스텝을 포함하는 정보일 수 있다.
구체적으로, 일 예에 따른 태스크 정보에 포함된 스텝 1, 스텝 2 및 스텝 3에 있어서, 스텝 2는 스텝 1의 완료를 전제로 개시되는 스텝일 수 있고, 스텝 3는 스텝 1 및 스텝 2의 완료를 전제로 개시되는 스텝일 수 있다.
일 예에 따른 프로세서(140)는 획득된 상태 정보 및 레퍼런스 정보에 포함된 상태 정보를 비교하여 복수의 스텝 각각에 대한 사용자의 수행 상태를 식별하고, 사용자의 수행 상태에 기초하여 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 디스플레이(110)를 제어할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 획득된 이미지를 제1 신경망 모델에 입력하여 사용자의 제1 상태 정보를 획득하고, 사용자의 음성을 제2 신경망 모델에 입력하여 사용자의 제2 상태 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 스피커를 더 포함하며, 일 예에 따른 프로세서(140)는 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 사용자의 이미지가 획득되지 않는 경우 태스크 정보와 관련된 가이드 정보를 출력하도록 스피커를 제어할 수 있다.
구체적으로, 일 예에 따른 프로세서(140)는 사용자의 이미지가 획득되지 않는 경우 사용자가 컨텐츠 시청을 중지한 것으로 식별하고, 컨텐츠 제공 중지를 알리는 가이드 음성을 출력하도록 스피커를 제어할 수 있다. 한편, 프로세서(140)는 사용자에게 컨텐츠에 대한 집중을 요청하는 가이드 음성을 출력하도록 스피커를 제어할 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.
도 3에 표현된 각 블록은 전자 장치(100)의 기능적 구성과 관련된 복수의 모듈에 대응될 수 있다. 여기서, 일 예에 따른 복수의 모듈은 전자 장치(100)의 메모리에 저장된 소프트웨어 모듈이거나 전자 장치(100) 상에 회로적으로 구현된 하드웨어 모듈일 수 있다. 또는, 복수의 모듈 각각은 소프트웨어 및 하드웨어가 조합된 형태로 구현될 수도 있다.
본 명세서에서는, 전자 장치(100)의 일 구성 요소인 프로세서(140)에 의해 복수의 모듈이 수행하는 기능들이 수행되는 것으로 상정하여 전자 장치(100)의 기능을 설명하도록 한다.
도 3을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 태스크 모델(Task Model, 20) 및 인터랙션 모델(Interaction Model, 30)을 통해 사용자(300)에게 서비스를 제공할 수 있다. 일 예에 따른 태스크 모델(20)은 컨텐츠 추출부(Content Extractor, 21) 및 컨텍스트 분석부(Context Analyzer, 22)를 포함하며, 일 예에 따른 인터랙션 모델(30)은 자세 분석부(Posture Analyzer, 31), 수행 평가부(Performance Evaluator, 32), 얼굴/음성 인식부(Face/Voice Recognizer, 33) 및 의도 분석부(Intention Analyzer, 34)를 포함할 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠(200)는 서브 정보를 포함하는 복수의 스텝으로 구성될 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠 추출부(21)는 영상 또는 텍스트 기반 컨텐츠(200)로부터 유효한 정보를 추출할 수 있다. 일 예에 따른 컨텐츠(200)가 영상 기반 컨텐츠인 경우 컨텐츠 추출부(21)는 디스플레이(110)를 통해 제공되는 영상 중에서 기 설정된 추출 규칙에 따라 컨텐츠 영역을 추출하는 기능을 수행한다.
본 개시의 일 실시 예에 따른 컨텍스트 분석부(22)는 추출된 컨텐츠 영역을 통해 제공되는 컨텐츠(200)에 포함된 정보에 기초하여 컨텍스트를 획득할 수 있다. 구체적으로, 컨텍스트 분석부(22)는 컨텐츠(200)에 포함된 이미지의 변화, 음성, 자막, 캡션(Caption) 등에 기초하여 컨텍스트를 획득할 수 있다.
일 예에 따른 컨텍스트 분석부(22)는 획득된 컨텍스트에 기초하여 컨텐츠(200)를 구성하는 복수의 스텝을 식별할 수 있다. 일 예에 따른 컨텐츠(200)가 스쿼트 동작을 알려주는 헬스 관련 컨텐츠인 경우, 컨텍스트 분석부(22)는 컨텐츠에 포함된 정보에 기초하여 '시작 자세 취하기', '앉기', '일어서기' 및 '바르게 서기'에 대응되는 복수의 스텝을 식별할 수 있다.
본 개시의 일 실시 예에 따른 태스크 모델(20)은 컨텍스트 분석부(22)에서 식별한 복수의 스텝에 대응되는 레퍼런스 정보에 기초하여 식별된 복수의 스텝에 대한 이상적인 형태를 식별할 수 있다.
본 개시의 일 실시 예에 따른 레퍼런스 정보는 획득된 컨텍스트에 기초하여 생성된 정보일 수도 있으나, 전문 데이터에 기초하여 전자 장치(100)에 포함된 메모리(130)에 저장된 정보일 수 있다. 일 예에 따른 레퍼런스 정보는 하기 표 1과 같이 스텝에 대한 주요 포인트 및 난이도에 대한 정보를 포함할 수 있다.
스텝 주요 포인트 난이도
1) 시작 자세 취하기 다리 너비 Easy
2) 앉기 대퇴부와 정강이의 각도
허리의 곡률		 Medium
3) 일어서기 신체 좌우의 균형
시선의 방향		 Hard
4) 바르게 서기 시작 자세와의 일치율 Easy
본 개시의 일 실시 예에 따른 태스크 모델(20)은 레퍼런스 정보에 기초하여 '시작 자세 취하기'에 대응되는 스텝에 대해 다리 너비와 어깨 너비의 차가 임계 수치 이하인 경우를 해당 스텝에 대한 이상적인 형태로 식별할 수 있다.본 개시의 일 실시 예에 따른 인터랙션 모델(30)은 자세 분석부(31), 수행 평가부(32), 얼굴/음성 인식부(33) 및 의도 분석부(34)를 포함할 수 있다. 또한, 일 예에 따른 인터랙션 모델(30)은 태스크 모델(20)과 정보를 주고받을 수 있다.
본 개시의 일 실 예에 따른 자세 분석부(31)는 사용자(300)의 자세를 분석한다. 도 3에서는 '자세 분석부'라는 용어를 사용하였으나, 컨텐츠(200)에 포함된 정보가 자세가 아닌 '결과물'과 관련된 정보인 경우, 자세 분석부(31)는 카메라(120)를 통해 획득된 이미지로부터 사용자(300)가 만든 결과물을 분석할 수도 있다.
일 예에 따른 자세 분석부(31)는 자세를 분석하여 사용자와 관련된 컨텍스트 정보를 획득할 수 있다. 여기서, 사용자와 관련된 컨텍스트 정보는 사용자의 자세에 대응되는 정보일 수 있다.
또한, 일 예에 따른 자세 분석부(31)는 스켈레톤(Skeleton) 분석을 통해 사용자(300)의 자세를 분석할 수 있으며, 이에 대해서는 도 5에서 상세히 설명하도록 한다.
본 개시의 일 실시 예에 따른 수행 평가부(32)는 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 제공되는 분석을 통해 획득된 사용자의 자세 정보와 서브 정보에 대응되는 레퍼런스 정보를 비교하여 사용자의 수행 상태를 식별할 수 있다. 일 예에 따른 컨텐츠(200)가 헬스 관련 컨텐츠인 경우, 수행 평가부(32)는 컨텐츠에 포함된 일 스텝인 '시작 자세 취하기'에 대한 이상적인 형태와 사용자와 관련된 컨텍스트 정보를 비교하여 해당 스텝에 대한 사용자의 수행 상태를 식별할 수 있다.
본 개시의 일 실시 예에 따른 얼굴/음성 인식부(33)는 사용자의 얼굴과 음성을 인식할 수 있다. 구체적으로, 일 예에 따른 얼굴/음성 인식부(33)는 사용자의 얼굴을 촬영한 이미지에 기초하여 사용자의 표정 정보를 획득하거나 사용자의 음성을 인식하여 음성에 포함된 발화 의도 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 의도 분석부(34)는 획득된 표정 정보 또는 발화 의도 정보에 기초하여 컨텐츠에서 제공하는 정보에 대한 사용자(300)의 이해도를 식별할 수 있다.
사용자(300)는 컨텐츠에서 제공하는 정보를 이해하기 어려운 경우 특정 표정을 짓거나 특정 내용을 갖는 발화를 할 수 있다. 구체적으로, 일 예에 따른 특정 표정은 찡그리는 표정일 수 있으며, 일 예에 따른 특정 내용은 컨텐츠(200)를 통해 제공되는 정보가 이해하기 어려운 내용임을 암시하는 내용일 수 있다.
구체적으로 특정 스텝에 대응되는 서브 정보가 제공되는 동안 획득된 이미지에 사용자의 찡그린 표정이 포함되어 있는 경우, 일 예에 따른 의도 분석부(34)는 사용자의 해당 스텝에 대한 이해도가 높지 않음을 식별할 수 있다.
한편, 의도 분석부(34)는 사용자의 음성을 인식하여 음성에 포함된 발화 의도 정보를 획득하고, 획득된 발화 의도 정보에 기초하여 사용자의 이해도를 식별할 수도 있다.
본 개시의 일 실시 예에 따른 인터랙션 모델(30)은 태스크 모델(20)과의 정보 교환에 기초하여 사용자(300)에게 제공할 인터랙션을 결정할 수 있다.
구체적으로, 인터랙션 모델(30)은 사용자의 수행 상태 또는 컨텐츠(200)를 통해 제공되는 정보에 대한 사용자의 이해도에 기초하여 상이한 타입의 인터랙션을 제공할 수 있다.
일 예에 따른 인터랙션 모델(30)은 사용자의 수행 상태와 이해도뿐만 아니라 컨텐츠를 구성하는 개별적인 스텝에 대한 난이도 및 전자 장치의 스펙과 같은 사용자의 특성과 무관한 요소에 기초하여 사용자(300)에게 제공할 인터랙션을 결정할 수도 있다.
상술한 복수의 모듈이 수행하는 기능에 따라 일 예에 따른 전자 장치(100)는 사용자의 수행 상태 및 이해도를 고려하여 사용자(300)에게 적합한 인터랙션을 제공할 수 있게 되어 사용자가 서비스에 대해 느끼는 만족도가 향상될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 컨텐츠에 포함된 스텝 및 스텝별 레퍼런스 정보에 대해 설명하기 위한 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)에 구비된 디스플레이(110) 상에서 컨텐츠(200)가 제공될 수 있다. 여기서, 일 예에 따른 컨텐츠(200)는 스쿼트 동작을 알려주는 헬스 관련 컨텐츠일 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 컨텐츠에 포함된 복수의 스텝을 식별(401)할 수 있다. 구체적으로, 프로세서(140)는 스쿼트 동작을 구성하는 '시작 자세 취하기(410)', '앉기(420)', '일어서기(430)' 및 '바르게 서기(440)'에 대응되는 스텝을 식별할 수 있다.
일 예에 따른 프로세서(140)는 스텝별 레퍼런스 정보를 획득할 수 있다(402). 여기서, 일 예에 따른 스텝별 레퍼런스 정보(402)는 전자 장치(100)에 포함된 메모리(130)에 저장된 것일 수 있다.
구체적으로, '시작 자세 취하기(410)'에 대응되는 레퍼런스 정보는 다리 너비와 어깨 너비의 차이에 대응되는 임계 수치 정보(411)일 수 있다. 또한, '앉기(420)'에 대응되는 레퍼런스 정보는 대퇴부와 정강이의 각도(421) 및 허리의 곡률(422)에 대한 정보일 수 있다. '일어서기(430)'에 대응되는 레퍼런스 정보는 신체 좌우의 균형(431) 및 시선의 방향(432)에 대한 정보일 수 있으며, '바르게 서기(440)'에 대응되는 레퍼런스 정보는 시작 자세와의 일치율(441)에 대한 정보일 수 있다.
본 개시의 일 실시 예에 따른 '앉기(420)' 스텝에 대응되는 이상적인 형태는 대퇴부와 정강이의 각도가 90도이며, 허리의 곡률이 1(1/m) 이상인 자세일 수 있다.
도 5는 본 개시의 일 실시 예에 따른 자세 정보에 기초하여 사용자의 수행 상태를 식별하는 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 식별된 스텝별 레퍼런스 정보(402) 및 사용자의 컨텍스트 정보에 기초하여 스텝별 사용자의 수행 상태를 식별할 수 있다. 도 5에서는 사용자의 컨텍스트 정보가 스쿼트 동작을 수행하는 사용자(301)의 자세 정보인 것으로 상정한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 스켈레톤(Skeleton) 분석을 통해 사용자(300)의 자세 정보를 획득할 수 있다. 스켈레톤 분석은 이미지에 포함된 동작 분석을 위한 분석방법이다.
스켈레톤 분석을 위하여 일 예에 따른 전자 장치(100)에 구비된 카메라(120)는 뎁스 카메라로 구현될 수 있다. 구체적으로, 일 예에 따른 프로세서(140)는 뎁스 카메라를 통해 획득된 이미지에 포함된 사용자의 신체 중 관절에 대응되는 지점을 식별할 수 있다. 또한, 프로세서(140)는 관절에 대응되는 지점들 간의 위치 관계에 기초하여 각 지점을 연결한 스켈레톤 모델을 생성할 수 있다. 스켈레톤 분석은 동작 분석과 관련된 기술분야에서는 종래기술이므로 더 이상의 상세한 설명은 생략하도록 한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 카메라(120)를 통해 획득한 사용자(301)의 이미지에 대한 스켈레톤 분석을 통해 사용자의 스켈레톤 모델(310)을 획득할 수 있다. 일 예에 따른 프로세서(140)는 사용자의 스켈레톤 모델(310)에 기초하여 사용자의 자세 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 사용자의 자세 정보 및 스텝별 레퍼런스 정보(402)에 기초하여 스텝별 사용자의 수행 상태를 식별할 수 있다.
도 5를 참조하면, 사용자는 컨텐츠에 포함된 스텝 중 '앉기(420)'에 대응되는 동작을 수행하고 있다. 일 예에 따른 프로세서(140)는 '앉기(420)' 동작을 수행하는 사용자(301)의 자세 정보 및 '앉기(420)'에 대응되는 레퍼런스 정보에 기초하여 사용자의 수행 상태를 식별할 수 있다.
구체적으로, 프로세서(140)는 사용자가 대퇴부와 정강이의 각도를 일정 각도로 유지하였는지 여부 및 허리의 곡률이 임계 곡률 이상인지 여부 등에 기초하여 사용자의 '앉기(420)' 스텝에 대응되는 수행 상태를 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 다양한 기준에 따라 수행 상태를 유형화하여 식별할 수도 있다. 구체적으로, 일 예에 따른 프로세서(140)는 사용자의 수행 점수(Score, 510), 오류율(Error Rate, 520) 및 동작의 난이도(Complexity, 530)라는 유형에 기초하여 사용자의 수행 상태(500)를 식별할 수 있다.
본 개시의 일 실시 예에 따른 수행 점수(510)는 사용자가 스텝에 대한 이상적인 형태와 얼마나 근사한 자세를 취했는지에 기초하여 식별되는 수치일 수 있다. 일 예에 따른 프로세서(140)는 사용자의 자세와 '앉기(420)' 스텝에 대응되는 이상적인 형태와의 일치 정도에 기초하여 사용자의 수행 점수(510)가 80점인 것으로 식별할 수 있다.
사용자가 '앉기(420)' 스텝에 대응되는 동작을 복수 회 반복한 경우, 일 예에 따른 프로세서(140)는 각 회차에 대응되는 수행 점수의 평균을 최종적인 사용자의 수행 점수(510)로 식별할 수도 있다.
본 개시의 일 실시 예에 따른 오류율(520)은 사용자가 특정 스텝에 대응되는 이상적인 형태와의 일치 정도가 임계 수치 이하인 동작을 수행할 확률을 의미한다. 구체적으로, 사용자가 '앉기(420)' 스텝에 대응되는 동작을 복수 회 반복한 경우, 일 예에 따른 프로세서(140)는 사용자가 '앉기(420)' 스텝에 대응되는 이상적인 형태와 70 퍼센트 이하의 일치 정도를 나타내는 동작을 수행한 비율이 8퍼센트라고 식별할 수 있다.
본 개시의 일 실시 예에 따른 난이도(530)는 사용자가 스텝에 대한 이상적인 형태를 따라하기 어려운 정도를 의미한다. 구체적으로, '앉기(420)' 스텝에 대응되는 난이도는 'Medium'일 수 있다.
일 예에 따른 프로세서(140)는 각 스텝에 대응되는 난이도에 기초하여 상술한 오류율(520)을 판단할 경우 그 기준이 되는 임계 수치를 결정할 수도 있다. 구체적으로, 프로세서(140)는 특정 스텝에 대응되는 난이도가 'Easy'인 경우 오류율(520) 판단의 기준이 되는 임계 수치를 90 퍼센트로 결정할 수 있다. 한편, 난이도가 'Medium'인 경우 임계 수치를 80 퍼센트, 난이도가 'Hard'인 경우 임계 수치를 70 퍼센트로 결정할 수 있다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 전자 장치가 다양한 기준에 따라 사용자의 수행 상태에 대응되는 수행 레벨을 식별하는 동작 및 수행 레벨에 기초하여 전자 장치가 제공하는 다양한 종류의 피드백을 설명하기 위한 도면이다.
도 6a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 수행 점수(510), 오류율(520) 및 난이도(530)를 기준으로 사용자의 수행 레벨을 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 수행 점수(510) 및 오류율(520)에 대한 수치에 기초하여 유형화된 수행 상태에 대응되는 수행 레벨을 식별할 수 있다. 구체적으로 프로세서(140)는 사용자의 수행 점수가 80점을 초과하는 경우(511) 수행 점수(510)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 '1'로 식별할 수 있다.
한편, 사용자의 수행 점수가 50점 초과 80점 이하인 경우(512) 일 예에 따른 프로세서(140)는 수행 점수(510)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 '2'로 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 오류율이 50퍼센트 초과 80퍼센트 이하인 경우(523) 오류율(520)로 유형화된 사용자의수행 상태에 대응되는 수행 레벨을 '3'으로 식별할 수 있다.
한편, 오류율이 80퍼센트를 초과하는 경우(524) 일 예에 따른 프로세서(140)는 오류율(520)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 '4'로 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 난이도가 Easy인 경우(531) 난이도(530)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨은 1로 식별할 수 있다. 'Hard' 난이도(533)의 경우가 'Easy' 난이도(531)의 경우보다 더욱 적극적인 인터랙션이 요구되므로, 일 예에 따른 프로세서(140)는 난이도가 어려워질수록 난이도(530)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 높게 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 다양한 기준에 따라 수행 상태를 유형화한 후, 그에 기초하여 획득된 복수의 수행 레벨에 기초하여 다양한 타입 인터랙션(600)을 제공할 수 있다.
구체적으로, 일 예에 따른 인터랙션 타입은 기본 조작(Basic Control, 610), 속도 제어(Speed Control, 620), 집중 피드백(Focusing Feedback, 630), 시각 피드백(Visual Feedback, 640), 자세 교정(Posture Correction, 650) 또는 모방 트레이닝(Mimic Training, 660)을 포함할 수 있다.
일 예에 따른 기본 조작(610)은 정지 화면 출력 또는 특정 스텝에 대응되는 서브 정보의 반복 출력에 대응되는 인터랙션 타입일 수 있다. 한편, 일 예에 따른 시각 피드백(640)는 전자 장치(100)가 카메라(120)를 통해 사용자의 자세를 촬영한 이미지를 디스플레이(110)를 통해 출력하는 인터랙션 타입일 수 있으며, 나머지 인터랙션 타입은 후술하는 도면을 통해 설명하도록 한다.
도 6a 및 6b에서는 상술한 복수의 인터랙션 타입을 'In(n은 자연수)'과 같은 기호로 나타내었다. I1에서 I6로 갈수록 전자 장치(100)가 사용자에게 적극적인 인터랙션을 제공할 수 있음을 의미한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 수행 레벨뿐만 아니라 사용자의 자세(Posture, 540)에 기초하여 제공할 인터랙션 타입을 결정할 수 있다. 구체적으로, 프로세서(140)는 사용자가 디스플레이를 응시할 수 있는지 여부 및 현재 사용자의 자세를 유지하는데 집중력이 요구되는 정도에 기초하여 자세 교정(650) 인터랙션 제공 여부를 결정할 수 있다. 사용자가 디스플레이를 응시할 수 없다면 전자 장치(100)에 구비된 별도의 구동부(미도시)를 이용한 자세 교정의 필요성이 크며, 또한 사용자가 현재 자세를 유지하는데 많은 집중력이 요구된다면 디스플레이를 통해 컨텐츠의 출력 타입을 제어하는 것 보다 물리적인 방식으로 자세 교정을 하는 실익이 높기 때문이다.
또한, 일 예에 따른 전자 장치(100)가 로봇으로 구현되는 경우, 프로세서(140)는 로봇의 스펙(550)에 기초하여 모방 훈련(660) 인터랙션 제공 여부를 결정할 수 있다. 구체적으로, 일 예에 따른 로봇이 휴머노이드 타입으로 구현되는 경우, 특정 스텝에 대해 사용자가 취하려고 하는 자세를 가이드 하기 위해 컨텐츠를 통해 제공되는 서브 정보에 대응되는 이상적인 형태를 로봇이 직접 수행할 수 있다.
도 6b는 수행 레벨에 기초하여 전자 장치가 제공하는 다양한 종류의 피드백이 표로써 도시되어 있다. 세로 축의 S 는 수행 점수를 의미하는 기호이며, 가로 축의 E 및 C는 각각 오류율 및 난이도를 의미하는 기호이다.
구체적으로, 일 예에 따른 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 3이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 1인 경우(601) 기본 조작(610) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 4이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 2인 경우(602) 속도 제어(620) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 6이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 2인 경우(603) 집중 피드백(630) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 5이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 4인 경우(604) 시각 피드백(640) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 7이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 4인 경우(605) 시각 피드백(640) 타입의 인터랙션을 제공할 수 있다. 또한, 이 경우 프로세서(140)는 사용자의 자세(540) 및 전자 장치의 스펙(550)에 기초하여 자세 교정(650) 또는 모방 트레이닝(660) 타입의 인터랙션을 제공할 수 있다.
도 7a 및 7b는 본 개시의 일 실시 예에 따른 전자 장치의 자세 교정 동작 및 모방 트레이닝 동작을 설명하기 위한 도면이다.
도 7a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(101)는 구동부(710)를 구비할 수 있다. 도 2 에서 설명한 바와는 달리 도 7a에서는 구동부(710)가 전자 장치(101)에 구비된 기계적 부속을 포함하는 것으로 도시하였으며, 도시된 로봇 팔 형태의 부속뿐만 아니라 전자 장치(100)하부에 구비된 바퀴 형태 또는 디스플레이(110)의 후면에 결합된 암(arm) 형태의 부속 또한 구동부(710)에 포함될 수 있음은 물론이다.
일 예에 따른 전자 장치(101) 사용자(301)에게 자세 교정 타입의 인터랙션이 요구되는 것으로 식별하면 구동부(710)를 통해 사용자(301)이 취하고 있는 잘못된 자세를 교정해 줄 수 있다. 전자 장치(100)는 해당 인터랙션을 제공하는 과정에서 구동부(710)를 통해 사용자(301)를 터치할 수 있다.
또한, 전자 장치(100)는 구동부(710)를 통해 디스플레이(100)의 위치를 사용자(301)에 가깝게 이동시키거나, 디스플레이(100)의 각도를 조정할 수도 있다.
도 7b를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(102)는 휴머노이드 타입의 로봇으로 구현될 수 있다. 도 7b에 도시하지는 않았으나, 휴머노이드 타입의 로봇(102)은 로봇을 구동시키는 일체의 구성을 포함하는 구동부를 포함할 수 있다.
일 예에 따른 로봇(102)은 디스플레이(110)를 통해 제공되는 컨텐츠에 포함된 특정 스텝에 대응되는 동작을 따라함으로써 사용자에게 모방 트레이닝 타입의 인터랙션을 제공할 수 있다.
또한, 일 예에 따른 로봇(102)은 스피커(720)를 구비할 수 있으며, 사용자(301)에게 모방 트레이닝 타입의 인터랙션을 제공함과 동시에 “따라하십시오”라는 음성을 출력하도록 스피커(720)를 제어할 수 있다.
도 8a 내지 8c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 표정을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 8a를 참조하면, 일 예에 따른 전자 장치(100)는 사용자(302)에게 복수의 스텝을 포함하는 태스크 정보를 제공하는 종이 접기 관련 컨텐츠를 제공할 수 있다. 일 예에 따른 프로세서(140)는 종이 접기 동작에 포함된 복수의 스텝을 식별할 수 있다.
일 예에 따른 프로세서(140)는 각 스텝에 대응되는 '결과물'을 스텝에 대한 이상적인 형태로 식별하고, 사용자(302)가 만든 결과물을 이상적인 형태와 비교하여 사용자(302)의 수행 상태를 식별할 수 있다.
일 예에 따른 프로세서(140)는 식별된 수행 상태에 기초하여 사용자(302)에 대한 인터랙션을 제공할 수 있다. 프로세서(140)는 사용자가 스텝에 대응되는 결과물을 만들지 못한 경우 해당 스텝에 대응되는 서브 정보를 반복 출력할 수 있다. 한편, 프로세서(140)는 컨텐츠에 포함된 최초의 스텝에 대응되는 서브 정보 및 그 이후의 스텝에 대응되는 서브 정보를 이어서 출력할 수도 있다.
또한, 프로세서(140)는 준비물(801, 802, 803)이 준비되지 않은 경우 사용자의 수행 상태를 식별하는 것에 우선하여 기 설정된 인터랙션을 제공할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 카메라(120)를 통해 획득된 이미지에 기초하여 사용자(302)의 얼굴을 식별할 수 있다. 일 예에 따른 프로세서는 사용자의 얼굴 이미지에 기초하여 사용자의 표정 정보를 획득할 수 있다.
일 예에 따른 프로세서(140)는 얼굴 이미지를 제1 신경망 모델에 입력하여 사용자의 표정 정보를 획득할 수 있으며, 제1 신경망 모델은 복수의 이미지를 입력 받아 찡그린 표정의 얼굴을 포함하는 이미지를 출력하도록 학습된 모델일 수 있다.
일 예에 따른 프로세서(140)는 사용자가 찡그린 표정을 짓는 것(810)을 식별하고, 이에 따라 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(140)는 피드백이 필요한 스텝에 대응되는 서브 정보의 출력 타입을 변경한 가이드 정보를 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
구체적으로, 일 예에 따른 가이드 정보는 종이 접기 동작에 포함된 스텝 중 사용자(302)가 찡그린 표정을 지은 순간 제공되고 있었던 서브 정보에 대응되는 스텝을 식별하고, 해당 스텝의 서브 정보를 다시 제공함과 동시에 서브 정보를 다시 제공한다는 취지를 알리는 UI를 함께 제공할 수 있다.
또한, 도 8b를 참조하면 본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자가 찡그린 표정을 짓는 것(810)을 식별하고, 그 즉시 컨텐츠의 제공을 중단(821)할 수도 있다. 한편, 도 8c와 같이 프로세서(140)는 사용자가 찡그린 표정을 짓는 것(810)을 식별하고, 그 즉시 컨텐츠의 출력 속도를 조정(822)할 수도 있다.
도 9a 내지 9c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 음성을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 9a를 참조하면, 일 예에 따른 전자 장치(100)는 사용자(303)에게 복수의 스텝을 포함하는 태스크 정보를 제공하는 요리 관련 컨텐츠를 제공할 수 있다. 일 예에 따른 프로세서(140)는 요리 동작에 포함된 복수의 스텝을 식별할 수 있다.
일 예에 따른 프로세서(140)는 각 스텝에 대응되는 '결과물'을 스텝에 대한 이상적인 형태로 식별하고, 사용자(303)가 만든 결과물을 이상적인 형태와 비교하여 사용자(302)의 수행 상태를 식별할 수 있다.
일 예에 따른 프로세서(140)는 식별된 수행 상태에 기초하여 사용자(303)에 대한 인터랙션을 제공할 수 있다. 프로세서(140)는 사용자가 스텝에 대응되는 결과물을 만들지 못한 경우 해당 스텝에 대응되는 서브 정보를 반복 출력할 수 있다. 한편, 프로세서(140)는 컨텐츠에 포함된 최초의 스텝에 대응되는 서브 정보 및 그 이후의 스텝에 대응되는 서브 정보를 이어서 출력할 수도 있다.
또한, 프로세서(140)는 준비물(901, 902, 903, 904)이 준비되지 않은 경우 사용자의 수행 상태를 식별하는 것에 우선하여 기 설정된 인터랙션을 제공할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 사용자의 발화를 인식할 수 있다. 구체적으로, 프로세서(140)는 별도로 구비된 마이크(미도시)를 통해 획득된 사용자의 음성 정보에 기초하여 발화를 인식하거나 카메라(120)를 통해 획득된 사용자의 입 모양 이미지에 기초하여 발화를 인식할 수 있다.
일 예에 따른 프로세서(140)가 음성 정보에 기초하여 발화를 인식하는 경우, 프로세서(140)는 음성 정보를 제2 신경망 모델에 입력하여 사용자의 발화 정보를 획득할 수 있으며, 제2 신경망 모델은 복수의 음성 정보를 입력 받아 불쾌한 기분을 묘사하는 발화를 포함하는 음성을 출력하도록 학습된 모델일 수 있다.
일 예에 따른 프로세서(140)는 사용자의 불쾌한 기분을 묘사하는 발화를 식별하고, 이에 따라 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(140)는 피드백이 필요한 스텝에 대응되는 서브 정보의 출력 타입을 변경한 가이드 정보를 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
구체적으로, 일 예에 따른 가이드 정보는 요리 동작에 포함된 스텝 중 사용자(303)가 발화 순간 제공되고 있었던 서브 정보에 대응되는 스텝을 식별하고, 해당 스텝의 서브 정보를 다시 제공함과 동시에 서브 정보를 다시 제공한다는 취지를 알리는 UI를 함께 제공할 수 있다.
또한, 도 9b를 참조하면 본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자의 발화(910)를 식별하고, 컨텐츠의 제공을 중단할지 여부에 대한 입력을 요청하는 UI(921)를 디스플레이할 수도 있다. 한편, 도 9c와 같이 프로세서(140)는 사용자의 발화(910)를 식별하고, 컨텐츠를 통해 제공되는 화면의 특정 부분을 확대하여 (922)할 수도 있다. 이는 도 6a에서 설명한 집중 피드백(630)에 대응되는 인터랙션 타입일 수 있다.
한편, 일 예에 따른 프로세서(140)는 마이크를 통해 수신된 사용자의 음성에 기초하여 사용자(303)가 타인과 대화중인 것으로 식별되면 컨텐츠의 제공을 중단하도록 디스플레이(110)를 제어할 수도 있다.
도 9a 및 9b에서 설명한 바와 같이 전자 장치(100)는 사용자의 컨텐츠에 포함된 정보에 대한 이해도에 기초하여 다양한 인터랙션을 제공할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 10에 따르면, 전자 장치(100')는 디스플레이(110), 카메라(120), 메모리(130), 프로세서(140), 스피커(150), 통신 인터페이스(160), 구동부(170) 및 마이크(180)를 포함한다. 도 10에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
본 개시의 일 실시 예에 따른 메모리(130)는 복수의 레이어를 포함하는 제1 신경망 모델(131) 및 제2 신경망 모델(132)에 관한 정보를 저장할 수 있다. 여기서, 신경망 모델에 관한 정보를 저장한다는 것은 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 메모리(130)는 일 실시 예에 따라 복수의 이미지를 입력 받아 찡그린 표정의 얼굴을 포함하는 이미지를 출력하도록 학습된 학습된 제1 신경망 모델(131) 및 복수의 음성 정보를 입력 받아 불쾌한 기분을 묘사하는 발화를 포함하는 음성을 출력하도록 학습된 제2 신경망 모델(132)에 대한 정보를 저장할 수 있다.
스피커(150)는 전자 장치(100) 전기음향신호를 음파로 변환하는 장치이다. 스피커(150)는 영구자석과 코일 및 진동판을 포함할 수 있으며, 영구자석과 코일 사이에서 일어나는 전자기 상호작용에 의해 진동판을 진동시킴으로써 음향을 출력할 수 있다.
통신 인터페이스(160)는 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(160)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
구동부(170)는 전자 장치(100)가 사용자에게 인터랙션을 제공하는 경우 프로세서(140)의 제어에 따라 전자 장치(100)를 구동시킬 수 있다. 구체적으로, 구동부(170)는 전자 장치(100)의 위치를 이동시키거나 전자 장치(100)에 포함된 기계적인 부속을 구동할 수 있다. 이를 위해, 구동부(170)는 동력을 발생시키는 동력발생장치(예: 사용 연료(또는 에너지원)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등), 주행 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등), 동력에 따라 전자 장치(100)를 주행시키는 주행 장치(예: 바퀴, 프로펠러 등)등을 포함할 수 있다. 여기서, 구동부(170)는 전자 장치(100)가 구현되는 타입에 기초하여 상이한 형태로 구비될 수 있다.
마이크(180)는 음향 신호를 수신하는 구성이다. 구체적으로 마이크(180)는 음파를 입력 받아 이와 동일한 파형의 전류를 생성하는 장치를 통칭하는 구성이다. 이상의 도면들에서는 마이크(180)가 사용자의 음성을 포함하는 신호를 수신하는 것으로 설명하였으나, 일 예에 따른 마이크(180)는 사용자의 음성뿐만 아니라 발소리, 숨소리 및 파열음 등 다양한 음향 신호를 수신할 수 있다.
구체적으로, 프로세서(140)는 마이크(180)를 통해 수신된 발소리의 발생 간격에 기초하여 러닝(Running) 동작을 수행하고 있는 사용자가 적정 속도로 운동하고 있는지 식별할 수 있다. 프로세서(140)는 마이크(180)를 통해 수신된 숨소리에 기초하여 사용자의 호흡이 안정적인지 여부를 식별할 수도 있다.
또한, 프로세서(140)는 마이크(180)를 통해 수신된 파열음에 기초하여 사용자가 운동 중 넘어지는 등의 원인으로 부상을 입었다고 식별한 후 그에 대응되는 인터랙션을 제공할 수도 있다. 이로써 전자 장치(100)는 카메라(120)를 통해 획득한 이미지 정보의 신뢰성이 낮은 경우 더욱 정확한 상황 인식을 수행할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 정보를 제공하는 컨텐츠가 디스플레이되는 동안 카메라를 통해 사용자를 촬영한 이미지를 획득한다(S1110). 이어서 이미지에 기초하여 사용자와 관련된 컨텍스트 정보를 획득한다(S1120). 이어서 획득된 컨텍스트 정보 및 컨텐츠와 관련된 레퍼런스 정보를 비교하여 컨텐츠에서 제공되는 정보에 대한 사용자의 수행 상태를 식별한다(S1130). 마지막으로 사용자의 수행 상태에 기초하여 컨텐츠의 출력 상태를 제어한다(S1140).
여기서, 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며, 사용자의 수행 상태를 식별하는 단계(S1130)는 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 디스플레이를 통해 제공되는 동안 획득된 사용자의 컨텍스트 정보 및 서브 정보에 대응되는 레퍼런스 정보를 비교하여 하나의 스텝에 대한 사용자의 수행 상태를 식별하고, 컨텐츠의 출력 상태를 제어하는 단계(S1140)는 사용자의 수행 상태에 기초하여 하나의 스텝과 관련된 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 사용자의 수행 상태를 식별하는 단계(S1130)는 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고, 컨텐츠의 출력 상태를 제어하는 단계(S1140)는 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하는 단계 및 식별된 출력 타입에 기초하여 컨텐츠의 출력 상태를 제어하는 단계를 포함할 수 있다.
여기서, 컨텐츠의 출력 타입은 정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
한편, 사용자와 관련된 컨텍스트 정보를 획득하는 단계(S1120)는 운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 디스플레이를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 자세 정보를 획득하는 단계를 포함하고, 사용자의 수행 상태를 식별하는 단계(S1130)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보를 비교하여 운동 자세에 대한 사용자의 수행 상태를 식별하는 단계 및 사용자의 수행 상태에 기초하여 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하는 단계를 포함할 수 있다.
여기서, 전자 장치는 헬스 케어 서비스를 제공하는 로봇으로 구현되며, 상이한 피드백을 제공하는 단계는 사용자의 수행 상태에 기초하여 사용자가 컨텐츠에서 제공하는 운동 자세를 수행하도록 사용자의 자세를 케어하는 동작을 수행하거나 사용자의 자세를 가이드하는 가이드 정보를 제공할 수 있다.
또한, 사용자의 수행 상태를 식별하는 단계(S1130)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 운동 자세의 난이도 중 적어도 하나에 기초하여 사용자의 수행 레벨을 식별하는 단계를 더 포함하고, 상이한 피드백을 제공하는 단계는 식별된 수행 레벨에 대응되는 피드백을 제공할 수 있다.
한편, 사용자와 관련된 컨텍스트 정보를 획득하는 단계(S1120)는 복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 디스플레이를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 상태 정보를 획득하는 단계를 포함하고, 사용자의 수행 상태를 식별하는 단계(S1130)는 획득된 상태 정보 및 레퍼런스 정보에 포함된 상태 정보를 비교하여 복수의 스텝 각각에 대한 사용자의 수행 상태를 식별하는 단계 및 사용자의 수행 상태에 기초하여 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 사용자의 상태 정보를 획득하는 단계는 이미지를 제1 신경망 모델에 입력하여 사용자의 제1 상태 정보를 획득하는 단계 및 사용자의 음성을 제2 신경망 모델에 입력하여 사용자의 제2 상태 정보를 획득하는 단계를 포함하고, 가이드 정보를 제공하는 단계는 식별된 수행 상태, 제1 상태 정보 및 제2 상태 정보에 기초하여 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공할 수 있다.
또한, 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 사용자의 이미지가 획득되지않는 경우 태스크 정보와 관련된 가이드 정보를 출력할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(140) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

Claims (15)

  1. 디스플레이;
    카메라;
    정보를 제공하는 컨텐츠와 관련된 레퍼런스 정보가 저장된 메모리; 및
    상기 컨텐츠가 상기 디스플레이를 통해 제공되는 동안, 상기 카메라를 통해 사용자를 촬영한 이미지를 획득하고,
    상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하고,
    상기 획득된 컨텍스트 정보 및 상기 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공하는 정보에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며,
    상기 프로세서는,
    상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 상기 사용자의 수행 레벨 별 컨텐츠의 출력 타입에 대한 정보를 저장하고,
    상기 프로세서는,
    상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고,
    상기 메모리에 저장된 정보 중 상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하고,
    상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어하는, 전자 장치.
  4. 제3항에 있어서,
    상기 컨텐츠의 출력 타입은,
    정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    구동부;를 더 포함하며,
    상기 프로세서는,
    운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하고,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하도록 상기 구동부를 제어하는, 전자 장치.
  6. 제5항에 있어서,
    상기 전자 장치는, 헬스 케어 서비스를 제공하는 로봇으로 구현되며,
    상기 로봇은,
    상기 사용자의 수행 상태에 기초하여 상기 사용자가 상기 컨텐츠에서 제공하는 운동 자세를 수행하도록 상기 사용자의 자세를 케어하는 동작을 수행하거나 상기 사용자의 자세를 가이드하는 가이드 정보를 제공하는, 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 상기 운동 자세의 난이도 중 적어도 하나에 기초하여 상기 사용자의 수행 레벨을 식별하고, 상기 식별된 수행 레벨에 대응되는 피드백을 제공하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 상태 정보를 획득하고,
    상기 획득된 상태 정보 및 상기 레퍼런스 정보에 포함된 상태 정보를 비교하여 상기 복수의 스텝 각각에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 이미지를 제1 신경망 모델에 입력하여 상기 사용자의 제1 상태 정보를 획득하고,
    상기 사용자의 음성을 제2 신경망 모델에 입력하여 상기 사용자의 제2 상태 정보를 획득하고,
    상기 식별된 수행 상태, 상기 제1 상태 정보 및 제2 상태 정보에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어하는, 전자 장치.
  10. 제8항에 있어서,
    스피커;를 더 포함하며,
    상기 프로세서는,
    상기 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 상기 사용자의 이미지가 획득되지 않는 경우, 상기 태스크 정보와 관련된 가이드 정보를 출력하도록 상기 스피커를 제어하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    정보를 제공하는 컨텐츠가 디스플레이되는 동안, 카메라를 통해 사용자를 촬영한 이미지를 획득하는 단계;
    상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계;
    상기 획득된 컨텍스트 정보 및 상기 컨텐츠와 관련된 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공되는 정보에 대한 상기 사용자의 수행 상태를 식별하는 단계; 및
    상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 컨텐츠의 출력 상태를 제어하는 단계는,
    상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어하는, 제어 방법.
  13. 제12항에 있어서,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고,
    상기 컨텐츠의 출력 상태를 제어하는 단계는,
    상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하는 단계; 및
    상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계;를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 컨텐츠의 출력 타입은,
    정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계는,
    운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하는 단계;를 포함하고,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하는 단계; 및
    상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하는 단계;를 포함하는, 제어 방법.
PCT/KR2021/015211 2020-12-21 2021-10-27 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 WO2022139155A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/196,724 US20230285807A1 (en) 2020-12-21 2023-05-12 Electronic apparatus providing content-based care service and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200180222A KR20220089513A (ko) 2020-12-21 2020-12-21 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법
KR10-2020-0180222 2020-12-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/196,724 Continuation US20230285807A1 (en) 2020-12-21 2023-05-12 Electronic apparatus providing content-based care service and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2022139155A1 true WO2022139155A1 (ko) 2022-06-30

Family

ID=82158114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015211 WO2022139155A1 (ko) 2020-12-21 2021-10-27 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20230285807A1 (ko)
KR (1) KR20220089513A (ko)
WO (1) WO2022139155A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043382A1 (ko) * 2022-08-26 2024-02-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2024043384A1 (ko) * 2022-08-26 2024-02-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102669062B1 (ko) * 2023-06-21 2024-05-29 (주)로보케어 운동 보조 서비스 제공 로봇 및 운동 보조 서비스 제공 방법
KR102691417B1 (ko) * 2023-11-22 2024-08-06 (주)로보케어 게임 콘텐츠를 제공하는 케어 로봇

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150080183A1 (en) * 2010-04-28 2015-03-19 Technogym S.P.A. Apparatus for the assisted performance of a fitness exercise
KR102000763B1 (ko) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 퍼스널 트레이닝 서비스를 제공하는 스마트 미러 장치
KR20200072931A (ko) * 2018-12-13 2020-06-23 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR20200092612A (ko) * 2019-01-25 2020-08-04 엘지전자 주식회사 체형 관리 장치
KR20200133847A (ko) * 2019-05-20 2020-12-01 엘지전자 주식회사 개인 운동관리 시스템 및 이의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150080183A1 (en) * 2010-04-28 2015-03-19 Technogym S.P.A. Apparatus for the assisted performance of a fitness exercise
KR102000763B1 (ko) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 퍼스널 트레이닝 서비스를 제공하는 스마트 미러 장치
KR20200072931A (ko) * 2018-12-13 2020-06-23 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR20200092612A (ko) * 2019-01-25 2020-08-04 엘지전자 주식회사 체형 관리 장치
KR20200133847A (ko) * 2019-05-20 2020-12-01 엘지전자 주식회사 개인 운동관리 시스템 및 이의 제어방법

Also Published As

Publication number Publication date
US20230285807A1 (en) 2023-09-14
KR20220089513A (ko) 2022-06-28

Similar Documents

Publication Publication Date Title
WO2022139155A1 (ko) 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법
WO2018212538A1 (en) Electronic device and method of detecting driving event of vehicle
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2014021576A1 (en) Electronic device for providing content according to user's posture and content providing method thereof
WO2019093819A1 (ko) 전자 장치 및 그 동작 방법
WO2019000462A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
WO2021096233A1 (en) Electronic apparatus and control method thereof
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
WO2020226289A1 (en) Electronic apparatus, user terminal, and method of controlling the electronic apparatus and the user terminal
EP3803713A1 (en) Computing apparatus using convolutional neural network and method of operating the same
WO2019050137A1 (en) SYSTEM AND METHOD FOR DETERMINING INPUT CHARACTERS BASED ON SCAN INPUT
WO2018223520A1 (zh) 面向儿童的学习方法、学习设备及存储介质
WO2021029642A1 (en) System and method for recognizing user's speech
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2019231068A1 (en) Electronic device and control method thereof
WO2020199318A1 (zh) 书本点读互动设备及其控制方法、计算机可读存储介质
WO2022154483A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2022010177A1 (en) Device and method for generating summary video
WO2022169039A1 (ko) 전자 장치 및 그 제어 방법
WO2016190676A1 (ko) 로봇, 스마트 블록 완구 및 이를 이용한 로봇 제어 시스템
WO2018021750A1 (ko) 전자 장치 및 그의 음성 인식 방법
WO2020101174A1 (ko) 개인화 립 리딩 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21911222

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21911222

Country of ref document: EP

Kind code of ref document: A1