KR20220089513A - 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 - Google Patents

컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220089513A
KR20220089513A KR1020200180222A KR20200180222A KR20220089513A KR 20220089513 A KR20220089513 A KR 20220089513A KR 1020200180222 A KR1020200180222 A KR 1020200180222A KR 20200180222 A KR20200180222 A KR 20200180222A KR 20220089513 A KR20220089513 A KR 20220089513A
Authority
KR
South Korea
Prior art keywords
user
information
content
posture
state
Prior art date
Application number
KR1020200180222A
Other languages
English (en)
Inventor
최현미
박정미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200180222A priority Critical patent/KR20220089513A/ko
Priority to PCT/KR2021/015211 priority patent/WO2022139155A1/ko
Publication of KR20220089513A publication Critical patent/KR20220089513A/ko
Priority to US18/196,724 priority patent/US20230285807A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068—Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2214/00—Training methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • A63B2230/625—Measuring physiological parameters of the user posture used as a control parameter for the apparatus

Abstract

전자 장치가 개시된다. 전자 장치는 디스플레이. 카메라, 정보가 제공되는 컨텐츠와 관련된 레퍼런스 정보가 저장된 메모리 및 프로세서를 포함한다. 프로세서는 컨텐츠가 디스플레이를 통해 제공되는 동안 카메라를 통해 사용자를 촬영한 이미지를 획득하고, 이미지에 기초하여 사용자와 관련된 컨텍스트 정보를 획득하고, 획득된 컨텍스트 정보 및 레퍼런스 정보를 비교하여 컨텐츠에서 제공하는 정보에 대한 사용자의 수행 상태를 식별하고, 사용자의 수행 상태에 기초하여 컨텐츠의 출력 상태를 제어할 수 있다.

Description

컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS PROVIDING CONTENT-BASED CARE SERVICE AND CONTROLLING METHOD THEREOF}
본 발명은 정보를 제공하는 컨텐츠와 관련된 케어 서비스를 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 유튜브(Youtube) 등의 UGC(User Generated Contents) 기반의 플랫폼이 대중화됨에 따라 다양한 사용자의 니즈를 충족시킬 수 있는 컨텐츠가 제작 및 배포되고 있다. 이에 따라 이러한 컨텐츠를 사용자에게 제공하는 로봇의 개발 역시 활발히 이루어지고 있다. 그러나 기존의 로봇은 단방향 컨텐츠를 사용자에게 제공하는 기능을 수행할 뿐, 컨텐츠를 제공받는 사용자의 특성 및 상황 변화를 반영하지 못하여 만족스러운 서비스를 제공하기 어려운 문제점이 있었다. 이에 따라 컨텐츠를 제공하는 과정에서 사용자와의 인터랙션을 통해 사용자 친화적인 케어 서비스를 제공하는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 컨텐츠를 제공하는 과정에서 사용자와의 인터랙션을 통해 사용자 친화적인 케어 서비스를 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 디스플레이, 카메라, 정보를 제공하는 컨텐츠와 관련된 레퍼런스 정보가 저장된 메모리 및 상기 컨텐츠가 상기 디스플레이를 통해 제공되는 동안, 상기 카메라를 통해 사용자를 촬영한 이미지를 획득하고, 상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하고, 상기 획득된 컨텍스트 정보 및 상기 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공하는 정보에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 프로세서를 포함할 수 있다.
여기서, 상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며,
상기 프로세서는, 상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 상기 메모리는, 상기 사용자의 수행 레벨 별 컨텐츠의 출력 타입에 대한 정보를 저장하고, 상기 프로세서는, 상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고, 상기 메모리에 저장된 정보 중 상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하고, 상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 상기 컨텐츠의 출력 타입은, 정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
한편, 구동부를 더 포함하며, 상기 프로세서는, 운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하고, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하도록 상기 구동부를 제어할 수 있다.
여기서, 상기 전자 장치는, 헬스 케어 서비스를 제공하는 로봇으로 구현되며, 상기 로봇은, 상기 사용자의 수행 상태에 기초하여 상기 사용자가 상기 컨텐츠에서 제공하는 운동 자세를 수행하도록 상기 사용자의 자세를 케어하는 동작을 수행하거나 상기 사용자의 자세를 가이드하는 가이드 정보를 제공할 수 있다.
또한, 상기 프로세서는, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 상기 운동 자세의 난이도 중 적어도 하나에 기초하여 상기 사용자의 수행 레벨을 식별하고, 상기 식별된 수행 레벨에 대응되는 피드백을 제공할 수 있다.
한편, 상기 프로세서는, 복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 상태 정보를 획득하고, 상기 획득된 상태 정보 및 상기 레퍼런스 정보에 포함된 상태 정보를 비교하여 상기 복수의 스텝 각각에 대한 상기 사용자의 수행 상태를 식별하고, 상기 사용자의 수행 상태에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 프로세서는, 상기 이미지를 제1 신경망 모델에 입력하여 상기 사용자의 제1 상태 정보를 획득하고, 상기 사용자의 음성을 제2 신경망 모델에 입력하여 상기 사용자의 제2 상태 정보를 획득하고, 상기 식별된 수행 상태, 상기 제1 상태 정보 및 제2 상태 정보에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어할 수 있다.
또한, 스피커를 더 포함하며, 상기 프로세서는, 상기 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 상기 사용자의 이미지가 획득되지 않는 경우, 상기 태스크 정보와 관련된 가이드 정보를 출력하도록 상기 스피커를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 정보를 제공하는 컨텐츠가 디스플레이되는 동안, 카메라를 통해 사용자를 촬영한 이미지를 획득하는 단계, 상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계, 상기 획득된 컨텍스트 정보 및 상기 컨텐츠와 관련된 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공되는 정보에 대한 상기 사용자의 수행 상태를 식별하는 단계 및 상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계를 포함할 수 있다.
여기서, 상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고, 상기 컨텐츠의 출력 상태를 제어하는 단계는, 상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고, 상기 컨텐츠의 출력 상태를 제어하는 단계는, 상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하는 단계 및 상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계를 포함할 수 있다.
여기서, 상기 컨텐츠의 출력 타입은, 정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
한편, 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계는, 운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하는 단계를 포함하고, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하는 단계 및 상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하는 단계를 포함할 수 있다.
여기서, 상기 전자 장치는, 헬스 케어 서비스를 제공하는 로봇으로 구현되며,
상기 상이한 피드백을 제공하는 단계는, 상기 사용자의 수행 상태에 기초하여 상기 사용자가 상기 컨텐츠에서 제공하는 운동 자세를 수행하도록 상기 사용자의 자세를 케어하는 동작을 수행하거나 상기 사용자의 자세를 가이드하는 가이드 정보를 제공할 수 있다.
또한, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 상기 운동 자세의 난이도 중 적어도 하나에 기초하여 상기 사용자의 수행 레벨을 식별하는 단계를 더 포함하고, 상기 상이한 피드백을 제공하는 단계는, 상기 식별된 수행 레벨에 대응되는 피드백을 제공할 수 있다.
한편, 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계는, 복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 상태 정보를 획득하는 단계를 포함하고, 상기 사용자의 수행 상태를 식별하는 단계는, 상기 획득된 상태 정보 및 상기 레퍼런스 정보에 포함된 상태 정보를 비교하여 상기 복수의 스텝 각각에 대한 상기 사용자의 수행 상태를 식별하는 단계 및 상기 사용자의 수행 상태에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 상기 사용자의 상태 정보를 획득하는 단계는, 상기 이미지를 제1 신경망 모델에 입력하여 상기 사용자의 제1 상태 정보를 획득하는 단계 및 상기 사용자의 음성을 제2 신경망 모델에 입력하여 상기 사용자의 제2 상태 정보를 획득하는 단계를 포함하고, 상기 가이드 정보를 제공하는 단계는, 상기 식별된 수행 상태, 상기 제1 상태 정보 및 제2 상태 정보에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공할 수 있다.
또한, 상기 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 상기 사용자의 이미지가 획득되지 않는 경우, 상기 태스크 정보와 관련된 가이드 정보를 출력하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 컨텐츠를 통해 제공되는 정보에 대한 이해도 내지 수행 상태가 상이한 사용자들에게 만족스러운 케어 서비스를 제공할 수 있게 된다.
도 1은 전자 장치의 사용자에 대한 컨텐츠 제공 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 컨텐츠에 포함된 스텝 및 스텝별 레퍼런스 정보에 대해 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 자세 정보에 기초하여 사용자의 수행 상태를 식별하는 방법을 설명하기 위한 도면이다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 전자 장치가 다양한 기준에 따라 사용자의 수행 상태에 대응되는 수행 레벨을 식별하는 동작 및 수행 레벨에 기초하여 전자 장치가 제공하는 다양한 종류의 피드백을 설명하기 위한 도면이다.
도 7a 및 7b는 본 개시의 일 실시 예에 따른 전자 장치의 자세 교정 동작 및 모방 트레이닝 동작을 설명하기 위한 도면이다.
도 8a 내지 8c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 표정을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 9a 내지 9c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 음성을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용자라는 용어는 전자 장치를 사용하는 사람을 지칭할 수 있다. 이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 전자 장치의 사용자에 대한 컨텐츠 제공 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(10)는 사용자(30)에게 정보를 제공하는 컨텐츠(20)를 제공할 수 있다. 여기서, 컨텐츠(20)는 스쿼트 동작을 설명하는 헬스 관련 컨텐츠일 수 있다.
사용자(30)는 전자 장치(10)가 제공하는 컨텐츠(20)를 통해 제공되는 정보에 기초하여 특정 동작을 따라할 수 있다. 일 예에 따른 사용자(30)의 동작은 헬스 관련 컨텐츠에 포함된 스쿼트 동작을 따라하는 동작일 수 있다.
다른 예에 따른 사용자(30)의 동작은 키즈 관련 컨텐츠에 포함된 종이접기 동작을 따라하거나, 요리 관련 컨텐츠에 포함된 재료 손질 동작을 따라하는 동작일 수 있다.
한편, 사용자(30)는 컨텐츠(20)가 제공하는 정보를 수용하여 이해할 뿐 컨텐츠(20)에 포함된 동작은 따라하지 않을 수 있다. 본 명세서에서 사용하는 '수행 상태'라는 용어는 사용자가 전자 장치로부터 제공되는 컨텐츠에 포함된 정보를 이해하고 있는지에 대한 정보 또는 컨텐츠에 포함된 정보에 기초하여 특정 동작을 정확히 따라하는지에 대한 정보와 관련된 상태를 지칭한다.
전자 장치(10)를 통해 컨텐츠(20)를 제공받는 복수의 사용자들은 개인별 신체 특성 및 컨텐츠를 통해 제공되는 정보에 관련된 분야에 대한 이해도 등에 따라 상술한 동작을 수행할 수 있는 능력이 모두 상이할 수 있다.
구체적으로, 하체가 유연하지 않은 사용자는 스쿼트 동작을 따라하는 데 어려움을 겪을 수 있고, 색약인 사용자는 종이접기 동작을 빠르게 따라할 수 없으며, 칼질에 숙련되지 않은 사용자는 재료 손질 동작을 정확히 따라하는 데 어려움을 겪을 수 있다.
그러므로 컨텐츠에 포함된 동작을 수행함에 있어 컨텐츠를 제공받은 복수의 사용자들의 각 수행 상태는 상이할 수 밖에 없다. 그럼에도 기존의 전자 장치는 사용자의 수행 상태를 고려하지 않아 사용자에게 만족스러운 서비스를 제공할 수 없는 문제점을 갖고 있었다.
이에 따라, 이하에서는 전자 장치가 사용자와의 인터랙션을 통해 사용자의 수행 상태를 고려한 케어 서비스를 제공할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다. 본 명세서에서는 전자 장치가 사용자에 대해 '인터랙션을 제공한다'는 표현과 '피드백을 제공한다'는 표현이 동일한 의미인 것을 전제로 두 표현을 혼용하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여, 본 개시의 일 실시 예에 따른 전자 장치(100)는 디스플레이(110), 카메라(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, QLED(Quantum dot light-emitting diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
카메라(120)는 카메라의 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 영상을 획득할 수 있다.
카메라(120)는 객체, 예를 들어 사용자에 의해 반사되어 수신되는 가시광 또는 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 또는 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
또한, 본 개시의 일 실시 예에 따른 카메라(120)는 ToF(Time-Of-Flight) 방식으로 작동하는 뎁스 카메라로 구현될 수 있다.
메모리(130)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 실시 예에 따른 메모리(130)는 정보를 제공하는 컨텐츠와 관련된 레퍼런스 정보를 저장할 수 있다. 여기서, 레퍼런스 정보란 정보를 제공하는 컨텐츠에 포함된 정보에 대응되는 정보일 수 있다.
프로세서(140)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(140)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(140)는 디스플레이(110), 카메라(120) 및 메모리(130)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(140)로 기재한다.
프로세서(140)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(140)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 컨텐츠가 디스플레이(110)를 통해 제공되는 동안 카메라(120)를 통해 사용자를 촬영한 이미지를 획득할 수 있다.
일 예에 따른 컨텐츠는 헬스, 키즈 또는 요리 관련 컨텐츠일 수 있으나, 이에 한정되지는 않는다. 일 예에 따른 프로세서(140)는 사용자의 전면부, 측면부 또는 후면부 중 적어도 하나를 포함하는 이미지를 획득하도록 카메라(120)를 제어할 수 있다.
또한, 일 예에 따른 프로세서(140)는 획득한 이미지에 기초하여 사용자와 관련된 컨텍스트 정보를 획득할 수 있다. 일 예에 따른 컨텍스트 정보는 획득된 이미지에 포함된 정보 중 컨텐츠를 통해 제공되는 정보에 대응되는 사용자의 수행 상태에 관한 정보를 포함할 수 있다.
구체적으로, 일 예에 따른 컨텍스트 정보는 컨텐츠를 제공받고 있는 사용자의 자세 정보, 사용자의 표정 정보 또는 사용자의 음성 정보 중 적어도 하나의 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 획득된 컨텍스트 정보 및 메모리(130)에 저장된 레퍼런스 정보를 비교하여 컨텐츠에서 제공하는 정보에 대한 사용자의 수행 상태를 식별할 수 있다.
또한, 일 예에 따른 프로세서(140)는 식별된 사용자의 수행 상태에 기초하여 컨텐츠의 출력 상태를 제어할 수 있다. 구체적으로, 프로세서(140)는 제공중인 컨텐츠의 출력 타입을 변경하여 제공할 수 있다. 일 예에 따른 컨텐츠의 출력 타입은 정지 화면 출력, 컨텐츠에 포함된 특정 정보 반복 제공, 컨텐츠의 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠는 서브 정보를 포함하는 복수의 스텝으로 구성될 수 있다. 구체적으로, 일 예에 따른 컨텐츠가 헬스 관련 컨텐츠인 경우, 컨텐츠는 운동의 각 동작에 대응되는 서브 정보를 포함하는 복수의 스텝으로 구성될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 디스플레이를 통해 제공되는 동안 획득된 사용자의 컨텍스트 정보 및 서브 정보에 대응되는 레퍼런스 정보를 비교하여 하나의 스텝에 대한 사용자의 수행 상태를 식별할 수 있다.
구체적으로, 일 예에 따른 컨텐츠가 헬스 관련 컨텐츠인 경우, 일 예에 따른 프로세서(140)는 사용자의 운동 자세 정보를 포함하는 컨텍스트 정보와 운동의 각 동작에 대응되는 서브 정보에 대응되는 레퍼런스 정보를 비교하여 운동의 각 동작에 대응되는 스텝에 대한 사용자의 수행 상태를 식별할 수 있다.
일 예에 따른 프로세서(140)는 식별된 사용자의 수행 상태에 기초하여 하나의 스텝과 관련된 컨텐츠의 출력 상태를 제어할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 사용자의 수행 상태에 대응되는 수행 레벨을 식별할 수 있다. 여기서, 일 예에 따른 수행 레벨은 사용자의 수행 상태가 양호한 정도에 관한 레벨일 수 있다.
일 예에 따른 프로세서(140)는 메모리(130)에 저장된 사용자의 수행 레벨 별 컨텐츠의 출력 타입에 대한 정보 및 사용자의 수행 레벨에 기초하여 컨텐츠의 출력 상태를 제어할 수 있다.
일 예에 따른 컨텐츠가 서브 정보를 포함하는 복수의 스텝으로 구성된 경우, 일 에에 따른 프로세서(140)는 컨텐츠에 포함된 특정 스텝에 대응되는 서브 정보를 반복 출력하도록 컨텐츠의 출력 상태를 제어할 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠가 헬스 관련 컨텐츠인 경우, 컨텐츠는 운동 자세를 포함하는 헬스 정보를 제공할 수 있다. 일 예에 따른 프로세서(140)는 컨텐츠가 디스플레이(110)를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 자세 정보를 획득할 수 있다.
또한, 일 예에 따른 프로세서(140)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보를 비교하여 운동 자세에 대한 사용자의 수행 상태를 식별할 수 있다. 프로세서(140)는 식별된 수행 상태에 기초하여 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하도록 전자 장치(100)에 구비된 구동부를 제어할 수 있다. 구체적으로, 일 예에 따른 프로세서(140)는 전자 장치(100)의 주행 또는 전자 장치(100)에 구비된 기계적 부속의 구동 중 적어도 하나를 포함하는 상이한 피드백을 제공하기 위해 구동부를 제어할 수 있다.
여기서, 일 예에 따른 프로세서(140)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 획득된 자세 정보 및 레퍼런스에 포함된 자세 정보간 불일치 빈도 또는 운동 자세의 난이도 중 적어도 하나에 기초하여 사용자의 수행 레벨을 식별할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 헬스 케어 서비스를 제공하는 로봇으로 구현되며, 일 예에 따른 로봇은 사용자의 수행 상태에 기초하여 사용자가 컨텐츠에서 제공하는 운동 자세를 수행하도록 사용자의 자세를 케어하는 동작을 피드백으로써 제공할 수 있다.
또한, 로봇은 사용자의 자세를 가이드하는 가이드 정보를 제공하는 동작을 피드백으로써 제공할 수도 있다. 이에 관해서는 도 7a 및 7b를 통해 상세히 설명하도록 한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 태스크 정보를 제공하는 컨텐츠가 디스플레이(110)를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 상태 정보를 획득할 수 있다. 여기서, 일 예에 따른 태스크 정보는 스텝간 우선순위에 기초하여 결합된 복수의 스텝을 포함하는 정보일 수 있다.
구체적으로, 일 예에 따른 태스크 정보에 포함된 스텝 1, 스텝 2 및 스텝 3에 있어서, 스텝 2는 스텝 1의 완료를 전제로 개시되는 스텝일 수 있고, 스텝 3는 스텝 1 및 스텝 2의 완료를 전제로 개시되는 스텝일 수 있다.
일 예에 따른 프로세서(140)는 획득된 상태 정보 및 레퍼런스 정보에 포함된 상태 정보를 비교하여 복수의 스텝 각각에 대한 사용자의 수행 상태를 식별하고, 사용자의 수행 상태에 기초하여 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 디스플레이(110)를 제어할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 획득된 이미지를 제1 신경망 모델에 입력하여 사용자의 제1 상태 정보를 획득하고, 사용자의 음성을 제2 신경망 모델에 입력하여 사용자의 제2 상태 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 스피커를 더 포함하며, 일 예에 따른 프로세서(140)는 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 사용자의 이미지가 획득되지 않는 경우 태스크 정보와 관련된 가이드 정보를 출력하도록 스피커를 제어할 수 있다.
구체적으로, 일 예에 따른 프로세서(140)는 사용자의 이미지가 획득되지 않는 경우 사용자가 컨텐츠 시청을 중지한 것으로 식별하고, 컨텐츠 제공 중지를 알리는 가이드 음성을 출력하도록 스피커를 제어할 수 있다. 한편, 프로세서(140)는 사용자에게 컨텐츠에 대한 집중을 요청하는 가이드 음성을 출력하도록 스피커를 제어할 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.
도 3에 표현된 각 블록은 전자 장치(100)의 기능적 구성과 관련된 복수의 모듈에 대응될 수 있다. 여기서, 일 예에 따른 복수의 모듈은 전자 장치(100)의 메모리에 저장된 소프트웨어 모듈이거나 전자 장치(100) 상에 회로적으로 구현된 하드웨어 모듈일 수 있다. 또는, 복수의 모듈 각각은 소프트웨어 및 하드웨어가 조합된 형태로 구현될 수도 있다.
본 명세서에서는, 전자 장치(100)의 일 구성 요소인 프로세서(140)에 의해 복수의 모듈이 수행하는 기능들이 수행되는 것으로 상정하여 전자 장치(100)의 기능을 설명하도록 한다.
도 3을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 태스크 모델(Task Model, 20) 및 인터랙션 모델(Interaction Model, 30)을 통해 사용자(300)에게 서비스를 제공할 수 있다. 일 예에 따른 태스크 모델(20)은 컨텐츠 추출부(Content Extractor, 21) 및 컨텍스트 분석부(Context Analyzer, 22)를 포함하며, 일 예에 따른 인터랙션 모델(30)은 자세 분석부(Posture Analyzer, 31), 수행 평가부(Performance Evaluator, 32), 얼굴/음성 인식부(Face/Voice Recognizer, 33) 및 의도 분석부(Intention Analyzer, 34)를 포함할 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠(200)는 서브 정보를 포함하는 복수의 스텝으로 구성될 수 있다.
본 개시의 일 실시 예에 따른 컨텐츠 추출부(21)는 영상 또는 텍스트 기반 컨텐츠(200)로부터 유효한 정보를 추출할 수 있다. 일 예에 따른 컨텐츠(200)가 영상 기반 컨텐츠인 경우 컨텐츠 추출부(21)는 디스플레이(110)를 통해 제공되는 영상 중에서 기 설정된 추출 규칙에 따라 컨텐츠 영역을 추출하는 기능을 수행한다.
본 개시의 일 실시 예에 따른 컨텍스트 분석부(22)는 추출된 컨텐츠 영역을 통해 제공되는 컨텐츠(200)에 포함된 정보에 기초하여 컨텍스트를 획득할 수 있다. 구체적으로, 컨텍스트 분석부(22)는 컨텐츠(200)에 포함된 이미지의 변화, 음성, 자막, 캡션(Caption) 등에 기초하여 컨텍스트를 획득할 수 있다.
일 예에 따른 컨텍스트 분석부(22)는 획득된 컨텍스트에 기초하여 컨텐츠(200)를 구성하는 복수의 스텝을 식별할 수 있다. 일 예에 따른 컨텐츠(200)가 스쿼트 동작을 알려주는 헬스 관련 컨텐츠인 경우, 컨텍스트 분석부(22)는 컨텐츠에 포함된 정보에 기초하여 '시작 자세 취하기', '앉기', '일어서기' 및 '바르게 서기'에 대응되는 복수의 스텝을 식별할 수 있다.
본 개시의 일 실시 예에 따른 태스크 모델(20)은 컨텍스트 분석부(22)에서 식별한 복수의 스텝에 대응되는 레퍼런스 정보에 기초하여 식별된 복수의 스텝에 대한 이상적인 형태를 식별할 수 있다.
본 개시의 일 실시 예에 따른 레퍼런스 정보는 획득된 컨텍스트에 기초하여 생성된 정보일 수도 있으나, 전문 데이터에 기초하여 전자 장치(100)에 포함된 메모리(130)에 저장된 정보일 수 있다. 일 예에 따른 레퍼런스 정보는 하기 표 1과 같이 스텝에 대한 주요 포인트 및 난이도에 대한 정보를 포함할 수 있다.
스텝 주요 포인트 난이도
1) 시작 자세 취하기 다리 너비 Easy
2) 앉기 대퇴부와 정강이의 각도
허리의 곡률		 Medium
3) 일어서기 신체 좌우의 균형
시선의 방향		 Hard
4) 바르게 서기 시작 자세와의 일치율 Easy
본 개시의 일 실시 예에 따른 태스크 모델(20)은 레퍼런스 정보에 기초하여 '시작 자세 취하기'에 대응되는 스텝에 대해 다리 너비와 어깨 너비의 차가 임계 수치 이하인 경우를 해당 스텝에 대한 이상적인 형태로 식별할 수 있다.
본 개시의 일 실시 예에 따른 인터랙션 모델(30)은 자세 분석부(31), 수행 평가부(32), 얼굴/음성 인식부(33) 및 의도 분석부(34)를 포함할 수 있다. 또한, 일 예에 따른 인터랙션 모델(30)은 태스크 모델(20)과 정보를 주고받을 수 있다.
본 개시의 일 실 예에 따른 자세 분석부(31)는 사용자(300)의 자세를 분석한다. 도 3에서는 '자세 분석부'라는 용어를 사용하였으나, 컨텐츠(200)에 포함된 정보가 자세가 아닌 '결과물'과 관련된 정보인 경우, 자세 분석부(31)는 카메라(120)를 통해 획득된 이미지로부터 사용자(300)가 만든 결과물을 분석할 수도 있다.
일 예에 따른 자세 분석부(31)는 자세를 분석하여 사용자와 관련된 컨텍스트 정보를 획득할 수 있다. 여기서, 사용자와 관련된 컨텍스트 정보는 사용자의 자세에 대응되는 정보일 수 있다.
또한, 일 예에 따른 자세 분석부(31)는 스켈레톤(Skeleton) 분석을 통해 사용자(300)의 자세를 분석할 수 있으며, 이에 대해서는 도 5에서 상세히 설명하도록 한다.
본 개시의 일 실시 예에 따른 수행 평가부(32)는 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 제공되는 분석을 통해 획득된 사용자의 자세 정보와 서브 정보에 대응되는 레퍼런스 정보를 비교하여 사용자의 수행 상태를 식별할 수 있다. 일 예에 따른 컨텐츠(200)가 헬스 관련 컨텐츠인 경우, 수행 평가부(32)는 컨텐츠에 포함된 일 스텝인 '시작 자세 취하기'에 대한 이상적인 형태와 사용자와 관련된 컨텍스트 정보를 비교하여 해당 스텝에 대한 사용자의 수행 상태를 식별할 수 있다.
본 개시의 일 실시 예에 따른 얼굴/음성 인식부(33)는 사용자의 얼굴과 음성을 인식할 수 있다. 구체적으로, 일 예에 따른 얼굴/음성 인식부(33)는 사용자의 얼굴을 촬영한 이미지에 기초하여 사용자의 표정 정보를 획득하거나 사용자의 음성을 인식하여 음성에 포함된 발화 의도 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 의도 분석부(34)는 획득된 표정 정보 또는 발화 의도 정보에 기초하여 컨텐츠에서 제공하는 정보에 대한 사용자(300)의 이해도를 식별할 수 있다.
사용자(300)는 컨텐츠에서 제공하는 정보를 이해하기 어려운 경우 특정 표정을 짓거나 특정 내용을 갖는 발화를 할 수 있다. 구체적으로, 일 예에 따른 특정 표정은 찡그리는 표정일 수 있으며, 일 예에 따른 특정 내용은 컨텐츠(200)를 통해 제공되는 정보가 이해하기 어려운 내용임을 암시하는 내용일 수 있다.
구체적으로 특정 스텝에 대응되는 서브 정보가 제공되는 동안 획득된 이미지에 사용자의 찡그린 표정이 포함되어 있는 경우, 일 예에 따른 의도 분석부(34)는 사용자의 해당 스텝에 대한 이해도가 높지 않음을 식별할 수 있다.
한편, 의도 분석부(34)는 사용자의 음성을 인식하여 음성에 포함된 발화 의도 정보를 획득하고, 획득된 발화 의도 정보에 기초하여 사용자의 이해도를 식별할 수도 있다.
본 개시의 일 실시 예에 따른 인터랙션 모델(30)은 태스크 모델(20)과의 정보 교환에 기초하여 사용자(300)에게 제공할 인터랙션을 결정할 수 있다.
구체적으로, 인터랙션 모델(30)은 사용자의 수행 상태 또는 컨텐츠(200)를 통해 제공되는 정보에 대한 사용자의 이해도에 기초하여 상이한 타입의 인터랙션을 제공할 수 있다.
일 예에 따른 인터랙션 모델(30)은 사용자의 수행 상태와 이해도뿐만 아니라 컨텐츠를 구성하는 개별적인 스텝에 대한 난이도 및 전자 장치의 스펙과 같은 사용자의 특성과 무관한 요소에 기초하여 사용자(300)에게 제공할 인터랙션을 결정할 수도 있다.
상술한 복수의 모듈이 수행하는 기능에 따라 일 예에 따른 전자 장치(100)는 사용자의 수행 상태 및 이해도를 고려하여 사용자(300)에게 적합한 인터랙션을 제공할 수 있게 되어 사용자가 서비스에 대해 느끼는 만족도가 향상될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 컨텐츠에 포함된 스텝 및 스텝별 레퍼런스 정보에 대해 설명하기 위한 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)에 구비된 디스플레이(110) 상에서 컨텐츠(200)가 제공될 수 있다. 여기서, 일 예에 따른 컨텐츠(200)는 스쿼트 동작을 알려주는 헬스 관련 컨텐츠일 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 컨텐츠에 포함된 복수의 스텝을 식별(401)할 수 있다. 구체적으로, 프로세서(140)는 스쿼트 동작을 구성하는 '시작 자세 취하기(410)', '앉기(420)', '일어서기(430)' 및 '바르게 서기(440)'에 대응되는 스텝을 식별할 수 있다.
일 예에 따른 프로세서(140)는 스텝별 레퍼런스 정보를 획득할 수 있다(402). 여기서, 일 예에 따른 스텝별 레퍼런스 정보(402)는 전자 장치(100)에 포함된 메모리(130)에 저장된 것일 수 있다.
구체적으로, '시작 자세 취하기(410)'에 대응되는 레퍼런스 정보는 다리 너비와 어깨 너비의 차이에 대응되는 임계 수치 정보(411)일 수 있다. 또한, '앉기(420)'에 대응되는 레퍼런스 정보는 대퇴부와 정강이의 각도(421) 및 허리의 곡률(422)에 대한 정보일 수 있다. '일어서기(430)'에 대응되는 레퍼런스 정보는 신체 좌우의 균형(431) 및 시선의 방향(432)에 대한 정보일 수 있으며, '바르게 서기(440)'에 대응되는 레퍼런스 정보는 시작 자세와의 일치율(441)에 대한 정보일 수 있다.
본 개시의 일 실시 예에 따른 '앉기(420)' 스텝에 대응되는 이상적인 형태는 대퇴부와 정강이의 각도가 90도이며, 허리의 곡률이 1(1/m) 이상인 자세일 수 있다.
도 5는 본 개시의 일 실시 예에 따른 자세 정보에 기초하여 사용자의 수행 상태를 식별하는 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 식별된 스텝별 레퍼런스 정보(402) 및 사용자의 컨텍스트 정보에 기초하여 스텝별 사용자의 수행 상태를 식별할 수 있다. 도 5에서는 사용자의 컨텍스트 정보가 스쿼트 동작을 수행하는 사용자(301)의 자세 정보인 것으로 상정한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 스켈레톤(Skeleton) 분석을 통해 사용자(300)의 자세 정보를 획득할 수 있다. 스켈레톤 분석은 이미지에 포함된 동작 분석을 위한 분석방법이다.
스켈레톤 분석을 위하여 일 예에 따른 전자 장치(100)에 구비된 카메라(120)는 뎁스 카메라로 구현될 수 있다. 구체적으로, 일 예에 따른 프로세서(140)는 뎁스 카메라를 통해 획득된 이미지에 포함된 사용자의 신체 중 관절에 대응되는 지점을 식별할 수 있다. 또한, 프로세서(140)는 관절에 대응되는 지점들 간의 위치 관계에 기초하여 각 지점을 연결한 스켈레톤 모델을 생성할 수 있다. 스켈레톤 분석은 동작 분석과 관련된 기술분야에서는 종래기술이므로 더 이상의 상세한 설명은 생략하도록 한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 카메라(120)를 통해 획득한 사용자(301)의 이미지에 대한 스켈레톤 분석을 통해 사용자의 스켈레톤 모델(310)을 획득할 수 있다. 일 예에 따른 프로세서(140)는 사용자의 스켈레톤 모델(310)에 기초하여 사용자의 자세 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 사용자의 자세 정보 및 스텝별 레퍼런스 정보(402)에 기초하여 스텝별 사용자의 수행 상태를 식별할 수 있다.
도 5를 참조하면, 사용자는 컨텐츠에 포함된 스텝 중 '앉기(420)'에 대응되는 동작을 수행하고 있다. 일 예에 따른 프로세서(140)는 '앉기(420)' 동작을 수행하는 사용자(301)의 자세 정보 및 '앉기(420)'에 대응되는 레퍼런스 정보에 기초하여 사용자의 수행 상태를 식별할 수 있다.
구체적으로, 프로세서(140)는 사용자가 대퇴부와 정강이의 각도를 일정 각도로 유지하였는지 여부 및 허리의 곡률이 임계 곡률 이상인지 여부 등에 기초하여 사용자의 '앉기(420)' 스텝에 대응되는 수행 상태를 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 다양한 기준에 따라 수행 상태를 유형화하여 식별할 수도 있다. 구체적으로, 일 예에 따른 프로세서(140)는 사용자의 수행 점수(Score, 510), 오류율(Error Rate, 520) 및 동작의 난이도(Complexity, 530)라는 유형에 기초하여 사용자의 수행 상태(500)를 식별할 수 있다.
본 개시의 일 실시 예에 따른 수행 점수(510)는 사용자가 스텝에 대한 이상적인 형태와 얼마나 근사한 자세를 취했는지에 기초하여 식별되는 수치일 수 있다. 일 예에 따른 프로세서(140)는 사용자의 자세와 '앉기(420)' 스텝에 대응되는 이상적인 형태와의 일치 정도에 기초하여 사용자의 수행 점수(510)가 80점인 것으로 식별할 수 있다.
사용자가 '앉기(420)' 스텝에 대응되는 동작을 복수 회 반복한 경우, 일 예에 따른 프로세서(140)는 각 회차에 대응되는 수행 점수의 평균을 최종적인 사용자의 수행 점수(510)로 식별할 수도 있다.
본 개시의 일 실시 예에 따른 오류율(520)은 사용자가 특정 스텝에 대응되는 이상적인 형태와의 일치 정도가 임계 수치 이하인 동작을 수행할 확률을 의미한다. 구체적으로, 사용자가 '앉기(420)' 스텝에 대응되는 동작을 복수 회 반복한 경우, 일 예에 따른 프로세서(140)는 사용자가 '앉기(420)' 스텝에 대응되는 이상적인 형태와 70 퍼센트 이하의 일치 정도를 나타내는 동작을 수행한 비율이 8퍼센트라고 식별할 수 있다.
본 개시의 일 실시 예에 따른 난이도(530)는 사용자가 스텝에 대한 이상적인 형태를 따라하기 어려운 정도를 의미한다. 구체적으로, '앉기(420)' 스텝에 대응되는 난이도는 'Medium'일 수 있다.
일 예에 따른 프로세서(140)는 각 스텝에 대응되는 난이도에 기초하여 상술한 오류율(520)을 판단할 경우 그 기준이 되는 임계 수치를 결정할 수도 있다. 구체적으로, 프로세서(140)는 특정 스텝에 대응되는 난이도가 'Easy'인 경우 오류율(520) 판단의 기준이 되는 임계 수치를 90 퍼센트로 결정할 수 있다. 한편, 난이도가 'Medium'인 경우 임계 수치를 80 퍼센트, 난이도가 'Hard'인 경우 임계 수치를 70 퍼센트로 결정할 수 있다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 전자 장치가 다양한 기준에 따라 사용자의 수행 상태에 대응되는 수행 레벨을 식별하는 동작 및 수행 레벨에 기초하여 전자 장치가 제공하는 다양한 종류의 피드백을 설명하기 위한 도면이다.
도 6a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 수행 점수(510), 오류율(520) 및 난이도(530)를 기준으로 사용자의 수행 레벨을 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 수행 점수(510) 및 오류율(520)에 대한 수치에 기초하여 유형화된 수행 상태에 대응되는 수행 레벨을 식별할 수 있다. 구체적으로 프로세서(140)는 사용자의 수행 점수가 80점을 초과하는 경우(511) 수행 점수(510)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 '1'로 식별할 수 있다.
한편, 사용자의 수행 점수가 50점 초과 80점 이하인 경우(512) 일 예에 따른 프로세서(140)는 수행 점수(510)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 '2'로 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 오류율이 50퍼센트 초과 80퍼센트 이하인 경우(523) 오류율(520)로 유형화된 사용자의수행 상태에 대응되는 수행 레벨을 '3'으로 식별할 수 있다.
한편, 오류율이 80퍼센트를 초과하는 경우(524) 일 예에 따른 프로세서(140)는 오류율(520)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 '4'로 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 난이도가 Easy인 경우(531) 난이도(530)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨은 1로 식별할 수 있다. 'Hard' 난이도(533)의 경우가 'Easy' 난이도(531)의 경우보다 더욱 적극적인 인터랙션이 요구되므로, 일 예에 따른 프로세서(140)는 난이도가 어려워질수록 난이도(530)로 유형화된 사용자의 수행 상태에 대응되는 수행 레벨을 높게 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 다양한 기준에 따라 수행 상태를 유형화한 후, 그에 기초하여 획득된 복수의 수행 레벨에 기초하여 다양한 타입 인터랙션(600)을 제공할 수 있다.
구체적으로, 일 예에 따른 인터랙션 타입은 기본 조작(Basic Control, 610), 속도 제어(Speed Control, 620), 집중 피드백(Focusing Feedback, 630), 시각 피드백(Visual Feedback, 640), 자세 교정(Posture Correction, 650) 또는 모방 트레이닝(Mimic Training, 660)을 포함할 수 있다.
일 예에 따른 기본 조작(610)은 정지 화면 출력 또는 특정 스텝에 대응되는 서브 정보의 반복 출력에 대응되는 인터랙션 타입일 수 있다. 한편, 일 예에 따른 시각 피드백(640)는 전자 장치(100)가 카메라(120)를 통해 사용자의 자세를 촬영한 이미지를 디스플레이(110)를 통해 출력하는 인터랙션 타입일 수 있으며, 나머지 인터랙션 타입은 후술하는 도면을 통해 설명하도록 한다.
도 6a 및 6b에서는 상술한 복수의 인터랙션 타입을 'In(n은 자연수)'과 같은 기호로 나타내었다. I1에서 I6로 갈수록 전자 장치(100)가 사용자에게 적극적인 인터랙션을 제공할 수 있음을 의미한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 수행 레벨뿐만 아니라 사용자의 자세(Posture, 540)에 기초하여 제공할 인터랙션 타입을 결정할 수 있다. 구체적으로, 프로세서(140)는 사용자가 디스플레이를 응시할 수 있는지 여부 및 현재 사용자의 자세를 유지하는데 집중력이 요구되는 정도에 기초하여 자세 교정(650) 인터랙션 제공 여부를 결정할 수 있다. 사용자가 디스플레이를 응시할 수 없다면 전자 장치(100)에 구비된 별도의 구동부(미도시)를 이용한 자세 교정의 필요성이 크며, 또한 사용자가 현재 자세를 유지하는데 많은 집중력이 요구된다면 디스플레이를 통해 컨텐츠의 출력 타입을 제어하는 것 보다 물리적인 방식으로 자세 교정을 하는 실익이 높기 때문이다.
또한, 일 예에 따른 전자 장치(100)가 로봇으로 구현되는 경우, 프로세서(140)는 로봇의 스펙(550)에 기초하여 모방 훈련(660) 인터랙션 제공 여부를 결정할 수 있다. 구체적으로, 일 예에 따른 로봇이 휴머노이드 타입으로 구현되는 경우, 특정 스텝에 대해 사용자가 취하려고 하는 자세를 가이드 하기 위해 컨텐츠를 통해 제공되는 서브 정보에 대응되는 이상적인 형태를 로봇이 직접 수행할 수 있다.
도 6b는 수행 레벨에 기초하여 전자 장치가 제공하는 다양한 종류의 피드백이 표로써 도시되어 있다. 세로 축의 S 는 수행 점수를 의미하는 기호이며, 가로 축의 E 및 C는 각각 오류율 및 난이도를 의미하는 기호이다.
구체적으로, 일 예에 따른 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 3이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 1인 경우(601) 기본 조작(610) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 4이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 2인 경우(602) 속도 제어(620) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 6이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 2인 경우(603) 집중 피드백(630) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 5이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 4인 경우(604) 시각 피드백(640) 타입의 인터랙션을 제공할 수 있다.
한편, 전자 장치는 오류율(520)로 유형화된 수행 상태에 대응되는 수행 레벨과 난이도(530)로 유형화된 수행 상태에 대응되는 수행 레벨의 합이 7이며, 수행 점수로 유형화된 수행 상태에 대응되는 수행 레벨이 4인 경우(605) 시각 피드백(640) 타입의 인터랙션을 제공할 수 있다. 또한, 이 경우 프로세서(140)는 사용자의 자세(540) 및 전자 장치의 스펙(550)에 기초하여 자세 교정(650) 또는 모방 트레이닝(660) 타입의 인터랙션을 제공할 수 있다.
도 7a 및 7b는 본 개시의 일 실시 예에 따른 전자 장치의 자세 교정 동작 및 모방 트레이닝 동작을 설명하기 위한 도면이다.
도 7a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(101)는 구동부(710)를 구비할 수 있다. 도 2 에서 설명한 바와는 달리 도 7a에서는 구동부(710)가 전자 장치(101)에 구비된 기계적 부속을 포함하는 것으로 도시하였으며, 도시된 로봇 팔 형태의 부속뿐만 아니라 전자 장치(100)하부에 구비된 바퀴 형태 또는 디스플레이(110)의 후면에 결합된 암(arm) 형태의 부속 또한 구동부(710)에 포함될 수 있음은 물론이다.
일 예에 따른 전자 장치(101) 사용자(301)에게 자세 교정 타입의 인터랙션이 요구되는 것으로 식별하면 구동부(710)를 통해 사용자(301)이 취하고 있는 잘못된 자세를 교정해 줄 수 있다. 전자 장치(100)는 해당 인터랙션을 제공하는 과정에서 구동부(710)를 통해 사용자(301)를 터치할 수 있다.
또한, 전자 장치(100)는 구동부(710)를 통해 디스플레이(100)의 위치를 사용자(301)에 가깝게 이동시키거나, 디스플레이(100)의 각도를 조정할 수도 있다.
도 7b를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(102)는 휴머노이드 타입의 로봇으로 구현될 수 있다. 도 7b에 도시하지는 않았으나, 휴머노이드 타입의 로봇(102)은 로봇을 구동시키는 일체의 구성을 포함하는 구동부를 포함할 수 있다.
일 예에 따른 로봇(102)은 디스플레이(110)를 통해 제공되는 컨텐츠에 포함된 특정 스텝에 대응되는 동작을 따라함으로써 사용자에게 모방 트레이닝 타입의 인터랙션을 제공할 수 있다.
또한, 일 예에 따른 로봇(102)은 스피커(720)를 구비할 수 있으며, 사용자(301)에게 모방 트레이닝 타입의 인터랙션을 제공함과 동시에 “따라하십시오”라는 음성을 출력하도록 스피커(720)를 제어할 수 있다.
도 8a 내지 8c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 표정을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 8a를 참조하면, 일 예에 따른 전자 장치(100)는 사용자(302)에게 복수의 스텝을 포함하는 태스크 정보를 제공하는 종이 접기 관련 컨텐츠를 제공할 수 있다. 일 예에 따른 프로세서(140)는 종이 접기 동작에 포함된 복수의 스텝을 식별할 수 있다.
일 예에 따른 프로세서(140)는 각 스텝에 대응되는 '결과물'을 스텝에 대한 이상적인 형태로 식별하고, 사용자(302)가 만든 결과물을 이상적인 형태와 비교하여 사용자(302)의 수행 상태를 식별할 수 있다.
일 예에 따른 프로세서(140)는 식별된 수행 상태에 기초하여 사용자(302)에 대한 인터랙션을 제공할 수 있다. 프로세서(140)는 사용자가 스텝에 대응되는 결과물을 만들지 못한 경우 해당 스텝에 대응되는 서브 정보를 반복 출력할 수 있다. 한편, 프로세서(140)는 컨텐츠에 포함된 최초의 스텝에 대응되는 서브 정보 및 그 이후의 스텝에 대응되는 서브 정보를 이어서 출력할 수도 있다.
또한, 프로세서(140)는 준비물(801, 802, 803)이 준비되지 않은 경우 사용자의 수행 상태를 식별하는 것에 우선하여 기 설정된 인터랙션을 제공할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 카메라(120)를 통해 획득된 이미지에 기초하여 사용자(302)의 얼굴을 식별할 수 있다. 일 예에 따른 프로세서는 사용자의 얼굴 이미지에 기초하여 사용자의 표정 정보를 획득할 수 있다.
일 예에 따른 프로세서(140)는 얼굴 이미지를 제1 신경망 모델에 입력하여 사용자의 표정 정보를 획득할 수 있으며, 제1 신경망 모델은 복수의 이미지를 입력 받아 찡그린 표정의 얼굴을 포함하는 이미지를 출력하도록 학습된 모델일 수 있다.
일 예에 따른 프로세서(140)는 사용자가 찡그린 표정을 짓는 것(810)을 식별하고, 이에 따라 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(140)는 피드백이 필요한 스텝에 대응되는 서브 정보의 출력 타입을 변경한 가이드 정보를 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
구체적으로, 일 예에 따른 가이드 정보는 종이 접기 동작에 포함된 스텝 중 사용자(302)가 찡그린 표정을 지은 순간 제공되고 있었던 서브 정보에 대응되는 스텝을 식별하고, 해당 스텝의 서브 정보를 다시 제공함과 동시에 서브 정보를 다시 제공한다는 취지를 알리는 UI를 함께 제공할 수 있다.
또한, 도 8b를 참조하면 본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자가 찡그린 표정을 짓는 것(810)을 식별하고, 그 즉시 컨텐츠의 제공을 중단(821)할 수도 있다. 한편, 도 8c와 같이 프로세서(140)는 사용자가 찡그린 표정을 짓는 것(810)을 식별하고, 그 즉시 컨텐츠의 출력 속도를 조정(822)할 수도 있다.
도 9a 내지 9c는 본 개시의 일 실시 예에 따른 전자 장치가 사용자의 음성을 인식하여 컨텐츠의 출력 상태를 제어하는 동작을 설명하기 위한 도면이다.
도 9a를 참조하면, 일 예에 따른 전자 장치(100)는 사용자(303)에게 복수의 스텝을 포함하는 태스크 정보를 제공하는 요리 관련 컨텐츠를 제공할 수 있다. 일 예에 따른 프로세서(140)는 요리 동작에 포함된 복수의 스텝을 식별할 수 있다.
일 예에 따른 프로세서(140)는 각 스텝에 대응되는 '결과물'을 스텝에 대한 이상적인 형태로 식별하고, 사용자(303)가 만든 결과물을 이상적인 형태와 비교하여 사용자(302)의 수행 상태를 식별할 수 있다.
일 예에 따른 프로세서(140)는 식별된 수행 상태에 기초하여 사용자(303)에 대한 인터랙션을 제공할 수 있다. 프로세서(140)는 사용자가 스텝에 대응되는 결과물을 만들지 못한 경우 해당 스텝에 대응되는 서브 정보를 반복 출력할 수 있다. 한편, 프로세서(140)는 컨텐츠에 포함된 최초의 스텝에 대응되는 서브 정보 및 그 이후의 스텝에 대응되는 서브 정보를 이어서 출력할 수도 있다.
또한, 프로세서(140)는 준비물(901, 902, 903, 904)이 준비되지 않은 경우 사용자의 수행 상태를 식별하는 것에 우선하여 기 설정된 인터랙션을 제공할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 사용자의 발화를 인식할 수 있다. 구체적으로, 프로세서(140)는 별도로 구비된 마이크(미도시)를 통해 획득된 사용자의 음성 정보에 기초하여 발화를 인식하거나 카메라(120)를 통해 획득된 사용자의 입 모양 이미지에 기초하여 발화를 인식할 수 있다.
일 예에 따른 프로세서(140)가 음성 정보에 기초하여 발화를 인식하는 경우, 프로세서(140)는 음성 정보를 제2 신경망 모델에 입력하여 사용자의 발화 정보를 획득할 수 있으며, 제2 신경망 모델은 복수의 음성 정보를 입력 받아 불쾌한 기분을 묘사하는 발화를 포함하는 음성을 출력하도록 학습된 모델일 수 있다.
일 예에 따른 프로세서(140)는 사용자의 불쾌한 기분을 묘사하는 발화를 식별하고, 이에 따라 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(140)는 피드백이 필요한 스텝에 대응되는 서브 정보의 출력 타입을 변경한 가이드 정보를 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
구체적으로, 일 예에 따른 가이드 정보는 요리 동작에 포함된 스텝 중 사용자(303)가 발화 순간 제공되고 있었던 서브 정보에 대응되는 스텝을 식별하고, 해당 스텝의 서브 정보를 다시 제공함과 동시에 서브 정보를 다시 제공한다는 취지를 알리는 UI를 함께 제공할 수 있다.
또한, 도 9b를 참조하면 본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자의 발화(910)를 식별하고, 컨텐츠의 제공을 중단할지 여부에 대한 입력을 요청하는 UI(921)를 디스플레이할 수도 있다. 한편, 도 9c와 같이 프로세서(140)는 사용자의 발화(910)를 식별하고, 컨텐츠를 통해 제공되는 화면의 특정 부분을 확대하여 (922)할 수도 있다. 이는 도 6a에서 설명한 집중 피드백(630)에 대응되는 인터랙션 타입일 수 있다.
한편, 일 예에 따른 프로세서(140)는 마이크를 통해 수신된 사용자의 음성에 기초하여 사용자(303)가 타인과 대화중인 것으로 식별되면 컨텐츠의 제공을 중단하도록 디스플레이(110)를 제어할 수도 있다.
도 9a 및 9b에서 설명한 바와 같이 전자 장치(100)는 사용자의 컨텐츠에 포함된 정보에 대한 이해도에 기초하여 다양한 인터랙션을 제공할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 10에 따르면, 전자 장치(100')는 디스플레이(110), 카메라(120), 메모리(130), 프로세서(140), 스피커(150), 통신 인터페이스(160), 구동부(170) 및 마이크(180)를 포함한다. 도 10에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
본 개시의 일 실시 예에 따른 메모리(130)는 복수의 레이어를 포함하는 제1 신경망 모델(131) 및 제2 신경망 모델(132)에 관한 정보를 저장할 수 있다. 여기서, 신경망 모델에 관한 정보를 저장한다는 것은 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 메모리(130)는 일 실시 예에 따라 복수의 이미지를 입력 받아 찡그린 표정의 얼굴을 포함하는 이미지를 출력하도록 학습된 학습된 제1 신경망 모델(131) 및 복수의 음성 정보를 입력 받아 불쾌한 기분을 묘사하는 발화를 포함하는 음성을 출력하도록 학습된 제2 신경망 모델(132)에 대한 정보를 저장할 수 있다.
스피커(150)는 전자 장치(100) 전기음향신호를 음파로 변환하는 장치이다. 스피커(150)는 영구자석과 코일 및 진동판을 포함할 수 있으며, 영구자석과 코일 사이에서 일어나는 전자기 상호작용에 의해 진동판을 진동시킴으로써 음향을 출력할 수 있다.
통신 인터페이스(160)는 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(160)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
구동부(170)는 전자 장치(100)가 사용자에게 인터랙션을 제공하는 경우 프로세서(140)의 제어에 따라 전자 장치(100)를 구동시킬 수 있다. 구체적으로, 구동부(170)는 전자 장치(100)의 위치를 이동시키거나 전자 장치(100)에 포함된 기계적인 부속을 구동할 수 있다. 이를 위해, 구동부(170)는 동력을 발생시키는 동력발생장치(예: 사용 연료(또는 에너지원)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등), 주행 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등), 동력에 따라 전자 장치(100)를 주행시키는 주행 장치(예: 바퀴, 프로펠러 등)등을 포함할 수 있다. 여기서, 구동부(170)는 전자 장치(100)가 구현되는 타입에 기초하여 상이한 형태로 구비될 수 있다.
마이크(180)는 음향 신호를 수신하는 구성이다. 구체적으로 마이크(180)는 음파를 입력 받아 이와 동일한 파형의 전류를 생성하는 장치를 통칭하는 구성이다. 이상의 도면들에서는 마이크(180)가 사용자의 음성을 포함하는 신호를 수신하는 것으로 설명하였으나, 일 예에 따른 마이크(180)는 사용자의 음성뿐만 아니라 발소리, 숨소리 및 파열음 등 다양한 음향 신호를 수신할 수 있다.
구체적으로, 프로세서(140)는 마이크(180)를 통해 수신된 발소리의 발생 간격에 기초하여 러닝(Running) 동작을 수행하고 있는 사용자가 적정 속도로 운동하고 있는지 식별할 수 있다. 프로세서(140)는 마이크(180)를 통해 수신된 숨소리에 기초하여 사용자의 호흡이 안정적인지 여부를 식별할 수도 있다.
또한, 프로세서(140)는 마이크(180)를 통해 수신된 파열음에 기초하여 사용자가 운동 중 넘어지는 등의 원인으로 부상을 입었다고 식별한 후 그에 대응되는 인터랙션을 제공할 수도 있다. 이로써 전자 장치(100)는 카메라(120)를 통해 획득한 이미지 정보의 신뢰성이 낮은 경우 더욱 정확한 상황 인식을 수행할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 정보를 제공하는 컨텐츠가 디스플레이되는 동안 카메라를 통해 사용자를 촬영한 이미지를 획득한다(S1110). 이어서 이미지에 기초하여 사용자와 관련된 컨텍스트 정보를 획득한다(S1120). 이어서 획득된 컨텍스트 정보 및 컨텐츠와 관련된 레퍼런스 정보를 비교하여 컨텐츠에서 제공되는 정보에 대한 사용자의 수행 상태를 식별한다(S1130). 마지막으로 사용자의 수행 상태에 기초하여 컨텐츠의 출력 상태를 제어한다(S1140).
여기서, 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며, 사용자의 수행 상태를 식별하는 단계(S1130)는 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 디스플레이를 통해 제공되는 동안 획득된 사용자의 컨텍스트 정보 및 서브 정보에 대응되는 레퍼런스 정보를 비교하여 하나의 스텝에 대한 사용자의 수행 상태를 식별하고, 컨텐츠의 출력 상태를 제어하는 단계(S1140)는 사용자의 수행 상태에 기초하여 하나의 스텝과 관련된 컨텐츠의 출력 상태를 제어할 수 있다.
여기서, 사용자의 수행 상태를 식별하는 단계(S1130)는 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고, 컨텐츠의 출력 상태를 제어하는 단계(S1140)는 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하는 단계 및 식별된 출력 타입에 기초하여 컨텐츠의 출력 상태를 제어하는 단계를 포함할 수 있다.
여기서, 컨텐츠의 출력 타입은 정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함할 수 있다.
한편, 사용자와 관련된 컨텍스트 정보를 획득하는 단계(S1120)는 운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 디스플레이를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 자세 정보를 획득하는 단계를 포함하고, 사용자의 수행 상태를 식별하는 단계(S1130)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보를 비교하여 운동 자세에 대한 사용자의 수행 상태를 식별하는 단계 및 사용자의 수행 상태에 기초하여 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하는 단계를 포함할 수 있다.
여기서, 전자 장치는 헬스 케어 서비스를 제공하는 로봇으로 구현되며, 상이한 피드백을 제공하는 단계는 사용자의 수행 상태에 기초하여 사용자가 컨텐츠에서 제공하는 운동 자세를 수행하도록 사용자의 자세를 케어하는 동작을 수행하거나 사용자의 자세를 가이드하는 가이드 정보를 제공할 수 있다.
또한, 사용자의 수행 상태를 식별하는 단계(S1130)는 획득된 자세 정보 및 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 운동 자세의 난이도 중 적어도 하나에 기초하여 사용자의 수행 레벨을 식별하는 단계를 더 포함하고, 상이한 피드백을 제공하는 단계는 식별된 수행 레벨에 대응되는 피드백을 제공할 수 있다.
한편, 사용자와 관련된 컨텍스트 정보를 획득하는 단계(S1120)는 복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 디스플레이를 통해 제공되는 동안 획득된 이미지에 기초하여 사용자의 상태 정보를 획득하는 단계를 포함하고, 사용자의 수행 상태를 식별하는 단계(S1130)는 획득된 상태 정보 및 레퍼런스 정보에 포함된 상태 정보를 비교하여 복수의 스텝 각각에 대한 사용자의 수행 상태를 식별하는 단계 및 사용자의 수행 상태에 기초하여 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 사용자의 상태 정보를 획득하는 단계는 이미지를 제1 신경망 모델에 입력하여 사용자의 제1 상태 정보를 획득하는 단계 및 사용자의 음성을 제2 신경망 모델에 입력하여 사용자의 제2 상태 정보를 획득하는 단계를 포함하고, 가이드 정보를 제공하는 단계는 식별된 수행 상태, 제1 상태 정보 및 제2 상태 정보에 기초하여 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공할 수 있다.
또한, 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 사용자의 이미지가 획득되지않는 경우 태스크 정보와 관련된 가이드 정보를 출력할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(140) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
100: 전자 장치 110: 디스플레이
120: 카메라 130: 메모리
140: 프로세서

Claims (20)

  1. 디스플레이;
    카메라;
    정보를 제공하는 컨텐츠와 관련된 레퍼런스 정보가 저장된 메모리; 및
    상기 컨텐츠가 상기 디스플레이를 통해 제공되는 동안, 상기 카메라를 통해 사용자를 촬영한 이미지를 획득하고,
    상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하고,
    상기 획득된 컨텍스트 정보 및 상기 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공하는 정보에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며,
    상기 프로세서는,
    상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 상기 사용자의 수행 레벨 별 컨텐츠의 출력 타입에 대한 정보를 저장하고,
    상기 프로세서는,
    상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고,
    상기 메모리에 저장된 정보 중 상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하고,
    상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어하는, 전자 장치.
  4. 제3항에 있어서,
    상기 컨텐츠의 출력 타입은,
    정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    구동부;를 더 포함하며,
    상기 프로세서는,
    운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하고,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하도록 상기 구동부를 제어하는, 전자 장치.
  6. 제5항에 있어서,
    상기 전자 장치는, 헬스 케어 서비스를 제공하는 로봇으로 구현되며,
    상기 로봇은,
    상기 사용자의 수행 상태에 기초하여 상기 사용자가 상기 컨텐츠에서 제공하는 운동 자세를 수행하도록 상기 사용자의 자세를 케어하는 동작을 수행하거나 상기 사용자의 자세를 가이드하는 가이드 정보를 제공하는, 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 상기 운동 자세의 난이도 중 적어도 하나에 기초하여 상기 사용자의 수행 레벨을 식별하고, 상기 식별된 수행 레벨에 대응되는 피드백을 제공하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 상태 정보를 획득하고,
    상기 획득된 상태 정보 및 상기 레퍼런스 정보에 포함된 상태 정보를 비교하여 상기 복수의 스텝 각각에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 사용자의 수행 상태에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 이미지를 제1 신경망 모델에 입력하여 상기 사용자의 제1 상태 정보를 획득하고,
    상기 사용자의 음성을 제2 신경망 모델에 입력하여 상기 사용자의 제2 상태 정보를 획득하고,
    상기 식별된 수행 상태, 상기 제1 상태 정보 및 제2 상태 정보에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하도록 상기 디스플레이를 제어하는, 전자 장치.
  10. 제8항에 있어서,
    스피커;를 더 포함하며,
    상기 프로세서는,
    상기 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 상기 사용자의 이미지가 획득되지 않는 경우, 상기 태스크 정보와 관련된 가이드 정보를 출력하도록 상기 스피커를 제어하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    정보를 제공하는 컨텐츠가 디스플레이되는 동안, 카메라를 통해 사용자를 촬영한 이미지를 획득하는 단계;
    상기 이미지에 기초하여 상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계;
    상기 획득된 컨텍스트 정보 및 상기 컨텐츠와 관련된 레퍼런스 정보를 비교하여 상기 컨텐츠에서 제공되는 정보에 대한 상기 사용자의 수행 상태를 식별하는 단계; 및
    상기 사용자의 수행 상태에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 컨텐츠는 복수의 스텝 각각에 대응되는 서브 정보를 포함하며,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 복수의 스텝 중 하나의 스텝에 대응되는 서브 정보가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 사용자의 컨텍스트 정보 및 상기 서브 정보에 대응되는 레퍼런스 정보를 비교하여 상기 하나의 스텝에 대한 상기 사용자의 수행 상태를 식별하고,
    상기 컨텐츠의 출력 상태를 제어하는 단계는,
    상기 사용자의 수행 상태에 기초하여 상기 하나의 스텝과 관련된 상기 컨텐츠의 출력 상태를 제어하는, 제어 방법.
  13. 제12항에 있어서,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 사용자의 수행 상태에 대응되는 수행 레벨을 식별하고,
    상기 컨텐츠의 출력 상태를 제어하는 단계는,
    상기 식별된 수행 레벨에 대응되는 컨텐츠의 출력 타입에 대한 정보를 식별하는 단계; 및
    상기 식별된 출력 타입에 기초하여 상기 컨텐츠의 출력 상태를 제어하는 단계;를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 컨텐츠의 출력 타입은,
    정지 화면 출력, 특정 스텝에 대응되는 서브 정보의 반복 출력, 출력 속도 조정 또는 컨텐츠의 확대 출력 중 적어도 하나를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계는,
    운동 자세를 포함하는 헬스 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 자세 정보를 획득하는 단계;를 포함하고,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보를 비교하여 상기 운동 자세에 대한 상기 사용자의 수행 상태를 식별하는 단계; 및
    상기 사용자의 수행 상태에 기초하여 상기 사용자의 자세를 가이드하기 위한 상이한 피드백을 제공하는 단계;를 포함하는, 제어 방법.
  16. 제15항에 있어서,
    상기 전자 장치는, 헬스 케어 서비스를 제공하는 로봇으로 구현되며,
    상기 상이한 피드백을 제공하는 단계는,
    상기 사용자의 수행 상태에 기초하여 상기 사용자가 상기 컨텐츠에서 제공하는 운동 자세를 수행하도록 상기 사용자의 자세를 케어하는 동작을 수행하거나 상기 사용자의 자세를 가이드하는 가이드 정보를 제공하는, 제어 방법.
  17. 제15항에 있어서,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 일치 정도, 상기 획득된 자세 정보 및 상기 레퍼런스 정보에 포함된 자세 정보 간 불일치 빈도 또는 상기 운동 자세의 난이도 중 적어도 하나에 기초하여 상기 사용자의 수행 레벨을 식별하는 단계;를 더 포함하고,
    상기 상이한 피드백을 제공하는 단계는,
    상기 식별된 수행 레벨에 대응되는 피드백을 제공하는, 제어 방법.
  18. 제11항에 있어서,
    상기 사용자와 관련된 컨텍스트 정보를 획득하는 단계는,
    복수의 스텝을 포함하는 태스크 정보를 제공하는 컨텐츠가 상기 디스플레이를 통해 제공되는 동안 획득된 상기 이미지에 기초하여 상기 사용자의 상태 정보를 획득하는 단계;를 포함하고,
    상기 사용자의 수행 상태를 식별하는 단계는,
    상기 획득된 상태 정보 및 상기 레퍼런스 정보에 포함된 상태 정보를 비교하여 상기 복수의 스텝 각각에 대한 상기 사용자의 수행 상태를 식별하는 단계; 및
    상기 사용자의 수행 상태에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하는 단계;를 포함하는, 제어 방법.
  19. 제18항에 있어서,
    상기 사용자의 상태 정보를 획득하는 단계는,
    상기 이미지를 제1 신경망 모델에 입력하여 상기 사용자의 제1 상태 정보를 획득하는 단계; 및
    상기 사용자의 음성을 제2 신경망 모델에 입력하여 상기 사용자의 제2 상태 정보를 획득하는 단계;를 포함하고,
    상기 가이드 정보를 제공하는 단계는,
    상기 식별된 수행 상태, 상기 제1 상태 정보 및 제2 상태 정보에 기초하여 상기 복수의 스텝 중 피드백이 필요한 스텝에 대응되는 가이드 정보를 제공하는, 제어 방법.
  20. 제18항에 있어서,
    상기 복수의 스텝 중 하나의 스텝에 대한 정보가 제공되는 동안 상기 사용자의 이미지가 획득되지 않는 경우, 상기 태스크 정보와 관련된 가이드 정보를 출력하는 단계;를 더 포함하는, 제어 방법.
KR1020200180222A 2020-12-21 2020-12-21 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법 KR20220089513A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200180222A KR20220089513A (ko) 2020-12-21 2020-12-21 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법
PCT/KR2021/015211 WO2022139155A1 (ko) 2020-12-21 2021-10-27 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법
US18/196,724 US20230285807A1 (en) 2020-12-21 2023-05-12 Electronic apparatus providing content-based care service and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200180222A KR20220089513A (ko) 2020-12-21 2020-12-21 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220089513A true KR20220089513A (ko) 2022-06-28

Family

ID=82158114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200180222A KR20220089513A (ko) 2020-12-21 2020-12-21 컨텐츠 기반 케어 서비스를 제공하는 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20230285807A1 (ko)
KR (1) KR20220089513A (ko)
WO (1) WO2022139155A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043382A1 (ko) * 2022-08-26 2024-02-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2024043384A1 (ko) * 2022-08-26 2024-02-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1399855B1 (it) * 2010-04-28 2013-05-09 Technogym Spa Apparato per l'esecuzione assistita di un esercizio ginnico.
KR102000763B1 (ko) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 퍼스널 트레이닝 서비스를 제공하는 스마트 미러 장치
KR102157322B1 (ko) * 2018-12-13 2020-09-17 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR102588392B1 (ko) * 2019-01-25 2023-10-13 엘지전자 주식회사 체형 관리 장치
KR102262725B1 (ko) * 2019-05-20 2021-06-10 엘지전자 주식회사 개인 운동관리 시스템 및 이의 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043382A1 (ko) * 2022-08-26 2024-02-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2024043384A1 (ko) * 2022-08-26 2024-02-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
WO2022139155A1 (ko) 2022-06-30
US20230285807A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US20230285807A1 (en) Electronic apparatus providing content-based care service and controlling method thereof
US20200126444A1 (en) Method and apparatus for monitoring learning and electronic device
CN107203953B (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN104252864B (zh) 实时语音分析方法和系统
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
US11074430B2 (en) Directional assistance for centering a face in a camera field of view
CN105653032B (zh) 显示调整方法及装置
WO2016155564A1 (zh) 卷积神经网络模型的训练方法及装置
US11869524B2 (en) Audio processing method and apparatus, computer device, and storage medium
US20170060828A1 (en) Gesture based annotations
RU2013114293A (ru) Устройство обработки информации и способ обработки информации
US10353475B2 (en) Automated E-tran application
CN108665764B (zh) 一种通过阅读设备进行阅读的方法与设备
US11076091B1 (en) Image capturing assistant
WO2021227916A1 (zh) 面部形象生成方法、装置、电子设备及可读存储介质
US20150235643A1 (en) Interactive server and method for controlling the server
CN114616565A (zh) 使用视听不一致性的活体检测
CN116310983A (zh) 多模态情感识别方法及装置
US20180126561A1 (en) Generation device, control method, robot device, call system, and computer-readable recording medium
JP2015150620A (ja) ロボット制御システムおよびロボット制御プログラム
JP6824547B1 (ja) アクティブラーニングシステム及びアクティブラーニングプログラム
CN114630190A (zh) 关节姿态参数的确定方法、模型训练方法及装置
TW201426733A (zh) 唇形語音辨識方法
WO2019167380A1 (ja) コンピュータプログラム、画像処理方法、及び通信装置
KR20160144104A (ko) 음성인식 기반의 학습용 단말, 음성인식 기반의 학습 시스템