KR20180040295A

KR20180040295A - Interactive robot apparatus and method for using the same

Info

Publication number: KR20180040295A
Application number: KR1020160131990A
Authority: KR
Inventors: 김도형; 장민수; 김재홍; 윤영우; 박천수; 신성웅
Original assignee: 한국전자통신연구원
Priority date: 2016-10-12
Filing date: 2016-10-12
Publication date: 2018-04-20

Abstract

An interactive robot device and a method using the same are disclosed. According to one embodiment of the present invention, the interactive robot device comprises: a sensing portion sensing a learner and a learning environment by using a plurality of sensors; a recognition portion recognizing the learner and the learning environment by using data sensed by the sensing portion; a determination portion determining a learning state of the learner based on recognition information recognized by the recognition portion; and an expression portion coaching the learner based on a result of determining the learning state.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an interactive robot apparatus,

본 발명은 로봇 시스템 기술에 관한 것으로, 보다 상세하게는 상호 작용 기술 기반 인터랙티브 로봇 시스템 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a robot system technology, and more particularly, to an interactive robot system technology based on interaction technology.

소득 수준이 높아지고 삶의 질과 건강에 대한 현대인들의 관심이 높아지면서 일상 활동에서 쉽게 접할 수 있는 생활 스포츠가 각광을 받고 있다.As incomes rise and modern people 's interest in quality of life and health grows, living sports that are easily accessible in everyday life are getting popular.

종래의 학습자는 전문 시설의 전문 강사에게서 일대일 수업을 통해 체계적으로 생활 스포츠를 배우는 것이었다. 하지만, 학습자는 장소, 시간, 비용 등의 제약으로 인해 전문 강사에게서 양질의 교습을 받기가 어렵다. 따라서, 전문 강사로부터 직접 교습을 받지 않고도 효과적으로 생활 스포츠를 학습할 수 있는 자가 학습 방법에 대한 요구사항이 점차 증가하고 있으며, 관련 산업도 발전하고 있는 추세이다.The conventional learner was to systematically learn life sports through one-to-one lessons from professional instructors at specialized facilities. However, it is difficult for the learner to receive high quality lectures from a professional lecturer due to limitations on place, time, and cost. Therefore, there is a growing demand for self-learning methods that can effectively learn life sports without receiving direct instruction from professional instructors, and related industries are also developing.

IT 기술의 급속한 발전으로 인하여, 생활 스포츠를 스스로 학습하는 방법이 변화하고 있다.Due to the rapid development of IT technology, the way to learn life sports is changing.

학습자가 요가, 체조, 댄스 등을 스스로 학습하는 가장 일반적인 방법은 교습비디오나 동영상 등을 보고 화면의 강사가 취하는 동작을 그대로 따라 하는 형태이다. 기존의 단순 영상물 기반 모방 학습은 본인이 정확한 동작을 취하고 있는지, 예전에 비해서 실력이 발전하고 있는지 등에 대한 피드백이 전혀 없기 때문에 효과적인 자가 학습 방법이라고 보기 어렵다. 학습 현황에 대한 정보 없이 오로지 학습자의 의지력에만 의존하기 때문에 학습에 대한 지속력도 떨어진다. The most common way for a learner to learn yoga, gymnastics, and dance is to follow the action taken by the lecturer on the screen by watching a video or video of teaching. It is difficult to say that the existing simple video-based imitation learning is an effective self-learning method because there is no feedback on whether the person is taking correct action or whether his / her ability is improving compared to the past. Because it relies solely on the will of the learner without the knowledge of the learning situation, the learner is less able to learn.

최근 몇 년 전부터는 닌텐도의 위(Wii)나 마이크로소프트의 Xbox와 같이 사용자의 동작에 반응하는 스포츠 게임 플랫폼이 등장하면서 전 세계적으로 성공을 거두었다.In recent years, it has been successful around the world with the emergence of sports game platforms that respond to user behavior, such as Nintendo Wii and Microsoft's Xbox.

이러한 종류의 게임 플랫폼들은 다양한 센서나 카메라를 통해서 입력되는 신호들을 분석하여 학습자의 동작을 인식하는 기술을 기반으로 구현되었기 때문에, 학습자의 동작에 대한 진단 서비스의 제공이 가능하다. 따라서 이러한 피드백을 통해 체계적이고도 과학적인 스포츠 학습과 학습자의 몰입도 및 집중도를 향상 시킬 수 있어 효과적인 자가 학습 방법 중의 하나로 인식되고 있다.Since these types of game platforms are implemented based on the technology of recognizing the learner 's behavior by analyzing the signals inputted through various sensors or cameras, it is possible to provide a diagnostic service for the learner' s operation. Therefore, these feedbacks are recognized as one of the effective self-learning methods because systematic and scientific sports learning and learner's immersion and concentration can be improved.

최근에는 센서기반 동작분석을 통해 학습자에게 피드백을 제공하는 기술과 함께 학습자가 직접 참여할 수 있는 스포츠 시뮬레이터 플랫폼 등이 개발되고 있다. 전문 시설의 전문 강사로부터 교습을 받기가 쉽지 않은 승마나 요트 등과 같은 스포츠의 경우에 실제 환경을 모사한 스포츠 시뮬레이터 플랫폼은 좋은 대안이 될 수 있다.Recently, a technology for providing feedback to learners through sensor-based motion analysis and a sports simulator platform for learner's participation have been developed. A sports simulator platform that mimics the real environment in the case of sports such as horse riding or yachting that is not easy to learn from professional instructors at professional facilities can be a good alternative.

한편, 한국공개특허 제10-2014-0049857호"손동작을 이용한 로봇 코칭 시스템"는 손동작을 이용한 로봇 코칭 시스템에 관한 것으로, 더욱 상세하게는 복잡한 키 조작이 아닌 손동작을 이용한 직관적인 인터페이스를 통해 로봇을 무선으로 제어하고 조종할 수 있는 손동작을 이용한 로봇 코칭 시스템에 관하여 개시하고 있다.Korean Patent Laid-Open Publication No. 10-2014-0049857 entitled " Robot Coaching System Using Hand Gestures "relates to a robot coaching system using a hand gesture, and more particularly, to a robot coaching system using a hand gesture, Discloses a robot coaching system using a hand gesture that can be controlled and manipulated wirelessly.

그러나, 한국공개특허 제10-2014-0049857호는 유저의 손동작을 인식하여 로봇 명령으로 변환하는 것에 한정되어 있어, 사람과의 상호 작용에 있어 한계를 지니고 있다.However, Korean Patent Laid-Open Publication No. 10-2014-0049857 is limited to recognizing a user's hand gesture and converting it into a robot command, and has limitations in interaction with a person.

본 발명은 사용자의 운동 능력 향상시켜 건강한 생활을 영위하게 하는 것을 목적으로 한다.An object of the present invention is to improve a user's athletic ability and to lead a healthy life.

또한, 본 발명은 전문 강사로부터 직접 교습을 받지 않고도 효과적으로 체계적인 생활 스포츠를 자가 학습하는 것을 목적으로 한다.In addition, the present invention aims at self-learning systematic living sports effectively without receiving direct instruction from a professional lecturer.

또한, 본 발명은 함께 운동을 즐길 수 있는 파트너를 제공하는 목적으로 한다.Further, the present invention aims to provide a partner who can enjoy sports together.

또한, 본 발명은 재활이 필요한 운동 선수, 노인 및 장애인에게 재활 훈련을 제공하는 것을 목적으로 한다.The present invention also aims at providing rehabilitation training to athletes, seniors and persons with disabilities who need rehabilitation.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 상호 작용 로봇 장치는 센서를 이용하여 학습자 및 학습 환경을 센싱하는 센싱부; 상기 센싱부가 센싱한 데이터를 이용하여 상기 학습자 및 학습 환경을 인지하는 인지부; 상기 인지부가 인지한 인지 정보에 기반하여 상기 학습자의 학습 상태를 판단하는 판단부 및 상기 학습 상태를 판단한 결과에 기반하여 상기 학습자를 코칭하는 표현부를 포함한다.According to an aspect of the present invention, there is provided an interactive robot apparatus including: a sensing unit sensing a learner and a learning environment using a sensor; A recognition unit recognizing the learner and the learning environment using data sensed by the sensing unit; A determination unit for determining a learning state of the learner based on recognition information perceived by the recognition unit, and a presentation unit for coaching the learner based on the determination result of the learning state.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법은 상호 작용 로봇 장치를 이용하는 방법에 있어서, 센서를 이용하여 학습자 및 학습 환경을 센싱하는 단계; 상기 학습자 및 학습 환경을 센싱한 데이터를 이용하여 상기 학습자 및 학습 환경을 인지하는 단계; 상기 학습자 및 학습 환경을 인지한 인지 정보에 기반하여 상기 학습자의 학습 상태를 판단하는 단계 및 상기 학습 상태를 판단한 결과에 기반하여 상기 학습자를 코칭하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of using an interactive robot apparatus, comprising: sensing a learner and a learning environment using a sensor; Recognizing the learner and the learning environment using data obtained by sensing the learner and the learning environment; Determining a learning state of the learner based on cognitive information perceived by the learner and the learning environment, and coaching the learner based on a result of determining the learning state.

본 발명은 사용자의 운동 능력 향상을 시켜 건강한 생활을 영위하게 할 수 있다.INDUSTRIAL APPLICABILITY The present invention can improve a user's exercise ability and lead a healthy life.

또한, 본 발명은 전문 강사로부터 직접 교습을 받지 않고도 효과적으로 체계적인 생활 스포츠를 자가 학습할 수 있다.In addition, the present invention enables self-learning of systematic living sports effectively without having to directly receive instruction from a professional lecturer.

또한, 본 발명은 함께 운동을 즐길 수 있는 파트너를 제공할 수 있다.Further, the present invention can provide a partner who can enjoy the exercise together.

또한, 본 발명은 재활이 필요한 운동 선수, 노인 및 장애인에게 재활 훈련을 제공할 수 있다.In addition, the present invention can provide rehabilitation training to athletes, seniors and persons with disabilities who need rehabilitation.

도 1은 본 발명의 일실시예에 따른 인간-로봇 상호작용 코칭 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법을 나타낸 동작흐름도이다.
도 4는 본 발명의 일실시예에 따른 자세 프로파일 생성 과정을 나타낸 도면이다.
도 5은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.1 is a diagram illustrating a human-robot interactive coaching system according to an embodiment of the present invention.
2 is a block diagram illustrating an interactive robot apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of using an interactive robot apparatus according to an embodiment of the present invention.
4 is a view illustrating a process of generating an attitude profile according to an embodiment of the present invention.
5 is a block diagram illustrating a computer system in accordance with an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 인간-로봇 상호작용 코칭 시스템을 나타낸 도면이다.1 is a diagram illustrating a human-robot interactive coaching system according to an embodiment of the present invention.

도 1을 참조하면, 인간-로봇 상호작용 코칭 시스템은 상호 작용 로봇 장치(100)가 스포츠 자세 프로파일 서버(10)로부터 자세 프로파일을 제공 받아 학습자와 상호 작용하며 생활 스포츠 코칭 서비스를 제공할 수 있다.Referring to FIG. 1, the human-robot interaction coaching system can provide an interactive sports coaching service by interacting with a learner by receiving an attitude profile from the sports posture profile server 10.

상호 작용 로봇 장치(100)는 학습자의 상태 정보 및 교습 이력 관리, 자세 인식을 통한 과학적 분석 및 지도, 학습 극대화를 위한 판단/표현 상호 작용, 효과적인 지도를 위한 증강현실 및 시각화 도구 및 교습 경험 학습 및 코칭 방법 개선을 제공할 수 있다.The interactive robot apparatus 100 is provided with a learning system 100 for learning and learning of a learner, scientific analysis and guidance through posture recognition, judgment / expression interaction for maximizing learning, augmented reality and visualization tools for effective guidance, It is possible to provide an improvement in the coaching method.

학습자의 상태 정보 및 교습 이력 관리 기능은 학습자의 신원, 위치, 표정, 태도 등을 인식하여 현재 학습자의 운동 상태 정보를 인식하고, 장기적으로 학습자의 교습 이력을 관리하여 체계적인 사용자 맞춤형 학습 관리를 수행할 수 있다.The learner's status information and teaching history management function recognizes the learner's identity, position, facial expression, attitude and so on to recognize the current learner's exercise status information and manage the learner's teaching history in the long term to perform systematic customized learning management .

자세 인식을 통한 과학적 분석 및 지도 기능은 학습자의 관절 및 골격 구조를 추적하고 이를 기반으로 학습자의 자세를 분석할 수 있다. 상호 작용 로봇 장치(100)는 특정 스포츠에서 요구되는 올바른 자세에 대한 "자세 프로파일" 정보를 스포츠 자세 프로파일 서버(10)로부터 제공 받을 수 있다. 상호 작용 로봇 장치(100)는 정답 자세에 상응하는 자세 프로파일 정보와 학습자가 취하고 있는 자세를 비교 분석하여 체계적인 진단 및 자세 교정 서비스를 제공할 수 있다.The scientific analysis and guidance function through the attitude recognition can track the learner 's joint and skeletal structure and analyze the learner' s attitude based on it. The interactive robot apparatus 100 can receive the "posture profile" information on the correct posture required in a specific sport from the sports posture profile server 10. [ The interactive robot apparatus 100 can provide a systematic diagnostic and posture correction service by comparing and analyzing the posture profile information corresponding to the correct posture and the posture taken by the learner.

학습 극대화를 위한 판단/표현 상호 작용 기능은 스포츠 학습에 있어서 가장 중요한 요소라고 할 수 있는 교사와 학습자와의 상호 작용 기능을 제공할 수 있다. 상호 작용 로봇 장치(100)는 학습자와 학습이 이루어지는 주위 환경에 대한 제반 상황을 인식하고 이를 통해 학습자의 현재 상태를 판단하여 학습자에게 적절한 표현을 통해 학습자와의 교감할 수 있다.The decision / expression interaction function for maximizing learning can provide the interaction function between teacher and learner, which is the most important factor in sports learning. The interactive robot apparatus 100 recognizes the situation of the learner and the surrounding environment in which the learning is performed, thereby determining the current state of the learner and communicating with the learner through appropriate expressions to the learner.

효과적인 지도를 위한 증강현실 및 시각화 도구 기능은 상호 작용 로봇 장치(100)에 장착된 프로젝터를 활용하여 다양한 형태로 제공될 수 있다.The augmented reality and visualization tool functions for effective guidance can be provided in various forms utilizing a projector mounted on the interactive robot apparatus 100.

예를 들어, 상호 작용 로봇 장치(100)는 탁구 교습의 경우 학습자의 스매싱 정확도를 향상시키기 위한 학습 도구의 일종으로 탁구 테이블의 특정 지점에 증강현실 기술을 활용하여 과녁과 같은 형태로 스매싱 목표 지점을 표시할 수 있다.For example, the interactive robot apparatus 100 is a kind of learning tool for improving learner's smashing accuracy in the case of table tennis, and utilizes the augmented reality technique at a specific point of the table tennis table to form a smashing target point Can be displayed.

또한, 상호 작용 로봇 장치(100)는 학습자에게 올바른 자세와 다양한 학습 정보 등을 제공하기 위한 방법으로 공간에 이미지나 동영상과 같은 시각자료를 투시 할 수도 있다.In addition, the interactive robot apparatus 100 may visualize a visual image such as an image or a moving image in a space as a method for providing a correct posture and various learning information to a learner.

교습 경험 학습 및 코칭 방법 개선 기능은 상호 작용 로봇 장치(100)가 학습자와의 상호 작용 경험에 기반하여 자가 학습을 통해 코칭 방법을 스스로 개선할 수 있다. 학습자는 상호 작용 로봇 장치(100)와의 상호 작용 과정에서 다양한 피드백(표정, 태도 등)을 생성할 수 있고, 상호 작용 로봇 장치(100)는 이러한 피드백 정보를 기반으로 현재 학습자에게 적합한 개인 맞춤형 코칭 가이드라인을 생성할 수 있다.The teaching experience learning and coaching method improvement function can improve the coaching method by self-learning based on the interaction experience of the interactive robot apparatus 100 with the learner. The learner can generate various feedbacks (facial expression, attitude, etc.) during the interaction with the interactive robot apparatus 100, and the interactive robot apparatus 100 generates a personalized coaching guide Lines can be generated.

또한, 상호 작용 로봇 장치(100)는 상호 작용을 통한 교습 과정에서 파악되는 학습자의 강점 및 약점에 대한 정보를 코칭 가이드 라인 개선에 활용할 수 있다.Further, the interactive robot apparatus 100 can utilize information on the strengths and weaknesses of the learners, which are grasped in the course of the interactive teaching, in improving the coaching guidelines.

또한, 상호 작용 로봇 장치(100)는 목표 스포츠의 전문가(프로선수)와 연습 경기를 하면서 경험한 전문가의 자세 및 운동 패턴을 자가 학습 하여 전문가 수준의 운동 능력을 확보할 수 있다.In addition, the interactive robot apparatus 100 can acquire a professional-level exercise ability by self-learning the posture and the exercise pattern of the experienced professional while playing a practice game with a professional sports player (professional athlete).

도 2는 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 나타낸 블록도이다.2 is a block diagram illustrating an interactive robot apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 상호 작용 로봇 장치(100)는 센싱부(110), 인지부(120), 판단부(130) 및 표현부(140)를 포함한다.Referring to FIG. 2, the interactive robot apparatus 100 includes a sensing unit 110, a recognition unit 120, a determination unit 130, and a presentation unit 140.

센싱부(110)는 거리 센서(111), 환경 센서(112), 3D 카메라(113) 및 다채널 마이크 등 다양한 센서 장치를 포함할 수 있다.The sensing unit 110 may include various sensor devices such as a distance sensor 111, an environmental sensor 112, a 3D camera 113, and a multi-channel microphone.

이 때, 센싱부(110)는 다양한 센서 장치를 이용하여 학습자와 학습 환경에 관련된 데이터를 센싱할 수 있다At this time, the sensing unit 110 can sense data related to the learner and the learning environment using various sensor devices

인지부(120)는 휴먼신원인식모듈(121), 휴먼위치인식모듈(122), 휴먼자세인식모듈(123), 물체인식모듈(124) 및 환경인식모듈(125)를 포함할 수 있다.The recognition unit 120 may include a human identity recognition module 121, a human location recognition module 122, a human orientation recognition module 123, an object recognition module 124 and an environment recognition module 125.

이 때, 인지부(120)는 센싱부(110)에서 입력되는 데이터를 분석하여 학습 환경을 인식할 수 있다.At this time, the recognition unit 120 can recognize the learning environment by analyzing the data input from the sensing unit 110. [

휴먼신원인식모듈(121)는 학습자와 관련된 정보를 인지하기 위하여 얼굴인식 등을 통하여 학습자가 누구인지를 인식할 수 있다.The human identity recognition module 121 can recognize the learner through face recognition or the like in order to recognize the information related to the learner.

휴먼위치인식모듈(122)은 학습자의 현재 존재하고 있는 위치를 계속해서 추적할 수 있다.The human location recognition module 122 may continue to track the learner's current location.

휴먼자세인식모듈(123)은 학습 시의 학습자의 자세, 동작, 태도 등을 인식할 수 있다.The human posture recognition module 123 can recognize the posture, operation, attitude, etc. of the learner at the time of learning.

물체인식모듈(124)은 학습재(탁구공, 탁구라켓, 탁구 테이블 등)를 인식할 수 있다.The object recognition module 124 can recognize the learning material (table tennis ball, table tennis racket, table tennis table, etc.).

환경인식모듈(125)은 주변 학습 환경을 인식할 수 있다.The environment recognition module 125 can recognize the surrounding learning environment.

판단부(130)는 자세정확성분석모듈(131), 집중도 분석모듈(132), 운동상태 판단모듈(133) 및 운동이력 분석모듈(134)를 포함할 수 있다.The determination unit 130 may include a posture accuracy analysis module 131, a concentration analysis module 132, a motion state determination module 133, and an exercise history analysis module 134.

이 때, 판단부(130)는 인지부(120)에서 인식된 다양한 인식 정보를 분석하여 현재 학습자의 학습 상태를 판단할 수 있다.At this time, the determination unit 130 can determine the learning state of the current learner by analyzing various recognition information recognized by the recognition unit 120. [

자세정확성분석모듈(131)은 학습자의 현재 자세 인식 정보와 표준 자세를 비교 분석하여 학습자가 얼마나 정확하게 동작을 취하고 있는지를 분석할 수 있다.The posture accuracy analysis module 131 can analyze how accurately the learner is operating by comparing and analyzing the learner's current posture recognition information with the standard posture.

집중도 분석모듈(132)은 학습자의 태도와 얼굴 표정 인식 정보 등을 바탕으로 학습자가 교습에 얼마나 집중을 하고 있는지를 판단할 수 있다.The concentration analysis module 132 can determine how much the learner concentrates on the teaching based on the learner's attitude and facial expression recognition information.

운동상태 판단모듈(133)는 인식 정보에 기반하여 현재 학습자의 운동 상태를 판단할 수 있다.The exercise state determination module 133 can determine the current learner's exercise state based on the recognition information.

운동이력 분석모듈(134)은 학습을 시작해서 현재 시점에 이르기까지 인지부(120)가 인식한 누적된 정보와 판단부(130)가 분석한 누적 정보를 종합적으로 분석한 히스토리 정보를 생성할 수 있다.The exercise history analyzing module 134 can start the learning and generate the history information that comprehensively analyzes the accumulated information recognized by the recognition unit 120 and the accumulated information analyzed by the determination unit 130 until the present time have.

표현부(140)는 로봇 감성 표현모듈(141), 자세 지도모듈(142), 보조학습도구모듈(143) 및 학습자상호작용모듈(144)을 포함할 수 있다.The expression unit 140 may include a robot emotion expression module 141, an attitude map module 142, an auxiliary learning tool module 143 and a learner interaction module 144.

이 때, 표현부(140)는 판단부(130)가 판단한 정보를 바탕으로 학습자를 대상으로 상호 작용 하기 위한 표현 방법을 결정할 수 있다.At this time, the expression unit 140 can determine the expression method for interacting with the learner based on the information determined by the determination unit 130. [

로봇 감성 표현모듈(141)은 학습자와의 교감을 목적으로 음성, 표정, 제스처 등 상호 작용 로봇 장치(100)가 표현 가능한 방법을 통해 로봇의 감성을 표현할 수 있다.The robot emotion expression module 141 can express emotions of the robot through a method in which the interactive robot apparatus 100 such as voice, facial expression, gesture, etc. can represent the robot emotion for the purpose of communicating with the learner.

자세 지도모듈(142)은 판단부(130)의 학습자의 자세 정확성 분석 결과를 바탕으로 학습자에게 정확한 자세를 코칭할 수 있다. 자세를 코칭하는 방법은 음성, 제스처 등 상호 작용 로봇 장치(100)가 표현 가능한 방법을 통해 학습할 수 있다. The attitude map module 142 can coach the correct attitude to the learner based on the learner's posture accuracy analysis result of the learner. The method of coaching the posture can be learned through a method capable of expressing the interaction robot apparatus 100 such as voice, gesture, and the like.

보조학습 도구모듈(143)은 자세 코칭을 위한 보조적인 역할을 수행할 수 있는 각종 도구들을 포함할 수 있다.The secondary learning tool module 143 may include various tools capable of playing an auxiliary role for posture coaching.

예를 들어, 보조학습 도구모듈(143)은 프로젝터를 활용한 증강현실 및 시각화 도구 등을 포함할 수 있다.For example, the auxiliary learning tool module 143 may include an augmented reality utilizing a projector, a visualization tool, and the like.

학습자 상호 작용모듈(144)은 판단부(130)에서 획득한 분석 정보를 바탕으로 학습자와 교감하기 위한 상호작용 전략을 수립할 수 있고 상호작용을 수행할 수 있다.The learner interaction module 144 can establish an interaction strategy for communicating with the learner based on the analysis information acquired by the determination unit 130, and can perform an interaction.

도 3은 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법을 나타낸 동작흐름도이다. 3 is a flowchart illustrating a method of using an interactive robot apparatus according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법은 먼저 학습자 및 학습 환경을 센싱한다(S210).Referring to FIG. 3, a method using an interactive robot apparatus according to an embodiment of the present invention first senses a learner and a learning environment (S210).

즉, 단계(S210)는 다양한 센서 장치를 이용하여 학습자와 학습 환경에 관련된 데이터를 센싱할 수 있다That is, in step S210, data related to the learner and the learning environment can be sensed using various sensor devices

또한, 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법은 학습자 및 학습 환경을 인식할 수 있다(S220).In addition, the method using the interactive robot apparatus according to an embodiment of the present invention can recognize the learner and the learning environment (S220).

즉, 단계(S220)는 센싱부(110)에서 입력되는 데이터를 분석하여 학습 환경을 인식할 수 있다.That is, the step S220 can recognize the learning environment by analyzing the data inputted from the sensing unit 110. [

이 때, 단계(S220)는 학습자와 관련된 정보를 인지하기 위하여 얼굴인식 등을 통하여 학습자가 누구인지를 인식할 수 있다.At this time, the step S220 can recognize the learner through face recognition or the like in order to recognize the information related to the learner.

이 때, 단계(S220)는 학습자의 현재 존재하고 있는 위치를 계속해서 추적할 수 있다.At this time, the step S220 can keep track of the current position of the learner.

이 때, 단계(S220)는 학습 시의 학습자의 자세, 동작, 태도 등을 인식할 수 있다.At this time, the step S220 can recognize the attitude, operation, attitude, etc. of the learner at the time of learning.

이 때, 단계(S220)는 학습재(탁구공, 탁구라켓, 탁구 테이블 등)를 인식할 수 있다.At this time, step S220 can recognize the learning material (table tennis ball, table tennis racket, table tennis table, etc.).

이 때, 단계(S220)는 주변 학습 환경을 인식할 수 있다.At this time, the step S220 can recognize the surrounding learning environment.

또한, 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법은 학습자의 학습 상태를 판단할 수 있다(S230).In addition, the method using the interactive robot apparatus according to an embodiment of the present invention can determine the learning state of the learner (S230).

즉, 단계(S230)는 인지부(120)에서 인식된 다양한 인식 정보를 분석하여 현재 학습자의 학습 상태를 판단할 수 있다.That is, the step S230 can determine the learning state of the current learner by analyzing various recognition information recognized by the recognition unit 120. [

이 때, 단계(S230)는 학습자의 현재 자세 인식 정보와 표준 자세를 비교 분석하여 학습자가 얼마나 정확하게 동작을 취하고 있는지를 분석할 수 있다.At this time, the step S230 can analyze how accurately the learner is performing the operation by comparing and analyzing the learner's current posture recognition information with the standard posture.

이 때, 단계(S230)는 학습자의 태도와 얼굴 표정 인식 정보 등을 바탕으로 학습자가 교습에 얼마나 집중을 하고 있는지를 판단할 수 있다.At this time, the step S230 can determine how much the learner concentrates on the teaching based on the learner's attitude and facial expression recognition information.

이 때, 단계(S230)는 인식 정보에 기반하여 현재 학습자의 운동 상태를 판단할 수 있다.At this time, the step S230 can determine the current learner's exercise state based on the recognition information.

이 때, 단계(S230)는 학습을 시작해서 현재 시점에 이르기까지 인지부(120)가 인식한 누적된 정보와 판단부(130)가 분석한 누적 정보를 종합적으로 분석한 히스토리 정보를 생성할 수 있다.At this time, the step S230 may start the learning and generate the history information which comprehensively analyzes the accumulated information recognized by the recognition unit 120 and the accumulated information analyzed by the determination unit 130 until the present time have.

또한, 본 발명의 일실시예에 따른 상호 작용 로봇 장치를 이용하는 방법은 판단 결과를 표현할 수 있다(S240).In addition, the method using the interactive robot apparatus according to an embodiment of the present invention may express the determination result (S240).

즉, 단계(S240)는 판단부(130)가 판단한 정보를 바탕으로 학습자를 대상으로 상호 작용 하기 위한 표현 방법을 결정할 수 있다.That is, the step S240 may determine a presentation method for interacting with the learner based on the information determined by the determination unit 130. [

이 때, 단계(S240)는 학습자와의 교감을 목적으로 음성, 표정, 제스처 등 상호 작용 로봇 장치(100)가 표현 가능한 방법을 통해 로봇의 감성을 표현할 수 있다.At this time, the step S240 can express emotions of the robot through a method in which the interactive robot apparatus 100 can express such as voice, facial expression, gesture, etc. for the purpose of communicating with the learner.

이 때, 단계(S240)는 판단부(130)의 학습자의 자세 정확성 분석 결과를 바탕으로 학습자에게 정확한 자세를 코칭할 수 있다. 자세를 코칭하는 방법은 음성, 제스처 등 상호 작용 로봇 장치(100)가 표현 가능한 방법을 통해 학습할 수 있다. At this time, the step S240 can coach the correct posture to the learner based on the learner's posture accuracy analysis result of the learner. The method of coaching the posture can be learned through a method capable of expressing the interaction robot apparatus 100 such as voice, gesture, and the like.

이 때, 단계(S240)는 자세 코칭을 위한 보조적인 역할을 수행할 수 있다.At this time, step S240 may play an auxiliary role for posture coaching.

예를 들어, 단계(S240)는 프로젝터를 활용한 증강현실 및 시각화 도구 등이 이용될 수 있다.For example, in step S240, an augmented reality using a projector and a visualization tool may be used.

이 때, 단계(S240)는 판단부(130)에서 획득한 분석 정보를 바탕으로 학습자와 교감하기 위한 상호작용 전략을 수립할 수 있고 상호작용을 수행할 수 있다.At this time, based on the analysis information acquired by the determination unit 130, step S240 may establish an interaction strategy for communicating with the learner and may perform an interaction.

도 4는 본 발명의 일실시예에 따른 자세 프로파일 생성 과정을 나타낸 도면이다.4 is a view illustrating a process of generating an attitude profile according to an embodiment of the present invention.

도 4를 참조하면, 스포츠 자세 프로파일은 올바른 스포츠 자세의 모델링 정보 및 각종 속성 정보들을 포함할 수 있다. 해당 스포츠의 자세 전문가 또는 프로파일 제작자(20)는 스포츠 자세 프로파일 저작 및 편집 시스템(30)을 사용하여 특정 스포츠에 대한 자세 프로파일을 생성할 수 있다. Referring to FIG. 4, the sports posture profile may include modeling information of a correct sports posture and various attribute information. The posture professional or profile producer 20 of the sport may use the sport posture profile authoring and editing system 30 to generate posture profiles for a particular sport.

이 때, 상호 작용 로봇 장치(100)는 스포츠 자세 프로파일 저작 및 편집 시스템(30)으로부터 제공 받은 자세 프로파일을 해석할 수 있다.At this time, the interactive robot apparatus 100 can analyze the posture profile provided from the sports posture profile authoring and editing system 30. [

이 때, 상호 작용 로봇 장치(100)는 센싱부(110), 인지부(120), 판단부(130) 및 표현부(140)에서 추출한 정보를 바탕으로 현재 시점에서의 구체적인 지도 방법을 결정할 수 있다.At this time, based on the information extracted from the sensing unit 110, the recognition unit 120, the determination unit 130, and the presentation unit 140, the interactive robot apparatus 100 can determine a concrete mapping method at the current point of time have.

코치봇 호스트 시스템(40)은 상호 작용 로봇 장치(100)에 관련된 데이터를 저장할 수 있는 데이터 저장부, 자세 프로파일을 외부로부터 입력 받을 수 있는 데이터 전송부, 각종 해석 절차 및 표현 내용 결정 절차 등을 수행할 수 있는 구동부 및 구동부를 제어하는 제어부를 포함할 수 있다.The coachbot host system 40 includes a data storage unit capable of storing data related to the interactive robot apparatus 100, a data transfer unit capable of receiving an attitude profile from the outside, various analysis procedures, And a control unit for controlling the driving unit and the driving unit.

또한, 본 발명은 자세 프로파일들을 저장하는 네트워크 상의 원격지에 존재하는 스포츠 자세 프로파일 서버(10)를 포함할 수 있다.The present invention may also include a sports posture profile server 10 present at a remote location on the network that stores posture profiles.

자세 전문가 또는 프로파일 제작자(20)는 생성한 자세 프로파일을 스포츠 자세 프로파일 서버(10)로 출판할 수 있다.The posture expert or the profile maker 20 can publish the generated posture profile to the sports posture profile server 10.

상호 작용 로봇 장치(100)는 스포츠 자세 프로파일 서버(10)로부터 원하는 자세 프로파일을 다운로드하여 원하는 스포츠 코칭 솔루션을 코치봇 호스트 시스템(40)에 구현할 수 있다.The interactive robot apparatus 100 may download a desired posture profile from the sports posture profile server 10 and implement a desired sports coaching solution in the coachbot host system 40. [

도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.5 is a block diagram illustrating a computer system in accordance with one embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.Referring to FIG. 5, embodiments of the present invention may be implemented in a computer system 1100, such as a computer-readable recording medium. 5, a computer system 1100 includes one or more processors 1110, a memory 1130, a user input device 1140, a user output device 1150, and a storage 1150, which communicate with one another via a bus 1120. [ (1160). In addition, the computer system 1100 may further include a network interface 1170 connected to the network 1180. Processor 1110 may be a central processing unit or a semiconductor device that executes memory 1130 or processing instructions stored in storage 1160. Memory 1130 and storage 1160 can be various types of volatile or non-volatile storage media. For example, the memory may include ROM 1131 or RAM 1132.

본 발명에서는 생활 체육, 피트니스, 재활 운동 등에서 필요로 하는 신체 동작을 학습자가 스스로 학습하는 자가학습의 지원 도구로서 학습자가 상호 작용 로봇 장치(100)와 상호 작용하여 생활 스포츠를 제공받을 수 있다.In the present invention, a learner interacts with the interactive robot apparatus 100 as a self-learning support tool for a learner to learn body movements required for life sports, fitness, rehabilitation, and the like.

본 발명에서 제안하는 상호 작용 로봇 장치 및 이를 이용한 방법은 인간이 신체 활동을 잘 할 수 있도록 효과적으로 지원하는 시스템으로서 인간이 자신의 운동 능력 향상을 통해서 건강한 생활을 영위할 수 있도록 도와주는 적극적인 형태의 헬스 케어 로봇(Active support)에 상응할 수 있다.The interactive robot apparatus proposed by the present invention and a method using the same provide an effective support system for a human being to perform physical activities as well as an active robot system that helps a human being to live a healthy life by improving his / It may correspond to an active support.

즉, 본 발명은 헬스, 요가, 댄스 트레이너, 탁구코치, 배드민턴코치, 타격코치, 투구코치, 골프코치, 태권도사범, 운동을 통한 재활이 필요한 운동선수, 노인, 장애인 등, 같이 운동을 즐길 수 있는 파트너로 이용될 수 있다.That is, the present invention can be applied to sports such as fitness, yoga, dance trainers, table tennis coaches, badminton coaches, batting coaches, helmet coaches, golf coaches, Taekwondo instructors, athletes requiring rehabilitation through exercise, It can be used as a partner.

이상에서와 같이 본 발명에 따른 상호 작용 로봇 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the apparatus and method of an interactive robot according to the present invention are not limited to the configurations and methods of the embodiments described above, but the embodiments may be modified in various ways so that various modifications may be made. All or some of them may be selectively combined.

10: 스포츠 자세 프로파일 서버
20: 자세 전문가 또는 프로파일 제작자
30: 스포츠 자세 프로파일 저작 및 편집 시스템
40: 코치봇 호스트 시스템
100: 코치 로봇 장치
110: 센싱부 111: 거리 센서
112: 환경 센서 113: 3D 카메라
114: 다채널 마이크 120: 인지부
121: 휴먼신원인식모듈 122: 휴먼위치인식모듈
123: 휴먼자세인식모듈 124: 물체인식모듈
125: 완경인식모듈 130: 판단부
131: 자세정확성분석모듈 132: 집중도 분석모듈
133: 운동상태 판단모듈 134: 운동이력 분석모듈
140: 표현부 141: 로봇 감성 표현모듈
142: 자세 지도모듈 143: 보조학습도구모듈
144: 학습자상호작용모듈
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크10: Sports posture profile server
20: posture expert or profile producer
30: Sports posture profile authoring and editing system
40: Coach bot host system
100: Coach Robot Device
110: sensing unit 111: distance sensor
112: environmental sensor 113: 3D camera
114: multi-channel microphone 120:
121: Human Identification Module 122: Human Identification Module
123: Human orientation recognition module 124: Object recognition module
125: a light path recognition module 130:
131: posture accuracy analysis module 132: concentration analysis module
133: motion state determination module 134: motion history analysis module
140: Expression part 141: Robot emotion expression module
142: attitude map module 143: auxiliary learning tool module
144: Learner Interaction Module
1100: Computer system 1110: Processor
1120: bus 1130: memory
1131: ROM 1132: RAM
1140: User input device 1150: User output device
1160: Storage 1170: Network Interface
1180: Network

Claims

A sensing unit sensing a learner and a learning environment using a sensor;
A recognition unit recognizing the learner and the learning environment using data sensed by the sensing unit;
A determination unit for determining a learning state of the learner based on recognition information perceived by the recognition unit; And
A learner coaching unit for coaching the learner based on a result of determining the learning state;
Wherein the robot is a robot.