KR20210009991A - 액션 로봇 및 그의 동작 방법 - Google Patents

액션 로봇 및 그의 동작 방법 Download PDF

Info

Publication number
KR20210009991A
KR20210009991A KR1020190087257A KR20190087257A KR20210009991A KR 20210009991 A KR20210009991 A KR 20210009991A KR 1020190087257 A KR1020190087257 A KR 1020190087257A KR 20190087257 A KR20190087257 A KR 20190087257A KR 20210009991 A KR20210009991 A KR 20210009991A
Authority
KR
South Korea
Prior art keywords
motion
robot
multimedia content
processor
motion data
Prior art date
Application number
KR1020190087257A
Other languages
English (en)
Inventor
신용경
김상훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190087257A priority Critical patent/KR20210009991A/ko
Publication of KR20210009991A publication Critical patent/KR20210009991A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • B25J11/0035Dancing, executing a choreography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0009Constructional details, e.g. manipulator supports, bases
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/08Programme-controlled manipulators characterised by modular constructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 실시 예에 따른 액션 로봇은, 로봇 모듈, 및 상기 로봇 모듈이 장착된 경우, 상기 로봇 모듈을 이용하여 모션을 출력하는 베이스 모듈을 포함하고, 상기 베이스 모듈은, 상기 로봇 모듈을 구동시키는 로봇 모듈 구동부; 상기 베이스 모듈에 구비되는 스피커; 제1 멀티미디어 콘텐츠 및 제1 모션의 출력 요청을 수신하는 입력부; 및 상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 출력하도록 상기 스피커를 제어하고, 상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 프로세서를 포함한다.

Description

액션 로봇 및 그의 동작 방법{ACTION ROBOT AND OPERATING METHOD THEREOF}
본 발명은 액션 로봇에 관한 것으로서, 구체적으로 특정 멀티미디어 콘텐츠에 대해 사용자가 원하는 다양한 모션을 출력할 수 있는 액션 로봇 및 그의 동작 방법에 관한 것이다.
로봇 기술이 발달함에 따라 관절이나 바퀴 등을 모듈화하여 로봇을 구축하는 방법이 사용되고 있다. 예컨대, 로봇을 구성하는 다수의 액츄에이터 모듈(actuator module)을 전기적, 기계적으로 연결 및 조립하여 강아지, 공룡, 인간, 거미 등 다양한 형태의 로봇을 만들 수 있도록 하고 있다.
이러한 다수의 액츄에이터 모듈을 조립함으로써 제작될 수 있는 로봇을 통상적으로 모듈러 로봇(modular robot)이라 한다. 모듈러 로봇을 구성하는 각 액츄에이터 모듈은 내부에 모터가 구비되어 모터의 회전에 따라 로봇의 모션(motion)이 실행된다. 이러한 로봇의 모션은 동작, 춤 등과 같은 로봇의 움직임을 통칭하는 개념이다.
최근에는 엔터테인먼트용 로봇이 두각을 나타내면서 오락이나 사람의 흥미를 돋우기 위한 로봇에 대한 관심이 높아지고 있다. 예컨대 음악에 맞춰 춤을 추거나 이야기(동화 등)에 맞춰 모션이나 표정을 취하도록 하는 기술들이 개발되고 있다.
이는 음악이나 동화에 맞는 다수의 모션들을 미리 설정해 두고 외부장치에서 음악이나 동화가 재생되면 그에 맞게 미리 설정된 모션을 실행시킴으로써 액션 로봇이 모션을 수행하는 것이다.
본 발명이 해결하고자 하는 과제는, 특정 멀티미디어 콘텐츠에 대해 사용자가 원하는 다양한 모션을 출력할 수 있는 액션 로봇 및 그의 동작 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 출력될 멀티미디어 콘텐츠와 모션 간의 이질감을 최소화하는 액션 로봇 및 그의 동작 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 액션 로봇은, 로봇 모듈, 및 상기 로봇 모듈이 장착된 경우, 상기 로봇 모듈을 이용하여 모션을 출력하는 베이스 모듈을 포함하고, 상기 베이스 모듈은, 상기 로봇 모듈을 구동시키는 로봇 모듈 구동부; 상기 베이스 모듈에 구비되는 스피커; 제1 멀티미디어 콘텐츠 및 제1 모션의 출력 요청을 수신하는 입력부; 및 상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 출력하도록 상기 스피커를 제어하고, 상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 프로세서를 포함한다.
실시 예에 따라, 상기 프로세서는 상기 제1 멀티미디어 콘텐츠의 콘텐츠 데이터로부터 특성 정보를 획득하고, 획득된 특성 정보에 기초하여 상기 제1 모션 데이터를 변환하고, 변환된 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어할 수 있다.
실시 예에 따라, 상기 특성 정보는 복수의 비트들 각각의 시점에 대한 정보 또는 상기 제1 멀티미디어 콘텐츠 내의 적어도 하나의 이벤트 발생 시점에 대한 정보를 포함하고, 상기 프로세서는, 상기 제1 모션 데이터로부터 복수의 부분 모션들 각각의 출력 시점에 대한 정보를 획득하고, 상기 특성 정보에 기초하여, 상기 복수의 부분 모션들 각각의 출력 시점이 변경되도록 상기 제1 모션 데이터를 변환할 수 있다.
상기 액션 로봇은 콘텐츠 관리 장치 또는 단말기와 연결하기 위한 통신부를 더 포함하고, 상기 프로세서는, 상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠의 콘텐츠 데이터를 상기 콘텐츠 관리 장치 또는 상기 단말기로부터 수신하고, 수신된 콘텐츠 데이터에 기초하여 상기 스피커를 제어할 수 있다.
상기 액션 로봇은 복수의 모션 데이터를 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 출력 요청에 기초하여 상기 제1 모션에 대응하는 상기 제1 모션 데이터를 상기 메모리로부터 로드할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 콘텐츠 관리 장치 또는 상기 단말기로부터 상기 제1 모션 데이터를 수신하고, 수신된 제1 모션 데이터를 상기 메모리에 저장할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 제1 모션에 대한 맵핑 정보를 상기 단말기로부터 수신하여 상기 메모리에 저장하고, 상기 맵핑 정보는 상기 제1 모션이 맵핑된 제2 멀티미디어 콘텐츠의 정보를 포함할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 단말기로부터, 상기 제1 멀티미디어 콘텐츠에 대한 맵핑 정보를 수신하고, 수신된 맵핑 정보를 상기 메모리에 저장하고, 상기 맵핑 정보는, 상기 제1 멀티미디어 콘텐츠에 맵핑된 제2 모션의 정보를 포함하고, 상기 프로세서는, 상기 콘텐츠 관리 장치 또는 상기 단말기로부터 상기 제2 모션에 대응하는 제2 모션 데이터를 수신하고, 수신된 제2 모션 데이터를 상기 메모리에 저장할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 입력부를 통해 상기 제1 멀티미디어 콘텐츠의 출력 요청을 수신하고, 상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 출력하도록 상기 스피커를 제어하고, 상기 제1 멀티미디어 콘텐츠에 대한 맵핑 정보에 기초하여, 상기 제2 모션 데이터를 상기 메모리로부터 로드하고, 로드된 제2 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 제1 멀티미디어 콘텐츠 및 상기 제1 모션의 출력 요청에 기초하여, 상기 맵핑 정보에 따른 상기 제2 모션 대신, 상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어할 수 있다.
상기 입력부는 마이크로폰을 포함하고, 상기 프로세서는, 상기 마이크로폰을 통해 상기 출력 요청을 포함하는 음성을 획득하고, 획득된 음성으로부터 상기 제1 멀티미디어 콘텐츠 및 상기 제1 모션 각각을 인식할 수 있다.
본 발명의 실시 예에 따른 액션 로봇의 동작 방법은, 제1 멀티미디어 콘텐츠 및 제1 모션의 출력 요청을 수신하는 단계; 상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 상기 스피커를 통해 출력하는 단계; 및 상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 단계를 포함한다.
본 발명의 실시 예에 따르면, 사용자는 단말기 등을 조작하지 않고도, 액션 로봇의 마이크로폰이나 버튼 등의 입력부를 통해 원하는 모션의 출력 요청을 편리하게 입력할 수 있다. 이에 따라, 사용자가 단말기를 통해 특정 멀티미디어 콘텐츠에 대해 맵핑된 모션을 일일이 수정해야 하는 번거로움이 방지될 수 있다.
또한, 액션 로봇은 출력할 멀티미디어 콘텐츠의 특성에 대응하도록 모션 데이터를 변환함으로써, 멀티미디어 콘텐츠와 모션 간의 이질감을 최소화하고 자연스러운 모션을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 장치를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 로봇과 연결되는 AI 서버를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 시스템을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 액션 로봇의 사시도이다.
도 5는 도 4에 도시된 액션 로봇을 포함하는 액션 로봇 시스템의 구성도이다.
도 6은 본 발명의 일 실시 예에 따른 액션 로봇의 제어 구성을 나타내는 블록도이다.
도 7은 본 발명의 실시 예에 따른 액션 로봇이 제1 멀티미디어 콘텐츠 및 그에 맵핑된 제1 모션을 출력하는 동작을 설명하기 위한 래더 다이어그램이다.
도 8은 도 7에 도시된 액션 로봇의 동작과 관련된 예시도이다.
도 9는 본 발명의 실시 예에 따른 액션 로봇이, 사용자의 요청에 따라 제1 멀티미디어 콘텐츠 및 제2 모션을 출력하는 동작을 설명하기 위한 래더 다이어그램이다.
도 10은 본 발명의 실시 예에 따른 액션 로봇이, 제2 모션에 대응하는 제2 모션 데이터를 제1 멀티미디어 콘텐츠의 특성에 따라 변환하는 동작을 설명하기 위한 플로우차트이다.
도 11 내지 도 13은 도 10에 도시된 액션 로봇의 동작과 관련된 예시도들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
도 1은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 장치를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, 단말기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 로봇과 연결되는 AI 서버를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 AI 시스템을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
로봇(100a)은 AI 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
로봇(100a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(100a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(100a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(100a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
로봇(100a)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 로봇(100a)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 동작을 결정할 수 있다. 여기서, 학습 모델은 로봇(100a)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 로봇(100a)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(100a)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 로봇(100a)을 주행시킬 수 있다.
맵 데이터에는 로봇(100a)이 이동하는 공간에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 벽, 문 등의 고정 객체들과 화분, 책상 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 로봇(100a)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 액션 로봇의 사시도이다.
도 4를 참조하면, 액션 로봇(400)은 로봇 모듈(401)과, 로봇 모듈(401)을 하측에서 지지하는 베이스 모듈(402)을 포함할 수 있다.
로봇 모듈(401)은 대략 사람의 신체와 유사한 형상을 가질 수 있다.
로봇 모듈(401)은 헤드(403)와, 몸체(404, 406)와, 팔(arm)(405)를 포함할 수 있다. 로봇 모듈(401)은 발(407) 및 서브 베이스(408)를 더 포함할 수 있다.
헤드(403)는 사람의 머리와 대응되는 형상을 가질 수 있다. 헤드(403)는 몸체(404)의 상부에 연결될 수 있다.
몸체(404, 406)는 사람의 몸에 대응되는 형상을 가질 수 있다. 몸체(404, 406)는 고정되어 움직이지 않을 수 있다. 몸체(404, 406)의 내부에는 각종 부품이 내장되는 공간이 형성될 수 있다.
몸체는 제1몸체(404)와 제2몸체(406)를 포함할 수 있다.
제1몸체(404)의 내부공간과 제2몸체(406)의 내부공간은 서로 연통될 수 있다.
제1몸체(404)는 사람의 상반신에 대응되는 형상을 가질 수 있다. 제1몸체(404)는 상체로 명명될 수 있다. 제1몸체(404)에는 팔(405)이 연결될 수 있다.
제2몸체(406)는 사람의 하반신에 대응되는 형상을 가질 수 있다. 제2몸체(406)는 하체로 명명될 수 있다. 제2몸체(406)는 한 쌍의 다리를 포함할 수 있다.
제1몸체(404)와 제2몸체(406)는 서로 분리 가능하게 체결될 수 있다. 이로써, 몸체의 조립이 간편해질 뿐만 아니라, 몸체의 내부에 배치된 부품들이 용이하게 유지 보수될 수 있다.
몸체의 양측에는 팔(405)이 연결될 수 있다.
좀 더 상세히, 한 쌍의 팔(405)은 제1몸체(404)의 양측에 위치한 어깨에 각각 연결될 수 있다. 어깨는 제1몸체(404)에 포함될 수 있다. 어깨는 제1몸체(404)의 양측 상부에 위치할 수 있다.
팔(405)은 제1몸체(404), 좀 더 상세히는 어깨에 대해 회동 가능할 수 있다. 따라서, 팔(405)은 가동부로 명명될 수 있다.
한 쌍의 팔(405)은 오른팔과 왼팔을 포함할 수 있다. 오른팔과 왼팔은 각각 독립적으로 움직일 수 있다.
발(407)은 제2몸체(406)의 하부, 즉 다리의 하단에 연결될 수 있다. 발(407)은 서브 베이스(408)에 의해 지지될 수 있다.
서브 베이스(408)는 제2몸체(406) 및 발(407) 중 적어도 하나에 체결될 수 있다. 서브 베이스(408)는 베이스 모듈(402)의 상측에서 베이스 모듈(402)에 안착 및 결합될 수 있다.
서브 베이스(408)는 대략 원판형상을 가질 수 있다. 서브 베이스(408)는 베이스 모듈(402)에 대해 회전할 수 있다. 따라서, 로봇 모듈(401) 전체가 서브 베이스(408)에 대해 회전할 수 있다.
베이스 모듈(402)은 로봇 모듈(401)을 하측에서 지지할 수 있다. 좀 더 상세히, 베이스 모듈(402)은 로봇 모듈(401)의 서브 베이스(408)를 하측에서 지지할 수 있다. 서브 베이스(408)는 베이스 모듈(402)에 분리 가능하게 결합될 수 있다.
베이스 모듈(402)의 내부에는 액션 로봇(1)의 전반적인 동작을 제어하는 프로세서(480; 도 6 참조)와, 액션 로봇(1)의 동작에 필요한 전력이 저장되는 배터리(미도시)와, 로봇 모듈(401)을 동작시키는 로봇 모듈 구동부(460; 도 6 참조)이 내장될 수 있다. 또한, 베이스 모듈(402)의 내부에는 사운드가 방출되는 스피커(452; 도 6 참조)가 배치될 수 있다. 실시 예에 따라, 베이스 모듈(402)의 일 면에는 버튼 등의 입력부(420; 도 6 참조)나, 각종 정보를 시각적 형태로 출력하는 디스플레이(454; 도 6 참조)가 배치될 수 있다.
도 5는 도 4에 도시된 액션 로봇을 포함하는 액션 로봇 시스템의 구성도이다.
도 5를 참조하면, 액션 로봇 시스템은 액션 로봇(400), 콘텐츠 관리 장치(200a), 및 단말기(500)를 포함할 수 있다.
액션 로봇(400)은 로봇 모듈(401)을 통해 소정의 액션(안무, 제스쳐 등)을 제공할 수 있다. 또한, 액션 로봇(400)은 출력부(450; 도 6 참조)를 통해 멀티미디어 콘텐츠(예컨대, 음악, 동화, 교육 콘텐츠 등)를 출력하면서, 상기 멀티미디어 콘텐츠와 관련된 액션(모션, 안무 등)을 제공하도록 로봇 모듈(401)을 구동시킬 수 있다. 이에 따라, 액션 로봇(400)은 상기 멀티미디어 콘텐츠를 사용자에게 보다 효과적으로 제공할 수 있다.
콘텐츠 관리 장치(200a)는 액션 로봇(400)을 통해 각종 서비스를 제공할 수 있다. 예컨대, 콘텐츠 관리 장치(200a)는 상기 액션 로봇(400)으로 상기 멀티미디어 콘텐츠를 제공할 수 있고, 로봇 모듈(401)의 구동을 위한 모션 데이터를 제공할 수 있다. 콘텐츠 관리 장치(200a)는 멀티미디어 콘텐츠 및 모션 데이터를 단말기(500)를 통해 액션 로봇(400)으로 전송할 수 있으나, 실시 예에 따라서는 상기 멀티미디어 콘텐츠 및 모션 데이터를 액션 로봇(400)으로 직접 전송할 수 있다.
실시 예에 따라, 콘텐츠 관리 장치(200a)는 도 2에서 상술한 AI 서버(200)에 포함될 수 있다. 즉, 도 2 내지 도 3에서 상술한 AI 서버(200)와 관련된 내용은 콘텐츠 관리 장치(200a)에도 마찬가지로 적용될 수 있다.
한편, 액션 로봇(400)의 사용자는 단말기(500)를 통해 상기 액션 로봇(400)의 동작을 제어하거나, 액션 로봇(400)을 콘텐츠 관리 장치(200a)의 데이터베이스에 등록할 수 있다.
예컨대, 상기 단말기(500)는 상기 서비스와 관련된 애플리케이션을 통해 콘텐츠 관리 장치(200a)와 연결되고, 콘텐츠 관리 장치(200a)를 통해 액션 로봇(400)의 동작을 제어할 수 있다.
상기 단말기(500)는 스마트폰, 태블릿 PC 등의 이동 단말기를 의미할 수 있으나, 실시 예에 따라서는 데스크톱 PC와 같은 고정 단말기를 포함할 수도 있다.
한편, 단말기(500)는 도 1에 도시된 AI 장치(100)의 일례에 해당할 수 있다. 즉, 도 1에 도시된 AI 장치(100)에 포함된 구성들 및 상기 구성들과 관련된 내용은 단말기(500)에도 마찬가지로 적용될 수 있다.
한편, 후술할 도 7 내지 도 13의 실시 예에서는, 콘텐츠 관리 장치(200a)와 액션 로봇(400)이 단말기(500)를 통해 연결되는 것으로 설명하나, 콘텐츠 관리 장치(200a)와 액션 로봇(400)은 네트워크를 통해 직접 연결될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 액션 로봇의 제어 구성을 나타내는 블록도이다.
도 6을 참조하면, 액션 로봇(400)은 통신부(410), 입력부(420), 출력부(450), 로봇모듈 구동부(460), 메모리(470), 및 프로세서(480)를 포함할 수 있다. 도 6에 도시된 구성들은 설명의 편의를 위한 일례로서, 액션 로봇(400)은 도 6에 도시된 구성들보다 많거나 적은 구성들을 포함할 수 있다.
도 6에 도시된 구성들은 액션 로봇(400)의 베이스 모듈(402)에 구비될 수 있다. 즉, 베이스 모듈(402)은 액션 로봇(400)의 본체를 구성하고, 로봇 모듈(401)은 베이스 모듈(402)에 탈착됨으로써, 액션 로봇(400)은 일종의 모듈러 로봇으로 구현될 수 있다.
한편, 도 1 내지 도 2의 AI 장치(100)와 관련된 내용은 본 발명의 액션 로봇(400)에도 유사하게 적용될 수 있다. 즉, 통신부(410), 입력부(420), 출력부(450), 메모리(470), 및 프로세서(480)는, 도 1에 도시된 통신부(110), 입력부(120), 출력부(150), 메모리(170), 및 프로세서(180)에 대응할 수 있다.
통신부(410)는 액션 로봇(400)을 네트워크를 통해 콘텐츠 관리 장치(200a)나 단말기(500) 등과 연결하기 위한 통신 모듈들을 포함할 수 있다. 상기 통신 모듈들 각각은 도 1에서 상술한 통신 기술 중 어느 하나를 지원할 수 있다.
예컨대, 액션 로봇(400)은 공유기 등의 액세스 포인트를 통해 네트워크와 연결될 수 있다. 이에 따라, 액션 로봇(400)은 상기 네트워크를 통해 콘텐츠 관리 장치(200a)나 단말기(500)로부터 각종 정보, 데이터, 콘텐츠를 제공받을 수 있다.
입력부(420)는 액션 로봇(400)의 동작과 관련된 입력이나 명령을 획득하거나, 다양한 종류의 데이터를 획득하는 적어도 하나의 입력 수단을 포함할 수 있다. 예컨대, 상기 적어도 하나의 입력 수단은 버튼(422)이나 다이얼 등의 물리 입력 수단, 터치 패드나 터치 패널과 같은 터치 입력부(424), 사용자의 음성을 수신하는 마이크로폰(426) 등을 포함할 수 있다.
한편, 프로세서(480)는 마이크로폰(426)을 통해 수신되는 사용자의 음성 데이터를 상기 통신부(410)를 통해 서버로 전송할 수 있다. 서버는 상기 음성 데이터를 분석하여 상기 음성 데이터 내의 시동어나 명령어, 요청 등을 인식하고, 인식 결과를 액션 로봇(400)으로 제공할 수 있다.
상기 서버는 도 5의 콘텐츠 관리 장치(200a), 또는 별도의 음성 인식 서버일 수 있다. 실시 예에 따라, 상기 서버는 도 2에서 상술한 AI 서버(200)로 구현될 수 있고, 이 경우 서버는 러닝 프로세서(240)를 통해 학습된 모델(인공신경망(231a))을 통해 상기 음성 데이터 내의 시동어, 명령어, 요청 등을 인식할 수 있다. 프로세서(480)는 상기 인식 결과에 기초하여 상기 음성에 포함된 명령어 또는 요청을 처리할 수 있다.
실시 예에 따라, 프로세서(480)는 액션 로봇(400) 내의 러닝 프로세서에 의해 학습된 모델을 통해, 상기 음성 데이터 내의 시동어, 명령어, 요청 등을 직접 인식할 수도 있다. 즉, 러닝 프로세서는 마이크로폰(426)을 통해 수신되는 음성 데이터를 학습 데이터로서 활용하여 인공신경망으로 구성된 모델을 학습시킬 수 있다.
또는, 프로세서(480)는 상기 서버로부터 상기 학습된 모델에 대응하는 데이터를 수신하여 메모리(470)에 저장하고, 저장된 데이터를 통해 상기 음성 데이터 내의 시동어, 명령어, 요청 등을 인식할 수도 있다.
출력부(450)는 액션 로봇(400)의 동작이나 상태, 액션 로봇(400)에서 실행되는 각종 서비스, 프로그램, 애플리케이션 등과 관련된 각종 정보 또는 다양한 종류의 멀티미디어 콘텐츠(예컨대, 음악, 동화, 교육 콘텐츠 등)를 출력할 수 있다. 예컨대, 출력부(450)는 스피커(452) 및 디스플레이(454) 등을 포함할 수 있다.
스피커(452)는 상기 각종 정보나 메시지, 또는 콘텐츠를 음성이나 음향 형태로 출력할 수 있다.
디스플레이(454)는 상술한 각종 정보나 메시지를 그래픽 형태로 출력할 수 있다. 실시 예에 따라, 디스플레이(454)는 터치 입력부(424)와 함께 터치 스크린 형태로 구현될 수 있고, 이 경우 디스플레이(454)는 출력 수단뿐만 아니라 입력 수단으로서도 기능할 수 있다.
로봇모듈 구동부(460)는, 베이스 모듈(402)에 장착된 로봇모듈(401)을 동작시켜 로봇모듈(401)을 통해 액션을 제공할 수 있다.
예컨대, 로봇모듈 구동부(460)는 서보 모터(Servo motor) 또는 복수의 모터들을 포함할 수 있다. 다른 예로, 로봇모듈 구동부(460)는 액츄에이터를 포함할 수 있다.
프로세서(480)는 콘텐츠 관리 장치(200a) 또는 단말기(500)를 통해 로봇모듈 구동부(460)의 제어를 위한 모션 데이터를 수신할 수 있다. 프로세서(480)는 수신된 모션 데이터에 기초하여 로봇모듈 구동부(460)를 제어함으로써, 상기 모션 데이터에 대응하는 로봇모듈(401)의 모션(또는 액션)을 제공할 수 있다.
메모리(470)는 액션 로봇(400)에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 입력부(420)를 통해 획득된 입력이나 통신부(410)를 통해 획득되는 명령이나 요청 등에 기초한 동작을 수행하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.
또한, 메모리(470)에는 프로세서(480)에 포함된 적어도 하나의 프로세서나 컨트롤러에 의해 실행되는 소프트웨어 모듈이나 애플리케이션 등의 프로그램 데이터가 저장될 수 있다.
또한, 메모리(470)에는 콘텐츠 관리 장치(200a) 또는 단말기(500)로부터 제공되는 적어도 하나의 멀티미디어 콘텐츠 및 적어도 하나의 모션 데이터가 저장될 수 있다. 실시 예에 따라, 메모리(470)에는 멀티미디어 콘텐츠 각각에 대해 맵핑된 모션 데이터에 대한 맵핑 정보가 더 저장될 수 있다. 이 경우, 프로세서(480)는 소정 멀티미디어 콘텐츠의 출력 요청이 수신된 경우, 상기 맵핑 정보에 기초하여 상기 멀티미디어 콘텐츠에 맵핑된 모션 데이터를 로드할 수 있다. 프로세서(480)는 로드된 모션 데이터에 기초하여 로봇모듈 구동부(460)를 제어함으로써 상기 모션 데이터에 대응하는 모션을 제공할 수 있다.
이러한 메모리(470)는 하드웨어적으로, ROM, RAM, EEPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기를 포함할 수 있다.
프로세서(480)는 액션 로봇(400)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(480)는 적어도 하나의 CPU, AP(application processor), 마이크로컴퓨터(또는 마이컴), 집적 회로, ASIC(application specific integrated circuit) 등을 포함할 수 있다.
프로세서(480)는 콘텐츠 관리 장치(200a) 또는 단말기(500)로부터 수신되는 멀티미디어 콘텐츠를 출력하도록 출력부(450)를 제어할 수 있다.
또한, 프로세서(480)는 상기 멀티미디어 콘텐츠의 출력 중, 또는 상기 멀티미디어 콘텐츠의 출력과 관계없이, 로봇모듈(401)이 소정 모션을 취하거나 액션을 수행하도록 로봇모듈 구동부(460)를 제어할 수 있다.
또한, 프로세서(480)는 로봇모듈(401)이 베이스 모듈(402)에 장착되면, 장착된 로봇모듈(401)을 인식하고 로봇모듈(401)의 식별정보를 단말기(500)나 콘텐츠 관리 장치(200a)로 전송할 수 있다. 이에 따라, 단말기(500) 또는 콘텐츠 관리 장치(200a)는 모션 데이터의 제공 시, 상기 식별정보에 기초하여 인식된 로봇모듈(401)의 종류에 대응하는 모션 데이터를 제공할 수 있다.
도 7은 본 발명의 실시 예에 따른 액션 로봇이 제1 멀티미디어 콘텐츠 및 그에 맵핑된 제1 모션을 출력하는 동작을 설명하기 위한 래더 다이어그램이다. 도 8은 도 7에 도시된 액션 로봇의 동작과 관련된 예시도이다.
도 7 내지 도 8을 참조하면, 액션 로봇(400)의 베이스 모듈(402)에 로봇 모듈(401)이 연결(장착)되면(S100), 액션 로봇(400)은 연결된 로봇 모듈(401)의 식별 정보를 단말기(500)로 전송할 수 있다(S110). 단말기(500)는 수신된 식별 정보에 기초하여 베이스 모듈(402)에 장착된 로봇 모듈(401)을 식별할 수 있다(S120).
베이스 모듈(402)에 장착 가능한 로봇 모듈(401)의 종류는 복수일 수 있다. 액션 로봇(400)의 프로세서(480)는 로봇 모듈(401)이 베이스 모듈(402)에 장착되면, 장착된 로봇 모듈(401)의 종류를 인식하고, 인식된 로봇 모듈(401)의 종류에 대응하는 식별 정보를 단말기(500)로 전송할 수 있다.
이를 위해, 로봇 모듈(401)과 베이스 모듈(402)에는, 베이스 모듈(402)에 장착되는 로봇 모듈(401)의 종류를 인식하기 위한 인식 수단이 구비될 수 있다. 예컨대, 로봇 모듈(401)에는 NFC 태그가 구비되고, 베이스 모듈(402)에는 NFC 리더(reader)가 구비될 수 있다. 프로세서(480)는 NFC 리더를 통해 상기 로봇 모듈(401)의 NFC 태그로부터 식별 정보를 획득하고, 획득된 식별 정보를 단말기(500)로 전송할 수 있다.
실시 예에 따라, 사용자는 단말기(500)에서 실행되는 어플리케이션을 통해, 베이스 모듈(402)에 장착된 로봇 모듈(401)의 종류에 대한 정보를 직접 입력할 수도 있다. 이 경우, S110 단계는 수행되지 않을 수 있다.
단말기(500)는 식별된 로봇 모듈(401)에 기초하여, 복수의 멀티미디어 콘텐츠 중 제1 멀티미디어 콘텐츠에 제1 모션을 맵핑할 수 있다(S130).
액션 로봇(400)은 소정 멀티미디어 콘텐츠의 출력 시, 상기 멀티미디어 콘텐츠에 대응하는 모션을 제공할 수 있다. 단말기(500)는 상기 액션 로봇(400)을 통해 멀티미디어 콘텐츠가 출력될 때, 현재 장착된 로봇 모듈(401)에 최적화된 모션이 자동으로 제공되도록 할 수 있다.
이를 위해, 단말기(500)는 제1 멀티미디어 콘텐츠에 제1 모션을 맵핑함으로써, 상기 제1 모션을 제1 멀티미디어 콘텐츠에 대한 기본(default) 모션으로 설정할 수 있다.
일례로, 단말기(500)는 제1 멀티미디어 콘텐츠와 관련된 복수의 모션들 중, 현재 장착된 로봇 모듈(401)에 호환 가능한 상기 제1 모션을 상기 제1 멀티미디어 콘텐츠에 맵핑할 수 있다.
또는, 단말기(500)는 현재 장착된 로봇 모듈(401)에 호환 가능한 복수의 모션들 중, 사용자에 의해 선택되는 상기 제1 모션을 상기 제1 멀티미디어 콘텐츠에 맵핑할 수도 있다.
단말기(500)는 콘텐츠 관리 장치(200a)로 상기 제1 모션의 모션 데이터를 요청할 수 있고(S140), 콘텐츠 관리 장치(200a)는 상기 요청에 응답하여 상기 제1 모션에 대응하는 제1 모션 데이터를 단말기(500)로 전송할 수 있다(S150).
단말기(500)는 상기 제1 멀티미디어 콘텐츠와 제1 모션의 맵핑 정보, 및 상기 제1 모션에 대응하는 제1 모션 데이터를 액션 로봇(400)으로 전송할 수 있다(S160).
콘텐츠 관리 장치(200a)는, 단말기(500)로부터 제1 모션에 대응하는 모션 데이터의 제공 요청에 응답하여, 상기 제1 모션에 대응하는 제1 모션 데이터를 단말기(500)로 전송할 수 있다.
단말기(500)의 프로세서는, 수신된 제1 모션 데이터를 액션 로봇(400)으로 전송할 수 있다.
또한, 단말기(500)의 프로세서는, S130 단계에 따라 획득되는 제1 멀티미디어 콘텐츠와 제1 모션의 맵핑 정보를 액션 로봇(400)으로 전송할 수 있다.
액션 로봇(400)의 프로세서(480)는 수신된 제1 모션 데이터 및 맵핑 정보를 메모리(470)에 저장할 수 있다.
실시 예에 따라, 단말기(500)는 상기 제1 멀티미디어 콘텐츠의 콘텐츠 데이터를 콘텐츠 관리 장치(200a)로부터 수신하고, 수신된 콘텐츠 데이터를 액션 로봇(400)으로 더 전송할 수도 있다.
액션 로봇(400)은 입력부(420)를 통해 사용자 등으로부터 제1 멀티미디어 콘텐츠의 출력 요청을 수신할 수 있다(S170).
프로세서(480)는 버튼(422), 터치 입력부(424), 및/또는 마이크로폰(426)을 통해 제1 멀티미디어 콘텐츠의 출력 요청을 수신할 수 있다.
예컨대 도 8에 도시된 바와 같이, 프로세서(480)는 마이크로폰(426)을 통해 음성 데이터(800)을 수신할 수 있다.
프로세서(480)는 수신된 음성 데이터(800)로부터 액션 로봇(400)의 기동어(801)가 인식되면, 음성 데이터(800)에 포함된 나머지 음성을 인식할 수 있다.
예컨대, 프로세서(480)는 음성 데이터(800)로부터 제1 멀티미디어 콘텐츠의 콘텐츠명(802), 요청(803; 예컨대 제1 멀티미디어 콘텐츠의 재생(출력) 요청)을 인식할 수 있다.
음성 데이터(800)의 인식 결과에 따라, 프로세서(480)는 제1 멀티미디어 콘텐츠의 출력 요청을 획득할 수 있다.
실시 예에 따라, 프로세서(480)는 수신된 음성 데이터(800)를 액션 로봇(400)과 연결된 음성 인식 서버로 전송하고, 상기 음성 인식 서버로부터 음성 인식 결과에 포함된 제1 멀티미디어 콘텐츠의 출력 요청을 수신할 수 있다.
액션 로봇(400)은 수신된 출력 요청에 응답하여, 제1 멀티미디어 콘텐츠 및 제1 모션을 출력할 수 있다(S180).
프로세서(480)는 상기 제1 멀티미디어 콘텐츠의 출력을 위한 콘텐츠 데이터를 단말기(500) 또는 콘텐츠 관리 장치(200a)로부터 수신할 수 있다. 실시 예에 따라, 상기 콘텐츠 데이터가 메모리(470)에 저장되어 있는 경우, 프로세서(480)는 상기 콘텐츠 데이터를 메모리(470)로부터 로드할 수 있다.
프로세서(480)는 수신 또는 로드된 콘텐츠 데이터에 기초한 제1 멀티미디어 콘텐츠를 출력하도록 출력부(450)를 제어할 수 있다. 예컨대 상기 제1 멀티미디어 콘텐츠가 음악 콘텐츠(MUSIC_CONTENT)인 경우, 프로세서(480)는 상기 제1 멀티미디어 콘텐츠(MUSIC_CONTENT)를 출력하도록 스피커(452)를 제어할 수 있다.
또한, 프로세서(480)는 메모리(470)에 저장된 맵핑 정보에 기초하여 제1 멀티미디어 콘텐츠(MUSIC_CONTENT)에 맵핑된 모션을 확인할 수 있다. 확인 결과에 기초하여, 프로세서(480)는 메모리(470)에 저장된 적어도 하나의 모션 데이터 중 제1 모션(MOTION1)에 대응하는 제1 모션 데이터를 로드할 수 있다.
프로세서(480)는 로드된 제1 모션 데이터에 기초하여 로봇 모듈 구동부(460)를 제어함으로써, 로봇 모듈(401)을 통해 제1 모션(MOTION1)을 출력할 수 있다.
즉, 도 7 내지 도 8에 도시된 실시 예에 따르면, 액션 로봇(400)은 사용자로부터 특정 멀티미디어 콘텐츠의 출력 요청이 수신되는 경우, 상기 멀티미디어 콘텐츠에 맵핑된 모션(기본 모션)을 자동으로 출력할 수 있다.
한편, 액션 로봇(400)의 사용자는, 상기 멀티미디어 콘텐츠에 맵핑된 모션이 아닌 다른 모션이 출력되기를 원할 수 있다. 이 경우, 사용자는 단말기(500)의 어플리케이션을 통해 멀티미디어 콘텐츠에 맵핑된 모션을 다른 모션으로 수동으로 변경하는 번거로운 동작을 수행해야 할 수 있다. 특히, 사용자가 액션 로봇(400)을 통한 특정 멀티미디어 콘텐츠의 출력 시 다양한 모션들을 이용하고자 하는 경우, 종래의 방식에 따르면 사용자의 불편함이 가중될 수 있다.
상술한 문제를 해결하기 위한 본 발명의 실시 예에 대해 이하 도 9 내지 도 13을 참조하여 설명한다.
도 9는 본 발명의 실시 예에 따른 액션 로봇이, 사용자의 요청에 따라 제1 멀티미디어 콘텐츠 및 제2 모션을 출력하는 동작을 설명하기 위한 래더 다이어그램이다.
도 9를 참조하면, S200 단계 내지 S220 단계는 도 7의 S100 단계 내지 S120 단계와 실질적으로 동일한 바, 이에 대한 설명은 생략하기로 한다.
단말기(500)는 복수의 모션들 중 제2 모션에 대응하는 제2 모션 데이터를 획득할 수 있다(S230).
예컨대, 단말기(500)의 프로세서는 단말기(500)의 입력부를 통해 수신되는 사용자 요청 등에 기초하여, 콘텐츠 관리 장치(200a) 등으로부터 상기 제2 모션에 대응하는 제2 모션 데이터를 수신할 수 있다.
또는, 사용자는 단말기(500)의 어플리케이션을 통해 상기 제2 모션에 대응하는 제2 모션 데이터를 생성할 수 있다. 즉, 단말기(500)는 어플리케이션을 통해 제공되는 모션 데이터 생성 기능을 통해 상기 제2 모션 데이터를 획득할 수도 있다.
단말기(500)는 획득된 제2 모션 데이터를 액션 로봇(400)으로 전송할 수 있다(S240).
액션 로봇(400)의 프로세서(480)는 수신된 제2 모션 데이터를 메모리(470)에 저장할 수 있다.
한편, 상기 제2 모션이 소정 멀티미디어 콘텐츠에 맵핑된 경우, 단말기(500)는 상기 제2 모션 데이터와 함께 맵핑 정보를 액션 로봇(400)으로 전송할 수도 있다. 이 경우, 도 7의 실시 예와 유사하게, 액션 로봇(400)은 상기 소정 멀티미디어 콘텐츠의 출력 요청이 수신되면 상기 제2 모션을 자동으로 출력할 수 있을 것이다.
액션 로봇(400)은, 사용자로부터 제1 멀티미디어 콘텐츠 및 제2 모션의 출력 요청을 수신할 수 있다(S250).
사용자는 제1 멀티미디어 콘텐츠에 맵핑된 모션(제1 모션)이 아닌 다른 모션(제2 모션)이 출력되기를 원할 수 있다. 이에 따라, 본 발명의 실시 예에 따른 액션 로봇(400)은 사용자가 원하는 모션을 편리하게 선택하기 위한 인터페이스를 제공할 수 있다.
예컨대, 액션 로봇(400)은 입력부(420)의 특정 버튼(422)에 특정 모션(예컨대 제2 모션)을 맵핑할 수 있다. 사용자는 상기 특정 버튼(422)을 조작함으로써 제2 모션의 출력 요청을 입력할 수 있다.
또는, 액션 로봇(400)은 마이크로폰(426)을 통해 사용자가 발화한 음성으로부터 제2 모션의 식별정보(명칭 등)를 인식함으로써, 상기 제2 모션의 출력 요청을 수신할 수 있다.
즉, 사용자는 단말기(500) 등을 조작하지 않고도, 액션 로봇(400)의 입력부(420)를 통해 원하는 모션의 출력 요청을 편리하게 입력할 수 있다.
이 경우, 도 7의 S130 단계에서 제1 멀티미디어 콘텐츠에 대해 맵핑된 제1 모션(기본 모션)의 맵핑 정보가 수정되지 않고 제2 모션이 일회성 출력될 수 있으므로, 사용자가 이후 단말기(500)를 조작하여 상기 맵핑 정보를 다시 수정해야 하는 번거로움이 방지될 수 있다.
액션 로봇(400)은 수신된 출력 요청에 응답하여, 제1 멀티미디어 콘텐츠 및 제2 모션을 출력할 수 있다(S260).
프로세서(480)는 상기 출력 요청에 응답하여, 제1 멀티미디어 콘텐츠의 출력을 위한 콘텐츠 데이터를 단말기(500) 또는 콘텐츠 관리 장치(200a)로부터 수신할 수 있다. 실시 예에 따라, 상기 콘텐츠 데이터가 메모리(470)에 저장되어 있는 경우, 프로세서(480)는 상기 콘텐츠 데이터를 메모리(470)로부터 로드할 수 있다.
프로세서(480)는 수신 또는 로드된 콘텐츠 데이터에 기초한 제1 멀티미디어 콘텐츠를 출력하도록 출력부(450)를 제어할 수 있다. 예컨대 상기 제1 멀티미디어 콘텐츠가 음악 콘텐츠인 경우, 프로세서(480)는 상기 제1 멀티미디어 콘텐츠를 출력하도록 스피커(452)를 제어할 수 있다.
또한, 프로세서(480)는 상기 출력 요청에 응답하여, 메모리(470)에 저장된 복수의 모션 데이터 중 제2 모션에 대응하는 제2 모션 데이터를 로드할 수 있다. 이 경우, 프로세서(480)는 메모리(470)에 상기 제1 멀티미디어 콘텐츠에 맵핑된 제1 모션의 모션 데이터(제1 모션 데이터)가 저장된 경우에도, 상기 제1 모션 데이터 대신 제2 모션 데이터를 로드할 수 있다.
프로세서(480)는 로드된 제2 모션 데이터에 기초하여 로봇 모듈 구동부(460)를 제어함으로써, 로봇 모듈(401)을 통해 제2 모션(MOTION2)을 출력할 수 있다.
한편, 제1 멀티미디어 콘텐츠는 고유의 템포나 비트(음악 콘텐츠의 경우), 콘텐츠 내의 특정 시점에서 발생하는 이벤트(동화, 교육 콘텐츠 등의 경우)를 포함할 수 있다. 일반적으로 제1 멀티미디어 콘텐츠와 관련된 모션은 상기 템포나 비트에 기초하여 제공되거나, 상기 이벤트에 대응하도록 제공될 수 있다.
한편, 모션 데이터에는 시간별(타이밍별)로 설정된 복수의 부분 모션들에 대한 정보가 포함될 수 있다. 모션 데이터의 부분 모션들 각각의 타이밍과, 제1 멀티미디어 콘텐츠의 템포나 비트, 이벤트의 시점이 다를 경우, 사용자는 액션 로봇(400)을 통해 출력되는 제1 멀티미디어 콘텐츠와 모션 간의 이질감을 느낄 수 있다.
본 발명의 실시 예에 따른 액션 로봇(400)은, 출력할 멀티미디어 콘텐츠의 특성에 대응하도록 모션 데이터를 변환함으로써, 멀티미디어 콘텐츠와 모션 간의 이질감을 최소화하고 자연스러운 모션을 제공할 수 있다. 이와 관련된 액션 로봇의 동작에 대해 도 10 내지 도 13을 통해 설명한다.
도 10은 본 발명의 실시 예에 따른 액션 로봇이, 제2 모션에 대응하는 제2 모션 데이터를 제1 멀티미디어 콘텐츠의 특성에 따라 변환하는 동작을 설명하기 위한 플로우차트이다.
도 10 내지 도 13에서는 제1 멀티미디어 콘텐츠가 음악 콘텐츠인 것으로 가정하여 설명한다.
도 10을 참조하면, 액션 로봇(400)은 출력할 제1 멀티미디어 콘텐츠의 템포 정보를 획득할 수 있다(S300).
프로세서(480)는 제1 멀티미디어 콘텐츠의 콘텐츠 데이터로부터 상기 제1 멀티미디어 콘텐츠의 템포 정보를 획득할 수 있다. 상기 템포 정보는 음악의 빠르기와 관련될 수 있고, 예컨대 BPM(beats per minute)의 형태로 제공될 수 있다. 즉, 상기 템포 정보에는 비트들 각각의 시점에 대한 정보가 포함될 수 있다.
예컨대, 제1 멀티미디어 콘텐츠의 콘텐츠 데이터는 신호 형태일 수 있다. 프로세서(480)는 상기 콘텐츠 데이터로부터 신호의 주기를 추출함으로써 상기 템포 정보를 획득할 수 있다. 이를 위해, 프로세서(480)는 콘텐츠 데이터에 대해 서브 밴드 자기 상관(sub-band autocorrelation), 피크 값 추출 등과 같은 과정을 통해 템포 정보를 획득할 수 있다.
한편, 상기 제1 멀티미디어 콘텐츠가 음악 콘텐츠가 아닌 경우, 프로세서(480)는 제1 멀티미디어 콘텐츠의 콘텐츠 데이터로부터 이벤트 발생 시점 등의 특성 정보를 획득할 수도 있다.
실시 예에 따라, 상기 콘텐츠 데이터에는 템포 정보나 이벤트 발생 시점 정보가 포함되어 있을 수도 있다. 이 경우, 프로세서(480)는 상기 콘텐츠 데이터로부터 상기 템포 정보나 이벤트 발생 시점 정보 등의 특성 정보를 획득할 수 있다.
액션 로봇(400)은 제2 모션 데이터의 타이밍 정보를 획득할 수 있다(S310).
프로세서(480)는 제2 모션 데이터에 포함된 복수의 부분 모션들 각각의 출력 시점(타이밍)에 대한 정보를 획득할 수 있다.
액션 로봇(400)은 제2 모션 데이터의 타이밍 정보를, 제1 멀티미디어 콘텐츠의 템포 정보에 대응하도록 변환할 수 있다(S320).
예컨대, 프로세서(480)는 제2 모션 데이터에 포함된 부분 모션들 각각의 출력 시점을, 제1 멀티미디어 콘텐츠의 템포 정보에 포함된 비트들 각각의 시점과 일치(또는 동기화)되도록 상기 제2 모션 데이터를 변환할 수 있다.
제2 모션 데이터의 타이밍 정보가 변환됨에 따라, 로봇 모듈(401)을 통해 출력되는 제2 모션의 속도가 변경될 수 있다. 예컨대, 제2 모션 데이터의 타이밍 간격이 비트 간격보다 짧은 경우, 변환된 제2 모션의 속도는 본래의 제2 모션의 속도보다 느려질 수 있다. 반면, 타이밍 간격이 비트 간격보다 긴 경우, 변환된 제2 모션의 속도는 본래의 제2 모션의 속도보다 빨라질 수 있다.
한편, 제2 모션 데이터의 변환 방식이 이에 한정되는 것은 아니고, 프로세서(480)는 제1 멀티미디어 콘텐츠와 제2 모션 간의 불일치를 최소화하기 위한 다양한 방식으로 상기 제2 모션 데이터를 변환할 수 있다.
액션 로봇(400)은 상기 제1 멀티미디어 콘텐츠 및 제2 모션을 출력할 수 있다(S330).
프로세서(480)는 제1 멀티미디어 콘텐츠를 출력부(450)를 통해 출력할 수 있다. 이와 동시에, 프로세서(480)는 변환된 제2 모션 데이터에 기초하여 로봇 모듈 구동부(460)를 제어함으로써, 로봇 모듈(401)을 통해 제2 모션을 출력할 수 있다.
도 11 내지 도 13은 도 10에 도시된 액션 로봇의 동작과 관련된 예시도들이다.
도 11을 참조하면, 액션 로봇(400)의 프로세서(480)는 마이크로폰(426)을 통해 음성 데이터(1100)을 수신할 수 있다.
프로세서(480)는 수신된 음성 데이터(1100)로부터 액션 로봇(400)의 기동어(1101)가 인식되면, 음성 데이터(1100)에 포함된 나머지 음성을 인식할 수 있다.
예컨대, 프로세서(480)는 음성 데이터(1100)로부터 제1 멀티미디어 콘텐츠의 콘텐츠명(1102)을 인식할 수 있다. 또한, 프로세서(480)는 음성 데이터(1100)로부터 제2 모션의 식별정보(1104)을 인식할 수 있다. 이 경우, 프로세서(480)가 인식한 요청(1103)은 제1 멀티미디어 콘텐츠 및 제2 모션의 출력 요청에 해당할 수 있다.
음성 데이터(1100)의 인식 결과에 따라, 프로세서(480)는 제1 멀티미디어 콘텐츠의 콘텐츠 데이터를 콘텐츠 관리 장치(200a) 또는 단말기(500)로부터 수신할 수 있다. 또는, 프로세서(480)는 메모리(470)에 저장된 제1 멀티미디어 콘텐츠의 콘텐츠 데이터를 로드할 수 있다.
또한, 프로세서(480)는 인식된 제2 모션의 식별 정보(1104)에 기초하여, 메모리(470)에 저장된 복수의 모션 데이터 중 상기 제2 모션에 대응하는 제2 모션 데이터를 로드할 수 있다. 실시 예에 따라, 상기 제2 모션 데이터가 메모리(470)에 저장되어 있지 않은 경우, 프로세서(480)는 콘텐츠 관리 장치(200a) 또는 단말기(500)로부터 상기 제2 모션 데이터를 제공받을 수도 있다.
도 12 내지 도 13을 참조하면, 프로세서(480)는 제1 멀티미디어 콘텐츠의 콘텐츠 데이터로부터 특성 정보를 획득할 수 있다.
예컨대, 제1 멀티미디어 콘텐츠가 음악 콘텐츠인 경우, 프로세서(480)는 콘텐츠 데이터로부터 템포 정보(MUSIC_TEMPO)를 획득할 수 있다. 도 12에 도시된 예에 따르면, 제1 멀티미디어 콘텐츠는 120BPM의 템포를 가질 수 있고, 비트들 각각은 0.5초 간격으로 존재할 수 있다.
또한, 프로세서(480)는 제2 모션 데이터로부터 타이밍 정보(MOTION2_TIMING)를 획득할 수 있다.
예컨대, 타이밍 정보(MOTION2_TIMING)는 제2 모션을 구성하는 복수의 부분 모션들(M1~M6) 각각의 시점에 대한 정보를 포함할 수 있다.
프로세서(480)는 획득된 템포 정보(MUSIC_TEMPO)에 기초하여, 제2 모션 데이터의 타이밍 정보(MOTION2_TIMING)를 변환할 수 있다.
도 12에 도시된 바와 같이, 제1 멀티미디어 콘텐츠의 비트는 0.5초 간격으로 발생할 수 있다. 반면, 제2 모션의 부분 모션들(M1~M6)은 0.4초 간격으로 변화할 수 있다. 제1 멀티미디어 콘텐츠의 출력 시 상기 제2 모션 데이터가 변환되지 않는 경우, 상기 비트와 상기 부분 모션의 시점이 상이함에 따른 이질감이 발생할 수 있다.
따라서, 프로세서(480)는 제2 모션 데이터의 부분 모션들(M1~M6)이 상기 비트에 대응하여 0.5초 간격으로 변화하도록 제2 모션 데이터를 변환할 수 있다.
도 13에 도시된 바와 같이, 프로세서(480)는 스피커(452)를 통해 제1 멀티미디어 콘텐츠(MUSIC_CONTENT)를 출력하고, 로봇 모듈(401)을 통해 변환된 제2 모션(MOTION2)을 출력할 수 있다. 즉, 제2 모션(MOTION2)은 제1 멀티미디어 콘텐츠(MUSIC_CONTENT)의 특성에 따라 변환되어 출력되므로, 보다 자연스러운 콘텐츠의 출력이 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 로봇 모듈; 및
    상기 로봇 모듈이 장착된 경우, 상기 로봇 모듈을 이용하여 모션을 출력하는 베이스 모듈을 포함하고,
    상기 베이스 모듈은,
    상기 로봇 모듈을 구동시키는 로봇 모듈 구동부;
    상기 베이스 모듈에 구비되는 스피커;
    제1 멀티미디어 콘텐츠 및 제1 모션의 출력 요청을 수신하는 입력부; 및
    상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 출력하도록 상기 스피커를 제어하고,
    상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 프로세서를 포함하는 액션 로봇.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 멀티미디어 콘텐츠의 콘텐츠 데이터로부터 특성 정보를 획득하고,
    획득된 특성 정보에 기초하여 상기 제1 모션 데이터를 변환하고,
    변환된 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 액션 로봇.
  3. 제2항에 있어서,
    상기 특성 정보는 복수의 비트들 각각의 시점에 대한 정보 또는 상기 제1 멀티미디어 콘텐츠 내의 적어도 하나의 이벤트 발생 시점에 대한 정보를 포함하고,
    상기 프로세서는,
    상기 제1 모션 데이터로부터 복수의 부분 모션들 각각의 출력 시점에 대한 정보를 획득하고,
    상기 특성 정보에 기초하여, 상기 복수의 부분 모션들 각각의 출력 시점이 변경되도록 상기 제1 모션 데이터를 변환하는 액션 로봇.
  4. 제1항에 있어서,
    콘텐츠 관리 장치 또는 단말기와 연결하기 위한 통신부를 더 포함하고,
    상기 프로세서는,
    상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠의 콘텐츠 데이터를 상기 콘텐츠 관리 장치 또는 상기 단말기로부터 수신하고,
    수신된 콘텐츠 데이터에 기초하여 상기 스피커를 제어하는 액션 로봇.
  5. 제4항에 있어서,
    복수의 모션 데이터를 저장하는 메모리를 더 포함하고,
    상기 프로세서는,
    상기 출력 요청에 기초하여 상기 제1 모션에 대응하는 상기 제1 모션 데이터를 상기 메모리로부터 로드하는 액션 로봇.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 콘텐츠 관리 장치 또는 상기 단말기로부터 상기 제1 모션 데이터를 수신하고, 수신된 제1 모션 데이터를 상기 메모리에 저장하는 액션 로봇.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 제1 모션에 대한 맵핑 정보를 상기 단말기로부터 수신하여 상기 메모리에 저장하고,
    상기 맵핑 정보는 상기 제1 모션이 맵핑된 제2 멀티미디어 콘텐츠의 정보를 포함하는 액션 로봇.
  8. 제1항에 있어서,
    단말기와 연결하기 위한 통신부; 및
    메모리를 더 포함하고,
    상기 프로세서는,
    상기 단말기로부터, 상기 제1 멀티미디어 콘텐츠에 대한 맵핑 정보를 수신하고, 수신된 맵핑 정보를 상기 메모리에 저장하고,
    상기 맵핑 정보는, 상기 제1 멀티미디어 콘텐츠에 맵핑된 제2 모션의 정보를 포함하고,
    상기 프로세서는,
    상기 콘텐츠 관리 장치 또는 상기 단말기로부터 상기 제2 모션에 대응하는 제2 모션 데이터를 수신하고, 수신된 제2 모션 데이터를 상기 메모리에 저장하는 액션 로봇.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 입력부를 통해 상기 제1 멀티미디어 콘텐츠의 출력 요청을 수신하고,
    상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 출력하도록 상기 스피커를 제어하고,
    상기 제1 멀티미디어 콘텐츠에 대한 맵핑 정보에 기초하여, 상기 제2 모션 데이터를 상기 메모리로부터 로드하고,
    로드된 제2 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 액션 로봇.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 멀티미디어 콘텐츠 및 상기 제1 모션의 출력 요청에 기초하여, 상기 맵핑 정보에 따른 상기 제2 모션 대신, 상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 액션 로봇.
  11. 제1항에 있어서,
    상기 입력부는 마이크로폰을 포함하고,
    상기 프로세서는,
    상기 마이크로폰을 통해 상기 출력 요청을 포함하는 음성을 획득하고,
    획득된 음성으로부터 상기 제1 멀티미디어 콘텐츠 및 상기 제1 모션 각각을 인식하는 액션 로봇.
  12. 모션을 제공하는 로봇 모듈, 상기 로봇 모듈을 구동시키는 로봇 모듈 구동부, 및 스피커를 포함하는 액션 로봇의 동작 방법에 있어서,
    제1 멀티미디어 콘텐츠 및 제1 모션의 출력 요청을 수신하는 단계;
    상기 출력 요청에 기초하여 상기 제1 멀티미디어 콘텐츠를 상기 스피커를 통해 출력하는 단계; 및
    상기 제1 모션에 대응하는 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 단계를 포함하는 액션 로봇의 동작 방법.
  13. 제12항에 있어서,
    상기 로봇 모듈 구동부를 제어하는 단계는,
    상기 제1 멀티미디어 콘텐츠의 특성 정보를 획득하는 단계;
    획득된 특성 정보에 기초하여 상기 제1 모션 데이터를 변환하는 단계; 및
    변환된 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 단계를 포함하는 액션 로봇의 동작 방법.
  14. 제13항에 있어서,
    상기 특성 정보는 복수의 비트들 각각의 시점에 대한 정보 또는 상기 제1 멀티미디어 콘텐츠 내의 적어도 하나의 이벤트 발생 시점에 대한 정보를 포함하고,
    상기 제1 모션 데이터를 변환하는 단계는,
    상기 제1 모션 데이터로부터 복수의 부분 모션들 각각의 출력 시점에 대한 정보를 획득하는 단계; 및
    상기 특성 정보에 기초하여, 상기 복수의 부분 모션들 각각의 출력 시점이 변경되도록 상기 제1 모션 데이터를 변환하는 단계를 포함하는 액션 로봇의 동작 방법.
  15. 제12항에 있어서,
    상기 제1 멀티미디어 콘텐츠에 맵핑된 제2 모션의 정보를 포함하는 맵핑 정보를 수신하는 단계;
    상기 제2 모션에 대응하는 제2 모션 데이터를 수신하는 단계; 및
    수신된 맵핑 정보와 제2 모션 데이터를 저장하는 단계를 더 포함하는 액션 로봇의 동작 방법.
  16. 제15항에 있어서,
    상기 출력 요청을 수신하는 단계는,
    상기 제1 멀티미디어 콘텐츠의 출력 요청을 수신하는 단계이고,
    상기 로봇 모듈 구동부를 제어하는 단계는,
    상기 맵핑 정보에 기초하여 상기 제2 모션 데이터를 로드하는 단계; 및
    상기 제2 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 단계를 포함하는 액션 로봇의 동작 방법.
  17. 제15항에 있어서,
    상기 로봇 모듈 구동부를 제어하는 단계는,
    상기 맵핑 정보에 따른 상기 제2 모션 대신, 상기 출력 요청에 포함된 상기 제1 모션에 대응하는 상기 제1 모션 데이터를 이용하여 상기 로봇 모듈 구동부를 제어하는 단계인 액션 로봇의 동작 방법.
KR1020190087257A 2019-07-18 2019-07-18 액션 로봇 및 그의 동작 방법 KR20210009991A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190087257A KR20210009991A (ko) 2019-07-18 2019-07-18 액션 로봇 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190087257A KR20210009991A (ko) 2019-07-18 2019-07-18 액션 로봇 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20210009991A true KR20210009991A (ko) 2021-01-27

Family

ID=74238223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190087257A KR20210009991A (ko) 2019-07-18 2019-07-18 액션 로봇 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR20210009991A (ko)

Similar Documents

Publication Publication Date Title
US11358285B2 (en) Robot and method of recognizing mood using the same
US20190197402A1 (en) Adding deep learning based ai control
KR20190104269A (ko) 발화 스타일 부여를 위한 인공지능 기반의 음성 샘플링 장치 및 방법
US11029803B2 (en) Robot
KR102288658B1 (ko) 로봇 및 그의 제어 방법
KR102220191B1 (ko) 로봇 핸드 및 그 제어방법
KR102306393B1 (ko) 음성 처리 장치 및 음성 처리 방법
US11450326B2 (en) Device for recognizing voice content, server connected thereto, and method for recognizing voice content
US20200019249A1 (en) Robot system and control method thereof
US11583998B2 (en) Robot and method of controlling same
KR20190095193A (ko) 인공 지능 시스템의 동작을 관리하는 인공 지능 장치 및 그 방법
KR20210033809A (ko) 인공 신경망을 이용하여 로봇을 제어하는 제어 서버 및 방법와, 이를 구현하는 로봇
KR20190098936A (ko) 쿠킹 로봇 시스템 및 그 제어 방법
KR20190096875A (ko) 로봇 및 그의 제어 방법
KR20210067432A (ko) 로봇의 비상 정지의 수행
US11478925B2 (en) Robot and method for controlling same
KR102314385B1 (ko) 로봇 및 그의 제어 방법
KR20210065612A (ko) 전자 장치 및 그의 동작 방법
KR102269788B1 (ko) 액션 로봇, 그의 인증 방법, 및 그와 연결되는 서버
KR20210009991A (ko) 액션 로봇 및 그의 동작 방법
US11358069B2 (en) Action robot
US11478697B2 (en) Terminal connected to action robot and operating method thereof
KR20210063132A (ko) 콘텐츠에 최적화된 액션 로봇용 모션 데이터를 제공하는 장치 및 방법
KR20210037430A (ko) 로봇과 연결되는 장치, 이의 제어 방법, 및 로봇 시스템
KR20210078792A (ko) 액션 로봇의 모션과 콘텐츠 간의 동기화를 위한 장치