KR20190102148A

KR20190102148A - 로봇

Info

Publication number: KR20190102148A
Application number: KR1020190099450A
Authority: KR
Inventors: 박현철; 신창일; 지은숙
Original assignee: 엘지전자 주식회사
Priority date: 2019-03-08
Filing date: 2019-08-14
Publication date: 2019-09-03
Also published as: WO2020184733A1; US20190344428A1; US11338429B2

Abstract

본 발명의 실시예에 따른 로봇은, 음성을 획득하는 마이크로폰; 제스쳐를 포함하는 제1 영상을 획득하는 카메라; 및 상기 획득된 음성을 인식하고, 상기 제1 영상에 포함된 상기 제스쳐에 대응하는 포인팅 위치를 인식하고, 상기 인식된 포인팅 위치를 포함하는 제2 영상을 획득하도록 상기 카메라를 제어하고, 상기 제2 영상에 포함된 포인팅 대상을 식별하고, 상기 식별된 포인팅 대상 및 상기 인식된 음성에 포함된 명령에 기초한 제어 동작을 수행하는 제어부를 포함한다.

Description

로봇{ROBOT}

본 발명은 로봇에 관한 것으로, 좀 더 상세히는 사용자의 제스쳐 및 음성을 인식하고 인식 결과에 기초한 동작을 수행하는 로봇에 관한 것이다.

공장 자동화의 일 부분을 담당하기 위해, 로봇은 산업용으로 개발되어 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되고 있는바, 의료용 로봇과 우주 항공용 로봇뿐만 아니라 일상 생활에서 사용될 수 있는 로봇도 개발되고 있다.

이러한 일상 생활용 로봇은 사용자의 명령에 응답하여 특정 서비스(예를 들어, 쇼핑, 서빙, 대화, 청소 등)를 제공한다. 또한, 일상 생활용 로봇은 디스플레이를 포함하여 서비스와 관련된 정보, 영상 또는 이미지를 표시한다.

한편, 이러한 일상 생활용 로봇은 마이크로폰을 이용하여 사용자로부터 각종 요청이나 명령을 음성 형태로 획득하고, 획득된 요청이나 명령에 대응하는 동작을 수행할 수 있다. 이른바 음성 입력 기능을 통해, 사용자는 조작부 등을 직접 조작할 필요 없이도 요청이나 명령을 음성으로 편리하게 입력할 수 있다.

종래의 로봇의 경우, 로봇이 정확한 동작을 수행하기 위해, 사용자는 로봇에 기 정의된 형태의 단어나 어구를 발화하거나, 대상을 명확히 나타내는 고유명사 등을 발화하는 것이 일반적이다. 이 경우, 사용자는 평상시 다른 사람들과의 대화 방식과는 다른 방식의 발화를 수행하므로, 발화 시 부자연스러움 또는 불편함을 느낄 수 있다. 그 결과, 상술한 편리함에도 불구하고 음성 입력 기능의 활용도가 낮다는 한계점이 존재한다.

본 발명이 해결하고자 하는 일 과제는, 사용자의 제스쳐와 음성을 통해 대상 및 명령을 인식하는 로봇을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 사용자의 음성에 대상을 직접적으로 나타내는 키워드가 포함되어 있지 않더라도, 상기 대상을 인식할 수 있는 로봇을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 인식된 대상 및 명령과 관련된 다른 기기로 하여금 동작을 수행하도록 제어하는 로봇을 제공하는 것이다.

실시 예에 따라, 상기 제어부는 상기 획득된 음성에 포함된 상기 명령, 및 상기 포인팅 대상을 나타내는 키워드를 인식할 수 있다.

실시 예에 따라, 상기 포인팅 대상을 나타내는 키워드는 상기 포인팅 대상과 관련된 대명사를 포함할 수 있다.

실시 예에 따라, 상기 제어부는 상기 획득된 제2 영상에 포함된 적어도 하나의 오브젝트를 인식하고, 인식된 적어도 하나의 오브젝트 및 상기 키워드에 기초하여 상기 포인팅 대상을 식별할 수 있다.

실시 예에 따라, 상기 제어부는 상기 획득된 제2 영상에 포함된 적어도 하나의 오브젝트를 인식하고, 상기 적어도 하나의 오브젝트 중 상기 포인팅 위치와 가장 가까운 오브젝트를 상기 포인팅 대상으로 식별할 수 있다.

상기 제스쳐는, 상기 포인팅 위치를 가리키는 사용자의 손 동작, 발 동작, 시선, 및 얼굴 회전 중 적어도 하나를 포함할 수 있다.

실시 예에 따라, 상기 카메라는 본체에 배치된 제1 카메라; 및 상기 본체의 상부에 회전가능하게 구비된 헤드에 배치되는 제2 카메라를 포함하고, 상기 제1 영상은 상기 제1 카메라를 통해 획득되고, 상기 제2 영상은 상기 제2 카메라를 통해 획득될 수 있다.

상기 로봇은 상기 본체에 대해 상기 헤드를 회전시키는 헤드 모터를 더 포함하고, 상기 제어부는, 상기 제2 카메라가 상기 인식된 포인팅 위치를 향하도록 상기 헤드 모터를 제어할 수 있다.

상기 제어부는, 상기 식별된 포인팅 대상 및 상기 인식된 명령에 기초한 제어 동작의 수행이 완료되면, 상기 명령의 처리 완료를 나타내는 알림을 디스플레이와 스피커 중 적어도 하나를 통해 출력할 수 있다.

상기 로봇은 적어도 하나의 기기와 연결하기 위한 통신부를 더 포함하고, 상기 제어부는, 상기 식별된 포인팅 대상 및 상기 인식된 명령에 기초하여, 상기 명령을 처리가능한 기기를 특정하고, 상기 특정된 기기로 상기 명령에 대응하는 제어 신호를 전송하도록 상기 통신부를 제어할 수 있다.

실시 예에 따라, 상기 제어부는 상기 특정된 기기로부터 상기 명령의 처리 완료를 나타내는 메시지를 수신하고, 수신된 메시지에 응답하여 상기 명령의 처리 완료를 나타내는 알림을 디스플레이와 스피커 중 적어도 하나를 통해 출력할 수 있다.

실시 예에 따라, 상기 제어부는 상기 카메라를 통해 획득된 영상에 기초하여 상기 명령의 처리 완료 여부를 감지하고, 감지 결과에 기초하여 상기 명령의 처리 완료를 나타내는 알림을 디스플레이와 스피커 중 적어도 하나를 통해 출력할 수 있다.

실시 예에 따라, 상기 포인팅 대상은 포인팅 지점을 포함하고, 상기 제어부는 상기 포인팅 지점에 대응하는 좌표를 획득할 수 있다.

본 발명의 실시 예에 따르면, 로봇은 사용자의 음성 및 제스쳐에 기초하여 제어 명령 및 제어 대상(포인팅 대상)을 정확히 인식할 수 있다.

특히, 로봇은 사용자로부터 제어 대상을 나타내는 고유명사와 같은 직접적인 키워드를 획득하지 않고도 상기 제어 대상을 원활히 인식할 수 있다. 이에 따라, 사용자는 로봇과의 기정의된 방식에 따른 음성을 발화하지 않고 자연스러운 방식의 발화와 제스쳐를 통해 원하는 명령을 편리하게 입력할 수 있다.

또한, 본 발명의 실시 예에 따른 로봇은 상기 인식된 제어 명령 및 제어 대상에 기초하여 상기 제어 명령을 처리가능한 다른 기기들을 제어할 수 있다. 이에 따라, 사용자는 마이크로폰이나 카메라가 구비되지 않은 다른 기기의 동작을, 상기 로봇을 통해 음성 및 제스쳐로 편리하게 제어할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 로봇의 사시도이다.
도 2는 본 발명의 일 실시 예에 따른 로봇의 제어 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 로봇의 동작 방법을 설명하기 위한 플로우차트이다.
도 4 내지 도 6은 도 3에 도시된 로봇의 동작 방법과 관련된 예시도들이다.
도 7은 본 발명의 일 실시 예에 따른 로봇의 동작 방법을 설명하기 위한 플로우차트이다.
도 8 내지 도 10은 도 7에 도시된 로봇의 동작 방법과 관련된 예시도들이다.
도 11은 도 7에 도시된 로봇의 동작 방법과 관련된 보다 구체적인 예를 나타내는 플로우차트이다.

이하에서는 본 발명의 구체적인 실시 예를 도면과 함께 상세히 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 로봇의 사시도이다.

본 발명의 실시예에 따른 로봇(1)은 바디(2), 헤드(3), 및 베이스(4)를 포함할 수 있다.

바디(2)는 로봇(1)의 전반적인 외관을 형성할 수 있다. 바디(2)는 내부 공간이 형성된 원통형 몸체를 가질 수 있다. 바디(2)는 상하로 길게 형성될 수 있다.

바디(2)의 전방에는 스테레오 카메라(22) 및 디스플레이(24)가 구비될 수 있다. 이하, 스테레오 카메라(22) 및 디스플레이(24)가 향하는 방향을 로봇(1)의 전방으로 정의한다.

스테레오 카메라(22)는 로봇(1)의 전방을 포함하는 스테레오스코픽(stereoscopic) 이미지를 획득할 수 있다. 로봇(1)은 상기 획득된 스테레오스코픽 이미지에 기초하여 사용자 감지, 오브젝트 감지, 사용자 또는 오브젝트와의 거리 산출, 오브젝트와의 거리에 기초한 로봇(1)의 위치 감지 등의 동작을 수행할 수 있다.

디스플레이(24)는 로봇(1)의 동작이나 상태와 관련된 정보, 로봇(1)에서 실행되는 기능이나 프로그램과 관련된 화면 등을 출력할 수 있다. 한편, 디스플레이(24)는 터치 패널과 함께 터치 스크린으로 구현되어, 사용자로부터 터치 입력을 수신할 수도 있다.

한편, 바디(2)의 내부 또는 표면에는 로봇(1)의 동작과 관련된 다양한 구성들이 구비될 수 있다.

바디(2)의 상측에는 헤드(3)가 장착되는 개방부가 형성될 수 있다. 헤드(3)는 상기 개방부를 통해 바디(2)에 체결될 수 있다. 또한, 헤드(3)는 로봇(1)의 비 구동시에는 개방부를 통해 바디(2)의 내부에 수용될 수 있고, 로봇(1)의 구동 시에는 상기 개방부를 통해 바디(2)의 상부로 돌출될 수 있다. 또한, 헤드(3)는 바디(2)로부터 다양한 각도(또는 높이)로 돌출될 수도 있다. 이를 위해, 바디(2) 또는 헤드(3) 내에는 헤드(3)를 바디(2)로부터 소정 각도(또는 높이)로 돌출시키기 위한 제1 헤드 모터(151; 도 2 참조)가 구비될 수 있다.

헤드(3)에는 헤드 카메라(32)가 구비되어, 스테레오 카메라(22)와는 독립적으로 영상을 획득할 수 있다. 특히, 헤드(3)는 바디(2)를 기준으로 좌우 회전이 가능하므로, 헤드 카메라(32)는 스테레오 카메라(22)와는 다른 영역의 영상을 획득할 수도 있다. 바디(2) 또는 헤드(3) 내에는, 헤드(3)를 바디(2)를 기준으로 좌우 회전시키기 위한 제2 헤드 모터(153)가 구비될 수 있다.

베이스(4)는 로봇의 하측 외관을 형성할 수 있다. 베이스(4)는 소정 두께를 갖는 플레이트 형상일 수 있다. 바디(2)는 베이스(4)의 상측에 체결될 수 있다. 베이스(4)의 하부에는 로봇(1)의 주행을 위한 복수의 구동 휠(42)이 구비될 수 있다. 베이스(4)의 내부에는 복수의 구동 휠(42)과 연결되는 복수의 구동 모터(160; 도 2 참조)가 구비될 수 있다.

한편, 바디(2)는 베이스(4)로부터 연장되는 축과 연결되어, 베이스(4)를 기준으로 전후방으로 소정 각도 기울어질 수 있다. 예컨대, 바디(2)가 전방으로 소정 각도 기울어지는 경우, 스테레오 카메라(22)는 소정 각도 하측의 영역에 대한 영상을 획득할 수 있다. 또한, 바디(2)가 후방으로 소정 각도 기울어지는 경우, 스테레오 카메라(22)는 소정 각도 상측의 영역에 대한 영상을 획득할 수 있다. 상기 바디(2)의 내부에는 바디(2)를 소정 각도 기울이기 위한 바디 틸팅 모터(155)가 구비될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 로봇의 제어 구성을 나타낸 블록도이다.

도 2에는 로봇(1)이 통신부(110), 입력부(120), 센서부(130), 디스플레이(24), 스피커(140), 제1 헤드 모터(151), 제2 헤드 모터(153), 바디 틸팅 모터(155), 구동 모터(160), 메모리(170), 제어부(180), 및 전원 공급부(190)를 포함하는 것으로 도시되어 있다. 그러나, 도 2에 도시된 구성들은 설명의 편의를 위한 것으로서 로봇(1)을 구현하는 데 있어 필수적인 것은 아닌 바, 로봇은 도 2에 도시된 구성들 중 일부를 포함하지 않을 수도 있다. 또한, 실시 예에 따라 로봇은 도 2에 도시된 구성들 및 추가적인 제어 구성들을 더 포함할 수도 있다.

통신부(110)는, 로봇(1)을 네트워크를 통해 서버, 단말기, 및 다른 로봇 등과 연결하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대, 통신부(110)는 블루투스, NFC(near field communication)와 같은 근거리 통신 모듈, Wi-Fi 등의 무선 인터넷 모듈이나 이동 통신 모듈을 포함할 수 있다. 제어부(180)는 로봇의 상태 정보나 동작 정보, 입력부(120)를 통해 사용자로부터 수신된 입력, 센서부(130)에 의해 획득된 다양한 데이터를, 통신부(110)를 통해 상기 서버, 단말기, 및/또는 다른 로봇으로 전송할 수 있다. 또한, 제어부(180)는 통신부(110)를 통해 상기 서버나 단말기로부터 로봇의 제어 정보, 로봇 내의 소프트웨어의 업데이트 데이터 등을 수신할 수 있다.

입력부(120)는 사용자의 조작이나 기타 행위에 의해 소정 신호 또는 데이터를 로봇으로 입력하는 적어도 하나의 입력 수단을 포함할 수 있다. 예컨대, 상기 적어도 하나의 입력 수단은 마이크로폰(microphone; 122), 터치 입력부(124), 버튼, 다이얼, 등을 포함할 수 있다. 사용자는 상기 입력부(120)를 조작함으로써 특정 요청이나 명령을 로봇으로 입력할 수 있다.

마이크로폰(122)은 사용자로부터 음성 형태의 요청이나 명령을 입력받을 수 있다. 한편, 마이크로폰(122)은 로봇 주변의 음성이나 음향을 센싱하는 센서부로서 기능할 수도 있다.

터치 입력부(124)는 터치패널, 로봇의 외부에 배치되는 터치패드 등을 포함할 수 있다. 터치 입력부(124)가 상기 터치패널을 포함하는 경우, 도 1에서 상술한 디스플레이(24)는 터치패널과 일체로 구현되는 터치 스크린에 해당할 수 있다.

센서부(130)는 로봇의 주변에 대한 다양한 정보를 획득하기 위한 적어도 하나의 센서를 포함할 수 있다. 예컨대, 센서부(130)는 스테레오 카메라(22), 헤드 카메라(32), 장애물 감지 센서(132) 등 로봇(1)의 동작과 관련된 다양한 센서들을 포함할 수 있다.

스테레오 카메라(22) 및 헤드 카메라(32)는 로봇 주변의 영상을 획득할 수 있다. 제어부(180)는 스테레오 카메라(22) 또는 헤드 카메라(32)를 통해 획득된 영상에 기초하여 사용자나 오브젝트를 검출하거나, 사용자 또는 오브젝트와의 거리를 산출하거나, 로봇(1)의 현재 위치를 인식할 수 있다.

장애물 감지 센서(132)는 로봇(1)의 주행 중 상기 주행에 방해가 되는 오브젝트를 감지할 수 있다. 예컨대, 장애물 감지 센서(132)는 초음파 센서, 라이다(LiDar) 센서, 근접 센서, 카메라 등을 포함할 수 있다.

디스플레이(24) 및 스피커(140는 로봇(1)의 동작이나 상태 등과 관련된 정보를 나타내는 그래픽이나 텍스트, 음향 등을 출력할 수 있다. 상술한 바와 같이, 디스플레이(24)는 로봇(1)의 전방을 향하도록 본체(2)에 배치될 수 있다. 스피커(140)는 본체(2) 또는 헤드(3)의 내부에 배치되어, 각종 정보를 음성이나 음향으로 출력할 수 있다.

제1 헤드 모터(151)는 헤드(3)의 상하방향 이동을 가능하게 한다. 제1 헤드 모터(151)의 구동에 의해, 헤드(3)는 본체(2) 내로 수용되거나, 본체(2)로부터 소정 각도(또는 소정 높이)만큼 돌출될 수 있다. 상기 제1 헤드 모터(151)는 본체(2) 또는 헤드(3) 내에 배치될 수 있다.

제2 헤드 모터(153)는 헤드(3)의 가로방향 회전을 가능하게 한다. 제2 헤드 모터(153)의 구동에 의해, 헤드(3)는 좌측 또는 우측으로 소정 각도 회전할 수 있다. 헤드(3)가 회전함에 따라, 헤드 카메라(32)와 스테레오 카메라(22)가 향하는 방향이 달라질 수 있다.

바디 틸팅 모터(155)는 바디(2)를 베이스(4)를 기준으로 전후방으로 소정 각도 기울일 수 있다. 상기 바디 틸팅 모터(155)는 바디(2) 또는 베이스(4)의 내부에 구비될 수 있다.

구동 모터(160)는 구동 휠(42)의 회전력을 제공할 수 있다. 예컨대, 구동 모터(160)와 구동 휠(42)은 각각 한 쌍이 구비될 수 있다. 한 쌍의 구동 모터(160)는 좌우로 이격될 수 있다. 한 쌍의 구동 휠(42) 또한 좌우로 이격될 수 있다.

제어부(180)는 한 쌍의 구동 모터(160)의 구동을 제어함으로써, 로봇의 전진, 후진, 회전, 주행 속도 등을 제어할 수 있다. 예컨대, 제어부(180)가 한 쌍의 구동 모터(160)를 동일하게 제어하는 경우, 로봇은 전진 또는 후진할 수 있다. 반면, 제어부(180)가 한 쌍의 구동 모터(160)를 서로 다르게 제어하는 경우, 로봇은 회전할 수 있다. 로봇이 회전함에 따라, 디스플레이(24), 스테레오 카메라(22), 및 헤드 카메라(32)가 향하는 방향이 변경될 수 있다.

메모리(170)에는, 로봇에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 입력부(120)나 센서부(130) 등을 통해 획득된 입력, 정보에 대응하는 동작을 수행하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.

또한, 메모리(170)에는 로봇(1)과 연결된 적어도 하나의 기기 각각에 대한 기기 정보가 저장될 수 있다. 추후 도 7 등에서 후술할 바와 같이, 제어부(180)는 사용자의 음성 및 제스쳐에 기초한 포인팅 대상 및 명령을 인식하고, 인식 결과에 기초하여 명령을 처리가능한 기기를 특정할 수 있다. 이 때, 제어부(180)는 메모리(170)에 저장된 기기 정보에 기초하여 상기 명령을 처리가능한 기기를 특정하고, 특정된 기기로 제어 신호를 전송할 수 있다.

제어부(180)는 로봇의 전반적인 동작을 제어하는 적어도 하나의 컨트롤러(프로세서)를 포함할 수 있다. 상기 적어도 하나의 컨트롤러는 CPU, AP(application processor), 마이크로컴퓨터, 집적 회로, ASIC(application specific integrated circuit), FPGA(field programmable gate array) 등을 포함할 수 있다.

특히, 제어부(180)는 마이크로폰(122)을 통해 사용자의 음성을 획득하고, 스테레오 카메라(22)를 통해 사용자의 제스쳐를 획득할 수 있다. 제어부(180)는 획득된 제스쳐에 기초하여 포인팅 위치를 인식하고, 인식된 포인팅 위치를 포함하는 영상을 헤드 카메라(32) 또는 스테레오 카메라(22)를 통해 획득할 수 있다. 제어부(180)는 획득된 영상에 기초하여 포인팅 대상 또는 포인팅 지점을 식별할 수 있다. 이를 위해, 제어부(180)는 상기 획득된 영상을 인식하는 영상 인식 프로세서(미도시)를 포함할 수 있다.

또한, 제어부(180)는 획득된 음성에 기초하여 명령(제어 명령 등)을 인식할 수 있다. 이를 위해, 제어부(180)는 상기 획득된 음성을 인식하는 음성 인식 프로세서(미도시)를 포함할 수 있다.

제어부(180)는 식별된 포인팅 대상(또는 지점) 및 인식된 명령에 기초한 제어 동작을 수행하거나, 관련된 기기로 제어 신호를 전송할 수 있다.

전원 공급부(190)는 로봇에 포함된 구성들 각각의 동작을 위한 전원을 공급할 수 있다. 예컨대, 전원 공급부(190)는 본체(2) 내부에 구비되는 배터리를 포함할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 로봇의 동작 방법을 설명하기 위한 플로우차트이다.

도 3을 참조하면, 로봇(1)은 사용자로부터 음성 및 제스쳐를 획득할 수 있다(S100).

로봇(1)의 제어부(180)는 마이크로폰(122)을 통해 사용자의 음성을 획득할 수 있다. 또한, 제어부(180)는 본체(2)에 구비된 스테레오 카메라(22) 또는 헤드(3)에 구비된 헤드 카메라(32)를 통해 사용자의 제스쳐를 포함하는 영상을 획득할 수 있다.

상기 음성은 로봇(1)이 처리할 명령을 포함할 수 있다. 실시 예에 따라, 상기 음성은 포인팅 대상(또는 지점)을 간접적으로 나타내는 단어나 어구(이하, '키워드'라 정의함)를 포함할 수 있다. 예컨대, 상기 음성은 상기 포인팅 대상을 직접적으로 나타내는 고유명사 대신, 상기 포인팅 대상을 가리키는 대명사(이것, 저것, 여기, 저기 등)를 포함할 수 있다.

상기 제스쳐는 소정 위치(포인팅 위치)를 가리키는 사용자의 손 동작이나 발 동작, 시선, 얼굴 회전 등을 포함할 수 있다.

한편, 마이크로폰(122)은 로봇(1)의 구동 중 항상 활성화되어 상기 사용자의 음성을 획득할 수 있다. 이 경우, 제어부(180)는 마이크로폰(122)을 통해 시동어를 포함하는 음성을 획득한 경우, 스테레오 카메라(22) 또는 헤드 카메라(32)를 활성화하여 상기 사용자의 제스쳐를 포함하는 영상을 획득할 수 있다.

실시 예에 따라, 로봇(1)은 주행 중에는 스테레오 카메라(22) 및 헤드 카메라(32)를 활성화할 수 있다. 이 경우, 제어부(180)는 시동어 없이도 스테레오 카메라(22) 또는 헤드 카메라(32)를 통해 상기 사용자의 제스쳐를 포함하는 영상을 획득할 수 있다.

로봇(1)은 획득된 음성 및 제스쳐에 기초하여, 포인팅 위치 및 명령을 인식할 수 있다(S110).

제어부(180; 또는 영상 인식 프로세서)는, 상기 사용자의 제스쳐를 포함하는 영상을 분석하여, 상기 제스쳐에 대응하는 포인팅 위치(또는 포인팅 방향)를 인식할 수 있다. 실시 예에 따라, 제어부(180; 또는 음성 인식 프로세서)는 상기 획득된 음성에 포함된 키워드에 기초하여 상기 포인팅 위치를 인식할 수도 있다.

또한, 제어부(180; 또는 음성 인식 프로세서)는 상기 획득된 음성에 포함된 명령을 인식할 수 있다.

로봇(1)은 인식된 포인팅 위치를 포함하는 영상을 획득할 수 있다(S120).

제어부(180)는 인식된 포인팅 위치에 기초하여, 헤드 카메라(32)가 상기 포인팅 위치를 향하도록 헤드(3)를 회전시킬 수 있다. 상기 헤드(3)의 회전을 위해, 제어부(180)는 제2 헤드 모터(153)를 제어할 수 있다.

실시 예에 따라, 제어부(180)는 헤드 카메라(32)가 상기 포인팅 위치를 향하도록 제1 헤드 모터(151) 및/또는 바디 틸팅 모터(155)를 제어할 수도 있다.

제2 헤드 모터(153)는 헤드 카메라(32)가 향하는 방향을 좌우로 이동시킬 수 있고, 제1 헤드 모터(151) 및/또는 바디 틸팅 모터(155)는 헤드 카메라(32)가 향하는 방향을 상하로 이동시킬 수 있다. 즉, 제어부(180)는 제2 헤드 모터(153), 제1 헤드 모터(151) 및/또는 바디 틸팅 모터(155)를 제어하여, 헤드 카메라(32)가 상기 포인팅 위치를 정확히 향하도록 제어할 수 있다.

제어부(180)는 상기 포인팅 위치를 포함하는 영상을 획득하도록 상기 헤드 카메라(32)를 제어할 수 있다.

다만, 실시 예에 따라서는, 제어부(180)는 스테레오 카메라(22)를 이용하여 상기 포인팅 위치를 포함하는 영상을 획득할 수도 있다. 이 경우, 제어부(180)는 스테레오 카메라(22)가 상기 포인팅 위치를 향하도록 바디 틸팅 모터(155) 및/또는 구동 모터(160)를 제어할 수 있다.

로봇(1)은 획득된 영상 및 음성 중 적어도 하나에 기초하여, 포인팅 대상을 식별할 수 있다(S130).

제어부(180)는 상기 포인팅 위치를 포함하는 영상과, 상기 획득된 음성 중 적어도 하나를 이용하여, 사용자가 가리키는 포인팅 대상(또는 지점)을 식별할 수 있다.

예컨대, 제어부(180; 또는 영상 인식 프로세서)는 상기 포인팅 위치를 포함하는 영상으로부터, 상기 영상에 포함된 적어도 하나의 오브젝트 중 상기 포인팅 위치에 대응하거나 상기 포인팅 위치와 가장 가깝게 위치한 오브젝트를 상기 포인팅 대상으로서 식별할 수 있다.

또는, 제어부(180)는 상기 포인팅 위치를 포함하는 영상으로부터 상기 포인팅 위치에 대응하는 포인팅 지점을 식별할 수도 있다. 이 경우, 제어부(180)는 상기 포인팅 지점의 위치 정보를 획득할 수 있고, 상기 위치 정보는 로봇(1) 등에 의해 설정된 좌표 정보를 포함할 수 있다.

한편, 제어부(180)는 상기 획득된 음성에 포함된 키워드에 기초하여, 상기 포인팅 위치를 포함하는 영상으로부터 포인팅 대상(또는 지점)을 식별할 수 있다. 예컨대, 상기 키워드가 '대상'을 가리키는 대명사(이것, 저것 등)를 포함하는 경우, 제어부(180)는 상기 포인팅 위치를 포함하는 영상으로부터 포인팅 대상을 식별할 수 있다. 또는, 상기 키워드가 '지점'을 가리키는 대명사(여기, 저기 등)를 포함하는 경우, 제어부(180)는 상기 포인팅 위치를 포함하는 영상으로부터 포인팅 지점을 식별할 수 있다.

한편, 제어부(180)는 상기 획득된 음성에 포함된 명령에 기초하여 상기 영상으로부터 포인팅 대상(또는 지점)을 식별할 수도 있다. 예컨대, 상기 명령이 "끄다"에 대응하는 경우, 제어부(180)는 상기 포인팅 위치에 대응하는 "조명"과 "장난감" 중 "조명"을 상기 포인팅 대상으로 식별할 수 있다. 또는, 상기 명령이 "청소하다" 또는 "치우다"에 대응하는 경우, 제어부(180)는 상기 포인팅 위치에 대응하는 "공기청정기"와 "이물" 중 "이물"을 상기 포인팅 대상으로 식별(또는 "이물"이 위치한 지점을 포인팅 지점으로 식별)할 수 있다.

로봇(1)은 식별된 포인팅 대상 및 인식된 명령에 기초한 제어 동작을 수행할 수 있다(S140).

제어부(180)는 식별된 포인팅 대상 및 인식된 명령에 기초한 제어 동작을 수행함으로써 상기 명령을 처리할 수 있다.

한편, 제어부(180)는 인식된 명령이 로봇(1)에 의해 처리가능한 경우, 상기 명령을 직접 처리하기 위해 로봇(1)에 포함된 구성들의 동작을 제어할 수 있다. 이와 관련된 일례는 도 4 내지 도 6을 통해 후술한다.

반면, 제어부(180)는 인식된 명령이 로봇(1)에 의해 처리 불가능하고, 로봇(1)와 통신 연결된 다른 기기에 의해 처리 가능한 경우, 상기 연결된 다른 기기로 상기 명령에 대응하는 제어 신호를 전송할 수도 있다. 이에 대해서는 추후 도 7 내지 도 10을 통해 설명한다.

도 4 내지 도 6은 도 3에 도시된 로봇의 동작 방법과 관련된 예시도들이다.

도 4를 참조하면, 사용자(500)는 조명(400)을 끄고자 하는 경우, 조명(400)을 끄도록 제어하는 명령을 포함하는 음성(501)을 발화하고, 조명(400)을 가리키는 제스쳐(502)를 취할 수 있다.

로봇(1)은 마이크로폰(122)을 통해 사용자(500)의 음성(501)을 획득하고, 스테레오 카메라(22)를 이용하여 사용자(500)의 제스쳐(502)를 포함하는 영상을 획득할 수 있다.

제어부(180; 또는 음성 인식 프로세서)는 획득된 음성(501)에 포함된 키워드("꺼줘")로부터 "끄다"라는 명령을 인식할 수 있다.

또한, 제어부(180; 또는 영상 인식 프로세서)는 획득된 영상에 포함된 제스쳐(502)에 기초하여, 포인팅 위치가 로봇(1)의 후방 상측에 해당함을 인식할 수 있다.

도 5를 참조하면, 제어부(180)는 헤드(3)에 구비된 헤드 카메라(32)가 상기 인식된 포인팅 위치를 향하도록 제1 헤드 모터(151), 제2 헤드 모터(153), 바디 틸팅 모터(155), 및 구동 모터(160) 중 적어도 하나를 제어할 수 있다.

제어부(180)는 상기 적어도 하나의 모터를 제어함에 따라 헤드 카메라(32)가 상기 포인팅 위치를 향하면, 상기 포인팅 위치를 포함하는 영상을 획득하도록 상기 헤드 카메라(32)를 제어할 수 있다.

제어부(180)는 헤드 카메라(32)를 통해 획득된 영상에 포함된 적어도 하나의 오브젝트를 인식할 수 있다. 예컨대, 상기 영상에 조명(400)이 포함된 경우, 제어부(180)는 포인팅 대상이 조명인 것으로 식별할 수 있다.

실시 예에 따라, 제어부(180)는 로봇(1)이 배치된 공간(예컨대, 가정)에 존재하는 복수의 조명들 중, 로봇(1)의 위치 정보 등에 기초하여 상기 영상에 포함된 조명(400)이 어떠한 조명에 대응하는지를 식별할 수 있다. 예컨대, 제어부(180)는 로봇(1)의 위치 정보에 기초하여, 상기 조명(400)이 가정 내의 복수의 조명들 중 "조명 1"에 해당하는 것으로 식별할 수 있다.

실시 예에 따라, 제어부(180)는 획득된 영상으로부터 복수의 오브젝트들이 인식된 경우, 상기 포인팅 위치와 가장 가까운 오브젝트를 상기 포인팅 대상으로 식별할 수 있다. 또는, 제어부(180)는 인식된 명령과 관련된 오브젝트를 상기 포인팅 대상으로 식별할 수도 있다.

즉, 제어부(180)는 사용자의 음성으로부터 "조명"을 직접적으로 나타내는 키워드(고유명사 등)를 획득하지 않고도, 사용자의 음성 및 제스쳐에 기초하여 포인팅 대상이 "조명"임을 식별할 수 있다.

결과적으로, 제어부(180)는 식별된 포인팅 대상 및 인식된 명령에 기초하여, 사용자의 음성 및 제스쳐가 "조명 1을 오프"시키는 명령을 포함함을 인식할 수 있다.

도 6을 참조하면, 제어부(180)는 인식 결과에 기초하여 조명(400)을 오프시키는 제어 신호를 통신부(110)를 통해 조명(400) 또는 조명 제어 장치(미도시)로 전송할 수 있다. 조명(400) 또는 조명 제어 장치(미도시)는 수신된 제어 신호에 응답하여 조명(400)을 오프시킬 수 있다.

즉, 도 3 내지 도 6에 도시된 실시 예에 따르면, 로봇(1)은 사용자의 음성 및 제스쳐에 기초하여 제어 명령 및 제어 대상(포인팅 대상)을 정확히 인식할 수 있다. 특히, 로봇(1)은 사용자로부터 제어 대상을 나타내는 고유명사와 같은 직접적인 키워드를 획득하지 않고도 상기 제어 대상을 원활히 인식할 수 있다. 이에 따라, 사용자는 로봇(1)과의 기정의된 방식에 따른 음성을 발화하지 않고 자연스러운 방식의 발화와 제스쳐를 통해 원하는 명령을 편리하게 입력할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 로봇의 동작 방법을 설명하기 위한 플로우차트이다.

도 7을 참조하면, 로봇(1)은 사용자의 음성 및 제스쳐를 획득하고(S200), 획득된 음성 및 제스쳐에 기초하여 포인팅 위치 및 명령을 인식할 수 있다(S210). 로봇(1)은 인식된 포인팅 위치를 포함하는 영상을 획득하고(S220), 획득된 영상 및 음성 중 적어도 하나에 기초하여 포인팅 대상(또는 지점)을 식별할 수 있다(S230).

S200 단계 내지 S230 단계는 도 3의 S100 단계 내지 S130 단계와 실질적으로 동일한 바, 이에 대한 구체적인 설명은 생략한다.

로봇(1)은, 식별된 포인팅 대상 및 인식된 명령에 기초하여, 상기 명령을 처리 가능한 기기를 특정할 수 있다(S240).

제어부(180)는 메모리(170)에 저장된 복수의 기기들 각각의 기기 정보에 기초하여, 상기 복수의 기기들 중 상기 명령을 처리 가능한 기기를 특정할 수 있다.

예컨대, 상기 기기 정보에는 처리 가능한 명령들의 목록이 포함될 수 있다. 제어부(180)는 상기 인식된 명령을 포함하는 기기 정보에 대응하는 기기를 상기 명령을 처리 가능한 기기로 특정할 수 있다.

로봇(1)은 특정된 기기로 상기 명령을 전달할 수 있다(S250).

구체적으로, 제어부(180)는 포인팅 대상에 대한 정보와 명령에 대한 정보를 포함하는 제어 신호를, 통신부(110)를 통해 상기 특정된 기기로 전송할 수 있다.

도시되지는 않았으나, 로봇(1)은 상기 특정된 기기로부터 상기 명령에 대응하는 동작의 완료를 나타내는 정보를 수신하고, 수신된 정보에 기초하여 상기 명령이 처리되었음을 사용자에게 알릴 수 있다.

도 8 내지 도 10은 도 7에 도시된 로봇의 동작 방법과 관련된 예시도들이다.

도 8을 참조하면, 사용자(900)는 특정 지점에 존재하는 이물질(800)을 치우고자 하는 경우, 상기 특정 지점의 이물질(800)을 치우도록 제어하는 명령을 포함하는 음성(901)을 발화하고, 상기 특정 지점 또는 이물질(800)을 가리키는 제스쳐(902)를 취할 수 있다.

로봇(1)은 마이크로폰(122)을 통해 사용자(900)의 음성(901)을 획득하고, 스테레오 카메라(22)를 이용하여 사용자(900)의 제스쳐(902)를 포함하는 영상을 획득할 수 있다.

제어부(180; 또는 음성 인식 프로세서)는 획득된 음성(901)에 포함된 키워드("치워줄래")로부터 "치우다"라는 명령을 인식할 수 있다.

또한, 제어부(180; 또는 영상 인식 프로세서)는 획득된 영상에 포함된 제스쳐(902)에 기초하여, 포인팅 위치가 로봇(1)의 전방 하측에 해당함을 인식할 수 있다.

도 9를 참조하면, 제어부(180)는 헤드(3)에 구비된 헤드 카메라(32)가 상기 인식된 포인팅 위치를 향하도록 제1 헤드 모터(501), 제2 헤드 모터(153), 바디 틸팅 모터(155), 및 구동 모터(160) 중 적어도 하나를 제어할 수 있다. 예컨대 도 9의 실시 예에서는, 제어부(180)는 제1 헤드 모터(501) 및/또는 바디 틸팅 모터(155)를 제어하여 헤드 카메라(32)가 상기 인식된 포인팅 위치를 향하게 할 수 있다.

제어부(180)는 상기 제어 결과에 따라 헤드 카메라(32)가 상기 포인팅 위치를 향하면, 상기 포인팅 위치를 포함하는 영상을 획득하도록 상기 헤드 카메라(32)를 제어할 수 있다.

제어부(180)는 헤드 카메라(32)를 통해 획득된 영상에 포함된 적어도 하나의 오브젝트를 인식할 수 있다. 예컨대, 상기 영상에 이물질(800)이 포함된 경우, 제어부(180)는 포인팅 대상이 이물질(800)인 것으로 식별할 수 있다.

실시 예에 따라, 제어부(180)는 사용자의 음성에 포함된 키워드("여기")에 기초하여, 포인팅 위치에 대응하는 포인팅 지점을 식별할 수도 있다. 이 경우, 제어부(180)는 상기 로봇(1)이 배치된 공간에 대해 설정된 좌표 정보에 기초하여, 상기 포인팅 지점에 대응하는 좌표(예컨대, (201, 53))를 획득할 수도 있다.

제어부(180)는 식별된 포인팅 대상(또는 지점)과 인식된 명령에 기초하여, 사용자의 음성 및 제스쳐가 "이물질을 치움"에 대응하는 명령을 포함함을 인식할 수 있다.

제어부(180)는 복수의 기기들 중, 상기 인식된 명령을 처리가능한 기기로서 로봇 청소기를 특정할 수 있다.

도 10을 참조하면, 제어부(180)는 인식 결과에 기초하여 상기 이물질(800)을 치우도록 하는 제어 신호를 통신부(110)를 통해 로봇 청소기(1000)로 전송할 수 있다. 한편, 상기 제어 신호는 상기 이물질(800)이 존재하는 지점의 좌표를 포함할 수 있다.

로봇 청소기(1000)는 수신된 제어 신호에 응답하여 상기 좌표에 해당하는 지점으로 이동하고, 상기 이물질(800)의 제거 동작을 수행할 수 있다.

제어부(180)는 로봇 청소기(1000)로부터 이물질(800)의 제거가 완료됨을 나타내는 메시지를 수신하고, 수신된 메시지에 기초하여 명령이 처리되었음을 나타내는 알림을 디스플레이(24) 또는 스피커(140)를 통해 출력할 수 있다.

또는, 제어부(180)는 스테레오 카메라(22) 또는 헤드 카메라(32)를 통해 획득되는 영상으로부터 이물질(800)의 제거 여부를 확인하고, 확인 결과에 따라 상기 명령이 처리되었음을 나타내는 알림을 디스플레이(24) 또는 스피커(140)를 통해 출력할 수 있다.

즉, 도 7 내지 도 10에 도시된 실시 예에 따르면, 로봇(1)은 사용자의 음성 및 제스쳐를 통해 인식되는 제어 명령 및 제어 대상에 기초하여, 상기 제어 명령을 처리가능한 다른 기기들을 제어할 수 있다. 이에 따라, 사용자는 마이크로폰이나 카메라 등의 수단이 구비되지 않은 다른 기기의 동작을, 상기 로봇(1)을 통해 음성 및 제스쳐로 편리하게 제어할 수 있다.

도 11은 도 7에 도시된 로봇의 동작 방법과 관련된 보다 구체적인 예를 나타내는 플로우차트이다.

도 11을 참조하면, 로봇(1)은 사용자의 음성으로부터 인식된 명령을 처리가능한 기기를 특정할 수 있다(S300). 또한, 로봇(1)은 사용자의 제스쳐 및/또는 음성에 기초하여 포인팅 대상을 식별할 수 있다(S310).

S300 단계와 S310 단계는 도 3 및 도 7에서 상술한 내용과 유사한 바, 이에 대한 설명은 생략한다.

로봇(1)은 식별된 포인팅 대상이, 상기 특정된 기기가 처리 가능한 대상인지 여부를 확인할 수 있다(S320).

예컨대, 제어부(180)는 상기 특정된 기기의 기기 정보와 상기 식별된 포인팅 대상에 기초하여, 상기 특정된 기기가 상기 포인팅 대상에 대한 명령을 처리가능한지 여부를 확인할 수 있다.

일례로, 제어부(180)는 기기 정보에 포함된 상기 기기의 스펙에 기초하여 상기 포인팅 대상에 대한 명령을 처리가능한지 여부를 확인할 수 있다. 또는, 제어부(180)는 기기 정보에 포함된 처리 가능 대상 목록에 상기 포인팅 대상이 포함되어 있는지 여부를 확인함으로써, 상기 명령을 처리가능한지 여부를 확인할 수 있다.

확인 결과, 상기 특정된 기기가 상기 포인팅 대상에 대한 명령을 처리할 수 없는 경우(S320의 NO), 로봇(1)은 상기 포인팅 대상이 처리 불가한 대상임을 디스플레이(24)나 스피커(140) 등을 통해 사용자에게 알릴 수 있다(S330).

한편, 상기 특정된 기기가 상기 포인팅 대상에 대한 명령을 처리가능한 것으로 확인되는 경우(S320의 YES), 로봇(1)은 상기 특정된 기기가 현재 명령을 처리가능한 상태인지 여부를 확인할 수 있다(S340).

예컨대, 제어부(180)는 특정된 기기로 상태 정보의 제공 요청을 전송할 수 있다. 상기 기기는, 수신된 요청에 응답하여 기기의 상태 정보를 로봇(1)으로 전송할 수 있다. 제어부(180)는 수신된 상태 정보에 기초하여 상기 특정된 기기가 현재 명령을 처리가능한 상태인지 여부를 확인할 수 있다.

실시 예에 따라, 로봇(1)은 복수의 기기들 각각으로부터 주기적으로 상태 정보를 제공받을 수도 있다. 이 경우, 제어부(180)는 별도의 요청을 전송하지 않고, 상기 특정된 기기가 현재 명령을 처리가능한 상태인지 여부를 확인할 수도 있다.

상기 상태 정보는 기기의 동작 상태, 배터리 정보 등을 포함할 수 있다. 일례로, 상기 기기가 현재 대기중인 경우, 제어부(180)는 상기 기기가 명령을 처리가능한 상태인 것으로 확인할 수 있다. 반면, 상기 기기가 현재 동작을 수행 중이거나, 상기 기기의 배터리 잔량이 기준량보다 낮은 경우, 제어부(180)는 상기 기기가 명령을 처리 불가한 상태인 것으로 확인할 수 있다.

도 11에서는 S320 단계의 수행 후 S340 단계가 수행되는 것으로 도시하였으나, 실시 예에 따라서는 S320 단계와 S340 단계는 병렬적으로 수행되거나, S340 단계의 수행 후 S320 단계가 수행될 수도 있다.

확인 결과 상기 특정된 기기가 명령을 처리 불가한 상태인 경우(S340의 NO), 로봇(1)은 상기 특정된 기기가 명령을 처리 불가한 상태임을 디스플레이(24) 및/또는 스피커(140)를 통해 사용자에게 알릴 수 있다(S350).

반면 확인 결과 상기 특정된 기기가 명령을 처리 가능한 상태인 경우(S340의 YES), 로봇(1)은 상기 특정된 기기로 상기 식별된 포인팅 대상 및 상기 인식된 명령에 대응하는 제어 신호를 전송할 수 있다(S360).

로봇(1)은 상기 특정된 기기에 의해 명령이 처리됨을 감지하고, 감지 결과에 기초하여 상기 명령의 처리 완료를 나타내는 알림을 출력할 수 있다(S370).

예컨대, 상기 특정된 기기는 상기 제어 신호에 따른 동작을 수행함으로써 상기 명령을 처리할 수 있다. 상기 명령의 처리가 완료된 경우, 상기 기기는 명령의 처리 완료를 나타내는 메시지를 로봇(1)으로 전송할 수 있다. 제어부(180)는 수신된 메시지에 기초하여 상기 명령의 처리 완료를 나타내는 알림을 디스플레이(24) 및/또는 스피커(140)를 통해 출력할 수 있다.

실시 예에 따라, 제어부(180)는 스테레오 카메라(22), 헤드 카메라(32), 및 마이크로폰(122) 중 적어도 하나를 통해 획득되는 영상이나 음향으로부터 상기 명령의 처리 완료를 감지할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

음성을 획득하는 마이크로폰;
제스쳐를 포함하는 제1 영상을 획득하는 카메라; 및
상기 획득된 음성을 인식하고,
상기 제1 영상에 포함된 상기 제스쳐에 대응하는 포인팅 위치를 인식하고,
상기 인식된 포인팅 위치를 포함하는 제2 영상을 획득하도록 상기 카메라를 제어하고,
상기 제2 영상에 포함된 포인팅 대상을 식별하고,
상기 식별된 포인팅 대상 및 상기 인식된 음성에 포함된 명령에 기초한 제어 동작을 수행하는 제어부를 포함하는 로봇.
제1항에 있어서,
상기 제어부는,
상기 획득된 음성에 포함된 상기 명령, 및 상기 포인팅 대상을 나타내는 키워드를 인식하는 로봇.
제2항에 있어서,
상기 포인팅 대상을 나타내는 키워드는 상기 포인팅 대상과 관련된 대명사를 포함하는 로봇.
제2항에 있어서,
상기 제어부는,
상기 획득된 제2 영상에 포함된 적어도 하나의 오브젝트를 인식하고,
인식된 적어도 하나의 오브젝트 및 상기 키워드에 기초하여 상기 포인팅 대상을 식별하는 로봇.
제1항에 있어서,
상기 제어부는,
상기 획득된 제2 영상에 포함된 적어도 하나의 오브젝트를 인식하고,
상기 적어도 하나의 오브젝트 중 상기 포인팅 위치와 가장 가까운 오브젝트를 상기 포인팅 대상으로 식별하는 로봇.
제1항에 있어서,
상기 제스쳐는,
상기 포인팅 위치를 가리키는 사용자의 손 동작, 발 동작, 시선, 및 얼굴 회전 중 적어도 하나를 포함하는 로봇.
제1항에 있어서,
상기 카메라는,
본체에 배치된 제1 카메라; 및
상기 본체의 상부에 회전가능하게 구비된 헤드에 배치되는 제2 카메라를 포함하고,
상기 제1 영상은 상기 제1 카메라를 통해 획득되고,
상기 제2 영상은 상기 제2 카메라를 통해 획득되는 로봇.
제7항에 있어서,
상기 본체에 대해 상기 헤드를 회전시키는 헤드 모터를 더 포함하고,
상기 제어부는,
상기 제2 카메라가 상기 인식된 포인팅 위치를 향하도록 상기 헤드 모터를 제어하는 로봇.
제1항에 있어서,
상기 제어부는,
상기 식별된 포인팅 대상 및 상기 인식된 명령에 기초한 제어 동작의 수행이 완료되면, 상기 명령의 처리 완료를 나타내는 알림을 디스플레이와 스피커 중 적어도 하나를 통해 출력하는 로봇.
제1항에 있어서,
적어도 하나의 기기와 연결하기 위한 통신부를 더 포함하고,
상기 제어부는,
상기 식별된 포인팅 대상 및 상기 인식된 명령에 기초하여, 상기 명령을 처리가능한 기기를 특정하고,
상기 특정된 기기로 상기 명령에 대응하는 제어 신호를 전송하도록 상기 통신부를 제어하는 로봇.
제10항에 있어서,
상기 제어부는,
상기 특정된 기기로부터 상기 명령의 처리 완료를 나타내는 메시지를 수신하고,
수신된 메시지에 응답하여 상기 명령의 처리 완료를 나타내는 알림을 디스플레이와 스피커 중 적어도 하나를 통해 출력하는 로봇.
제10항에 있어서,
상기 제어부는,
상기 카메라를 통해 획득된 영상에 기초하여 상기 명령의 처리 완료 여부를 감지하고,
감지 결과에 기초하여 상기 명령의 처리 완료를 나타내는 알림을 디스플레이와 스피커 중 적어도 하나를 통해 출력하는 로봇.
제1항에 있어서,
상기 포인팅 대상은 포인팅 지점을 포함하고,
상기 제어부는 상기 포인팅 지점에 대응하는 좌표를 획득하는 로봇.