KR20200145642A

KR20200145642A - 영상의 투사 방법 및 이를 구현하는 로봇

Info

Publication number: KR20200145642A
Application number: KR1020190171901A
Authority: KR
Inventors: 최형진; 김설란; 김병준; 윤종욱
Original assignee: 엘지전자 주식회사
Priority date: 2019-06-20
Filing date: 2019-12-20
Publication date: 2020-12-30
Also published as: KR102336246B1; US20200404232A1; US10893245B1; WO2020256188A1

Abstract

영상의 투사 방법 및 이를 구현하는 로봇이 개시된다. 본 발명의 로봇은 프로젝터를 구비하며, 투사될 영상의 내용과 관련된 제1 정보 및 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 공간 내의 투사 영역을 선정하고, 투사 영역으로 영상을 투사한다.

Description

영상의 투사 방법 및 이를 구현하는 로봇{METHOD FOR PROJECTING IMAGE VIDEO AND ROBOT IMPLEMENTING THEREOF}

본 발명은 영상의 투사 방법 및 이를 구현하는 로봇에 관한 기술이다.

최근 가정용 서비스 로봇이 출시되고 있고, 이러한 로봇은 디스플레이 장치 또는 프로젝션 장치가 탑재되어 사용자에게 영상 서비스를 제공할 수 있다.

특히, 프로젝션 장치가 로봇에 탑재된 경우, 로봇은 스크린, 벽면, 천장 등에 영상을 투사하여 영상을 디스플레이한다. 이를 통해 가정 내에서 실내 극장이 구현될 수 있다.

한편, 영상의 타입(type), 영상이 투사되는 공간의 주변 환경 등에 따라 영상이 투사되는 영역, 영상에 따른 화면 크기 등이 최적으로 결정되어야 한다.

그러나, 종래의 프로젝션 장치가 탑재된 로봇은 미리 설정된 스크린이나 로봇과 가장 인접한 벽면 또는 천장에 영상을 투사하므로, 사용자에게 최적의 영상 서비스를 제공하지 못하는 문제점이 있다.

본 발명의 목적은 컨텐츠의 타입에 따라 로봇이 최적의 조건으로 컨텐츠를 투사하여 사용자의 편의성을 증대시킬 수 있는 로봇을 이용한 영상의 투사 방법 및 이를 구현하는 로봇을 제공하는 것이다.

또한, 본 발명의 다른 목적은 영상을 즉각적으로 사용자와 인접한 영역에 투사하여 편리한 영상 제공 서비스를 사용자에게 제공할 수 있는 영상의 투사 방법 및 이를 구현하는 로봇을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상술한 바와 같은 과제를 해결하기 위해, 본 발명의 일 실시예에 의한 로봇은 프로젝터를 통해 영상을 투사하여 사용자에게 제공하되, 투사될 영상의 내용과 관련된 제1 정보 및 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 공간 내의 투사 영역을 선정하는 것을 기술적 특징으로 한다.

본 발명의 일 실시예에 의한 영상을 투사하는 로봇은 공간 내에서 로봇을 이동시키는 주행부, 영상을 투사하는 프로젝터, 상기 투사될 영상의 내용과 관련된 제1 정보 및 상기 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 상기 공간 내의 투사 영역을 선정하고, 상기 투사 영역으로 상기 영상을 투사하도록 상기 주행부 및 상기 프로젝터를 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 영상을 투사하는 로봇은 각도 조절이 가능한 본체부, 공간 내에서 상기 본체부를 이동시키는 주행부, 영상을 투사하며, 회전 및 각도 조절이 가능한 프로젝터 및 상기 투사될 영상의 내용과 관련된 제1 정보, 상기 투사될 영상을 시청하는 사용자와 관련된 제2 정보 및 상기 공간 내의 2 이상의 투사 가능 영역의 물리적 특성과 관련된 제3 정보 중 적어도 하나에 기초하여 상기 공간 내의 투사 영역을 선정하고, 상기 공간의 조도값에 기초하여 상기 투사 영역으로 상기 영상을 투사할 로봇의 제1 위치를 결정하며, 상기 제1 위치에서 상기 투사 영역으로 상기 영상을 투사하도록 상기 주행부를 이동시키고 상기 프로젝터의 각도를 조절하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 로봇을 이용한 영상의 투사 방법은 제어부가 상기 투사될 영상의 내용과 관련된 제1 정보 및 상기 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 상기 공간 내의 투사 영역을 선정하는 단계, 상기 제어부가 상기 투사 영역으로 상기 영상을 투사할 제1 위치를 결정하는 단계, 주행부가 상기 제어부의 제어 하에 상기 제1 위치로 로봇을 이동시키는 단계 및 프로젝터가 상기 제어부의 제어 하에 상기 제1 위치에서 상기 영상을 투사하는 단계를 포함한다.

본 발명에 따르면, 컨텐츠의 타입에 따라 로봇이 최적의 조건으로 컨텐츠를 투사해주므로 사용자의 편의성이 증대될 수 있다.

또한, 본 발명에 따르면, 영상을 즉각적으로 사용자와 인접한 영역에 투사하여 편리한 영상 제공 서비스를 사용자에게 제공할 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 의한 로봇의 외관을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 구성 요소 간의 관계를 도시한 도면이다.
도 3, 도 4, 도 9 및 도 10은 본 발명의 일 실시예에 따른 로봇을 이용한 영상의 투사 방법의 흐름도를 도시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 공간의 투사 가능 영역의 일례를 도시한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따라서, 투사 영역으로 제1 타입의 영상을 투사하는 로봇의 동작을 도시한 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

이하, 본 명세서에서 로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다. 여기서, 로봇이 수행하는 기능이란 청소, 안내, 맵 작성, 컨텐츠 제공 등의 기능 및 보안 기능 등과 같이 이동하는 장치가 제공할 수 있는 다양한 기능들을 포함한다.

로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.

로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.

도 1은 본 발명의 일 실시예에 의한 로봇의 외관을 보여주는 도면이다.

도 1을 참조하면, 로봇(100)은 특정 공간 내에서 이동하는 로봇으로서, 사용자와의 커뮤니케이션이나 인터랙션을 통해 사용자에게 정보를 제공하거나 특정 행위를 유도하는 등의 동작을 수행하는 커뮤니케이션 로봇에 해당할 수 있다.

예컨대, 로봇(100)은 가정에 배치되는 홈 로봇일 수 있다. 이러한 홈 로봇은 사용자와의 인터랙션을 통해 사용자에게 각종 정보를 제공하거나, 가정 내에서 발생하는 이벤트를 모니터링하는 등의 동작을 수행할 수 있다.

로봇(100)은 제1 바디부(102), 제2 바디부(104), 주행부(106), 카메라(108), 프로젝터(110), 복수의 마이크(112) 및 스피커(114)를 포함한다.

제1 바디부(102)는 고정되며, 제2 바디부(104)는 제1 바디부(102) 상에서 좌우 방향으로 회전하고 상하 방향으로 각도 조절(즉, 틸팅)된다.

주행부(106)는 바디부들(102, 104)을 이동시킨다.

제2 바디부(104)의 상면에는 카메라(108) 및 프로젝터(110)가 부착될 수 있다.

카메라(108)는 공간에 대한 영상을 획득한다. 이 때, 카메라(108)는 제2 바디부(104)의 회전 및 틸팅에 따라 함께 회전 및 틸팅된다. 따라서, 카메라(108)는 공간에 대한 전방향 영상을 획득할 수 있다.

프로젝터(110)는 공간 내의 투사 영역에 영상을 투사한다. 이 때, 프로젝터(110) 역시 제2 바디부(104)의 회전 및 틸팅에 따라 함께 회전 및 틸팅된다.

한편, 도 1에는 도시되지 않았지만, 본 발명의 다른 실시예에 따르면, 제2 바디부(104)는 회전하거나 틸팅되지 않으며, 고정된 제2 바디부(106)의 외부면에서 카메라(108) 및 프로젝터(110) 중 어느 하나가 회전 및 틸팅될 수 있다.

복수의 마이크(112) 및 스피커(114) 역시 제2 바디부(104)에 부착된다.

도 2는 본 발명의 일 실시예에 따른 로봇(100)의 구성 요소 간의 관계를 도시한 도면이다.

도 2를 참조하면, 로봇(100)는 상기에서 설명한 주행부(106), 프로젝터(110), 복수의 마이크(112) 및 스피커(114) 이외에 통신부(116), 센싱부(118), 메모리(120) 및 프로세서(122)를 더 포함할 수 있다.

이하, 각 구성 요소 별로 그 기능을 설명하면 다음과 같다.

주행부(106)는 로봇(100)을 이동시킨다.

프로젝터(110)는 공간 내의 투사 영역에 영상을 투사한다. 이 때, 영상은 동영상을 포함하는 개념이다.

이 때, 투사되는 영상은 특정 타입(type)를 가진다. 일례로, 영상은 영상 통화의 수행을 위한 제1 타입의 영상일 수 있고, 사용자의 엔터테인먼트를 위한 컨텐츠 영상인 제2 타입의 영상일 수도 있다. 영상은 아래에서 설명하는 메모리(120)에 저장된 것일 수도 있고, 통신부(116)를 통해 수신된 것일 수도 있다.

또한, 프로젝터(110) 역시 제2 바디부(104)의 회전에 따라 회전 및 틸팅될 수 있으며, 따라서 공간 내에 존재하는 스크린, 공간의 바닥, 천장 및 벽면 등에 영상을 투사할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 제2 바디부(104)가 고정되어 있는 경우, 프로젝터(110) 자체의 투사 각도가 조절될 수도 있다.

복수의 마이크(112)는 사용자의 음성 신호 또는 로봇 주변의 소리 신호를 수신한다. 한편, 로봇 외부의 사운드를 원활히 획득하기 위해, 제2 바디부(104)의 외면에 복수의 마이크 홀이 형성될 수 있다. 마이크 홀 각각은 어느 하나의 마이크(112)에 대응한 위치에 형성되고, 마이크(112)은 마이크 홀을 통해 외부와 연통될 수 있다. 일례로서, 음성 신호는 공간 내에 존재하는 사용자의 개수에 대한 정보를 포함한다.

스피커(114)는 프로젝터(110)에 의해 투사된 영상의 소리 신호를 출력한다.

통신부(116)는 외부 서버, 공간 내의 IoT 장치 등의 외부의 전자 기기와 통신을 수행한다. 이를 위해, 통신부(116)는 이동통신 모듈, 근거리 통신 모듈 등을 포함할 수 있다.

이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식, 예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말 장치, 통신 서버 중 적어도 하나와 무선 신호를 송수신한다.

근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 포함할 수 있다.

한편, 외부 서버는 통신 서버 또는 영상 서비스 제공 서버일 수 있다. 그리고, IoT 장치는 공간에 존재하는 조명 기기, 음향 기기, 사용자 PC(Personal Computer) 등일 수 있다.

일례로, 통신부(116)는 통신 서버로부터 제1 타입의 영상을 수신할 수 있고, 영상 서비스 제공 서버 또는 사용자 PC로부터 제2 타입의 영상을 수신할 수 있다. 한편, 통신부(1116)는 조명 기기로 조도값 제어 명령 및 음향 기기로 영상의 소리 데이터를 전송할 수 있다.

센싱부(118)는 다양한 센서들을 이용하여 로봇(100)의 내부 정보 및 로봇(100)의 주변 환경 정보 등을 획득한다. 일례로, 센싱부(118)는 상기에서 설명한 카메라(108)와 대응되는 이미지 센서를 포함할 수 있으며, 더불어 근접 센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문 인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 라이다 센서, 레이더 등을 포함할 수 있다.

특히, 적외선 센서, 초음파 센서, 광 센서, 라이다 센서, 레이더 센서 등은 사용자의 위치 정보 또는 공간 상에 배치되는 하나 이상의 객체의 위치 정보를 센싱할 수 있다. 그리고, 조도 센서는 공간의 조도값을 측정할 수 있으며, 측정된 조도 값은 아래에서 설명하는 바와 같이 프로젝터(110)에서 투사된 영상의 화면 크기를 결정하는데 사용될 수 있다.

메모리(120)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 로봇(100)의 적어도 하나의 다른 구성요소들의 제어와 관련된 명령어 또는 데이터를 저장하고, 로봇(100)에서 구동되는 다수의 응용 프로그램 또는 애플리케이션을 저장한다. 특히, 메모리(120)는 엔터테인먼트를 위한 제2 타입의 영상을 저장할 수 있다.

프로세서(122)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다.

한편, 프로세서(122) 내에는 제어부(124)가 모듈로서 구현된다.

제어부(124)는 로봇(100)의 적어도 하나의 다른 구성요소들의 제어하거나 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

특히, 제어부(124)는 제2 바디부(104)의 회전 방향, 틸팅 각도를 제어할 수 있으며, 따라서 카메라(108) 및 프로젝터(110)의 회전 방향 및 틸팅 각도를 제어할 수 있다. 또한, 제어부(124)는 로봇(100)를 이동시키기 위해 주행부(106)를 제어할 수 있으며, 프로젝터(110)의 영상 투사 동작을 제어할 수 있다.

본 발명에 따르면, 제어부(124)는 투사될 영상의 내용과 관련된 제1 정보 및 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 공간 내의 투사 영역을 선정할 수 있다.

이 때. 제1 정보는 투사될 영상의 타입 정보 및 투사될 영상의 시청 등급 정보 중 적어도 하나를 포함할 수 있다. 그리고, 제2 정보는 투사될 영상을 시청할 사용자의 상태 정보, 사용자와 인접한 하나 이상의 객체의 위치 정보, 사용자의 개수의 정보 및 투사될 영상을 시청하는 사용자의 시청 이력 정보 중 적어도 하나를 포함할 수 있다.

사용자의 상태 정보는 사용자의 물리적인 상태 정보로서, 사용자의 위치 정보 및 사용자의 얼굴 방향 정보(즉, 얼굴 각도 정보) 중 적어도 하나를 포함할 수 있다. 그리고, 객체는 사용자와 기 설정된 거리 내에 존재하는 객체이다. 일례로, 객체는 공간 내에 배치된 가구 등일 수 있다.

또한, 제어부(124)는 공간 내에 위치하는 2 이상의 투사 가능 영역 각각의 물리적 특성과 관련된 제3 정보에 더 기초하여 투사 영역을 선정할 수 있다. 이 때, 제3 정보는 투사 가능 영역의 크기, 재질, 색상, 무늬 및 굴곡 중 적어도 하나를 포함할 수 있다.

사용자의 상태 정보는 복수의 마이크(112) 또는 카메라(108)를 포함하는 센싱부(118)에서 센싱된 정보에 기초하여 획득될 수 있다.

이하, 아래의 도면들을 참조하여, 영상을 투사하는 로봇(100)의 동작들을 보다 상세하게 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 로봇(100)을 이용한 영상의 투사 방법의 흐름도를 도시한 도면이다. 이하, 각 단계 별로 수행되는 과정을 상세하게 설명하기로 한다.

먼저, 단계(S310)에서, 통신부(116)는 외부 서버로부터 영상을 수신한다.

한편, 영상이 메모리(120)에 저장되어 있는 경우, 단계(S302)는 제어부(124)가 저장된 영상을 독출하는 단계로 대체될 수 있다.

다음으로, 단계(S320)에서, 제어부(124)는 영상의 타입을 판단한다. 즉, 제어부(124)는 영상이 제1 타입의 영상인지 제2 타입의 영상인지 여부를 판단한다.

앞서 설명한 바와 같이, 제1 타입의 영상은 영상 통화의 수행을 위한 영상과 같이 영상이 수신되는 즉시 투사되는 것이 바람직한 영상이고, 제2 타입의 영상은 영화, 드라마 등과 같은 사용자의 엔터테인먼트를 위한 컨텐츠 영상일 수 있다.

만약, 영상이 제1 타입의 영상인 경우, 단계(S330)에서, 제어부(124)는 영상 통화의 수신자인 제1 사용자와 기 설정된 제2 거리 내에 존재하는(즉, 제1 사용자와 인접한) 공간의 투사 가능 영역을 투사 영역으로 선정하고, 투사 영역으로 제1 타입의 영상을 투사하도록 프로젝터(110)를 제어한다.

즉, 로봇(100)는 제1 사용자의 위치와 인접한 위치로 이동한 후에 제1 타입의 영상을 선정된 투사 영역에 투사한다. 이 때, 제1 사용자의 상태 정보 및 사용자와 인접한 하나 이상의 위치 정보 중 적어도 하나를 이용하여 투사 영역을 선정할 수 있다.

이 때, 투사 영역은 제1 사용자와 인접한 공간의 바닥 영역, 벽면 영역, 천장 영역 중 어느 하나와 대응될 수 있다.

요컨대, 영상이 영상 통화를 위한 제1 타입의 영상인 경우, 영상 통화의 수신자인 제1 사용자는 즉각적으로 영상 통화를 수신하기를 원한다. 따라서, 로봇(100)은 제1 사용자의 상태 정보 및 사용자와 인접한 하나 이상의 위치 정보 중 적어도 하나를 이용하여 제1 사용자와 인접한 투사 영역을 선정하고, 선정된 투사 영역으로 제1 타입의 영상을 투사한다. 이러한 내용은 아래에서 보다 상세하게 설명하기로 한다.

한편, 단계(S330)에서, 제어부(124)는 로봇(100)과 가장 가까이 위치하는 공간의 투사 가능 영역을 투사 영역으로 선정할 수도 있다.

반대로, 영상이 제2 타입의 영상인 경우, 단계(S340)에서, 제어부(124)는 영상을 시청할 적어도 하나의 사용자의 개수, 영상의 시청 이력 및 영상의 시청 등급 및 공간 내의 2 이상의 투사 가능 영역의 물리적 특성 중 적어도 하나에 기초하여 공간 내의 투사 영역을 선정하고, 투사 영역으로 제2 타입의 영상을 투사하도록 프로젝터(110)를 제어한다.

본 발명의 일 실시예에 따르면, 영상이 제2 타입의 영상이고, 제2 타입의 영상이 적어도 하나 사용자 중 제2 사용자의 시청 이력과 관련된 것인 경우, 제어부(124)는 제2 사용자와 매칭된 공간 내의 서브 공간을 검색하고, 검색된 서브 공간 내의 투사 가능 영역을 투사 영역으로 선정할 수 있다.

일례로서, 공간이 주택이고, 서브 공간이 방이며, 공간 내의 특정 사용자가 시청한 컨텐츠 영상과 장르가 유사한 제2 타입의 영상이 수신되는 경우, 제어부(124)는 특정 사용자가 미리 지정한 방으로 수신된 제2 타입의 영상을 투사하도록 로봇(100)를 제어할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 영상이 제2 타입의 영상이고, 제2 타입의 영상에 시청 등급이 설정되어 있는 경우, 제어부(124)는 제2 타입의 영상의 시청 등급과 매칭되는 공간 내의 서브 공간을 검색하고, 검색된 서브 공간 내의 투사 가능 영역을 투사 영역으로 선정할 수 있다.

일례로서, 공간이 주택이고, 서브 공간이 방이고, 어린이가 포함된 2 이상의 사용자가 주택에 존재하며, 청소년 관람 불가 등급의 제2 타입의 영상이 수신되는 경우, 제어부(124)는 제2 타입의 영상의 시청 등급과 매칭되는 성인(부부)의 방으로 수신된 제2 타입의 영상을 투사하도록 로봇(100)를 제어할 수 있다.

또한, 본 발명의 또 다른 실시예에 따르면, 영상이 제2 타입의 영상인 경우, 제어부(124)는, 공간 내의 2 이상의 투사 가능 영역 중에서 사용자의 개수와 비례하는 영역 크기를 가지는 투사 가능 영역을 투사 영역으로 선정할 수 있다.

일례로서, 많은 수의 사용자가 주택에 존재하는 경우, 제어부(124)는 거실의 벽면으로 수신된 제2 타입의 영상을 투사하도록 로봇(100)를 제어할 수 있다.

이하, 단계(S330) 및 단계(S340) 각각에 대한 실시예들을 보다 상세하게 설명하기로 한다.

도 4는 영상 통화의 수신자인 제1 사용자와 인접한 위치로 제1 타입의 영상을 투사하는 단계(S330)의 일례를 도시한 흐름도이고, 도 5 및 도 6은 공간의 투사 가능 영역의 일례를 도시한 도면이고, 도 7 및 도 8은 투사 영역으로 제1 타입의 영상을 투사하는 로봇(100)의 동작을 도시한 도면이다.

이하, 도 4 내지 도 6을 참조하여 각 단계를 설명한다.

단계(S331)에서, 영상 통화의 수신자인 제1 사용자(510)의 상태 정보가 획득된다. 앞서 언급한 바와 같이 제1 사용자(510)의 상태 정보는 제1 사용자(510)의 위치 정보 및 제1 사용자(510)의 얼굴 방향 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 제1 사용자(510)의 상태 정보는 복수의 마이크(112)에서 수신된 제1 사용자(510)의 음성 신호에 기초하여 획득될 수 있다.

보다 상세하게, 복수의 마이크(112)는 제1 사용자(510)가 출력한 음성 신호를 각각 수신하고, 제어부(124)는 복수의 마이크(112)로부터 수신되는 복수의 음성 신호의 음압 레벨(SPL: Sound Pressure Level)을 산출하며, 산출된 복수의 음압 레벨로부터 복수의 마이크(112) 각각과 음성 신호의 발생 위치 사이의 거리를 추정할 수 있다.

또한, 제어부(124)는 복수의 마이크(112) 각각의 위치와 상기 추정된 거리에 기초하여 음성 신호의 발생 방향을 감지할 수 있다. 이 때, 발생 방향은 제1 사용자의 얼굴 방향 정보와 대응될 수 있다.

일례로서, 제어부(124)는 복수의 마이크(112) 각각의 위치와, 상기 추정된 거리에 기초한 삼각 측량법 등의 기법을 이용하여 음성 신호의 발생 방향을 감지할 수 있다.

다른 일례로서, 제어부(124)는 복수의 마이크(112)로부터 수신되는 사운드 신호들 각각의 획득 시점 간의 차이를 이용하여 음성 신호의 발생 방향을 감지할 수도 있다.

본 발명의 다른 실시예에 다르면, 제1 사용자(510)의 상태 정보는 센싱부(118)에서 센싱된 정보를 이용하여 획득될 수 있다. 이 때, 센싱된 정보는 이미지 센서에서 획득된 영상 정보를 포함할 수 있다.

보다 상세하게, 센싱부(118)에 포함된 이미지 센서(즉, 카메라)는 제1 사용자가 포함된 영상을 획득하고, 제어부(124)는 획득된 영상을 분석하여 제1 사용자(510)의 공간 내에서의 위치 정보를 획득할 수 있다. 더불어 제1 사용자(510)의 얼굴의 각도를 추정하여 제1 사용자(510)의 얼굴 방향 정보를 획득할 수 있다. 이 때, 기 설정된 얼굴과 관련된 기준 정보(템플릿)이 사용될 수 있다.

또는, 제어부(124)는 초음파 센서, 광 센서, 라이다 센서, 레이더 센서 중 적어도 하나를 이용하여 제1 사용자(510)의 위치 정보를 획득하고, 적외선 센서를 통해 획득된 깊이 영상을 이용하여 제1 사용자(510)의 얼굴 방향 정보를 획득할 수 있다.

한편, 제1 사용자(510)의 상태 정보는 복수의 마이크(112) 및 센싱부(118)에 포함된 센서들을 모두 이용하여 획득될 수도 있다. 이 경우, 보다 정확한 제1 사용자(510)의 상태 정보가 획득될 수 있다.

단계(S332)에서, 제1 사용자(510)와 인접한 하나 이상의 객체의 위치 정보가 획득된다.

이 때, 센싱부(118)에 포함된 이미지 센서, 초음파 센서, 광 센서, 라이다 센서 및 레이더 센서 중 적어도 하나가 이용될 수 있다.

단계(S333)에서, 제어부(124)는 제1 사용자(510)의 위치 정보 및 상기 하나 이상의 객체의 위치 정보에 기초하여 제1 사용자(510)와 인접한 하나 이상의 투사 가능 영역을 검색한다.

여기서, 투사 가능 영역은 영상이 투사될 수 있는 영역을 의미하며, 제1 사용자(510)의 위치 및 제1 사용자(510)와 인접한 하나의 객체의 위치에 따라서 투사 가능 영역이 설정될 수 있다.

즉, 영상을 투사할 수 있는 투사 가능 영역은 제1 사용자(510)의 인근의 영역으로서, 하나 이상의 객체가 위치하지 않는 공간 상의 바닥 영역, 벽면 영역, 천장 영역 등일 수 있다.

한편, 하나 이상의 투사 가능 영역은 미리 선정되어 메모리(120)에 저장될 수도 있고, 제1 타입의 영상의 투사 시점의 바로 직전에 로봇(100)이 직접 이동하여 검색할 수 있다.

도 5 및 도 6에서는 2 이상의 투사 가능 영역(520)이 설정된 공간을 도시하고 있다.

도 5를 참조하면, 쇼파에 앉아있는 제1 사용자(510)의 정면의 바닥 영역(520a), 제1 사용자(510)의 측면의 바닥 영역(520b), 제1 사용자(510)의 뒤쪽의 벽면 영역(520c), 제1 사용자(510)의 상부의 천장 영역(520d)이 투사 가능 영역으로 설정될 수 있다.

그리고 도 6을 참조하면, 침대에 누어있는 제1 사용자(510)의 정면의 천장 영역(620a), 제1 사용자(510)의 뒤쪽의 벽면 영역(620b), 제1 사용자(510)와 인접한 바닥 영역(620c)이 투사 가능 영역으로 설정될 수 있다.

단계(S334)에서, 제어부(124)는 제1 사용자(510)의 얼굴 방향 정보에 기초하여 하나 이상의 투사 가능 영역 중에서 하나의 투사 가능 영역을 투사 영역으로 선정한다.

본 발명의 일 실시예에 따르면, 하나 이상의 투사 가능 영역 중 제1 사용자(510)의 얼굴 방향과 동일한 방향에 위치하는 투사 가능 영역이 존재하는 경우, 제어부(124)는 상기 동일한 방향에 위치하는 투사 가능 영역을 투사 영역으로 선정한다.

일례로서, 도 5를 참조하면, 제1 사용자(510)의 정면의 바닥 영역(520a)에 투사 가능 영역이 존재하며, 이 경우 제어부(124)는 제1 사용자(510)가 얼굴의 방향을 바꾸지 않고 제1 타입의 영상을 시청할 수 있는 정면의 바닥 영역(520a)을 투사 영역으로 선정할 수 있다.

다른 일례로서, 도 6을 참조하면, 제1 사용자(510)의 정면의 천장 영역(620a)에 투사 가능 영역이 존재하며, 이 경우 제어부(124)는 제1 사용자(510)가 얼굴의 방향을 바꾸지 않고 제1 타입의 영상을 시청할 수 있는 정면의 천장 영역(620a)을 투사 영역으로 선정할 수 있다.

그리고, 본 발명의 일 실시예에 따르면, 하나 이상의 투사 가능 영역 중 제1 사용자(510)의 얼굴 방향과 동일한 방향에 위치하는 투사 가능 영역이 존재하지 않고, 제1 사용자(510)의 얼굴 방향의 측면에 위치한 투사 가능 영역이 존재하는 경우, 제어부(124)는 제1 사용자(510)의 측면에 위치한 투사 가능 영역을 투사 영역으로 선정한다.

요컨대, 단계(S334)에서, 제어부(124)는 제1 사용자(510)의 제1 타입의 영상의 시청의 편의성을 고려하여 투사 영역을 선정할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 제어부(124)는 하나 이상의 투사 가능 영역의 물리적 특성을 고려하여 하나 이상의 투사 가능 영역 중에서 하나를 투사 영역으로 선정할 수 있다. 여기서, 물리적 특성은 투사 가능 영역의 크기(가로 및 세로의 길이, 재질, 색상, 무늬 및 굴곡 중 적어도 하나를 포함할 수 있다.

즉, 제어부(124)는 투사 가능 영역의 물리적 특성에 기초하여 제1 타입의 영상이 가장 명확하게 투사되는 투사 가능 영역을 투사 영역으로 선정할 수 있다. 이 때, 하나 이상의 투사 가능 영역의 물리적 특성의 정보는 사용자로부터 미리 입력되거나, 센싱부(118)를 통해 획득될 수 있다.

단계(S335)에서, 제어부(124)는 제1 사용자(510)의 상태 정보 및 선정된 투사 영역의 위치 정보에 기초하여 제1 타입의 영상을 투사할 로봇(100)의 제1 위치를 결정한다.

본 발명의 일 실시예에 따르면, 제어부(124)는 공간의 조도값에 기초하여 제1 타입의 영상을 투사할 제1 위치(520)를 결정할 수 있다. 여기서, 투사 영역의 위치와 제1 위치 사이의 거리에 따라서 투사된 영상의 화면 크기가 결정된다.

즉, 공간의 조도값이 높은 경우 공간이 바닥에 투사된 제1 타입의 영상이 정확하게 표시되지 않는 상황이 발생할 수 있다. 이러한 상황을 방지하기 위해, 제어부(124)는 로봇(100)는 조도값에 기초하여 제1 타입의 영상을 투사할 제1 위치(520)를 결정할 수 있다.

일례로, 조도값이 큰 경우 제어부(124)는 로봇(100)의 제1 위치를 투사 영역의 위치와 가깝게 배치하고, 조도값이 작은 경우 제어부(124)는 로봇(100)의 제1 위치를 투사 영역의 위치와 멀리 배치할 수 있다.

단계(S336)에서, 제어부(124)는 로봇(100)이 제1 위치(520)로 이동하도록 주행부(106)를 제어한다.

단계(S337)에서, 제어부(124)는 제1 위치에서 제1 타입의 영상이 투사 영역에 투사되도록 프로젝터(110)를 제어하고, 제2 바디부(104)의 틸팅 각도를 조절한다. 그리고, 단계(S338)에서, 제어부(124)는 투사된 제1 타입의 영상의 소리 신호가 출력되도록 스피커(114)를 제어한다.

본 발명의 일 실시예에 따르면, 단계(S337)에서, 제어부(124)는 로봇(100)에서 바라본 제1 사용자(510)의 얼굴 각도(즉, 얼굴 방향)에 기초하여 제1 타입의 영상의 화면 방향이 조절되도록 프로젝터(110)를 제어할 수 있다.

보다 상세하게, 로봇(100)은 사용자의 얼굴 방향 쪽으로 거울을 보듯이 제1 타입의 영상을 투사하는 것이 바람직하다. 따라서, 제어부(124)는 복수의 마이크(112) 및 이미지 센서(즉, 카메라(108)) 등을 통해 획득된 정보를 통해 제1 사용자(510)의 얼굴 각도를 측정하고, 측정된 얼굴 각도에 기초하여 제1 타입의 영상의 화면 방향을 조절하도록 프로젝터(110)를 제어한다.

도 7 및 도 8에서는 프로젝터(110)을 통해 제1 타입의 영상이 투사 영역(710, 810)에 투사되는 일례를 도시하고 있다.

한편, 제1 사용자(510)는 특정 동작을 통해 투사 영역에 투사된 제1 타입의 영상의 크기를 조절할 수 있다.

즉, 제1 사용자(510)는 제1 타입의 영상의 크기를 변경할 수 있다. 이 때, 투사 영역의 위치와 제1 위치 사이의 거리에 따라서 투사된 영상의 화면 크기가 결정될 수 있다. 따라서, 제어부(124)는 제1 사용자(510)가 수행한 동작에 기초하여 제1 위치를 변경할 수 있으며, 제1 위치의 변경에 따라 제1 타입의 영상의 화면의 크기가 변경될 수 있다.

본 발명의 일 실시예에 따르면, 제1 사용자(510)가 두 개의 손가락 사이의 거리를 증가시키는 동작을 수행하거나, 제1 사용자(510)가 양 팔 사이의 거리를 증가시키는 동작을 수행하는 경우, 제어부(124)는 제1 위치를 투사 영역에서 멀어지도록 변경할 수 있다. 이 때, 상기 증가된 거리는 제1 위치와 투사 영역 사이의 거리와 비례할 수 있다. 이에 따라, 제1 타입의 영상의 크기가 커질 수 있다.

본 발명의 다른 실시예에 따르면, 제1 사용자(510)가 두 개의 손가락 사이의 거리를 감소시키는 동작을 수행하거나, 제1 사용자(510)가 양 팔 사이의 거리를 감소시키는 동작을 수행하는 경우, 제어부(124)는 제1 위치를 투사 영역에서 가까워지도록 변경할 수 있다. 이 때, 상기 감소된 거리는 제1 위치와 투사 영역 사이의 거리와 비례할 수 있다. 이에 따라, 제1 타입의 영상의 크기가 감소될 수 있다.

한편, 제1 사용자(510)는 특정 동작을 통해 투사 영역에 투사된 제1 타입의 영상의 화면 방향을 변경할 수 있다.

즉, 제1 사용자(510)의 얼굴의 방향이 변경될 수 있는 상황이 발생할 수 있으며, 이 경우 제어부(124)는 제1 사용자(510)가 수행한 동작에 기초하여 제1 타입의 영상의 화면 방향을 변경할 수 있다

본 발명의 일 실시예에 따르면, 제1 사용자(510)가 손을 회전하는 경우, 제어부(124)는 상기 손의 회전 방향과 동일한 방향으로 제1 타입의 영상의 화면 방향을 90°로 회전할 수 있다.

일례로, 제1 사용자(510)가 제1 타입의 영상의 화면 방향을 180°로 회전하고자 하는 경우, 제1 사용자(510)는 상기 손의 회전 동작을 두번 수행하고, 이에 따라 제1 타입의 영상의 화면 방향이 180°로 회전된다.

한편, 제1 타입의 영상이 투사되고 있는 상태에서 제1 사용자(510)가 이동하는 경우가 발생할 수 있다. 이 경우, 제어부(124)는 센싱부(118)에서 센싱된 정보를 이용하여 투사 영역 또는 제1 위치 중 적어도 하나를 변경할 수 있다. 이에 따라, 제1 사용자(510)는 끊김없는 제1 타입의 영상의 시청이 가능하다.

일례로서, 제어부(124)는 이미지 센서, 적외선 센서, 초음파 센서, 광 센서, 라이다 센서, 레이더 센서 등을 통해 획득된 정보를 통해 제1 사용자(510)가 이동하는 방향의 정보 및 이동하는 방향의 주변의 하나 이상의 객체의 위치 정보를 산출하고, 상기 산출된 정보에 기초하여 제1 사용자(510)의 주변에 제1 타입의 영상이 투사될 수 있도록 투사 영역 또는 제1 위치 중 적어도 하나를 변경할 수 있다.

한편, 제1 타입의 영상이 정확하게 표시되지 않는 상황을 방지하기 위해 본 발명의 다른 실시예에 따르면, 로봇(100)은 공간의 IoT 기반의 조명 기기의 조도값을 제어할 수 있다. 즉, 제어부(124)는 공간의 조명 기기의 조도값을 제어하는 조도값 제어 명령을 생성하고, 통신부(116)는 조도값 제어 명령을 조명 기기로 전송하며, 조명 기기는 전송된 조도값 제어 명령을 통해 조도값을 제어한다. 일례로, 공간의 조도값이 높은 경우 제어부(124)는 공간의 조도값의 감소 명령인 조도값 제어 명령을 생성할 수 있다.

한편, 제1 타입의 영상이 투사되는 공간에 IoT 기반의 음향 기기가 존재하는 경우, 상기 음향 기기로 제1 타입의 영상의 소리 신호를 출력할 수 있다. 즉, 통신부(116)는 음향 기기로 투사된 제1 타입의 영상에 대한 소리 데이터를 전송하고, 음향 기기는 제1 타입의 영상에 대한 소리 데이터를 출력할 수 있다.

도 9는 사용자의 개수, 2 이상의 투사 가능 영역의 물리적 특성에 기초하여 제2 타입의 영상을 투사하는 단계(S340)의 일례를 도시한 흐름도이다. 이하, 도 7을 참조하여 각 단계를 설명한다.

단계(S341)에서, 제어부(124)는 공간 내의 사용자의 개수를 산출한다.

일례로서, 제어부(124)는 이미지 샌서(즉, 카메라(108))를 통해 획득된 전방향 영상을 이용하여 사용자의 개수를 산출할 수 있다. 다른 일례로서, 제어부(124)는 공간 내의 하나의 사용자로부터 출력된 음성 명령 신호에 기초하여 사용자의 개수를 산출할 수 있다. 이 때, 음성 명령 신호는 공간 내에 존재하는 사용자의 개수를 알려주기 위하여 사용자로부터 출력된 것일 수 있다.

단계(S342)에서, 제어부(124)는 공간 내의 하나 이상의 투사 가능 영역을 검색한다.

이 때, 하나 이상의 투사 가능 영역은 미리 선정되어 메모리(120)에 저장될 수도 있고, 제2 타입의 영상의 투사 시점의 바로 직전에 로봇(100)이 직접 이동하여 검색할 수 있다.

한편, 공간은 2 이상의 서브 공간으로 구성될 수 있다. 일례로, 공간이 주택인 경우, 서브 공간은 안방, 거실, 주방 등일 수 있다. 이 경우, 서브 공간 각각에 하나 이상의 투사 가능 영역이 존재할 수 있다.

단계(S343)에서, 제어부(124)는 하나 이상의 투사 가능 영역 중 하나의 투사 가능 영역을 선택하고, 이를 투사 영역으로 선정한다.

이 때, 제어부(124)는 산출된 사용자의 개수를 주된 정보로 하고, 하나 이상의 투사 가능 영역의 물리적 특성을 선택적 정보로 하여 투사 영역을 선정할 수 있다. 이 때, 물리적 특성은 투사 가능 영역의 크기(가로 및 세로의 길이), 재질, 색상, 무늬 및 굴곡 중 적어도 하나를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 사용자의 개수만이 투사 영역의 선정에 이용되는 경우, 제어부(124)는 공간 내의 하나 이상의 투사 가능 영역 중에서 사용자의 개수와 비례하는 영역 크기를 가지는 투사 가능 영역을 투사 영역으로 선정한다.

즉, 많은 사람이 제2 타입의 영상을 시청하는 경우 제2 타입의 영상은 영역 크기가 큰 투사 영역에 투사되고, 한명 내지 두명이 제2 타입의 영상을 시청하는 경우 제2 타입의 영상은 영역 크기가 작은 투사 영역에 투사되는 것이 바람직하다. 따라서, 제어부(124)는 사용자의 개수 및 투사 가능 영역의 크기를 고려하여 투사 영역을 선정한다.

또한, 본 발명의 다른 실시예에 따르면, 사용자의 개수 및 하나 이상의 투사 가능 영역의 물리적 특성이 모두 투사 영역의 선정에 이용되는 경우, 하나 이상의 투사 가능 영역의 물리적 특성 및 사용자의 개수에 기초하여 하나 이상의 투사 가능 영역 각각의 우선 순위를 부여하고, 이에 기초하여 투사 영역을 선정한다.

도 10은 본 발명의 일 실시예에 따라서, 우선 순위에 따라서 투사 영역을 선정하는 단계(S343)의 세부 단계를 도시한 흐름도이다. 이 때, 적어도 하나의 사용자는 제1 서브 공간에 존재하는 것으로 가정한다.

단계(S3431)에서, 제어부(124)는 하나 이상의 투사 가능 영역의 물리적 특성 및 사용자의 개수에 기초하여 하나 이상의 투사 가능 영역 각각의 우선 순위를 부여한다.

일례로, 표면의 색상이 흰색이고, 표면에 무늬 및 굴곡이 없고, 표면의 재질이 매끄러울수록 우선 순위가 높아지고, 표면의 색상이 검정색이고, 표면에 무늬가 많이 존재하고, 굴곡이 많으며, 표면의 재질이 거칠수록 우선 순위가 낮아진다.

한편, 본 발명의 일 실시예에 따르면, 제어부(124)는 인공 신경망 기반의 알고리즘 모델을 이용하여 하나 이상의 투사 가능 영역 각각의 우선 순위를 산출할 수 있다.

인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.

인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴, (2) 시냅스의 가중치를 갱신하는 학습 과정, (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.

인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.

인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer Neural Networks)으로 구분된다.

일반적인 단층 신경망은, 입력 레이어와 출력 레이어로 구성된다.

또한, 일반적인 다층 신경망은 입력 레이어(input layer)와, 하나 이상의 은닉 레이어(hidden layer)와, 출력층(output layer)으로 구성된다.

입력 레이어는 외부의 자료들을 받아들이는 레이어로서, 입력 레이어의 뉴런 수는 입력되는 변수의 수와 동일하다.

은닉 레이어는 입력 레이어와 출력 레이어 사이에 위치하며, 입력 레이어로부터 신호를 받아 특성을 추출하여 출력 레이어로 전달한다.

출력 레이어는 은닉 레이어로부터 신호를 받고, 수신한 신호에 기반한 출력 값을 출력한다. 뉴런 간의 입력 신호는 각각의 가중치(연결 강도)와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 획득한 출력값을 출력한다.

한편, 입력 레이어와 출력 레이어 사이에 복수의 은닉 레이어를 포함하는 심층 신경망은, 기계 학습 기술의 한 종류인 딥 러닝을 구현하는 대표적인 인공 신경망일 수 있다.

상기 내용을 참조하면, 본 발명의 인공 신경망에 기초한 알고리즘 모델은 입력 노드로 구성된 입력 레이어, 출력 노드로 구성된 출력 레이어 및 입력 레이어와 출력 레이어 사이에 배치되며, 은닉 노드로 구성된 하나 이상의 은닉 레이어를 포함한다. 이 때, 알고리즘 모델은 학습 데이터에 의해 학습되며, 학습을 통해 노드들을 연결하는 에지의 가중치 및 노드의 바이어스가 업데이트될 수 있다.

그리고, 상기 학습된 알고리즘 모델의 입력 레이어로 사용자의 개수 및 하나 이상의 투사 가능 영역의 물리적 특성값이 입력되고, 학습된 알고리즘 모델의 출력 레이어로 하나 이상의 투사 가능 영역의 우선 순위가 출력될 수 있다.

다시 도 10을 참조하면, 단계(S3432)에서, 제어부(124)는 하나 이상의 투사 가능 영역 중 최우선 순위의 투사 가능 영역이 제1 서브 공간에 존재하는지를 판단한다.

만약, 최우선 순위의 투사 가능 영역이 제1 서브 공간에 존재하는 경우, 단계(S3433)에서, 제어부(124)는 제1 서브 공간에 존재하는 최우선 순위의 투사 가능 영역을 투사 영역으로 선정한다.

반대로, 하나 이상의 투사 가능 영역 중 최우선 순위의 투사 가능 영역이 제2 서브 공간에 존재하는 경우, 단계(S3434)에서 제어부(124)는 제1 서브 공간 내에 존재하는 적어도 하나의 투사 가능 영역 각각으로 테스트 영상을 투사하도록 프로젝터(110)를 제어한다.

그리고, 단계(S3435)에서, 제어부(124)는 제1 서브 공간 내에 존재하는 적어도 하나의 투사 가능 영역 중 하나가 선택되었는지 여부를 판단한다. 일례로, 복수의 마이크(112)는 사용자로부터 출력된 투사 가능 영역의 선택을 위한 음성 명령 신호를 수신하고, 제어부(124)는 수신된 음성 명령 신호에 기초하여 선택 여부를 판단한다.

만약, 적어도 하나의 투사 가능 영역 중 하나가 선택된 경우, 단계(S3436)에서, 제어부(124)는 선택된 제1 서브 공간 내의 하나의 투사 가능 영역을 투사 영역으로 선정한다.

반대로, 적어도 하나의 투사 가능 영역 모두가 선택되지 않는 경우, 단계(S3437)에서, 제어부(124)는 제2 서브 공간 내의 최우선 순위의 투사 가능 영역을 투사 영역으로 선정한다.

정리하면, 영상이 엔터테인먼트를 위한 제2 타입의 영상인 경우, 사용자들은 움직임 없이 가장 효율적으로 제2 타입의 영상을 시청하기를 원한다. 따라서, 로봇(100)은 하나 이상의 투사 가능 영역의 우선 순위 및 테스트 영상의 투사를 통해 효율적으로 제2 타입의 영상을 사용자들에게 제공할 수 있다.

한편, 단계(S430)에서 설명한 측정된 공간의 조도값에 따른 제1 위치의 결정, IoT 기반의 조명 기기의 조도값 조절, IoT 기반의 음향 기기의 소리 데이터의 전송, 제1 위치의 변경, 영상의 화면 방향의 변경 등은 본 실시예에서 동일하게 적용될 수 있다.

요컨대, 본 발명에 따른 로봇(100)는 이동형 프로젝터를 구현할 있는 장치로서, 영상 통화 수신 시 영상을 즉각적으로 투사하여 편리한 영상 통화 기능 서비스를 사용자에게 제공할 수 있다. 그리고, 컨텐츠의 타입에 따라 로봇(100)이 최적의 조건으로 컨텐츠를 투사해주므로 사용자의 편의성이 증대된다.

또한, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 로봇 102: 제1 바디부
104: 제2 바디부 106: 주행부
108: 카메라 110: 프로젝터
112: 마이크 114: 스피커
116: 통신부 118: 센싱부
120: 메모리 122: 프로세서
114: 제어부

Claims

공간 내에서 로봇을 이동시키는 주행부;
영상을 투사하는 프로젝터; 및
상기 투사될 영상의 내용과 관련된 제1 정보 및 상기 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 상기 공간 내의 투사 영역을 선정하고, 상기 투사 영역으로 상기 영상을 투사하도록 상기 주행부 및 상기 프로젝터를 제어하는 제어부;를 포함하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제어부는 상기 선정된 투사 영역의 위치에 기초하여 상기 영상을 투사할 상기 로봇의 제1 위치를 결정하고, 상기 제1 위치에서 상기 영상을 투사하도록 상기 주행부를 제어하는, 영상을 투사하는 로봇.
제2항에 있어서,
상기 투사 영역의 위치와 상기 제1 위치 사이의 거리에 따라서 상기 투사된 영상의 화면 크기가 결정되고,
상기 제어부는 상기 공간의 조도값에 기초하여 상기 제1 위치를 결정하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제1 정보는 상기 투사될 영상의 타입(type) 정보를 포함하고,
상기 투사될 영상의 타입이 영상 통화를 위한 제1 타입의 영상인 경우, 상기 제어부는 영상 통화의 수신자인 제1 사용자와 가장 가까이 위치하는 상기 공간의 투사 가능 영역 또는 상기 로봇과 가장 가까이 위치하는 상기 공간의 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제4항에 있어서,
상기 제2 정보는 상기 사용자의 위치 정보 및 상기 사용자의 얼굴 방향 정보를 포함하고,
상기 제어부는, 상기 제1 사용자의 위치 정보를 고려하여 상기 투사 영역의 위치를 결정하고, 상기 로봇에서 바라본 상기 제1 사용자의 얼굴 방향 정보에 기초하여 상기 제1 타입의 영상의 화면 방향이 조절되도록 상기 프로젝터를 제어하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제2 정보는 상기 사용자의 위치 정보, 상기 사용자의 얼굴 방향 정보 및 상기 사용자와 인접한 하나 이상의 객체의 위치 정보 중 적어도 하나를 포함하고,
상기 제어부는,
상기 사용자의 위치 정보 및 상기 하나 이상의 객체의 위치 정보 중 적어도 하나에 기초하여 상기 사용자와 인접한 하나 이상의 투사 가능 영역을 검색하고,
상기 사용자의 얼굴 방향 정보에 기초하여 상기 하나 이상의 투사 가능 영역 중에서 하나의 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제6항에 있어서,
상기 제어부는,
상기 하나 이상의 투사 가능 영역 중 상기 사용자의 얼굴 방향과 동일한 방향에 위치하는 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제6항에 있어서,
상기 제어부는,
상기 하나 이상의 투사 가능 영역 중 상기 사용자의 얼굴 방향과 동일한 방향에 위치하는 투사 가능 영역이 존재하지 않고, 상기 사용자의 얼굴 방향의 측면에 위치한 투사 가능 영역이 존재하는 경우, 상기 측면에 위치한 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제2항에 있어서,
상기 제어부는 상기 사용자의 수행한 동작에 기초하여 상기 제1 위치를 변경하고,
상기 변경된 제1 위치에 따라 상기 영상의 화면의 크기가 변경되는, 영상을 투사하는 로봇.
제9항에 있어서,
상기 사용자가 두 개의 손가락 사이의 거리를 증가시키는 동작을 수행하거나 상기 사용자가 양 팔 사이의 거리를 증가시키는 동작을 수행하는 경우, 상기 제어부는 상기 제1 위치를 상기 투사 영역에서 멀어지도록 변경하는, 영상을 투사하는 로봇.
제12항에 있어서,
상기 사용자가 두 개의 손가락 사이의 거리를 감소시키는 동작을 수행하거나 상기 사용자가 양 팔 사이의 거리를 감소시키는 동작을 수행하는 경우, 상기 제어부는 상기 제1 위치를 상기 투사 영역에서 가까워지도록 변경하는, 영상을 투사하는 로봇.
제2항에 있어서,
상기 제어부는 상기 사용자의 수행한 동작에 기초하여 상기 투사 영역에 투사된 상기 영상의 화면 방향을 변경하는, 영상을 투사하는 로봇.
제12항에 있어서,
상기 사용자가 손을 회전하는 경우, 상기 제어부는 상기 손의 회전 방향과 동일한 방향으로 상기 영상의 화면 방향을 90°로 회전하는, 영상을 투사하는 로봇.
제6항에 있어서,
상기 사용자가 출력한 음성 신호를 각각 수신하는 복수의 마이크;를 더 포함하되,
상기 제어부는 상기 복수의 마이크에서 각각 수신된 음성 신호에 기초하여 상기 사용자의 상태 정보를 획득하는, 영상을 투사하는 로봇.
제6항에 있어서,
상기 사용자 및 상기 하나 이상의 객체와 관련된 정보를 센싱하는 센서;를 더 포함하되,
상기 제어부는, 상기 센싱된 정보를 이용하여 상기 사용자의 상태 정보 및 상기 적어도 하나의 객체의 위치 정보 중 적어도 하나를 획득하는, 영상을 투사하는 로봇.
제6항에 있어서,
상기 사용자 및 상기 하나 이상의 객체와 관련된 정보를 센싱하는 센서;를 더 포함하되,
상기 영상이 투사되고 있는 상태에서 상기 사용자가 이동하는 경우, 상기 제어부는 상기 센싱된 정보를 이용하여 상기 투사 영역 또는 상기 제1 위치 중 적어도 하나를 변경하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 투사 영역은 상기 공간의 바닥 영역, 천장 영역 및 벽면 영역 중 어느 하나와 대응되는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제2 정보는 상기 사용자의 위치 정보, 상기 사용자의 얼굴 방향 정보 및 상기 사용자와 인접한 하나 이상의 객체의 위치 정보 중 적어도 하나를 포함하고,
상기 제어부는, 상기 하나 이상의 투사 가능 영역의 물리적 특성과 관련된 제3 정보에 더 기초하여 상기 투사 영역을 선정하되,
상기 제어부는, 상기 사용자의 위치 정보 및 상기 하나 이상의 객체의 위치 정보 중 적어도 하나에 기초하여 상기 사용자와 인접한 하나 이상의 투사 가능 영역을 검색하고, 상기 제3 정보를 이용하여 상기 하나 이상의 투사 가능 영역 중 하나를 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제1 정보는 상기 투사될 영상의 타입 정보를 포함하고, 상기 제2 정보는 상기 투사될 영상을 시청하는 사용자의 시청 이력 정보를 포함하며,
상기 투사될 영상의 타입이 사용자의 엔터테인먼트를 위한 제2 타입의 영상이고, 상기 사용자가 상기 제2 타입의 영상을 시청한 이력이 있는 경우, 상기 제어부는 상기 사용자와 매칭된 상기 공간 내의 서브 공간을 검색하고, 상기 검색된 서브 공간 내의 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제1 정보는 상기 투사될 영상의 타입 정보 및 상기 투사될 영상의 시청 시청 등급 정보를 포함하고,
상기 투사될 영상의 타입이 사용자의 엔터테인먼트를 위한 제2 타입의 영상이고, 상기 제2 타입의 영상에 시청 시청 등급이 설정되어 있는 경우, 상기 제어부는 상기 제2 타입의 영상의 시청 시청 등급과 매칭되는 상기 공간 내의 서브 공간을 검색하고, 상기 검색된 서브 공간 내의 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 제1 정보는 상기 투사될 영상의 타입 정보를 포함하고, 상기 제2 정보는 상기 투사될 영상을 시청할 사용자의 개수의 정보를 포함하며,
상기 투사될 영상의 타입이 사용자의 엔터테인먼트를 위한 제2 타입의 영상인 경우, 상기 제어부는, 상기 공간 내의 하나 이상의 투사 가능 영역 중에서 상기 사용자의 개수와 비례하는 영역 크기를 가지는 투사 가능 영역을 상기 투사 영역으로 선정하는, 영상을 투사하는 로봇.
제21항에 있어서,
상기 공간에 대한 전방향 영상을 획득하는 카메라; 및
상기 적어도 하나의 사용자로부터 출력된 음성 신호를 수신하는 마이크;를 포함하되,
상기 제어부는 상기 획득된 영상 및 상기 수신된 음성 신호에 기초하여 상기 사용자의 개수를 산출하는, 영상을 투사하는 로봇.
제21항에 있어서,
상기 제어부는 상기 하나 이상의 투사 가능 영역의 물리적 특성과 관련된 제3 정보에 더 기초하여 상기 투사 영역을 선정하되,
상기 물리적 특성은 상기 투사 가능 영역의 크기, 재질, 색상, 무늬 및 굴곡 중 적어도 하나를 포함하는, 영상을 투사하는 로봇.
제23항에 있어서,
상기 공간은 2 이상의 서브 공간을 포함하고, 상기 투사될 영상을 시청할 사용자는 상기 2 이상의 서브 공간 중 제1 서브 공간에 위치하며,
상기 제어부는,
상기 물리적 특성 및 상기 사용자의 개수에 기초하여 상기 하나 이상의 투사 가능 영역 각각의 우선 순위를 부여하고,
상기 하나 이상의 투사 가능 영역 중 최우선 순위의 투사 가능 영역이 상기 2 이상의 서브 공간 중 제2 서브 공간에 존재하는 경우, 상기 제1 서브 공간 내에 존재하는 적어도 하나의 투사 가능 영역 각각으로 테스트 영상을 투사하도록 상기 프로젝터를 제어하는, 영상을 투사하는 로봇.
제24항에 있어서,
상기 제어부는,
상기 적어도 하나의 투사 가능 영역 중 하나의 투사 가능 영역이 선택되는 경우, 상기 선택된 하나의 투사 가능 영역을 상기 투사 영역으로 선정하고,
상기 적어도 하나의 투사 가능 영역 모두가 선택되지 않는 경우, 상기 제2 서브 공간에 존재하는 상기 최우선 순위의 투사 가능 영역이 상기 투사 영역으로 선정되는, 영상을 투사하는 로봇.
제1항에 있어서,
상기 공간에 배치된 IoT 기반의 조명 기기와 통신을 수행하는 통신부; 및
상기 공간의 조도값을 측정하는 조도 센서;를 더 포함하되,
상기 제어부는 상기 측정된 조도값에 기초하여 상기 조명 기기의 조도값을 제어하는 조도 제어 명령을 생성하고, 상기 통신부는 상기 조도 제어 명령을 상기 조명 기기로 전송하는, 영상의 투사하는 로봇.
제1항에 있어서,
상기 공간에 배치된 IoT 기반의 음향 기기로 상기 투사된 영상에 대한 소리 데이터를 전송하는 통신부;를 더 포함하되,
상기 소리 데이터는 상기 음향 기기에서 출력되는, 영상의 투사하는 로봇.
공간 내에서 로봇을 이동시키는 주행부;
영상을 투사하는 프로젝터; 및
상기 주행부 및 상기 프로젝터를 제어하는 제어부;를 포함하되,
상기 제어부는,
상기 투사될 영상을 시청하는 사용자의 상태 정보 및 상기 사용자와 인접한 하나 이상의 객체의 위치 정보 중 적어도 하나에 기초하여 상기 사용자와 인접한 상기 공간 내의 투사 영역을 선정하고, 상기 투사 영역으로 상기 영상을 투사하도록 상기 주행부 및 상기 프로젝터를 제어하는, 영상을 투사하는 로봇.
각도 조절이 가능한 본체부;
공간 내에서 상기 본체부를 이동시키는 주행부;
영상을 투사하며, 회전 및 각도 조절이 가능한 프로젝터; 및
상기 투사될 영상의 내용과 관련된 제1 정보, 상기 투사될 영상을 시청하는 사용자와 관련된 제2 정보 및 상기 공간 내의 하나 이상의 투사 가능 영역의 물리적 특성과 관련된 제3 정보 중 적어도 하나에 기초하여 상기 공간 내의 투사 영역을 선정하고, 상기 공간의 조도값에 기초하여 상기 투사 영역으로 상기 영상을 투사할 로봇의 제1 위치를 결정하며, 상기 제1 위치에서 상기 투사 영역으로 상기 영상을 투사하도록 상기 주행부를 이동시키고 상기 프로젝터의 각도를 조절하는 제어부;를 포함하는, 영상을 투사하는 로봇.
제어부가 상기 투사될 영상의 내용과 관련된 제1 정보 및 상기 투사될 영상을 시청하는 사용자와 관련된 제2 정보 중 적어도 하나에 기초하여 상기 공간 내의 투사 영역을 선정하는 단계;
상기 제어부가 상기 투사 영역으로 상기 영상을 투사할 로봇의 제1 위치를 결정하는 단계;
주행부가 상기 제어부의 제어 하에 상기 제1 위치로 상기 로봇을 이동시키는 단계; 및
프로젝터가 상기 제어부의 제어 하에 상기 제1 위치에서 상기 영상을 투사하는 단계;를 포함하는, 로봇을 이용한 영상의 투사 방법.
제어부가 상기 영상을 시청하는 사용자의 상태 정보 및 상기 사용자와 인접한 하나 이상의 객체의 위치 정보 중 적어도 하나를 이용하여 상기 사용자와 인접한 상기 공간 내의 투사 영역을 선정하는 단계; 및
상기 제어부가 상기 투사 영역으로 상기 영상을 투사할 상기 로봇의 제1 위치를 결정하는 단계;
주행부가 상기 제어부의 제어 하에 상기 제1 위치로 상기 로봇을 이동시키는 단계; 및
프로젝터가 상기 제어부의 제어 하에 상기 제1 위치에서 상기 영상을 투사하는 단계;를 포함하는, 로봇을 이용한 영상의 투사 방법.