KR20200137471A

KR20200137471A - 동영상을 획득하는 로봇 및 전자 기기와, 상기 로봇을 이용한 동영상 획득 방법

Info

Publication number: KR20200137471A
Application number: KR1020190063890A
Authority: KR
Inventors: 송주만
Original assignee: 엘지전자 주식회사
Priority date: 2019-05-30
Filing date: 2019-05-30
Publication date: 2020-12-09
Also published as: US20200382695A1

Abstract

동영상을 획득하는 로봇 및 전자 기기와, 상기 로봇을 이용한 동영상 획득 방법이 개시된다. 본 발명의 로봇은 좌우 방향으로 회전하고 상하 방향으로 틸팅되는 카메라부를 포함하며, 카메라부로부터 획득된 동영상 내의 사용자를 인식 및 트래킹하여 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어한다.

Description

동영상을 획득하는 로봇 및 전자 기기와, 상기 로봇을 이용한 동영상 획득 방법{ROBOT AND ELECTRONIC DEVICE FOR ACQUIRING VIDEO, AND METHOD FOR ACQUIRING VIDEO USING THE ROBOT}

본 발명은 동영상을 획득하는 로봇 및 전자 기기와, 상기 로봇을 이용한 동영상 획득 방법에 관한 것이다.

영상 통화 또는 동영상 촬영을 위해서, 종래에는 짐벌 등과 같은 외부의 거치대가 사용된다. 즉, 사용자는 스마트폰, 카메라 등과 같은 영상 획득 장치를 외부의 거치대와 결합하고, 거치대와 결합된 영상 획득 장치를 통해 영상 통화를 하거나 동영상을 촬영한다.

한편, 사용자가 영상 통화를 하거나 동영상을 촬영할 때, 자신의 모습을 정확하기 촬영하기 위하여, 거치대를 이동시킬 수 있고, 더불어 영상 줌의 기능을 사용할 수 있다.

하지만, 거치대는 사용자가 수동으로 이동시켜야 하고, 영상 줌 역시 사용자가 수동으로 기능을 설정해야 하는바, 이는 사용자의 불편함을 야기한다. 또한, 사용자의 수동 작업으로 인한 오류도 발생될 수 있다.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 영상 통화 또는 동영상을 촬영할 때, 사용자의 위치가 변경되어도 자동으로 사용자를 추적함으로써 끊김이 없는 영상 통화 또는 동영상 촬영이 가능한 로봇 및 전자 기기와, 로봇을 이용한 동영상 촬영 방법을 제안하고자 한다.

또한, 본 발명의 다른 목적은 영상 통화 또는 동영상 촬영 시 자동으로 카메라의 줌 인/아웃이 수행되고, 마이크의 감도 및 스피커의 음량을 조절하여 양방향으로 소리가 잘 전달될 수 있도록 하는 동영상 촬영 방법과 이를 구현하는 로봇 및 전자 기기를 제안하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기한 목적을 달성하기 위한 본 발명의 로봇, 전자 기기 및 로봇을 이용한 동영상 획득 방법은, 좌우 방향으로 회전하고 상하 방향으로 틸팅되는 카메라부를 포함하며, 카메라부로부터 획득된 동영상 내의 사용자를 인식 및 트래킹하여 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 것을 기술적 특징으로 한다.

본 발명의 일 실시예에 의한 로봇은, 좌우 방향으로 회전하고 상하 방향으로 틸팅되는 바디부, 상기 바디부의 회전 및 틸팅에 따라서 회전 및 틸팅되며, 공간에 대한 동영상을 획득하는 카메라부, 상기 동영상 내에서 하나 이상의 사용자의 얼굴을 인식하는 얼굴 인식부, 상기 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹하는 트래킹부 및 상기 하나 이상의 사용자의 얼굴의 크기를 산출하고, 상기 산출된 얼굴의 크기에 기초하여 제1 사용자를 선정하고, 상기 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 상기 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 전자 기기는, 좌우 방향으로 회전하고, 상하 방향으로 틸팅되며, 하나 이상의 사용자가 위치한 공간에 대한 동영상을 획득하는 카메라부, 상기 동영상 내의 상기 하나 이상의 사용자의 얼굴을 인식하는 얼굴 인식부, 상기 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹하는 트래킹부 및 상기 하나 이상의 사용자의 얼굴의 크기를 산출하고, 상기 산출된 얼굴의 크기에 기초하여 제1 사용자를 선정하고, 상기 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 상기 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 로봇을 이용한 동영상 획득 방법은, 좌우 방향으로 회전하고 상하 방향으로 틸팅되는 카메라부가 하나 이상의 사용자가 위치한 공간에 대한 동영상을 획득하는 단계, 얼굴 인식부가 상기 동영상 내의 상기 하나 이상의 사용자의 얼굴을 인식하는 단계, 트래킹부가 상기 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹하는 단계, 제어부가 상기 하나 이상의 사용자의 얼굴의 크기를 산출하는 단계, 상기 제어부가 상기 산출된 얼굴의 크기에 기초하여 제1 사용자를 선정하는 단계 및 상기 제어부가 상기 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 상기 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 단계를 포함한다.

본 발명에 따르면, 영상 통화 또는 동영상을 촬영할 때, 사용자의 위치가 변경되어도 자동으로 사용자를 추적함으로써 끊김이 없는 영상 통화 또는 동영상 촬영을 제공할 수 있는 장점이 있다.

또한, 본 발명에 따르면, 사용자의 개입 없이 영상 통화 또는 동영상 촬영 시 자동으로 카메라의 줌 인/아웃이 수행되고, 마이크의 감도 및 스피커의 음량이 조절되므로, 사용자의 영상 통화 또는 동영상 촬영 시의 편의성을 높일 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1는 본 발명의 일 실시예에 의한 로봇의 외관을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 로봇을 이용한 동영상 획득 방법의 흐름도를 도시한 도면이다.
도 5 및 도 6은 사용자가 로봇를 이용하여 동영상을 획득하는 본 발명의 일례를 도시한 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

한편, 로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.

로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.

로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.

도 1는 본 발명의 일 실시예에 의한 로봇의 외관을 보여주는 도면이다.

도 1에서는 로봇(100)을 이동하지 않는 고정형 로봇으로 도시하였으나, 본 발명은 이에 한정되지 않으며, 이동형 로봇에서도 아래에서 설명하는 내용이 적용될 수 있다.

도 1을 참조하면, 로봇(100)는 하부 측에 배치되는 제1 바디부(110) 및 제1 바디부(120)의 상부 측에 배치되는 제2 바디부(120)를 포함한다.

여기서, 제1 바디부(110)는 고정되어 배치된다. 그리고, 제2 바디부(120)는 제1 바디부(110) 상에서 좌우 방향으로 회전하고 상하 방향으로 각도 조절(즉 틸팅)된다.

제2 바디부(120)의 상면에는 카메라부(130)가 부착된다. 따라서, 카메라부(130)는 제2 바디부(120)의 회전 및 틸팅에 따라 함께 회전 및 틸팅된다. 또한, 카메라부(130)의 초점 거리는 조절될 수 있고, 이를 통해 영상의 줌 기능이 사용 가능하다.

마이크부(140) 및 스피커부(150) 역시 제2 바디부(120)에 부착된다. 마이크부(140)의 감도(gain)는 조절될 수 있고, 스피커부(150)의 음량(volumn) 역시 조절될 수 있다.

한편, 제2 바디부(120)의 내부에는 프로세서부(160) 및 통신부(170)가 배치될 수 있다.

프로세서부(160)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 프로세서부(160)는 제2 바디부(120)의 회전 방향, 틸팅 각도를 제어할 수 있으며, 따라서, 카메라부(130)의 회전 방향 및 틸팅 각도를 제어할 수 있다. 또한, 포로세서부(160)는 카메라부(130)의 초점 거리를 제어할 수 있고, 마이크부(140)의 감도 및 스피커부(160)의 음량 역시 제어할 수 있으며, 기타 로봇(100)의 구성 요소의 제어를 수행할 수 있다.

통신부(170)는 외부 서버, 외부의 스마트폰, 다른 로봇 등의 외부의 전자 기기와 통신을 수행한다.

일례로, 통신부(170)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.

도 2는 본 발명의 일 실시예에 따른 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 로봇(100)는 영상 통화를 수행하거나 동영상을 촬영하는데 사용될 수 있는 전자 기기로서, 앞서 설명한 카메라부(130), 마이크부(140), 스피커부(150), 통신부(170) 외에 얼굴 인식부(161), 트래킹부(162) 및 제어부(163)를 포함한다.

여기서, 얼굴 인식부(161), 트래킹부(162) 및 제어부(163)는 프로세서부(160) 내에서 논리적으로 구분된 모듈일 수 있다. 한편, 본 명세서에서 개시된 모듈은 본 발명의 기술적 사상을 수행하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다.

이하, 각 구성 요소 별 기능을 상세하게 설명한다.

카메라부(130)는 공간에 대한 동영상을 획득한다. 여기서, 공간은 실내의 공간일 수도 있고 실외의 공간일 수도 있다. 한편, 앞서 언급한 바와 같이, 제2 바디부(120)의 회전 및 틸팅에 따라 카메라부(130)는 좌우 방향으로 회전할 수 있고 틸팅될 수도 있으며, 초점 거리가 조절될 수 있다.

마이크부(140)는 공간에서 출력된 음성 신호를 수신한다. 한편, 앞서 언급한 바와 같이, 마이크부(140)의 감도는 조절될 수 있으며, 이는 아래에서 보다 상세하게 설명하기로 한다.

스피커부(150)는 영상 통화 시에 사용될 수 있으며, 영상 통화의 상대방이 전송한 동영상에 포함된 음성 신호를 상기한 공간으로 출력한다. 한편, 앞서 언급한 바와 같이, 스피커부(150)의 음량은 조절될 수 있다.

카메라부(130), 마이크부(140) 및 스피커부(150)의 제어 동작은 아래에서 보다 상세하게 설명하기로 한다.

통신부(170)는 상대방으로부터 전송된 영상 통화 동영상을 수신하고, 촬영된 동영상을 다른 전자 기기로 전송하는 기능을 수행한다.

얼굴 인식부(161)는 공간에 대한 동영상이 촬영되는 경우, 동영상 내에 존재하는 하나 이상의 사용자의 얼굴을 인식한다.

한편, 얼굴 인식부(161)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 사용자의 얼굴을 인식할 수 있다. 여기서, 학습 모델은 얼굴 인식부(161)에서 직접 학습되거나, AI 서버 등의 외부 장치에서 학습된 것일 수 있다. 이 때, 얼굴 인식부(161)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.

트래킹부(162)는 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹한다. 한편, 트래킹부(162) 역시 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 사용자의 얼굴의 움직임을 추적할 수 있다.

본 발명의 일 실시예에 따르면, 트래킹부(162)는, 인식된 사용자들 각각에 대해, 사용자의 얼굴의 랜드마크(land mark) 또는 스켈레톤 피처(skeleton feature)를 검출하고, 검출된 랜드마크 또는 스켈레톤 피처에 기초하여 사용자의 얼굴에 대한 트래킹을 수행할 수 있다.

이 때, 칼만 필터 등의 알고리즘이 사용자의 얼굴의 트래킹에 사용될 수 있으며, 이를 통해 강력(robust)하게 트래킹이 수행될 수 있다.

제어부(163)는 제2 바디부(120)의 회전 방향 및 틸팅 각도, 즉 카메라부(130)의 회전 방향 및 틸팅 각도 중 적어도 하나를 제어하고, 카메라부(130)의 초점 거리를 제어하며, 더불어 마이크부(140)의 감도 및 스피커부(150)의 음량 중 적어도 하나를 제어한다.

이를 위해, 제어부(163)는 인식된 하나 이상의 사용자의 얼굴의 크기, 특히 정규화된 사용자의 얼굴의 크기를 산출하고, 산출된 얼굴의 크기를 이용하여 제1 사용자를 선정하며, 제1 사용자의 움직임 전후의 얼굴의 크기를 비교할 수 있다. 여기서, 제1 사용자는 인식된 하나 이상의 사용자 중에서 동영상 촬영의 메인이 되는 하나의 사용자를 의미한다.

더불어, 제어부(163)는 산출된 얼굴의 크기와 함께 마이크부(140)를 통해 수신된 사용자의 음성 신호를 더 이용하여 제1 사용자를 선정할 수 있다.

아하, 도 3을 참조하여 로봇을 이용한 동영상 획득 방법의 실시예를 보다 상세하게 설명한다.

도 3은 본 발명의 일 실시예에 따른 로봇을 이용한 동영상 획득 방법의 흐름도를 도시한 도면이다.

이하, 각 단계 별로 수행되는 과정을 상세하게 설명한다.

먼저, 카메라부(130)는 공간에 대한 동영상을 획득하며(S302), 마이크부(140)는 공간에서 출력된 음성 신호를 획득한다(S304). 이 때, 동영상 및 음성 신호의 획득 동작은 동시에 수행될 수 있다.

다음으로, 얼굴 인식부(161)는 획득된 동영상 내에 포함된 하나 이상의 사용자의 얼굴을 인식한다(S306). 즉, 얼굴 인식부(161)는 획득된 동영상을 분석하여, 동영상 내에 사용자의 얼굴이 포함되어 있는지 여부를 인식한다. 따라서, 하나 이상의 사용자의 얼굴의 개수 역시 얼굴 인식부(161)에서 인식될 수 있다. 얼굴 인식 동작 역시 실시간으로 수행된다.

본 발명의 일 실시예에 따르면, 얼굴 인식부(161)는 딥 러닝과 같은 인공지능을 이용하여 사용자의 얼굴을 인식할 수 있다.

인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.

인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.

지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.

이어서, 트래킹부(162)는 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹한다(S308). 이 때, 트래킹 동작 역시 실시간으로 수행되며, 인공지능 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면, 트래킹부(162)는, 인식된 사용자 각각에 대해, 사용자의 얼굴의 랜드마크의 포인트 정보를 검출하고, 검출된 랜드마크의 포인트 정보를 칼만 필터에 입력하여 사용자의 얼굴을 트래킹할 수 있다.

한편, 트래킹부(162)는 현재 검출된 랜드마크의 포인트 정보를 저장할 수 있으며, 저장된 랜드마크의 포인트 정보는 차후 사용자의 얼굴의 트래킹의 수행에 이용될 수 있다. 즉, 트래킹부(162)는 현재의 랜드마크의 포인트 정보를 피드백 방식으로 사용하여 차후 사용자의 얼굴을 트래킹할 수 있다.

보다 상세하게, 동영상의 촬영 시 사용자는 움직일 수 있는데, 특정한 제1 시점에서 사용자는 카메라부(130)의 촬영 범위에서 벗어나고, 제1 시점 이후의 제2 시점에서 사용자가 카메라부(130)의 촬영 범위에 들어오는 상황이 발생할 수 있다. 이 때, 제1 시점과 제2 시점의 사이의 시간 구간 동안 사용자의 얼굴의 트래킹은 중단되고, 트래킹부(162)는 제2 시점에서 다시 사용자의 얼굴을 인식하고 난 후에 트래킹을 수행하여야 되는 문제점이 있다.

이러한 문제점을 방지하기 위하여, 트래킹부(162)는 제1 시점과 인접한 이전 시점에서 검출된 사용자 얼굴의 랜드마크의 포인트 정보를 저장하고, 저장된 사용자 얼굴의 랜드마크의 포인트 정보를 제2 시점에서의 트래킹에 사용할 수 있다. 따라서, 트래킹부(162)는 사용자의 얼굴이 사라졌다 나타나도 똑같은 사용자의 얼굴로 인식하므로, 트래킹의 연속성이 보장되고, 불필요한 연산 과정을 수행하지 않아도 되는 장점이 있다.

계속하여, 제어부(163)는 인식된 하나 이상의 사용자 각각의 동영상 내에서의 얼굴 크기를 산출한다(S310). 하나 이상의 사용자 각각의 얼굴 크기는 아래에서 설명할 제1 사용자의 선정에 이용된다.

일례로, 제어부(163)는 인식된 얼굴 영역의 대각선의 길이를 산출하여 얼굴 크기를 산출할 수 있으며, 기타 다양한 방법으로 인식된 얼굴 영역의 크기를 인식할 수 있다.

한편, 제어부(163)는 인식된 하나 이상의 사용자 각각의 얼굴 크기를 정규화할 수 있다. 정규화를 통해, 제1 사용자의 선정 동작의 오류를 방지할 수 있다.

본 발명의 일 실시예에 따르면, 제어부(163)는 안간 거리 또는 동공 거리(IOD: interocular distance)에 기초하여 하나 이상의 사용자의 얼굴의 크기를 정규화할 있다.

보다 상세하게, 사람들의 양쪽 눈 사이의 거리가 오차 범위 내에서 동일하다는 전제 하에, 제어부(163)는 인식된 사용자의 얼굴 영역 내에 양쪽 눈 사이의 거리를 측정하고, 측정된 양쪽 눈 사이의 거리에 기초하여 사용자의 얼굴의 크기를 정규화할 수 있다.

이 후, 제어부(163)는 사용자의 얼굴의 크기, 특히 정규화된 사용자의 얼굴의 크기 및 마이크부(140)에서 수신된 음성 신호를 이용하여 하나 이상의 사용자 중에서 제1 사용자를 선정한다(S312).

앞서 언급한 바와 같이, 제1 사용자는 동영상에서 인식된 하나 이상의 사용자 중에서 동영상 촬영의 메인이 되는 하나의 사용자를 의미한다. 한편, 제어부(163)의 제1 사용자의 선정 과정은 아래에서 보다 상세하게 설명하기로 한다.

계속하여, 제어부(163)는 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 카메라부(130)의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어한다(S314).

본 발명의 일 실시예에 따르면, 제어부(163)는 제1 사용자의 얼굴과 카메라부(130)의 렌즈가 마주보도록 카메라부(130)의 회전 방향 및 틸팅 각도를 제어할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제어부(163)는 제1 사용자의 움직임 전후의 얼굴의 크기를 비교하여 카메라부(130)의 초점 거리를 제어할 수 있다.

보다 상세하게, 제어부(163)는, 움직임 직전의 시점인 시점 A에서의 제1 사용자의 얼굴 크기 A와, 움직임 직후의 시점인 시점 B에서의 제1 사용자의 얼굴 크기 B를 비교한다.

이 때, 얼굴 크기 A가 얼굴 크기 B보다 작으면, 제어부(163)는 제1 사용자가 카메라부(130)로 가까이 다가오는 것으로 판단하고, 줌 아웃을 수행하도록 카메라부(130)의 초점 거리를 제어할 수 있다. 그리고, 얼굴 크기 A가 얼굴 크기 B보다 크면, 제어부(163)는 제1 사용자가 카메라부(130)로부터 멀리 떨어지는 것으로 판단하고, 줌 인을 수행하도록 카메라부(130)의 초점 거리를 제어할 수 있다.

다음으로, 제어부(163)는 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 마이크부(140)의 감도를 제어하고 스피커부(150)의 음량을 제어할 수 있다(S316).

보다 상세하게, 제어부(163)는, 움직임 직전의 시점 A에서의 제1 사용자의 얼굴 크기 A와, 움직임 직후의 시점 B에서의 제1 사용자의 얼굴 크기 B를 비교한다.

이 때, 얼굴 크기 A가 얼굴 크기 B보다 작으면, 제어부(163)는 제1 사용자가 카메라부(130)로 가까이 다가오는 것으로 판단하고, 제어부(163)는 마이크부(140)의 감도를 낮추고, 스피커부(150)의 음량을 낮추도록 카메라부(130)의 초점 거리를 제어할 수 있다. 이에 따라 불필요한 전력 소모를 방지할 수 있다.

그리고, 얼굴 크기 A가 얼굴 크기 B보다 크면, 제어부(163)는 제1 사용자가 카메라부(130)로부터 멀리 떨어지는 것으로 판단하고, 마이크부(140)의 감도를 높이고, 스피커부(150)의 음량을 높이도록 제어할 수 있다. 이에 따라, 사용자의 영상 통화의 편의성을 도모할 수 있다.

도 5 및 도 6은 사용자가 로봇(100)를 이용하여 동영상을 획득하는 본 발명의 일례를 도시한 도면이다.

도 5를 참조하면, 공간 내에 하나의 사용자인 제1 사용자만이 존재하며, 제1 사용자는 제1 시점에서 로봇(100)의 우측에 위치하며, 로봇(100)는 카메라부(130)를 통해 제1 사용자에 대한 촬영을 수행한다.

그리고, 도 6을 참조하면, 한편, 제1 사용자는 위치를 이동하며, 제2 시점에서 로봇(100)의 좌측에 위치한다. 따라서, 로봇(100)은 제1 시점에서 제2 시점의 사이의 시간 구간 동안 제1 사용자를 추적하며, 제1 사용자의 얼굴과 카메라부(130)가 마주보도록 카메라부(130)의 회전 방향 및 틸팅 각도를 제어하며, 제1 사용자와 로봇(100) 간의 거리에 기초하여 카메라부(130)의 초점 거리를 제어한다.

정리하면, 본 발명에 따른 로봇(100)는 회전 및 틸팅이 가능한 장치로서, 영상 통화 또는 동영상 촬영에 이용될 수 있으며, 특히 사용자가 로봇(100)을 이용하여 영상 통화을 수행할 때, 사용자의 위치가 변경되어도 로봇(100)이 자동으로 사용자를 추적함으로써 끊김이 없는 영상 통화가 가능한 장점이 있다. 또한, 로봇(100)은 사용자의 위치에 따라 마이크부(140)의 감도 및 스피커부(150)의 음량을 조절할 수 있으므로, 영상 통화 시 음성이 양방향으로 전달되지 못하는 문제점을 해결할 수 있다.

이하, 제1 사용자를 선정하는 단계(S312)의 과정을 보다 상세하게 설명하기로 한다.

도 4는 본 발명의 일 실시예에 따른 로봇을 이용한 동영상 획득 방법 내의 단계(S312)의 상세한 흐름도를 도시한 도면이다.

제어부(163)는 인식된 사용자의 얼굴의 개수가 2 이상인지를 판단한다(S3121).

이 때, 인식된 사용자의 얼굴이 하나인 경우 제어부(163)는 하나의 사용자를 제1 사용자로 선정한다(S3122). 즉, 동영상 내에 하나의 사용자가 인식되어 있는 경우 하나의 사용자를 제1 사용자로 선정한다.

그리고, 인식된 사용자의 얼굴이 2 이상인 경우 제어부(163)는 마이크부(140)를 통해 음성 신호가 수신되었는지 여부를 판단한다(S3123).

만약, 음성 신호가 수신되지 않는 경우, 제어부(163)는 2 이상의 사용자 중에서 얼굴 크기가 가장 큰 사용자, 특히 정규화된 사용자의 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정한다(S3124).

즉, 원근법에 의해 동영상 내에서 얼굴 크기가 제일 큰 사용자는 로봇(100)과 제일 가까운 사용자로 추정되고, 로봇(100)과 제일 가까운 사용자가 동영상 촬영의 메인 사용자로 사용자로 추정되므로, 제어부(163)는 정규화된 사용자의 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정한다.

반대로, 음성 신호가 수신되는 경우, 제어부(163)는 음성 신호의 발생 위치를 산출한다(S3125). 이 때, 제어부(163)는 인공 지능에 기반하여 음성 신호의 발생 위치를 판단할 수 있다.

그리고, 제어부(163)는 음성 신호의 발생 위치에 사용자가 존재하는지 여부를 판단한다(S3126). 이는 앞서 설명한 사용자의 트래킹 과정에 기초하여 수행될 수 있다.

음성 신호의 발생 위치에 사용자가 존재하지 않는 경우, 제어부(163)는 앞서 설명한 내용과 동일하게 2 이상의 사용자 중 사용자의 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정한다(S3124). 즉, 음성 신호의 발생 위치에 2 이상의 사용자 전부가 위치하지 않는 경우, 공간에 위치하고 있으나 동영상에 촬영되지 않는 다른 사용자가 음성 신호를 출력한 것으로 추정할 수 있으므로, 제어부(163)는 앞서 설명한 바와 유사하게 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정할 수 있다.

한편, 음성 신호의 발생 위치에 사용자가 존재하는 경우, 음성 신호의 발생 위치에 복수의 사용자가 존재하는지를 판단한다(S3127). 즉, 단계(S3127)에서, 제어부(163)는 음성 신호의 발생 위치에 하나의 사용자가 존재하는지, 복수의 사용자가 존재하는지를 판단한다.

만약, 음성 신호의 발생 위치에 하나의 사용자인 제2 사용자만 존재하는 경우, 제어부(163)는 제2 사용자를 제1 사용자로 선정한다(S3128). 즉, 음성 신호의 발생 위치에 제2 사용자가 위치한 경우, 제2 사용자가 음성 신호를 출력한 것으로 판단하며, 따라서 제어부(163)는 제2 사용자를 제1 사용자로 선정할 수 있다.

반대로, 음성 신호의 발생 위치에 복수의 사용자가 존재하는 경우, 제어부(163)는 복수의 사용자 중 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정한다(S3129). 즉, 단계(S3129)에서는 동영상에서 인식된 2 이상의 사용자가 아니라 음성 신호의 발생 위치와의 비교를 통해 추려진 복수의 사용자를 기준으로 하여 제1 사용자를 선정한다. 이를 통해 얼굴 크기의 비교 대상의 개수가 줄어들어 불필요한 연산을 수행하지 않아도 된다.

제어부(163)의 제1 사용자의 선정 과정은 다음과 같이 정리될 수 있다.

동영상 내에 존재하는 사용자가 하나인 경우, 제어부(163)는 음성 신호를 이용하지 않고 하나의 사용자를 제1 사용자로 선정할 수 있다.

동영상 내에 존재하는 사용자가 2 이상인 경우, 제어부(163)는 2 이상의 사용자 중 얼굴 크기가 가장 큰 사용자를 제1 사용자로 선정할 수 있다.

한편, 음성 신호를 더 이용하여 제어부(163)가 제1 사용자를 선정하는 경우는 다음과 같다.

동영상 내에 존재하는 사용자가 2 이상이고, 음성 신호가 수신되지 않는 경우, 제어부(163)는 2 이상의 사용자 중 얼굴 크기가 가장 큰 사용자를 제1 사용자로 선정할 수 있다.

동영상 내에 존재하는 사용자가 2 이상이고, 음성 신호가 수신되며, 음성 신호의 발생 위치에 사용자가 존재하지 않는 경우, 제어부(163)는 2 이상의 사용자 중 사용자의 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정할 수 있다.

동영상 내에 존재하는 사용자가 2 이상이고, 음성 신호가 수신되며, 음성 신호의 발생 위치에 하나의 사용자인 제2 사용자만이 존재하는 경우, 제어부(163)는 상기한 제2 사용자를 제1 사용자로 선정할 수 있다.

동영상 내에 존재하는 사용자가 2 이상이고, 음성 신호가 수신되며, 음성 신호의 발생 위치에 복수의 사용자가 존재하는 경우, 제어부(163)는 복수의 사용자 중 얼굴의 크기가 가장 큰 사용자를 제1 사용자로 선정할 수 있다.

또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100: 로봇 110: 제1 바디부
120: 제2 바디부 130: 카메라부
140: 마이크부 150: 스피커부
160: 프로세서부 161: 얼굴 인식부
162: 트래킹부 163: 제어부
170: 통신부

Claims

좌우 방향으로 회전하고 상하 방향으로 틸팅되는 바디부;
상기 바디부의 회전 및 틸팅에 따라서 회전 및 틸팅되며, 공간에 대한 동영상을 획득하는 카메라부;
상기 동영상 내에서 하나 이상의 사용자의 얼굴을 인식하는 얼굴 인식부;
상기 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹하는 트래킹부; 및
상기 하나 이상의 사용자의 얼굴의 크기를 산출하고, 상기 산출된 얼굴의 크기에 기초하여 제1 사용자를 선정하고, 상기 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 상기 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 제어부;를 포함하는, 로봇
제1항에 있어서,
상기 제어부는, 상기 제1 사용자의 얼굴과 상기 카메라부가 마주보도록 상기 카메라부의 회전 방향 및 틸팅 각도를 제어하고, 상기 제1 사용자의 움직임 전후의 얼굴의 크기를 비교하여 상기 카메라부의 초점 거리를 제어하는, 로봇.
제1항에 있어서,
상기 제어부는, 안간 거리(interocular distance)에 기초하여 상기 하나 이상의 사용자의 얼굴의 크기를 정규화하고, 상기 정규화된 하나 이상의 사용자의 정규화된 얼굴의 크기에 기초하여 상기 제1 사용자를 선정하는, 로봇.
제1항에 있어서,
상기 제어부는, 상기 하나 이상의 사용자 중에서 상기 얼굴의 크기가 가장 큰 사용자를 상기 제1 사용자로 선정하는, 로봇.
제1항에 있어서,
상기 공간에서 출력된 음성 신호를 수신하는 마이크부;를 더 포함하되,
상기 제어부는 상기 수신된 음성 신호에 더 기초하여 상기 제1 사용자를 선정하는, 로봇.
제4항에 있어서,
상기 제어부는, 상기 제1 사용자의 움직임 전후의 얼굴의 크기를 비교하여 상기 마이크부의 감도(gain)를 제어하는, 로봇.
제4항에 있어서,
상기 음성 신호가 수신되는 경우,
상기 제어부는 상기 음성 신호의 발생 위치를 산출하고, 상기 산출된 음성 신호의 발생 위치에 상기 하나 이상의 사용자가 존재하는지 여부에 기초하여 상기 제1 사용자를 선정하는, 로봇.
제7항에 있어서,
상기 제어부는, 상기 산출된 음성 신호의 발생 위치에 상기 하나 이상의 사용자 중 제2 사용자가 위치하는 경우, 상기 제2 사용자를 상기 제1 사용자로 선정하는, 로봇.
제7항에 있어서,
상기 제어부는, 상기 산출된 음성 신호의 발생 위치에 상기 하나 이상의 사용자 전부가 위치하지 않는 경우, 상기 하나 이상의 사용자 중에서 상기 얼굴의 크기가 가장 큰 사용자를 상기 제1 사용자로 선정하는, 로봇.
제7항에 있어서,
상기 제어부는, 상기 산출된 음성 신호의 발생 위치에 상기 하나 이상의 사용자 중 복수의 사용자가 위치하는 경우, 상기 복수의 사용자 중 상기 얼굴의 크기가 가장 큰 사용자를 상기 제1 사용자로 선정하는, 로봇.
제1항에 있어서,
스피커부;를 더 포함하되
상기 제어부는 상기 제1 사용자의 움직임 전후의 얼굴의 크기를 비교하여 상기 스피커부의 음량을 제어하는, 로봇.
좌우 방향으로 회전하고, 상하 방향으로 틸팅되며, 하나 이상의 사용자가 위치한 공간에 대한 동영상을 획득하는 카메라부;
상기 동영상 내의 상기 하나 이상의 사용자의 얼굴을 인식하는 얼굴 인식부;
상기 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹하는 트래킹부; 및
상기 하나 이상의 사용자의 얼굴의 크기를 산출하고, 상기 산출된 얼굴의 크기에 기초하여 제1 사용자를 선정하고, 상기 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 상기 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 제어부;를 포함하는, 전자 기기.
좌우 방향으로 회전하고 상하 방향으로 틸팅되는 카메라부가 하나 이상의 사용자가 위치한 공간에 대한 동영상을 획득하는 단계;
얼굴 인식부가 상기 동영상 내의 상기 하나 이상의 사용자의 얼굴을 인식하는 단계;
트래킹부가 상기 인식된 하나 이상의 사용자의 얼굴 각각의 움직임을 트래킹하는 단계;
제어부가 상기 하나 이상의 사용자의 얼굴의 크기를 산출하는 단계;
상기 제어부가 상기 산출된 얼굴의 크기에 기초하여 제1 사용자를 선정하는 단계; 및
상기 제어부가 상기 제1 사용자의 얼굴 움직임의 트래킹 결과에 기초하여 상기 카메라부의 회전 방향, 틸팅 각도 및 초점 거리 중 적어도 하나를 제어하는 단계;를 포함하는, 로봇을 이용한 동영상 획득 방법.