KR20210045131A

KR20210045131A - 로봇 및 그의 제어 방법

Info

Publication number: KR20210045131A
Application number: KR1020190128507A
Authority: KR
Inventors: 정지만; 박지환
Original assignee: 엘지전자 주식회사
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2021-04-26
Also published as: KR102323946B1; US20210114215A1; US11724397B2

Abstract

로봇이 개시된다. 본 로봇은 센싱부, 마이크 및 제어부를 포함할 수 있다. 상기 로봇은 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행할 수 있으며, 5G 통신 환경에서 다른 전자 기기들과 통신을 수행할 수 있다. 이에, 사용자 편의가 제고될 수 있다.

Description

로봇 및 그의 제어 방법{ROBOT AND METHOD FOR CONTROLLING THE SAME}

본 발명은 로봇 및 그의 제어 방법에 관한 것으로 더 상세하게는 복수의 마이크로폰을 통해 사운드 신호를 입력받는 로봇 및 그의 제어 방법에 관한 것이다.

로봇(Robot)은 스스로 보유한 능력에 의해 일을 자동으로 처리하는 기기이며, 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 안내 로봇, 우주 항공 로봇 등이 개발되고 있으며, 일반 가정에서 적용될 수 있는 홈 로봇도 활발하게 개발되고 있는 실정이다.

선행 기술 1(KR1020070050283A)에 개시된 서비스 로봇은 네트워크를 통해 서버와 연결되어 음성 데이터를 서버로 전송할 수 있으며, 복수 개의 음성 인식 마이크로폰(이하, 본 명세서에서는 "마이크"로 칭함)을 이용하여 음원 방향을 추정하고 추정된 음원 방향에 대한 정보를 서버로 전송한다.

다만, 선행 기술 1에는 음원이 발생된 방향을 서비스 로봇 중심으로 추정하는 내용이 개시되기는 하나, 서비스 로봇의 주변에 장애물이 배치되는 경우, 마이크로 입력되는 사운드 신호가 왜곡되는 것을 해결하지 못하는 한계가 있다.

선행 기술 2(KR1020180079824A)에 개시된 홈 로봇은 복수의 마이크를 통해 음성 신호를 수신하고, 수신된 음성 신호에 대응되는 음원 발생 위치를 추정한다.

다만, 선행 기술 2에는 복수의 마이크를 이용하여 홈 로봇과 음원의 위치를 추정하는 내용이 단순히 언급되기는 하나, 이를 위한 구체적인 구현 방식이 개시되지 않았으며, 주변에 장애물이 배치되어 사운드 신호가 왜곡되어 입력되는 것을 해결하지 못하는 한계가 있다.

본 발명이 해결하고자 하는 과제는 복수의 마이크를 통해 사운드 신호를 입력받는 경우, 장애물에 의해 왜곡되어 복수의 마이크에 입력되는 사운드 신호를 검출하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.

본 발명의 또 다른 과제는, 복수의 마이크를 통해 사운드 신호를 입력받는 경우, 장애물에 의해 반사되어 입력된 사운드 신호의 영향력을 최소화하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.

본 발명의 또 다른 과제는, 사운드를 발생시키는 음원의 방향을 추정하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 로봇의 제어 방법은 로봇의 기 설정된 움직임(Movement)을 감지하는 경우, 로봇과 소정 범위 내에 위치한 장애물을 검색하는 단계, 장애물이 검색되는 경우, 공간 상에서 장애물의 점유 영역을 추정하는 단계 및 로봇의 소정 영역에 위치한 복수의 마이크를 통해 사운드 신호를 입력받는 경우, 추정된 장애물의 점유 영역에서 복수의 마이크가 위치한 방향으로 입력된 사운드 신호를 검출하는 단계를 포함할 수 있다.

상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 로봇은 로봇의 주변을 촬영하는 비전 인식 기반의 카메라, 로봇의 움직임을 감지하는 관성 측정 센서(IMS), 로봇의 소정 영역에 위치한 복수의 마이크 및 제어부를 포함할 수 있다.

상기 제어부는 로봇의 기 설정된 움직임을 관성 측정 센서(IMS)를 통해 감지하는 경우, 로봇과 소정 범위 내에 위치한 장애물을 카메라를 이용하여 검색할 수 있다.

상기 제어부는 장애물이 검색되는 경우, 공간 상에서 장애물의 점유 영역을 추정하며, 복수의 마이크를 통해 사운드 신호를 입력받는 경우, 추정된 장애물의 점유 영역에서 복수의 마이크가 위치한 방향으로 입력된 사운드 신호를 검출할 수 있다.

본 발명의 다양한 실시 예에 따르면, 아래와 같은 효과가 도출될 수 있다.

첫째, 복수의 마이크를 통해 사운드 신호가 입력될 때, 장애물에 의해 왜곡된 사운드 신호가 검출되고 가공됨으로써, 장애물에 의해 왜곡된 사운드 신호의 영향력이 최소화될 수 있다.

둘째, 사운드를 발생시키는 음원의 방향이 추정됨으로써, 로봇의 방향 탐지 성능 및 빔포밍 성능이 개선될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 클라우드 시스템을 나타낸 도면,
도 2는 본 발명의 일 실시 예에 따른 로봇의 외관을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 복수의 마이크가 로봇의 소정 영역에 배치된 것을 상부에서 바라본 평면도,
도 4는 본 발명의 일 실시 예에 따른 장애물과 소정 거리로 이동한 로봇의 구동을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 주변 장애물을 회전하면서 검색하는 로봇의 구동을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 정보 제공 시스템과 통신하는 로봇의 구성을 나타내는 상대 블록도, 그리고,
도 7 내지 도 13은 본 발명의 다양한 실시 예에 따른 로봇의 구동 방법을 설명하기 위한 시퀀스도이다.

본 발명의 다양한 실시 예는 인공 지능에 관한 기술을 이용할 수 있으므로, 이하에서는, 인공 지능에 대해 개략적으로 설명한다.

인공 지능(AI: Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향(Bias) 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.

인공 신경망에서 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.

지도 학습은 학습 데이터에 대한 레이블(Label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 클라우드 시스템(1000)을 나타낸다.

도 1을 참고하면, 클라우드 시스템(1000)은 로봇(100), 이동 단말(200), 정보 제공 시스템(300), 각종 기기(400) 및 5G 네트워크(500)을 포함할 수 있다.

로봇(100)은 실내 또는 실외의 소정 장소에 배치되어, 복수의 마이크를 포함하는 마이크 어레이(Array)를 통해 주변의 사운드 신호를 입력받을 수 있으며, 주변의 사용자, 동물, 전자 기기 및/또는 로봇들과 인터랙션할 수 있다. 선택적 실시 예로 상기 로봇(100)은 홈(Home)에 배치될 수 있다.

상기 로봇(100)은 이동형 또는 고정형으로 구현될 수 있다. 상기 로봇(100)이 이동형으로 구현되는 경우, 자체적으로 설정한 목적지 또는 입력된 목적지로 휠을 구동하여 이동할 수 있다. 상기 로봇(100)이 고정형으로 구현되는 경우, 외력에 순응하여 이동이 가능하다.

이동 단말(200)은 5G 네트워크(500)를 통해 로봇(100)과 통신할 수 있으며, 제어 명령을 로봇(100)으로 전송할 수 있다. 이동 단말(200)은 영상 기반으로 정보를 제공할 수 있으며, 이동 단말(100)은 휴대폰, 스마트 폰(smart phone), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등의 이동형 기기들을 포함할 수 있다.

정보 제공 시스템(300)는 로봇(100)에 다양한 정보를 제공할 수 있으며, 로봇(100)의 다양한 요청에 응답할 수 있다. 실시 예에서, 정보 제공 시스템(300)은 로봇(100)이 요청하는 복잡한 연산(가령, 딥 러닝 연산)을 수행할 수 있다. 이를 위해, 정보 제공 시스템(300)은 연산 수행을 위한 다양한 정보를 메모리(후술할 도 320)에 저장할 수 있다.

각종 기기(400)는 개인 컴퓨터(PC, 400a), 자율 주행차(400b), 냉장고(400c) 등을 포함할 수 있다. 각종 기기(400)는 로봇(100), 이동 단말(200), 정보 제공 시스템(300) 등과 5G 네트워크(500)를 통해 연결될 수 있다.

상기 로봇(100), 이동 단말(200), 정보 제공 시스템(300) 및 각종 기기(400)는 모두 5G 모듈을 탑재하여 100Mbps 내지 20Gbps(또는, 그 이상) 속도로 데이터를 송수신할 수 있다. 이에 클라우드 시스템(1000)의 각 구성들은 대용량의 동영상 파일을 다양한 기기로 전송할 수 있으며, 저전력으로 구동되어 전력 소비가 최소화될 수 있다. 다만, 상기 전송 속도는 구현 예에 따라 달라질 수 있다.

5G 네트워크(500)는 5G 이동 통신 네트워크, 근거리 네트워크, 인터넷 등을 포함하여 유무선으로 기기들의 통신 환경을 제공할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 로봇(100)의 외관을 설명하기 위한 도면이다.

로봇(100)은 다양한 외부 기기들과 통신할 수 있는 기기로, 소정 공간(예를 들면, 가정, 병원, 회사 등)에 배치될 수 있다. 다만, 본 명세서 상에서 로봇(100)이 가정(Home)에 위치하는 것으로 상정하여 기술하기로 한다.

로봇(100)의 구성을 살펴보면, 로봇(100)은 헤드(Head) 및 바디(Body)를 포함할 수 있다. 헤드(Head)는 로봇(100)의 상부를 형성하고, 바디(Body)는 헤드(head)에 연결되어 로봇(100)의 하부를 형성할 수 있다.

먼저, 헤드(Head)는 디스플레이(141)를 구비하여, 다양한 콘텐츠를 제공하거나 영상 통화를 위한 인터페이스를 제공할 수 있다. 또한, 로봇(100)은 디스플레이(141)를 통해 사용자와 인터랙션할 수 있다. 예를 들면, 디스플레이(141)는 가상적으로 사용자의 눈 모양과 비슷한 타원 또는 원형의 아이템(193a, 193b)(193)을 표시하고, 윙크, 깜빡임 등의 인터랙션을 위한 구동을 수행할 수 있다. 이에 따라, 사용자에게 보다 친화적인 구동이 상기 로봇(100)을 통해 수행될 수 있다.

디스플레이(141)의 일 영역에는 카메라(121)가 배치될 수 있으며, 카메라(121)는 사용자를 촬영하거나 사용자를 인식하는데 사용될 수 있다. 상기 카메라(121)는 복수로 구현될 수 있다. 실시 예에서, 상기 카메라(121)는 깊이 촬영 모듈을 포함하거나, 스테레오 카메라로 구현될 수 있다.

바디(Body)는 로봇(100)의 구동을 위한 다양한 모듈, 회로 등이 배치될 수 있으며, 로봇(100)이 중력축(GA)을 기준으로 회전할 수 있도록 회전 구동부(도 6의 170)를 포함할 수 있다. 또한, 바디(Body)는 헤드(Head)가 좌우 방향 또는 전후 방향으로 기울림 동작을 수행하게 할 수 있다. 선택적 실시 예로 상기 회전 구동부(170)의 일부 또는 전부가 헤드(Head)에 배치될 수 있다.

실시 예에 의하면, 바디(Body)와 지면이 닿는 지점에 하나 이상의 휠이 배치될 수도 있다. 이런 경우, 상기 휠을 구동시키는 구동 모듈이 추가적으로 포함될 수 있다.

로봇(100)은 중력축(GA)을 기준으로 회전하면서 카메라(121)를 이용하여 주변을 촬영할 수 있다. 상기 카메라(121)는 비전 인식 기능을 구비할 수 있으므로, 촬영된 영상에서 오브젝트를 인식할 수 있다.

일 실시 예에서, 카메라(121)는 자체적으로 거리를 감지하는 거리 센서를 구비하여 카메라(121)의 촬영 방향에 배치된 오브젝트와의 거리를 측정할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 복수의 마이크(123)가 상기 로봇(100)의 소정 영역에 배치된 것을 상부에서 바라본 평면도이다.

복수의 마이크(123a~123d)(123)는 헤드(Head)의 소정 영역에 배치될 수 있으며, 복수의 마이크(123a~123d)(123) 각각은 소정 거리를 두고 일정하게 배치될 수 있다.

일 실시 예에서, 상기 복수의 마이크(123a~123d)(123) 중 두 마이크(123b, 123c)는 헤드(Head)의 전면 방향에 배치될 수 있으며, 다른 두 마이크(123a, 123d)는 헤드(Head)의 후면 방향에 배치될 수 있다. 즉, 로봇(100)의 전면에 두 개, 로봇(100)의 후면에 두 개가 배치될 수 있다. 이때, 상기 복수의 마이크(123a~123d)(123)는 정사각형, 직사각형 및 마름모 등의 형태로 배치될 있다. 다만, 구현 예에 따라, 마이크의 개수는 조정될 수 있으며, 마이크의 위치도 변경될 수 있다.

로봇(100)은 복수의 마이크(123a~123d)(123)를 이용하여 사운드의 발생 방향을 인식할 수 있다. 로봇(100)은 복수의 마이크(123a~123d)(123)를 통해 입력된 사운드 신호의 시간차에 기초한 상관도를 이용하여 사운드 신호의 발생 방향을 인식할 수 있다.

다만, 로봇(100)은 복수의 마이크(123a~123d)(123)를 이용하여 사운드 신호를 입력받더라도, 장애물에 의한 사운드 신호가 반사되어 복수의 마이크(123a~123d)(123)로 입력되는 경우, 사운드를 발생시킨 음원의 위치를 찾는데 어려움이 따를 수 밖에 없다. 또한, 사운드 발생 위치 탐지에 어려움으로 인해, 사운드 인식 정확도도 떨어지게 된다. 이에, 본 발명의 다양한 실시 예에 따른 로봇(100)은 장애물에 의한 사운드 신호의 왜곡을 검출하고, 왜곡된 사운드 신호의 영향력을 감소시키며, 음원의 위치를 보다 정확하게 찾을 수 있다.

로봇(100)은 상기 복수의 마이크(123a~123d)(123)를 통해 사운드 신호를 입력받을 수 있으며, 주변에 벽(Wall)과 같은 장애물이 배치되면, 장애물에 반사되는 사운드 신호, 왜곡된 사운드 신호 등에 의해 로봇(100)으로 입력되는 사운드 신호의 방향을 정확하게 측정하기 어렵다. 또한, 입력된 사운드 신호에 기초하여, 사운드를 인식하는데도 정확도가 떨어질 수 있다. 가령, 로봇(100)은 강아지, 사람, 전자 기기 및 물건에 의해 발생된 사운드인지 인식하기 어려울 수 있다.

도 4는 본 발명의 일 실시 예에 따른 장애물(Obst)과 소정 거리로 이동한 로봇(100)의 구동을 설명하기 위한 도면이다. 여기서, 장애물(Obst)은 벽으로 가정하기로 한다. 장애물(Obst)이 공간을 점유하는 시작면(Obst(S))과 끝면(Obst(E))도 도시된 바와 같다.

로봇(100)은 홈(Home)에 배치될 수 있으며, 제1 위치(AA1)에서 제2 위치(AA2)로 이동할 수 있다. 상기 이동은 홈(Home)에 위치한 사용자에 의해 수동적으로 수행될 수 있으며, 로봇(100)의 이동 모듈에 의해 자체적으로 수행될 수 있다. 로봇(100)은 관성 측정 센서(Inertial Measurement Sensor, IMS, 도 6의 131)를 이용하여 이동 또는 움직임을 감지할 수 있다.

로봇(100)은 장애물(Obst)과 소정 거리(di)를 두고 배치될 수 있다. 상기 소정 거리(di)를 30 cm로 가정할 수 있으나, 실시 예가 이에 국한되는 것은 아니다.

로봇(100)은 제1 위치(AA1)에 위치할 때는, 복수의 마이크를 통해 사운드 신호를 입력받을 수 있으나, 제2 위치(AA2)에 위치할 때는, 장애물(Obst)에서 반사되는 사운드 신호, 신호 자체가 왜곡되거나 에코로 인해 왜곡된 사운드 신호 등의 영향을 배제 또는 최소화하기 위해 입력되는 사운드 신호를 가공할 수 있다.

로봇(100)은 기 설정된 거리의 이동 또는 기 설정된 움직임을 관성 측정 센서(IMS)를 통해 감지하면, 오토 캘리브레이션(Auto Calibration)을 수행할 수 있다. 오토 캘리브레이션은 로봇(100)의 위치에 관련된 캘리브레이션으로 이동 지점의 주변 장애물을 검색하는 구동을 포함할 수 있다.

본 명세서에서, 장애물(Obst)을 벽으로 가정하여 설명하나, 장애물은 사람, 구조물, 물건 등을 포함할 수 있다. 로봇(100)은 장애물(Obst)의 반사도 정보, 디멘션(Dimension) 정보 등을 통해 입력되는 사운드 신호의 가공 정도를 결정할 수 있다.

상기 반사도 정보는 사운드 신호를 장애물(Obst)이 반사해내는 정도를 나타낸 것이며, 상기 디멘션 정보는 장애물(Obst)의 크기, 폭, 면적, 용적 등을 가리키는 치수에 관련된 정보이며, 수학적 공간의 넓이를 나타낼 수 있는 정보(가령, 직선은 1차원 정보, 평면은 2차원 정보, 기하학상 공간은 3차원 정보) 등을 포함할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 주변 장애물(Obst)을 회전하면서 검색하는 로봇의 구동을 설명하기 위한 도면이다.

로봇(100)은 로봇(100)과 소정 거리(r) 떨어진 장애물(Obst)을 회전하면서 검색할 수 있으며, 공간 상에서 장애물(Obst)의 점유 각도(Angl)를 측정할 수 있다. 로봇(100)은 공간 상에서 장애물(Obst)의 시작면(Obst(S), 또는 시작점) 및 끝면(Obst(E), 또는 끝점)에 대응하는 점유 각도(Angl)을 측정할 수 있다.

아울러, 로봇(100)은 다양한 방법을 이용하여 공간 상에서 장애물(Obst)의 점유 영역을 추정할 수 있다. 자세한 방법은 후술하기로 하고 여기서는 생략한다.

로봇(100)은 발화자(Utt)의 발화 사운드(Dia, "로봇아")에 대해, 복수의 마이크로 사운드 신호가 다이렉트로 입력되는 경우, 상기 사운드 신호를 바로 저장하고, 상기 장애물(Obst)에서 반사되어 사운드 신호가 인다이렉트로 입력되는 경우, 상기 사운드 신호를 가공할 수 있다. 즉, 로봇(100)은 장애물(Obst)에서 반사된 사운드 신호를 감쇄, 무시함으로써, 반사된 사운드 신호의 영향력을 최소화시킬 수 있다.

도 6은 본 발명의 일 실시 예에 따른 정보 제공 시스템(300)과 통신하는 로봇(100)의 구성을 나타내는 상대 블록도이다.

로봇(100)은 통신부(110), 입력부(120), 센싱부(130), 출력부(140), 메모리(150), 전원공급부(160), 회전 구동부(170) 및 제어부(190)를 포함할 수 있다. 도 6에 도시된 구성요소들은 로봇(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 로봇(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

통신부(110, Transceiver)는 정보 제공 시스템(300)과 통신할 수 있는 유선 또는 무선의 통신 모듈을 포함할 수 있다.

선택적 실시 예로 상기 통신부(110)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 통신에 관한 모듈을 탑재할 수 있다.

실시 예에서, 제어부(190)는 인공 지능에 관한 연산을 통신부(110)를 통해 정보 제공 시스템(300)에 요청할 수 있다.

입력부(120)는 사용자로부터 정보를 입력 받기 위한 사용자 인터페이스 또는 사용자 입력부를 포함할 수 있다. 선택적 실시 예로 입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크(123)를 포함할 수 있다. 여기서, 카메라(121)나 마이크(123)를 센서로 취급하여, 카메라(121)나 마이크(123)에서 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.

카메라(121)는 로봇(100)의 주변을 촬영할 수 있으며, 비전 인식 기능을 구비할 수 있다. 마이크(123)는 복수로 구현될 수 있으며, 로봇(100)의 소정 영역에 배치될 수 있다.

입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때, 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 제어부(190)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.

센싱부(130)는 다양한 센서들을 이용하여 로봇(100)의 내부 정보, 로봇(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.

이때, 센싱부(130)는 위성에 기반한 위치 수신 센서, 거리 감지 센서, 커넥터 결합 감지 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크, 라이다 센서, 바로미터 센서, 레이더 등을 포함할 수 있다.

센싱부(130)는 관성 측정 센서(131, IMS, Inertial Measurement Sensor)를 포함할 수 있다. 상기 관성 측정 센서(131)는 자이로 센서, 가속도 센서 및/또는 전자기 센서 등을 구비하여 로봇(100)의 회전, 이동, 특정 움직임 등을 감지할 수 있다.

또한, 센싱부(131)는 근접 센서(133)를 포함하여, 주변의 장애물을 감지할 수 있으며, 제어부(190)는 감지된 장애물의 디멘션 정보를 추정할 수 있다. 근접 센서(133)는 장애물의 시작점과 끝점을 인식하여, 장애물의 디멘션 정보를 추정할 수 있다.

출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있는데, 출력부(140)는 시각 정보를 출력하는 광 출력부, 디스플레이(141) 등을 포함할 수 있으며, 청각 정보를 출력하는 스피커 등을 포함할 수 있다. 상기 스피커(143)는 가청 주파수의 사운드 정보를 출력할 수 있으며, 고주파의 사운드 정보를 출력할 수 있다. 상기 출력부(140)는 촉각 정보를 출력하는 햅틱 모듈을 포함할 수 있다.

메모리(150)는 로봇(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 로봇(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 로봇(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.

아울러, 메모리(150)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 메모리(150)는 심층 신경망 모델을 저장할 수 있다. 상기 심층 신경망 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.

제어부(190)는 복수의 심층 신경망 모델을 메모리(150)에 저장하거나, 통신부(110)를 통해 정보 제공 시스템(300)에 저장할 수 있다. 실시 예에서, 제어부(190)는 입력된 촬영 영상에서 장애물 정보를 출력하는 제1 심층 신경망 모델을 메모리(150)에 저장할 수 있다. 또한, 제어부(190)는 음원에서 출력되는 사운드 정보 및 로봇(100)으로 입력되는 사운드 신호의 방향 정보를 입력 데이터로 하여 음원의 방향 정보를 출력하는 제2 심층 신경망 모델을 메모리(150)에 저장할 수 있다.

여기서, 제어부(190)는 소정의 촬영 영상이 입력되면, 해당 촬영 영상에서 장애물을 인식하기 위한 레이블을 메모리(150)에 저장하며, 음원에서 출력되는 사운드 정보 및 로봇(100)으로 입력되는 사운드 신호의 방향 정보가 입력되면, 음원의 방향 정보를 출력하는 레이블을 메모리(150)에 저장할 수 있다. 이에, 심층 신경망 모델이 생성될 수 있으며, 지도 학습으로 인한 결과가 더욱 정확하게 도출될 수 있다.

전원공급부(160)는 제어부(190)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 로봇(100)의 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(160)는 배터리를 포함하며, 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다. 배터리는 유선 또는 무선 충전 방식으로 충전될 수 있는데, 무선 충전 방식은 자기 유도 방식 또는 자기 공진 방식을 포함할 수 있다.

회전 구동부(170)는 중력 방향을 기준으로 로봇(100)을 회전시키기 위한 모듈이다. 여기서, 로봇(100)은 중력축을 기준으로 회전할 수 있으나, 선택적 실시 예로, 다른 중심축을 기준으로 회전할 수도 있다.

제어부(190)는 하나 이상의 프로세서를 포함할 수 있으며, 로봇(100)의 구성들을 컨트롤하는 모듈이다. 제어부(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이하에서는, 제어부(190)의 구동을 주로 설명하기로 한다.

제어부(190)는 로봇(100)의 움직임(Movement)을 감지할 수 있다. 제어부(190)는 다양한 센서 및 카메라(121) 등을 이용하여 로봇(100)의 움직임을 감지할 수 있다. 선택적 실시 예로, 제어부(190)는 관성 측정 센서(131)를 통해 로봇(100)의 움직임을 감지할 수 있다.

제어부(190)는 로봇(100)의 기 설정된 움직임을 감지할 수 있다. 제어부(190)는 로봇(100)이 장애물 주변으로 인접하는 경우만을 기 설정된 움직임으로 결정할 수 있다. 제어부(190)는 로봇(100)이 소정 거리 이동하면서 동시에 장애물에 소정 거리 근접하는 경우, 로봇(100)의 기 설정된 움직임이 발생한 것으로 결정할 수 있다.

여기서, 제어부(190)는 장애물에 소정 거리 근접하는 것을 감지하기 위해 근접 센서(133) 또는 카메라(121)를 이용할 수 있다. 장애물에 수십 센티미터 근접한 경우를 장애물에 근접한 경우로 설정할 수 있으나, 실시 예가 이에 국한되는 것은 아니다. 기 설정된 움직임에 따른 복잡한 연산이 실제 장애물에 인접한 경우에만 수행되어, 장치 효율성이 향상될 수 있다.

다만, 선택적 실시 예로, 제어부(190)는 로봇(100)이 단순히 소정 거리를 이동하는 경우, 회전과 같은 비틀림 움직임을 기 설정된 움직임으로 결정할 수 있다.

제어부(190)는 로봇(100)과 소정 범위 내에 위치한 장애물을 카메라(121)를 이용하여 검색할 수 있다. 여기서, 소정 범위는 복수의 마이크(123)로 입력되는 사운드 신호에 왜곡이 발생되는 범위 또는 특정 장애물에 의해 반사된 사운드가 상기 복수의 마이크(123)로 소정 만큼 흡음(Absorption of Sound)되는 범위를 포함할 수 있다. 다만, 장애물이 벽이고, 상기 벽과 로봇(100)이 30 cm 미만으로 배치된 경우, 제어부(190)는 이를 문제 발생 가능성이 높은 경우로 결정할 수 있다.

실시 예에서, 제어부(190)는 로봇(100)이 중력 방향을 기준으로 회전하면서 비전 인식 기반의 카메라(121)를 이용하여 로봇의 주변을 촬영하고, 촬영된 영상 정보에 기초하여, 상기 장애물을 인식할 수 있다.

제어부(190)는 촬영된 영상 정보를 입력 데이터로 하고, 촬영된 영상 정보에서 장애물을 인식하고, 인식된 장애물 정보를 출력 데이터로 하는 제1 심층 신경망 모델에 기초하여, 장애물을 인식할 수 있다.

제어부(190)는 장애물이 검색되는 경우, 공간 상에서 장애물의 점유 영역을 추정할 수 있다.

제어부(190)는 카메라(121)를 이용하는 경우, 촬영된 영상 정보에 기초하여, 상기 로봇이 위치한 공간 상에서 장애물의 디멘션 정보를 획득할 수 있다.

상술한 바와 같이, 디멘션 정보는 장애물(Obst)의 크기, 폭, 면적, 용적 등을 가리키는 치수에 관련된 정보이며, 수학적 공간의 넓이를 나타낼 수 있는 정보(가령, 직선은 1차원 정보, 평면은 2차원 정보, 기하학상 공간은 3차원 정보) 등을 포함할 수 있다.

제어부(190)는 디멘션 정보에 기초하여, 공간 상에서 장애물의 점유 영역을 추정할 수 있다. 즉, 제어부(190)는 3차원 공간 상에서 장애물이 점유하는 영역을 추정할 수 있다.

다른 실시 예에서, 제어부(190)는 제어부(190)는 중력 방향을 기준으로 회전하면서 근접 센서(133)를 통해 장애물을 인식할 수 있다. 또한, 제어부(190)는 로봇(100)이 중력 방향을 기준으로 회전하면서 근접 센서(133)를 이용하여 상기 장애물의 점유 정보를 추정할 수 있다.

제어부(190)가 카메라(121)를 이용하여 장애물의 점유 영역을 추정한 경우, 복수의 마이크(123)를 통해 사운드 신호를 입력받는 경우, 추정된 장애물의 점유 영역에서 복수의 마이크(123)가 위치한 방향으로 입력된 사운드 신호를 검출할 수 있다.

이 경우, 제어부(190)는 해당 방향의 사운드 신호를 가공하여, 음원의 방향 탐지, 빔포밍 등을 수행할 때, 해당 방향의 사운드 신호의 영향력을 배제 또는 감소시킬 수 있다. 이런 경우, 음원의 방향 탐지 성능 및 빔포밍 성능이 향상될 수 있다.

실시 예에서, 제어부(190)는 고주파의 사운드 정보를 출력하는 스피커(143)를 이용하여 장애물의 점유 영역을 추정할 수 있다.

구체적으로, 제어부(190)는 복수의 마이크(123)를 통해 상기 고주파의 사운드 신호를 입력받으면, 에코 제거 알고리즘을 이용하여 상기 고주파의 사운드 신호 중에서 상기 장애물에서 반사된 고주파의 사운드 신호를 획득할 수 있다.

상기 고주파의 사운드 정보는 사람에게 들리지 않는 17KHz 이상의 사운드 정보일 수 있으나, 구현 예에 따라 주파수의 범위에는 차이가 있을 수 있다.

제어부(190)는 스피커(143)에서 재생된 사운드가 다시 복수의 마이크(123)로 입력된 사운드 신호는 제거하고, 장애물에서 반사된 사운드 신호만 획득할 수 있다.

제어부(190)는 로봇(100)을 중심으로 수집된 SRP(Steered Response Power) 수치의 변화량에 기초하여, 상기 장애물의 디멘션 정보를 획득할 수 있다. SRP는 로봇(100) 주변에서 입력되는 사운드 신호의 파워를 소정 각도 별(1도, 5도 내지 10도로 가능하나, 실시 예가 이에 한정되는 것은 아님)로 검출한 수치이며, SRP 수치의 변화량은 SRP_post 수치에서 SRP_pri 수치를 뺀 값이다. SRP_post 수치는 상기 에코 제거 알고리즘이 적용된 후의 SRP 수치이며, SRP_pri 는 고주파의 사운드 정보가 재생되기 전의 SRP 수치일 수 있다.

제어부(190)는 SRP_pri 의 수치를 그래프로 저장할 수 있다. 제어부(190)는 고주파의 사운드를 재생하기 전에도 주변에 존재하는 잡음 신호, 복수의 마이크(123)에 상존하는 센서 노이즈로 인해 SRP_pri 의 수치가 측정될 수 있으며, 상기 정보를 메모리(150)에 저장할 수 있다.

제어부(190)는 상기 SRP 수치 변화량이 소정 수치를 초과하는 경우, 수치가 초과하는 지점을 장애물의 디멘션 정보로 획득하고, 획득된 디멘션 정보에 기초하여, 장애물의 점유 영역을 추정할 수 있다.

제어부(190)는 소정의 음원에서 사운드 정보가 출력되는 경우, 로봇(100)을 중심으로 SRP 수치를 수집하고, 상기 수집된 SRP 수치 중에서, 추정된 장애물의 점유 영역에서 복수의 마이크(123)가 위치한 방향으로 입력된 사운드 신호에 대응하는 SRP 수치가 다운되도록 조정할 수 있다.

제어부(190)는 장애물에서 사운드 신호가 반사되는 경우, 반사되는 지점의 상관도(Correlation)가 높게 유지되는 것을 SRP 수치를 다운시킴으로써, 장애물에 의한 사운드 신호의 왜곡을 방지할 수 있다.

SRP 수치를 조정한 후, 제어부(190)는 SRP 수치 중에서 가장 높은 수치에 해당되는 각도에 음원이 배치된 것으로 추정할 수 있다.

아울러, 제어부(190)는 음원의 사운드 정보가 발화 음성 정보인 경우, 음원이 위치한 방향에 대해 빔포밍을 수행하여 상기 음원의 사운드 신호를 증폭하고, 증폭된 사운드 신호에 기반하여 발화 음성 정보를 인식할 수 있다. 이에 따라, 사운드 정보의 식별 정확도가 높아질 수 있다.

제어부(190)는 음원의 방향 정보를 추정할 때, 인공 지능 연산을 수행할 수 있으나, 후술하기로 하고 여기서는 생략한다.

한편, 로봇(100)과 통신하는 정보 제공 시스템(300)은 통신부(310), 메모리(320) 및 제어부(330)를 포함하며, 로봇(100)의 구성과의 차이점을 중심으로 기술하기로 한다.

제어부(330)는 로봇(100)의 통신부(110)를 통해 요청한 연산을 수행할 수 있다. 제어부(330)는 로봇(100)의 외부 서버에 저장된 정보를 요청하는 경우, 해당 정보를 상기 로봇(100)에 제공할 수 있으며, 인공 지능 연산이 필요한 경우, 인공 지능 연산을 수행하여 로봇(100)에 제공할 수 있다.

이하에서는 도 7 내지 도 13을 참고하여, 본 발명의 다양한 실시 예에 따른 로봇(100)의 구동 방법을 설명하기로 한다.

도 7은 본 발명의 일 실시 예에 따른 로봇(100)의 구동 방법을 나타내는 시퀀스도이다.

도 7을 참고하면, 로봇(100)은 기 설정된 움직임을 감지하는 경우(S710, 움직임 감지 단계), 로봇(100)과 소정 범위 내에 위치한 장애물을 검색한다(S720, 장애물 검색 단계).

로봇(100)은 장애물이 검색되면(S720), 공간 상에서 장애물의 점유 영역을 추정한다(S730, 점유 영역 추정 단계).

그 후에, 로봇(100)은 복수의 마이크를 통해 사운드 신호를 입력받는다(S740, 사운드 신호 입력 단계).

마지막으로, 로봇(100)은 장애물의 점유 영역에서 복수의 마이크(123)가 위치한 방향으로 입력된 사운드 신호를 검출한다(S750, 사운드 신호 검출 단계).

도 8은 도 7의 장애물 검색 단계(S720) 이전의 단계를 설명하기 위한 시퀀스도이다.

로봇(100)은 IMS 센서(131)를 통해 센싱 정보를 수집한다(S810).

IMS 센서(131)는 상술한 바와 같이, 로봇(100)의 특정 이동 및 움직임을 감지할 수 있다.

로봇(100)은 수집된 센싱 정보에 기초하여 기 설정된 로봇(100)의 움직임을 감지한다(S820).

로봇(100)은 IMS 센서(131)의 센싱값의 변화량에 기초하여, 로봇(100)의 움직임을 결정할 수 있다.

상기 움직임이 감지되면, 로봇(100)은 오토 캘리브레이션을 수행한다(S830).

오토 캘리브레이션은 위치에 관한 오토 캘리브레이션으로 로봇(100) 주변의 장애물을 검색하기 구동이라 할 수 있으며, 로봇(100)은 상기 IMS 센서(131)의 센싱값에 기초하여, 미리 설정된 로봇(100)의 움직임을 감지할 수 있다.

도 9 내지 도 11은 도 7의 장애물 검색 단계(S720) 및 점유 영역 추정 단계(S730)를 서로 다른 방식으로 수행하는 것을 설명하기 위한 도면들이다.

도 9를 참고하면, 로봇(100)은 카메라(121)를 이용하여 장애물을 검색하고, 장애물의 점유 영역을 추정할 수 있다.

구체적으로, 로봇(100)은 회전하면서 비전 인식 기반의 카메라(121)를 이용하여 로봇(100)의 주변을 촬영한다(S910).

로봇(100)은 촬영된 영상 정보에 기초하여, 상기 장애물을 인식할 수 있다(S920). 구체적으로, 로봇(100)은 촬영된 영상 정보를 입력 데이터로 하고, 촬영된 영상 정보에서 장애물을 인식하고, 인식된 장애물 정보를 출력 데이터로 하는 제1 심층 신경망 모델에 기초하여, 장애물을 인식할 수 있다.

로봇(100)은 장애물을 인식하고(S920), 공간 상에서 장애물의 점유 영역을 추정한다(S930).

구체적으로, 로봇(100)은 촬영된 영상 정보에 기초하여, 로봇(100)이 위치한 공간 상에서 장애물의 디멘션 정보를 획득하고, 획득한 디멘션 정보에 기초하여, 공간 상에서 장애물의 점유 영역을 추정할 수 있다.

도 10을 참고하면, 로봇(100)은 근접 센서(133)를 이용하여 장애물을 검색하고, 장애물의 점유 영역을 추정할 수 있다.

먼저, 로봇(100)은 회전하면서 근접 센서(133)를 통해 주변을 감지한다(S1010).

로봇(100)은 노이즈를 제거한다(S1020). 로봇(100)은 롱텀 에버리지(Long Term Average) 파워를 제거함으로써, 근접 센서(133)의 오프셋을 제거할 수 있다.

로봇(100)은 장애물을 검색하고(S1030), 공간 상에서 장애물의 점유 영역을 추정한다(S1040).

도 11을 참고하면, 로봇(100)은 스피커(143)를 통해 고주파의 사운드 정보를 출력한다(S1110).

로봇(100)은 복수의 마이크(123)를 이용하여 고주파 사운드 신호를 수집한다(S1120).

로봇(100)은 에코 제거 알고리즘을 적용하여 장애물에서 반사된 고주파의 사운드 신호를 획득하고(S1130), 획득한 사운드 신호에 고주파의 사운드 신호를 남기는 필터링(밴드-패스 필터링)을 수행한다(S1140).

로봇(100)은 SRP 수치 변화량에 기초하여 장애물의 디멘션 정보를 획득하고(S1150), 장애물의 점유 영역을 추정한다(S1160).

도 12는 본 발명의 일 실시 예에 따른 음원의 사운드를 인식하는 로봇(100)의 구동 방법을 설명하기 위한 시퀀스도이다.

도 12를 참고하면, 로봇(100)은 복수의 마이크(123)를 통해 사운드 신호를 획득한다(S1210).

로봇(100)은 SRP 수치를 수집하고(S1220), 수집된 SRP 수치 중에서 추정된 장애물의 점유 영역에서 복수의 마이크(123)가 위치한 방향으로 입력된 SRP 수치를 조정한다(S1230).

즉, 로봇(100)은 장애물에서 반사되어 복수의 마이크(123)에 입력된 사운드 신호의 영향력을 감소시킬 수 있다. 로봇(100)은 장애물에서 반사되어 입력되는 사운드 신호에 대응하는 SRP 수치를 낮게 또는 0으로 조정할 수 있다.

그러면, 로봇(100)은 SRP 수치에 기초하여 음원의 방향을 추정한다(S1240, 음원 방향 추정 단계).

여기서, 추정된 방향은 장애물이 배치되지 않은 방향이며, SRP 수치가 가장 높은 방향이 음원의 방향으로 설정될 수 있다.

로봇(100)은 추정된 음원의 방향에 대해 빔포밍을 수행하고(S1250), 사운드를 인식한다(S1260).

빔포밍은 복수의 마이크(123)의 게인(Gain)을 조정하여 특정 주파수의 사운드 신호를 증폭함으로써, 음원에서 입력되는 사운드 신호가 보다 명확하게 검출되게 할 수 있다. 상기 빔포밍은 공간의 특성으로 인해 울리는 사운드(잔향), 소음(잡음) 등을 줄이고 사운드 신호를 보다 원음에 가깝도록 처리할 수 있다.

만약, 로봇(100)은 음원의 사운드 정보가 발화 음성 정보인 경우, 음원이 위치한 방향에 대해 빔포밍을 수행하여 상기 음원의 사운드 신호를 증폭하여, 보다 정확하게 발화 음성 정보를 인식할 수 있다.

상기 음원 방향 추정 단계(S1240)에서, 로봇(100)은 음원에서 출력되는 사운드 정보 및 복수의 마이크(123)를 통해 로봇(100)에 입력되는 사운드 신호의 입력 방향 정보를 입력 데이터로 하고, 로봇(100)을 중심으로 음원의 방향 정보를 출력 데이터로 하는 제2 심층 신경망 모델에 기초하여, 상기 음원의 방향 정보를 추정할 수 있다.

특히, 로봇(100)은 장애물의 점유 영역에서 복수의 마이크(123)가 위치한 방향으로의 입력되는 사운드 신호를 상기 입력 데이터에서 배제할 수 있다. 이런 경우, 로봇(100)은 실제로 측정을 통한 음원의 방향 정보 추정과 딥러닝 알고리즘을 이용한 음원의 방향 정보 추정 간의 편차를 줄일 수 있다. 이에 따라, 음원의 방향 정보를 추정하는데 정확도가 향상될 수 있다.

도 13은 본 발명의 일 실시 예에 따른 로봇(100)의 구동 방법을 나타내는 시퀀스도이다.

도 13을 참고하면, 로봇(100)은 복수의 마이크(123)를 통해 사운드 신호를 획득하고(S1310), 장애물의 점유 영역에서 복수의 마이크(123) 방향으로 입력되는 사운드 신호를 배제한다(S1320).

지도 학습 기반의 분류(Classification)에서 학습(training) 및 테스트(Test) 에서 사용되는 특징(Feature)의 통계적 특성을 최대한 유사하게 맞추는 경우, 성능이 향상될 수 있다. 학습시에 존재하지 않았던 장애물에서 복수의 마이크(123)로 입력되는 사운드 신호를 제거함으로써, 사운드 인식에 보다 효과적일 수 있다.

또한, 측정과 딥러닝 연산에 의한 음원의 방향 정보 추정에 있어 편차가 줄어들 수 있다. 실제로 딥러닝 연산에서는 장애물에서 반사되는 사운드 신호의 입력을 고려하지 않는 것이 딥러닝 알고리즘의 특징(Feature)을 추출하는데 효과적일 수 있다.

로봇(100)은 특징 추출(S1330)하고, 심층 신경망 모델을 완성할 수 있다. 상기 심층 신경망 모델은 다양한 딥러닝 알고리즘이 적용될 수 있다.

로봇(100)은 안성된 심층 신경망 모델에 기초하여, 사운드 인식한다(S1340).

로봇(100)은 실제 측정에 기반한 음원의 방향 정보 및 딥러닝 알고리즘이 적용된 심층 신경망 모델에 기반한 음원의 방향 정보를 서로 비교할 수 있다. 이에 따라, 심층 신경망 모델의 정확도를 높일 수 있으며, 장애물에 의한 왜곡된 사운드 신호의 간섭이 방지될 수 있다. 즉, 실제 측정에 기반한 음원의 방향 정보가 레이블로써 기능을 수행할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 상기 컴퓨터는 로봇(100)의 프로세서(190)를 포함할 수 있다.

앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.

Claims

로봇의 제어 방법으로서,
상기 로봇의 기 설정된 움직임(Movement)을 감지하는 경우, 상기 로봇과 소정 범위 내에 위치한 장애물을 검색하는 단계;
상기 장애물이 검색되는 경우, 공간 상에서 상기 장애물의 점유 영역을 추정하는 단계; 및
상기 로봇의 소정 영역에 위치한 복수의 마이크를 통해 사운드 신호를 입력받는 경우, 상기 추정된 장애물의 점유 영역에서 상기 복수의 마이크가 위치한 방향으로 입력된 사운드 신호를 검출하는 단계를 포함하는, 로봇의 제어 방법.
제1항에 있어서,
상기 장애물을 검색하는 단계 이전에,
관성 측정 센서(IMS, Inertial Measurement Sensor)로부터 수집된 센싱 정보에 기초하여, 상기 로봇의 움직임을 감지하는 단계를 더 포함하는, 로봇의 제어 방법.
제1항에 있어서,
상기 장애물을 검색하는 단계는,
상기 로봇이 중력 방향을 기준으로 회전하면서 비전 인식 기반의 카메라를 이용하여 상기 로봇의 주변을 촬영하는 단계; 및
촬영된 영상 정보에 기초하여, 상기 장애물을 인식하는 단계를 포함하는, 로봇의 제어 방법.
제3항에 있어서,
상기 장애물을 인식하는 단계는,
상기 촬영된 영상 정보를 입력 데이터로 하고, 상기 촬영된 영상 정보에서 장애물을 인식하고, 인식된 장애물 정보를 출력 데이터로 하는 제1 심층 신경망 모델에 기초하여, 상기 장애물을 인식하는 단계를 포함하는, 로봇의 제어 방법.
제4항에 있어서,
상기 장애물의 점유 영역을 추정하는 단계는,
촬영된 영상 정보에 기초하여, 상기 로봇이 위치한 공간 상에서 상기 장애물의 디멘션 정보를 획득하는 단계; 및
상기 디멘션 정보에 기초하여, 상기 공간 상에서 상기 장애물의 점유 영역을 추정하는 단계를 포함하는, 로봇의 제어 방법.
제1항에 있어서,
상기 장애물을 검색하는 단계는,
상기 로봇이 중력 방향을 기준으로 회전하면서 근접 센서를 이용하여 상기 장애물을 인식하는 단계를 포함하는, 로봇의 제어 방법.
제1항에 있어서,
상기 장애물의 점유 영역을 추정하는 단계는,
고주파의 사운드 정보를 재생하는 단계;
상기 복수의 마이크를 통해 상기 고주파의 사운드 신호를 입력받으면, 에코 제거 알고리즘을 이용하여 상기 고주파의 사운드 신호 중에서 상기 장애물에서 반사된 고주파의 사운드 신호를 획득하는 단계;
상기 로봇을 중심으로 수집된 SRP(Steered Response Power) 수치의 변화량에 기초하여, 상기 장애물의 디멘션 정보를 획득하는 단계; 및
상기 디멘션 정보에 기초하여, 상기 장애물의 점유 영역을 추정하는 단계를 포함하는, 로봇의 제어 방법.
제1항에 있어서,
소정의 음원(Sound Source)에서 사운드 정보가 출력되는 경우, 상기 로봇을 중심으로 SRP(Steered Response Power) 수치를 수집하는 단계;
상기 수집된 SRP 수치 중에서, 추정된 장애물의 점유 영역에서 상기 복수의 마이크가 위치한 방향으로 입력된 사운드 신호에 대응하는 SRP 수치가 소정 범위 내에서 다운되게 조정하는 단계; 및
SRP 수치에 기초하여, 상기 로봇을 중심으로 상기 음원의 방향 정보를 제1 추정하는 단계를 포함하는, 로봇의 제어 방법.
제8항에 있어서,
상기 음원의 사운드 정보가 발화 음성 정보인 경우, 상기 음원이 위치한 방향에 대해 빔포밍을 수행하여 상기 음원의 사운드 신호를 증폭하는 단계; 및
증폭된 사운드 신호에 기반하여 상기 발화 음성 정보를 인식하는 단계를 더 포함하는, 로봇의 제어 방법.
제8항에 있어서,
상기 음원에서 출력되는 사운드 정보 및 상기 복수의 마이크를 통해 상기 로봇에 입력되는 사운드 신호의 입력 방향 정보를 입력 데이터로 하고, 상기 로봇을 중심으로 상기 음원의 방향 정보를 출력 데이터로 하는 제2 심층 신경망 모델에 기초하여, 상기 음원의 방향 정보를 제2 추정하는 단계를 포함하는, 로봇의 제어 방법.
제10항에 있어서,
상기 제2 추정하는 단계는,
상기 장애물의 점유 영역에서 상기 복수의 마이크가 위치한 방향으로의 입력되는 사운드 신호를 상기 입력 데이터에서 배제하는 단계를 포함하는, 로봇의 제어 방법.
제11항에 있어서,
상기 제1 추정된 음원의 방향 정보 및 상기 제2 추정된 음원의 방향 정보를 비교하는 단계를 더 포함하는, 로봇의 제어 방법.
로봇으로서,
상기 로봇의 주변을 촬영하는 비전 인식 기반의 카메라;
상기 로봇의 움직임을 감지하는 센서;
상기 로봇의 소정 영역에 위치한 복수의 마이크; 및 제어부를 포함하며,
상기 제어부는,
상기 로봇의 기 설정된 움직임(Movement)을 상기 센서를 통해 감지하는 경우, 상기 로봇과 소정 범위 내에 위치한 장애물을 상기 카메라를 이용하여 검색하고,
상기 장애물이 검색되는 경우, 공간 상에서 상기 장애물의 점유 영역을 추정하며, 상기 복수의 마이크를 통해 사운드 신호를 입력받는 경우, 상기 추정된 장애물의 점유 영역에서 상기 복수의 마이크가 위치한 방향으로 입력된 사운드 신호를 검출하도록 구성되는, 로봇.
제13항에 있어서,
중력 방향을 기준으로 상기 로봇을 회전시키는 회전 구동부를 더 포함하며,
상기 제어부는,
상기 카메라가 상기 로봇의 주변을 회전하면서 촬영하도록 상기 회전 구동부를 제어하며, 촬영된 영상 정보에 기초하여, 상기 장애물을 인식하도록 구성되는, 로봇.
제14항에 있어서,
상기 복수의 마이크는 소정 거리를 두고 일정하게 배치되고,
상기 복수의 마이크는 상기 로봇에 네 개가 배치되되, 상기 로봇의 전면에 두 개가 배치되고, 상기 로봇의 후면에 두 개가 배치되는, 로봇.
제14항에 있어서,
상기 제어부는,
상기 촬영된 영상 정보를 입력 데이터로 하고, 상기 촬영된 영상 정보에서 장애물을 인식하고, 인식된 장애물 정보를 출력 데이터로 하는 제1 심층 신경망 모델에 기초하여, 상기 장애물을 인식하도록 구성되는, 로봇.
제16항에 있어서,
상기 제어부는,
촬영된 영상 정보에 기초하여, 상기 로봇이 위치한 공간 상에서 상기 장애물의 디멘션 정보를 획득하고, 상기 디멘션 정보에 기초하여, 상기 공간 상에서 상기 장애물의 점유 영역을 추정하도록 구성되는, 로봇.
제13항에 있어서,
고주파의 사운드 정보를 출력하는 스피커를 더 포함하며,
상기 제어부는,
상기 복수의 마이크를 통해 상기 고주파의 사운드 신호를 입력받으면, 에코 제거 알고리즘을 이용하여 상기 고주파의 사운드 신호 중에서 상기 장애물에서 반사된 고주파의 사운드 신호를 획득하고,
상기 로봇을 중심으로 수집된 SRP 수치의 변화량에 기초하여, 상기 장애물의 디멘션 정보를 획득하며, 상기 획득된 디멘션 정보에 기초하여, 상기 장애물의 점유 영역을 추정하도록 구성되는, 로봇.
제18항에 있어서,
상기 제어부는,
소정의 음원에서 사운드 정보가 출력되는 경우, 상기 로봇을 중심으로 SRP 수치를 수집하고, 상기 수집된 SRP 수치 중에서, 추정된 장애물의 점유 영역에서 상기 복수의 마이크가 위치한 방향으로 입력된 사운드 신호에 대응하는 SRP 수치가 다운되도록 조정하며,
SRP 수치에 기초하여, 상기 로봇을 중심으로 상기 음원의 방향 정보를 추정하도록 구성되는, 로봇.
제19항에 있어서,
상기 제어부는,
상기 음원의 사운드 정보가 발화 음성 정보인 경우, 상기 음원이 위치한 방향에 대해 빔포밍을 수행하여 상기 음원의 사운드 신호를 증폭하고, 증폭된 사운드 신호에 기반하여 발화 음성 정보를 인식하도록 구성되는, 로봇.
제13항에 있어서,
근접 센서를 더 포함하며,
상기 제어부는,
상기 로봇이 중력 방향을 기준으로 회전하면서 상기 근접 센서를 이용하여 상기 장애물을 인식도록 상기 근접 센서를 제어하도록 구성되는, 로봇.
제13항에 있어서,
고주파의 사운드 정보를 출력하는 스피커; 및
출력된 고주파의 사운드 신호를 입력받는 복수의 마이크를 더 포함하며,
상기 제어부는,
상기 복수의 마이크를 통해 상기 고주파의 사운드 신호를 입력받으면, 에코 제거 알고리즘을 이용하여 상기 고주파의 사운드 신호 중에서 상기 장애물에서 반사된 고주파의 사운드 신호를 획득하고, 상기 로봇을 중심으로 수집된 SRP(Steered Response Power) 수치의 변화량에 기초하여, 상기 장애물의 디멘션 정보를 획득하며, 상기 디멘션 정보에 기초하여, 상기 장애물의 점유 영역을 추정하도록 구성되는, 로봇.
제13항에 있어서,
상기 센서는,
관성 측정 센서(IMS)를 포함하는, 로봇.