KR20210089552A

KR20210089552A - 로봇의 위치 인식

Info

Publication number: KR20210089552A
Application number: KR1020200002806A
Authority: KR
Inventors: 양숙현; 김정식; 어규호
Original assignee: 엘지전자 주식회사
Priority date: 2020-01-08
Filing date: 2020-01-08
Publication date: 2021-07-16
Also published as: US20210205996A1

Abstract

로봇 및 로봇의 위치를 인식하기 위한 방법이 개시된다. 본 발명의 일 실시예에 따른 로봇은, 상기 로봇이 동작하는 공간의 맵을 저장하는 저장부, 상기 로봇의 주변에 대한 적어도 하나의 이미지를 획득하기 위한 입력부, 및 상기 입력부에 의해 획득된 상기 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하고, 상기 로봇의 제1 위치에 기초하여 상기 공간의 맵에서 후보 노드들을 결정하고, 그리고 결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 본 발명의 실시 예들은 사물 인터넷을 위해 연결된 5G 환경에서 인공 지능 알고리즘 및/또는 머신 러닝 알고리즘을 실행하여 구현될 수 있다.

Description

로봇의 위치 인식{LOCALIZATION OF ROBOT}

본 발명은 로봇에 관한 것으로, 보다 상세하게는 로봇의 위치 인식(localization)에 관한 것이다.

최근 들어 일상 생활에서 편리하게 사용할 수 있는 다양한 로봇이 개발되고 있다. 이와 같은 로봇은 가정, 학교 및 공공장소 등에서 사람의 일상 생활을 돕는데 사용되고 있다.

안내 로봇, 배송 로봇, 청소 로봇 등과 같은 이동 로봇은 사용자의 조작 없이도 자율적으로 주행하면서 작업을 수행한다. 로봇이 자율 주행을 하기 위해서는 로봇의 위치 인식이 필수적으로 요구된다. 통상적으로, 로봇이 동작하는 공간의 맵 및 다양한 센서 데이터를 이용하여 로봇의 현재 위치가 인식 또는 재인식될 수 있다.

하지만, 로봇에 예기치 않은 이동이 발생하는 경우 등, 로봇이 자신의 현재 위치 또는 배향을 제대로 인식하지 못할 수 있다. 로봇이 자신의 현재 위치 또는 배향을 정확히 인식하지 못하면, 사용자가 원하는 서비스를 제공할 수 없다.

로봇에 의해 획득된 이미지들 특징들과 기준 이미지들의 특징들 간의 유사도에 기초하여 로봇의 위치 재인식(relocalization)이 수행될 수 있다. 이러한 이미지 기반 위치 재인식은, 예를 들어 PoseNet과 같은 심층 학습 모델을 이용하여 이루어질 수 있다.

하지만, 이미지들의 특징들의 유사성에 기초하여 로봇의 위치 또는 포즈를 추정할 경우, 유사한 특징 패턴을 갖는 다른 위치가 로봇의 위치로서 추정될 수 있는 문제가 있다. 또한, 전체 맵에 대해 검색이 수행되어야 하므로 높은 프로세싱 성능이 요구된다. 심층 학습 모델에 기반한 위치 재인식 또한 추정의 정확도가 떨어지는 문제가 있다.

PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization, ICCV 2015.

본 발명의 실시예들은 개략적 추정 및 세밀한 추정의 2단 추정에 의해 로봇의 위치 또는 포즈를 보다 정확하게 추정할 수 있는 방안들을 제공한다.

본 발명의 실시예들은 검색 범위를 최소화함으로써 프로세싱 부담을 줄이고 로봇의 위치 또는 포즈를 보다 효과적으로 추정할 수 있는 방안들을 제공한다.

본 발명의 실시예는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.

본 발명의 일 실시예에 따른 로봇은 개략적 추정 및 세밀한 추정의 2단 추정에 의해 자신의 위치 또는 포즈를 추정하도록 구성된다.

본 발명의 일 실시예에 따른 로봇은, 상기 로봇이 동작하는 공간의 맵을 저장하는 저장부; 상기 로봇의 주변에 대한 적어도 하나의 이미지를 획득하기 위한 입력부; 및 상기 입력부에 의해 획득된 상기 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하고, 상기 로봇의 제1 위치에 기초하여 상기 공간의 맵에서 후보 노드들을 결정하고, 그리고 결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 로봇의 제1 위치는 상기 적어도 하나의 이미지를 인공 신경망에 기반한 학습 모델에 입력하는 것에 기초하여 추정될 수 있다.

상기 적어도 하나의 프로세서는, 상기 적어도 하나의 이미지를 상기 학습 모델을 갖는 서버에 전송하고, 상기 서버의 상기 학습 모델에 의해 추정된 상기 로봇의 제1 위치를 상기 서버로부터 수신할 수 있다.

상기 적어도 하나의 프로세서는, 상기 로봇의 제1 위치로부터 미리결정된 검색 반경 내의 노드들을 상기 후보 노드들로서 결정할 수 있다.

상기 적어도 하나의 프로세서는, 상기 서버로부터 상기 검색 반경에 대한 정보를 수신하거나, 또는 상기 저장부로부터 상기 검색 반경에 대한 정보를 획득할 수 있다.

상기 적어도 하나의 프로세서는, 상기 후보 노드들 중 상기 적어도 하나의 이미지와의 가장 높은 매칭율을 갖는 후보 노드를 최종 노드로서 결정하고, 상기 최종 노드의 위치 또는 포즈를 상기 로봇의 제2 위치 또는 상기 로봇의 포즈로서 결정할 수 있다.

상기 적어도 하나의 프로세서는, 상기 적어도 하나의 이미지의 특징점들을 상기 후보 노드들에 대한 기준 이미지들의 특징점들과 비교하고, 상기 비교에 기초하여 산출되는 매칭율이 가장 높은 후보 노드를 상기 최종 노드로서 결정할 수 있다.

상기 적어도 하나의 이미지는 복수의 연속적인 순차 이미지들을 포함할 수 있다.

상기 적어도 하나의 프로세서는, 상기 복수의 순차 이미지들의 특징점들을 상기 후보 노드들에 대한 기준 이미지들의 특징점들과 순차적으로 비교하고, 상기 순차적인 비교에 기초하여 산출되는 누적 매칭율이 가장 높은 후보 노드를 상기 최종 노드로서 결정할 수 있다.

상기 적어도 하나의 프로세서는, 서버로부터 상기 학습 모델을 수신하고, 상기 적어도 하나의 이미지를 수신된 학습 모델에 입력함으로써 상기 로봇의 제1 위치를 추정할 수 있다.

상기 학습 모델은 상기 적어도 하나의 이미지에 대응하는 상기 공간 내의 특정 위치 또는 상기 공간의 맵에서의 특정 노드를 상기 제1 위치로서 출력하도록 학습된 것일 수 있다. 상기 학습 모델은 심층 학습에 의해 구현될 수 있다.

본 발명의 일 실시예에 따른 로봇의 위치를 인식하기 위한 방법은, 상기 로봇의 주변에 대한 적어도 하나의 이미지를 획득하는 단계; 획득된 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하는 단계; 상기 로봇의 제1 위치에 기초하여 상기 로봇이 동작하는 공간의 맵에서 후보 노드들을 결정하는 단계; 및 결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하는 단계를 포함할 수 있다. 상기 로봇의 제1 위치는, 상기 적어도 하나의 이미지를 인공 신경망에 기반한 학습 모델에 입력하는 것에 기초하여 추정될 수 있다.

본 발명의 일 실시예예 따른, 컴퓨터 판독가능한 저장 매체는, 실행되는 경우, 적어도 하나의 프로세서로 하여금, 로봇의 주변에 대한 적어도 하나의 이미지를 획득하게 하고; 획득된 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하게 하고; 상기 로봇의 제1 위치에 기초하여 상기 로봇이 동작하는 공간의 맵에서 후보 노드들을 결정하게 하고; 그리고 결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하게 하는 프로그램 코드를 포함할 수 있다. 상기 로봇의 제1 위치는, 상기 적어도 하나의 이미지를 인공 신경망에 기반한 학습 모델에 입력하는 것에 기초하여 추정될 수 있다.

본 발명의 실시예들에 따르면, 개략적 추정 및 세밀한 추정의 2단 추정에 의해 로봇이 자신의 위치 및 포즈를 정확하게 인식할 수 있다.

본 발명의 실시예들에 따르면, 낮은 프로세싱 성능을 갖는 로봇이 자신의 위치 및 포즈를 효과적으로 인식할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 로봇 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 AI 시스템을 도시한 도면이다
도 3은 본 발명의 일 실시예에 따른 로봇의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 공간의 맵을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 개략적 추정 및 세밀한 추정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 로봇의 위치를 인식하기 위한 방법을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.

로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.

로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 이동 가능한 로봇은 휠, 브레이크, 프로펠러 등을 구비하여 지상에서 주행하거나 공중에서 비행할 수 있다. 또한, 로봇은 다리 또는 발 등을 구비하여 지상에서 2족 또는 4족 보행할 수도 있다.

자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.

예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.

차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.

이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.

도 1은 본 발명의 일 실시예에 따른 로봇 시스템을 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템은 하나 이상의 로봇(110) 및 관제 서버(120)를 포함할 수 있고, 선택적으로 단말기(130)를 더 포함할 수 있다.

하나 이상의 로봇(110), 관제 서버(120) 및 단말기(130)는 네트워크(140)를 통해 서로 연결될 수 있다. 하나 이상의 로봇(110), 관제 서버(120) 및 단말기(130)는 기지국을 통해 서로 통신할 수도 있지만, 기지국을 통하지 않고 서로 직접 통신할 수도 있다.

하나 이상의 로봇(110)은 공간에서 작업을 수행하고 해당 작업과 연관된 정보 또는 데이터를 관제 서버(120)에 제공할 수 있다. 로봇의 작업 공간은 실내 또는 실외일 수 있다. 로봇은 벽이나 기둥 등에 의해 미리 정의된 공간에서 동작할 수 있다. 이 경우 로봇의 작업 공간은 설계 목적, 로봇의 작업 속성, 로봇의 이동성 및 기타 다양한 요인에 따라 다양하게 정의될 수 있다. 로봇은 미리 정의되지 않은 개방된 공간에서 동작할 수도 있다. 로봇은 주변 환경을 센싱하여 스스로 작업 공간을 결정할 수도 있다.

하나 이상의 로봇(110)은 자신의 상태 정보 또는 데이터를 관제 서버(120)에 제공할 수 있다. 로봇(110)의 상태 정보는 로봇(110)의 위치, 배터리 레벨, 부품의 내구도, 소모품의 교체 주기 등에 관한 정보를 포함할 수 있다.

관제 서버(120)는 하나 이상의 로봇(110)으로부터 제공되는 정보 또는 데이터에 기초하여 다양한 분석을 수행할 수 있고, 그러한 분석 결과에 기초하여 로봇 시스템 전반의 동작을 제어할 수 있다. 일 양상에서, 관제 서버(120)는 분석 결과에 기초하여 로봇(110)의 구동을 직접 제어할 수 있다. 다른 양상에서, 관제 서버(120)는 분석 결과로부터 유용한 정보 또는 데이터를 도출하여 출력할 수 있다. 또 다른 양상에서, 관제 서버(120)는 도출된 정보 또는 데이터를 이용하여 로봇 시스템 내 파라미터들을 조정할 수 있다. 관제 서버(120)는 단일 서버로 구현될 수 있지만, 복수의 서버 세트, 클라우드 서버 또는 이들의 조합 등으로 구현될 수도 있다.

단말기(130)는 관제 서버(120)의 역할을 분담할 수 있다. 일 양상에서, 단말기(130)는 하나 이상의 로봇(110)으로부터 정보 또는 데이터를 획득하여 관제 서버(120)에 제공하거나, 관제 서버(120)로부터 정보 또는 데이터를 획득하여 하나 이상의 로봇(110)에 제공할 수 있다. 다른 양상에서, 단말기(130)는 관제 서버(120)에 의해 수행될 분석의 적어도 일부를 담당할 수 있고, 그러한 분석 결과를 관제 서버(120)에 제공할 수도 있다. 또 다른 양상에서, 단말기(130)는 관제 서버(120)로부터 분석 결과, 정보 또는 데이터를 제공받아 이를 단지 출력할 수도 있다.

단말기(130)가 관제 서버(120)의 역할을 대신할 수도 있다. 복수의 로봇(110) 중 적어도 하나의 로봇이 관제 서버(120)의 역할을 대신할 수도 있다. 이 경우 복수의 로봇(110)은 서로 통신가능하게 연결될 수 있다.

단말기(130)는 로봇(110) 및 관제 서버(120)와 통신할 수 있는 다양한 전자 디바이스들을 포함할 수 있다. 예를 들어, 단말기(130)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device)(예를 들어, 워치형 단말기(smartwatch), 글래스형 단말기(smart glass), HMD(head mounted display)), 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 청소기, 공기조화기, 데스크탑 컴퓨터, 프로젝터, 디지털 사이니지(Digital Signage)와 같은 고정형 디바이스 및 이동 가능한 디바이스 등으로 구현될 수 있다.

네트워크(140)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 이러한 네트워크(140)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, WCDMA, LTE, LTE-A, 5G, 블루투스, 위성 통신 등의 무선 통신 네트워크를 망라할 수 있으나, 이에 한정되는 것은 아니다.

네트워크(140)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(140)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(140)로의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(140)는 사물 등 분산된 구성요소들 간에 정보를 주고 받아 처리하는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등) 및/또는 5G 통신을 지원할 수 있다.

도 2는 본 발명의 일 실시예에 따른 AI 시스템의 구성을 도시한 도면이다. 실시예에서, 로봇 시스템은 인공 지능 및/또는 머신 러닝이 가능한 AI 시스템으로서 구현될 수 있다.

인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.

인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.

지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템은 AI 장치(210) 및 AI 서버(220)를 포함할 수 있다.

실시예에서, AI 장치(210)는 도 1의 로봇(110), 관제 서버(120), 단말기(130) 또는 도 3의 로봇(300)일 수 있다. AI 서버(220)는 도 1의 관제 서버(120) 일 수 있다.

AI 서버(220)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 나타낼 수 있다. AI 서버(220)는 복수의 서버들로 구성되어 분산 처리를 수행할 수 있다. AI 서버(220)는 AI 장치(210)의 일부의 구성으로 포함되어, 인공 지능 및/또는 머신 러닝 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.

AI 서버(220)는 통신부(221), 메모리(222), 러닝 프로세서(225) 및 프로세서(226) 등을 포함할 수 있다.

통신부(221)는 AI 장치(210) 등의 외부 장치와 데이터를 송수신할 수 있다.

메모리(222)는 모델 저장부(223)를 포함할 수 있다. 모델 저장부(223)는 러닝 프로세서(225)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 223a)을 저장할 수 있다.

러닝 프로세서(225)는 학습 데이터를 이용하여 인공 신경망(223a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(220)에 탑재된 상태에서 이용되거나, AI 장치(210) 등의 외부 장치에 탑재되어 이용될 수도 있다.

학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(222)에 저장될 수 있다.

프로세서(226)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 로봇의 구성을 도시한 블록도이다. 도 4는 본 발명의 일 실시예에 따른 공간의 맵을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 개략적 추정 및 세밀한 추정을 설명하기 위한 도면이다.

로봇은 여러 이유로 인하여 자신의 현재 위치 또는 배향을 제대로 인식하지 못할 수 있다. 로봇이 자신의 현재 위치 또는 배향을 정확히 인식하지 못하면, 사용자가 원하는 서비스를 제공할 수 없다.

본 발명의 실시예들은 로봇이 개략적 추정(coarse-grained estimation) 및 세밀한 추정(fine-grained estimation)의 2단 추정에 의해 자신의 위치 또는 포즈를 정확하게 인식할 수 있는 방안들을 제공하고자 한다.

본 개시에서, 로봇의 '위치'는 로봇의 2차원 좌표 정보(x,y)를 나타낼 수 있고, 로봇의 '포즈(pose)'는 2차원 좌표 정보 및 배향 정보(x,y,θ)를 나타낼 수 있다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 로봇(300)은 통신부(310), 입력부(320), 센싱부(330), 구동부(340), 출력부(350), 프로세서(370) 및 저장부(380)를 포함할 수 있다. 실시예의 로봇(300)은 인공 지능 및/또는 머신 러닝에 관한 동작을 수행하기 위해 러닝 프로세서(360)를 더 포함할 수 있다.

통신부(310)는 유무선 통신 기술을 이용하여 관제 서버(120) 또는 단말기(130) 등의 외부 장치들과 정보 또는 데이터를 송수신할 수 있다. 통신부(310)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다. 통신부(310)는 수신기, 송신기 또는 송수신기 등 데이터 송수신을 위한 통신기를 포함할 수 있다.

통신부(310)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication), 가시광 통신(Visible Lignt Communication), Li-Fi(Light Fidelity) 등과 같은 통신 기술을 이용할 수 있다.

통신부(310)는 5G 통신 네트워크를 이용할 수 있다. 통신부(310)는 eMBB(Enhanced Mobile Broadband), URLLC(Ultra-reliable and low latency communications) 및 mMTC(Massive Machine-type communications) 중 적어도 하나의 서비스를 이용하여 관제 서버(120) 및 단말기(130) 등의 외부 장치들과 통신할 수 있다.

eMBB(Enhanced Mobile Broadband)는 모바일 브로드밴드 서비스이다. eMBB에 의해 멀티미디어 콘텐츠, 무선데이터 액세스 등이 제공된다. 폭발적으로 증가하는 모바일 트래픽을 수용하기 위한 핫스팟(hot spot)과 광대역 커버리지 등 보다 향상된 모바일 서비스가 eMBB를 통해 제공될 수 있다. 핫스팟을 통해 사용자 이동성이 작고 밀도가 높은 지역으로 대용량 트래픽이 수용될 수 있다. 광대역 커버리지를 통해 넓고 안정적인 무선 환경과 사용자 이동성이 보장될 수 있다.

URLLC(Ultra-reliable and low latency communications) 서비스는 데이터 송수신의 신뢰성과 전송 지연 측면에서 기존 LTE 보다 훨씬 엄격한 요구사항을 정의한다. 이러한 서비스에 의해, 산업 현장의 생산 프로세스 자동화, 원격 진료, 원격 수술, 운송, 안전 등을 위한 5G 서비스가 제공될 수 있다.

mMTC(Massive Machine-type communications)는 비교적 작은 양의 데이터 전송이 요구되는 전송지연에 민감하지 않은 서비스이다. mMTC에 의해 기존보다 훨씬 더 많은 수의 단말들이 동시에 무선 액세스 네트워크에 접속할 수 있다.

통신부(310)는 관제 서버(120), 단말기(130) 또는 다른 로봇으로부터 로봇(110)이 동작하는 공간의 맵을 수신할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 공간의 맵은 공간(400) 내의 복수의 노드들을 포함하는 포즈 그래프(410)를 포함할 수 있다. 공간의 맵은 선택적으로 포즈 그래프(410) 내의 각각의 노드에 대응하는 기준 이미지들을 포함할 수 있다. 포즈 그래프(410) 내의 각각의 노드는 공간(400) 내에서의 위치 또는 포즈를 나타낼 수 있다. 통신부(310)는 수신된 공간의 맵을 프로세서(370)에 제공할 수 있다. 공간의 맵은 저장부(380)에 저장될 수 잇다.

통신부(310)는 관제 서버(120), 단말기(130) 또는 다른 로봇으로부터 학습 모델을 수신할 수도 있다. 통신부(310)는 수신된 학습 모델을 프로세서(370) 또는 러닝 프로세서(360)에 제공할 수 있다. 학습 모델은 저장부(380)에 저장될 수 있다.

입력부(320)는 다양한 종류의 데이터를 획득할 수 있다. 입력부(320)는 이미지 또는 동영상을 포함하는 영상 신호를 획득하기 위한 적어도 하나의 카메라, 오디오 신호를 획득하기 위한 마이크로폰 및 사용자로부터 정보를 입력 받기 위한 사용자 인터페이스 등을 포함할 수 있다.

실시예에서, 입력부(320)는 적어도 하나의 카메라를 통해 로봇(300) 주변에 대한 이미지들을 획득할 수 있다. 적어도 하나의 카메라는 동일한 위치 및/또는 동일한 배향에서 복수의 연속적인 순차 이미지들을 획득할 수도 있다. 적어도 하나의 카메라에 의해 획득되는 이미지들은 프로세서(370) 또는 러닝 프로세서(360)에 제공될 수 있다. 실시예에서, 카메라는 180° 카메라 또는 360° 카메라를 포함할 수 있다.

실시예에서, 입력부(320)는 사용자 인터페이스를 통해 전술한 공간의 맵에 대한 정보를 입력받을 수 있다. 즉, 공간의 맵은 입력부(320)를 통해 사용자로부터 입력될 수도 있다.

입력부(320)는 인공 신경망을 학습시키기 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(320)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(370) 또는 러닝 프로세서(360)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.

센싱부(330)는 다양한 센서들을 이용하여 로봇(300)의 내부 정보, 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다. 센싱부(330)는 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, 근접 센서, RGB 센서, 조도 센서, 습도 센서, 지문 인식 센서, 초음파 센서, 마이크로폰, 라이다, 레이더 및 이들의 임의의 조합들 등을 포함할 수 있다. 센싱부(330)에 의해 획득되는 센서 데이터는 로봇(300)의 자율 주행 또는 공간의 맵 생성을 위해 사용될 수 있다.

구동부(340)는 로봇(300)을 물리적으로 구동한다. 구동부(340)는 프로세서(370)로부터의 제어 신호에 따라 동작하는 액츄에이터 또는 모터를 포함할 수 있다. 구동부(340)는 액츄에이터 또는 모터에 의해 동작하는 휠, 브레이크, 프로펠러 등을 포함할 수 있다.

출력부(350)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(350)는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커 및 촉각 정보를 출력하는 햅틱 모듈 등을 포함할 수 있다.

저장부(380)는 로봇(300)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(380)는 통신부(310)에 의해 수신된 정보 또는 데이터, 입력부(320)에 의해 획득된 입력 정보, 입력 데이터, 학습 데이터, 학습 모델, 및 학습 히스토리 등을 저장할 수 있다. 저장부(380)는 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들 또는 하드디스크 등을 포함할 수 있다.

실시예에서, 저장부(380)는 통신부(310) 또는 입력부(320)로부터 수신된 공간의 맵 또는 학습 모델 등을 저장할 수 있다. 공간의 맵 또는 학습 모델은 관제 서버(120) 등으로부터 미리 수신되어 저장부(380)에 저장될 수 있고, 주기적으로 업데이트될 수 있다.

러닝 프로세서(360)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.

실시예에서, 러닝 프로세서(360)는 입력부(310)에 의해 획득되는 쿼리 이미지들 및 기준 이미지들을 학습 데이터로서 사용하여 쿼리 이미지에 대응하는 위치 또는 포즈를 출력하도록 인공 신경망을 학습시킬 수 있다.

실시예예서, 러닝 프로세서(360)는 입력부(310)에 의해 획득된 적어도 하나의 쿼리 이미지를 상기 인공 신경망에 기반한 학습 모델에 대한 입력 데이터로 사용하여 쿼리 이미지에 대응하는 위치 또는 포즈를 결정할 수 있다.

러닝 프로세서(360)는 도 2의 AI 서버(220)의 러닝 프로세서(225)와 함께 인공 지능 및/또는 머신 러닝 프로세싱을 수행할 수 있다. 러닝 프로세서(360)는 로봇(300)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(360)는 저장부(380), 로봇(300)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.

프로세서(370)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 로봇(300)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(370)는 로봇(300)의 구성요소들을 제어하여 결정된 동작을 수행할 수 있다.

프로세서(370)는 개략적 추정 및 세밀한 추정의 2단 추정을 통해 로봇(300)의 위치 또는 포즈를 추정할 수 있다. 이하에서, 도 5를 참조하여 프로세서(370)의 동작이 설명된다.

개략적 추정

프로세서(370)는 입력부(320)에 의해 획득된 적어도 하나의 이미지에 기초하여 로봇(300)의 개략적 위치를 추정할 수 있다. 도 5에 도시된 바와 같이, 로봇(300)의 개략적 위치(510)는 공간 맵에서의 노드(510)를 나타내는 2차원 좌표 정보(x,y)로 표현될 수 있다.

실시예에서, 적어도 하나의 이미지는 복수의 연속적인 순차 이미지들을 포함할 수 있다. 도 5에 도시된 바와 같이, 입력부(320)는 '시간 t'에서의 이미지만 획득할 수도 있지만, '시간 t-k,..., 시간 t-1, 시간 t'에서의 순차 이미지들을 획득할 수도 있다.

실시예에서, 로봇(300)의 개략적 위치는 인공 신경망에 기반한 학습 모델에 의해 추정될 수 있다. 학습 모델은 입력부(320)에 의해 획득된 적어도 하나의 이미지에 대응하는 공간 내의 특정 위치 또는 공간 맵에서의 특정 노드를 출력하도록 학습될 수 있다. 학습 모델은 심층 학습에 의해 구현될 수 있다. 학습 모델은 PoseNet, PoseNet+LSTM, PoseNet+Bi-LSTM, PoseSiamNet 등과 같이 통상의 기술자에게 알려진 위치 재인식 학습 모델들 중 어느 하나에 의해 구현될 수 있다.

일 양상에서, 학습 모델은 AI 서버(220)에 저장될 수 있다. 프로세서(370)는 입력부(310)에 의해 획득된 적어도 하나의 이미지를 학습 모델을 갖는 AI 서버(220)에 전송할 수 있다. AI 서버(220)의 학습 모델은 적어도 하나의 이미지에 대응하는 공간 내의 특정 위치 또는 공간 맵에서의 특정 노드를 출력할 수 있다. 프로세서(370)는 AI 서버(220)의 학습 모델에 의해 추정된 개략적 위치를 AI 서버(220)로부터 통신부(310)를 통해 획득할 수 있다.

다른 양상에서, 학습 모델은 로봇(300)의 저장부(380)에 저장될 수 있다. 프로세서(370)는 AI 서버(220)로부터 통신부(310)를 통해 학습 모델을 수신할 수 있다. 수신된 학습 모델은 저장부(380)에 저장된다. 프로세서(370)는 입력부(320)에 의해 획득된 적어도 하나의 이미지를 저장부(380)의 학습 모델에 입력함으로써 로봇(300)의 개략적 위치를 추정할 수 있다.

후보 노드들의 결정

프로세서(370)는 로봇(300)의 개략적 위치에 기초하여 공간의 맵에서 후보 노드들을 결정할 수 있다. 프로세서(370)는 로봇(300)의 개략적 위치 주변의 노드들을 후보 노드들로서 결정할 수 있다.

실시예에서, 프로세서(370)는 로봇(300)의 개략적 위치로부터 미리결정된 검색 반경 내의 노드들을 후보 노드들로서 결정할 수 있다. 도 5를 참조하면, 프로세서(370)는 로봇(300)의 개략적 위치를 나타내는 노드(510)로부터 검색 반경 내의 노드들(흰색 노드들로 표시됨)을 후보 노드들로서 결정할 수 있다. 검색 반경의 값은 공간의 특성 또는 설계 목적 등에 따라 다양하게 선택될 수 있다. 검색 반경의 값은 저장부(380)에 미리 저장되어 있을 수도 있지만, AI 서버(220)로부터 개략적 위치와 함께 수신될 수도 있다. 다른 실시예에서, 프로세서(370)는 개략적 위치로부터 거리가 가까운 순서대로 미리결정된 수의 노드들을 후보 노드들로서 결정할 수 있다.

세밀한 추정

프로세서(370)는 결정된 후보 노드들에 기초하여 로봇(300)의 현재 위치 또는 포즈 중 적어도 하나를 추정할 수 있다.

실시예에서, 프로세서(370)는 입력부(310)에 의해 획득된 적어도 하나의 이미지의 특징점들을 후보 노드들 각각에 대한 기준 이미지들의 특징점들과 비교하여 매칭율을 산출할 수 있다. 프로세서(370)는 매칭율이 가장 높은 후보 노드를 최종 노드로서 결정할 수 있다. 최종 노드의 위치 또는 포즈는 로봇(300)의 현재 위치 또는 현재 포즈로서 추정될 수 있다. 예를 들어, 도 5에서 후보 노드들 중 매칭율이 가장 높은 노드(520)가 최종 노드로서 추정될 수 있다.

다른 실시예에서, 입력부(310)에 의해 획득된 적어도 하나의 이미지가 복수의 연속적인 순차 이미지들을 포함하는 경우, 프로세서(370)는 순차 이미지들의 특징점들을 후보 노드들 각각에 대한 기준 이미지들의 특징점들과 순차적으로 비교하여 누적 매칭율을 산출할 수 있다. 프로세서(370)는 누적 매칭율이 가장 높은 후보 노드를 최종 노드로서 결정할 수 있다.

본 발명의 실시예들에 의하면, 개략적 추정 및 세밀한 추정의 2단 추정에 의해 로봇(300)이 자신의 위치 및 포즈를 정확하게 인식할 수 있다.

도 6은 본 발명의 일 실시예에 따른 로봇의 위치를 인식하기 위한 방법을 도시한 순서도이다. 도 6에 도시된 방법은 로봇(300)에 의해 수행될 수 있다.

도 6a를 참조하면, 단계 S610에서, 로봇(300)은 주변에 대한 적어도 하나의 이미지를 획득한다. 적어도 하나의 이미지는 입력부(320)에 구비된 카메라에 의해 획득될 수 있다. 적어도 하나의 이미지는 복수의 연속적인 순차 이미지들을 포함할 수 있다.

단계 S620에서, 로봇(300)은 획득된 적어도 하나의 이미지에 기초하여 로봇(300)의 제1 위치를 추정한다. 제1 위치는 로봇(300)의 개략적 위치를 나타낼 수 있다. 제1 위치는 인공 신경망에 기반한 학습 모델에 의해 추정될 수 있다. 학습 모델은 적어도 하나의 이미지에 대응하는 공간 내의 특정 위치 또는 공간 맵에서의 특정 노드를 출력하도록 학습된 것일 수 있다. 학습 모델이 로봇(300)에 저장되어 있는지 서버에 저장되어 있는지에 따라 동작 양상이 달라질 수 있다. 서버는 도 1의 관제 서버(120) 또는 도 2의 AI 서버(220)일 수 있다.

도 6b는 학습 모델이 서버에 저장된 경우의 동작을 나타낸다. 단계 S621에서, 로봇(300)은 획득된 적어도 하나의 이미지를 학습 모델을 갖는 서버에 전송한다. 서버의 학습 모델은 적어도 하나의 이미지에 대응하는 공간 내의 특정 위치 또는 공간 맵에서의 특정 노드를 출력할 수 있다. 단계 S622에서, 로봇(300)은 서버의 학습 모델에 의해 추정된 로봇(300)의 제1 위치를 수신한다.

도 6c는 학습 모델이 로봇(300)에 저장된 경우의 동작을 나타낸다. 단계 S624에서, 로봇(300)은 서버로부터 학습 모델을 수신한다. 수신된 학습 모델은 로봇(300)의 저장부(380)에 저장될 수 있다. 단계 S625에서, 로봇(300)은 획득된 적어도 하나의 이미지를 저장부(380)의 학습 모델에 입력함으로써 제1 위치를 추정한다.

도 6a의 단계 S630에서, 로봇(300)은 제1 위치에 기초하여 후보 노드들을 결정한다. 로봇(300)은 제1 위치를 나타내는 노드로부터 미리결정된 검색 반경 내의 노드들을 후보 노드들로서 결정할 수 있다. 검색 반경의 값은 로봇(300)의 저장부(380)에 미리 저장되어 있을 수도 있지만, 서버로부터 제1 위치와 함께 수신될 수도 있다.

단계 S640에서, 로봇(300)은 결정된 후보 노드들에 기초하여 로봇(300)의 제2 위치 또는 포즈 중 적어도 하나를 추정한다. 제2 위치 또는 포즈는 로봇(300)의 현재 위치 또는 현재 포즈를 각각 나타낼 수 있다. 실시예에서, 로봇(300)은 적어도 하나의 이미지의 특징점들을 후보 노드들 각각에 대한 기준 이미지들의 특징점들과 비교하여 매칭율을 산출할 수 있다. 매칭율이 가장 높은 후보 노드가 최종 노드로서 결정될 수 있고, 최종 노드의 위치 또는 포즈가 로봇(300)의 현재 위치 또는 현재 포즈로서 추정될 수 있다. 다른 실시예에서, 적어도 하나의 이미지가 복수의 연속적인 순차 이미지들을 포함하는 경우, 로봇(300)은 순차 이미지들의 특징점들을 후보 노드들 각각에 대한 기준 이미지들의 특징점들과 순차적으로 비교하여 누적 매칭율을 산출할 수 있다. 로봇(300)은 누적 매칭율이 가장 높은 후보 노드를 최종 노드로서 결정할 수 있고, 최종 노드의 위치 또는 포즈를 로봇(300)의 현재 위치 또는 현재 포즈로서 추정할 수 있다.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

110: 로봇 120: 관제 서버
130: 단말기 140: 네트워크
310: 통신부 320: 입력부
330: 센싱부 340: 구동부
350: 출력부 360: 러닝 프로세서
370: 프로세서 380: 저장부

Claims

로봇으로서,
상기 로봇이 동작하는 공간의 맵을 저장하는 저장부;
상기 로봇의 주변에 대한 적어도 하나의 이미지를 획득하기 위한 입력부; 및
상기 입력부에 의해 획득된 상기 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하고, 상기 로봇의 제1 위치에 기초하여 상기 공간의 맵에서 후보 노드들을 결정하고, 그리고 결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하도록 구성되는 적어도 하나의 프로세서를 포함하고,
상기 로봇의 제1 위치는 상기 적어도 하나의 이미지를 인공 신경망에 기반한 학습 모델에 입력하는 것에 기초하여 추정되는, 로봇.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 적어도 하나의 이미지를 상기 학습 모델을 갖는 서버에 전송하고,
상기 서버의 상기 학습 모델에 의해 추정된 상기 로봇의 제1 위치를 상기 서버로부터 수신하도록 구성되는, 로봇.
제2항에 있어서,
상기 적어도 하나의 프로세서는,
상기 로봇의 제1 위치로부터 미리결정된 검색 반경 내의 노드들을 상기 후보 노드들로서 결정하도록 구성되는, 로봇.
제3항에 있어서,
상기 적어도 하나의 프로세서는,
상기 서버로부터 상기 검색 반경에 대한 정보를 수신하거나, 또는
상기 저장부로부터 상기 검색 반경에 대한 정보를 획득하도록 구성되는, 로봇.
제3항에 있어서,
상기 적어도 하나의 프로세서는,
상기 후보 노드들 중 상기 적어도 하나의 이미지와의 가장 높은 매칭율을 갖는 후보 노드를 최종 노드로서 결정하고,
상기 최종 노드의 위치 또는 포즈를 상기 로봇의 제2 위치 또는 상기 로봇의 포즈로서 결정하도록 구성되는, 로봇.
제5항에 있어서,
상기 적어도 하나의 프로세서는,
상기 적어도 하나의 이미지의 특징점들을 상기 후보 노드들에 대한 기준 이미지들의 특징점들과 비교하고,
상기 비교에 기초하여 산출되는 매칭율이 가장 높은 후보 노드를 상기 최종 노드로서 결정하도록 구성되는, 로봇.
제5항에 있어서,
상기 적어도 하나의 이미지는 복수의 연속적인 순차 이미지들을 포함하는, 로봇.
제7항에 있어서,
상기 적어도 하나의 프로세서는,
상기 복수의 순차 이미지들의 특징점들을 상기 후보 노드들에 대한 기준 이미지들의 특징점들과 순차적으로 비교하고,
상기 순차적인 비교에 기초하여 산출되는 누적 매칭율이 가장 높은 후보 노드를 상기 최종 노드로서 결정하도록 구성되는, 로봇.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
서버로부터 상기 학습 모델을 수신하고,
상기 적어도 하나의 이미지를 수신된 학습 모델에 입력함으로써 상기 로봇의 제1 위치를 추정하도록 구성되는, 로봇.
제1항에 있어서,
상기 학습 모델은 상기 적어도 하나의 이미지에 대응하는 상기 공간 내의 특정 위치 또는 상기 공간의 맵에서의 특정 노드를 상기 제1 위치로서 출력하도록 학습된 것인, 로봇.
제10항에 있어서,
상기 학습 모델은 심층 학습에 의해 구현되는, 로봇.
로봇의 위치를 인식하기 위한 방법으로서,
상기 로봇의 주변에 대한 적어도 하나의 이미지를 획득하는 단계;
획득된 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하는 단계;
상기 로봇의 제1 위치에 기초하여 상기 로봇이 동작하는 공간의 맵에서 후보 노드들을 결정하는 단계; 및
결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하는 단계를 포함하고,
상기 로봇의 제1 위치는, 상기 적어도 하나의 이미지를 인공 신경망에 기반한 학습 모델에 입력하는 것에 기초하여 추정되는, 로봇의 위치를 인식하기 위한 방법.
제12항에 있어서,
상기 로봇의 제1 위치를 추정하는 단계는,
상기 적어도 하나의 이미지를 상기 학습 모델을 갖는 서버에 전송하는 단계; 및
상기 서버의 상기 학습 모델에 의해 추정된 상기 로봇의 제1 위치를 상기 서버로부터 수신하는 단계를 더 포함하는, 로봇의 위치를 인식하기 위한 방법.
제13항에 있어서,
상기 후보 노드들을 결정하는 단계는,
상기 로봇의 제1 위치로부터 미리결정된 검색 반경 내의 노드들을 상기 후보 노드들로서 결정하는 단계를 포함하는, 로봇의 위치를 인식하기 위한 방법.
제13항에 있어서,
상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하는 단계는,
상기 후보 노드들 중 상기 적어도 하나의 이미지와의 가장 높은 매칭율을 갖는 후보 노드를 최종 노드로서 결정하는 단계; 및
상기 최종 노드의 위치 또는 포즈를 상기 로봇의 제2 위치 또는 상기 로봇의 포즈로서 결정하는 단계를 포함하는, 로봇의 위치를 인식하기 위한 방법.
제15항에 있어서,
상기 후보 노드들 중 상기 적어도 하나의 이미지와의 가장 높은 매칭율을 갖는 후보 노드를 최종 노드로서 결정하는 단계는,
상기 적어도 하나의 이미지의 특징점들을 상기 후보 노드들에 대한 기준 이미지들의 특징점들과 비교하는 단계; 및
상기 비교에 기초하여 산출되는 매칭율이 가장 높은 후보 노드를 상기 최종 노드로서 결정하는 단계를 포함하는, 로봇의 위치를 인식하기 위한 방법.
제15항에 있어서,
상기 적어도 하나의 이미지는 복수의 연속적인 순차 이미지들을 포함하고,
상기 후보 노드들 중 상기 적어도 하나의 이미지와의 가장 높은 매칭율을 갖는 후보 노드를 최종 노드로서 결정하는 단계는,
상기 복수의 순차 이미지들의 특징점들을 상기 후보 노드들에 대한 기준 이미지들의 특징점들과 순차적으로 비교하는 단계; 및
상기 순차적인 비교에 기초하여 산출되는 누적 매칭율이 가장 높은 후보 노드를 상기 최종 노드로서 결정하는 단계를 포함하는, 로봇의 위치를 인식하기 위한 방법.
제12항에 있어서,
서버로부터 상기 학습 모델을 수신하는 단계를 더 포함하고,
상기 로봇의 제1 위치를 추정하는 단계는,
상기 적어도 하나의 이미지를 수신된 학습 모델에 입력함으로써 상기 로봇의 제1 위치를 추정하는 단계를 포함하는, 로봇의 위치를 인식하기 위한 방법.
제12항에 있어서,
상기 학습 모델은 상기 적어도 하나의 이미지에 대응하는 상기 공간 내의 특정 위치 또는 상기 공간의 맵에서의 특정 노드를 상기 제1 위치로서 출력하도록 학습된 것인, 로봇의 위치를 인식하기 위한 방법.
프로그램 코드가 저장된 컴퓨터 판독가능한 저장 매체로서,
상기 프로그램 코드는, 실행되는 경우, 적어도 하나의 프로세서로 하여금:
로봇의 주변에 대한 적어도 하나의 이미지를 획득하게 하고;
획득된 적어도 하나의 이미지에 기초하여 상기 로봇의 제1 위치를 추정하게 하고;
상기 로봇의 제1 위치에 기초하여 상기 로봇이 동작하는 공간의 맵에서 후보 노드들을 결정하게 하고; 그리고
결정된 후보 노드들에 기초하여 상기 로봇의 제2 위치 또는 상기 로봇의 포즈 중 적어도 하나를 추정하게 하며,
상기 로봇의 제1 위치는, 상기 적어도 하나의 이미지를 인공 신경망에 기반한 학습 모델에 입력하는 것에 기초하여 추정되는, 컴퓨터 판독가능한 저장 매체.