KR20210015211A

KR20210015211A - 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버

Info

Publication number: KR20210015211A
Application number: KR1020190093716A
Authority: KR
Inventors: 어규호; 김정식; 김형록; 남문식; 양숙현; 이동학
Original assignee: 엘지전자 주식회사
Priority date: 2019-08-01
Filing date: 2019-08-01
Publication date: 2021-02-10
Also published as: US20200004266A1; US11347237B2

Abstract

본 발명은 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버에 관한 것으로, 발명의 일 실시예에 의한 실시간으로 클라우드 슬램을 수행하는 로봇은 SLAM을 수행하는데 필요한 센서 데이터를 획득하는 제1센서와, 클라우드 서버와 동기화된 맵을 저장하는 맵 저장부와 센서 데이터 또는 상기 특징점 또는 상기 라스트 프레임을 상기 클라우드 서버에 전송하고 상기 클라우드 서버로부터 로컬 맵 패치 또는 글로벌 포즈를 수신하는 통신부와 센서 데이터 또는 상기 센서 데이터에서 추출된 특징점 또는 라스트 프레임을 생성하고 클라우드 서버로부터 수신한 로컬 맵 패치 또는 글로벌 포즈를 이용하여 로봇의 이동을 제어하는 제어부를 포함한다.

Description

실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버{METHOD OF CLOUD SLAM IN REALTIME AND ROBOT AND CLOUD SERVER IMPLEMENTING THEREOF}

본 발명은 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버에 관한 기술이다.

대형 마트, 백화점, 공항, 골프장 등 인적, 물적 교류가 활발하게 발생하는 공간에는 사람들에게 정보를 제공하기 위해, 또는 사람들에게 편의를 제공하기 위해 로봇이 배치될 수 있다.

전술한 로봇의 종류로는 안내로봇, 보안로봇, 청소로봇 등이 있으며, 이들 다양한 로봇들은 공간 내에서 자신의 위치를 확인하며 이동한다.

한편, 로봇들이 자신의 위치를 확인하고 장애물을 회피하며 이동하기 위해서는 공간에 대한 정보와 로봇의 현재 위치 또는 이전에 로봇이 이동한 경로 등에 대한 정보를 로봇이 유지해야 한다.

또한, 이 과정에서 로봇은 주변의 공간의 물리적 배치에 대한 정보를 저장하고 저장되었던 맵 정보와 비교하여 로봇의 현재 위치를 확인할 수 있다.

그런데, 로봇이 현재 위치를 정확하게 판단하기 위해서는 전술한 주변 환경에 대한 배치 또는 공간에 대한 정보의 정밀성을 필요로 한다.

그리고 정보의 정밀도가 높을수록 처리해야할 데이터의 크기가 증가하고, 이를 처리하는데 필요한 프로세서의 컴퓨팅 파워 역시 고성능을 필요로 한다.

이에, 본 명세서에서는 로봇이 클라우드 서버와 연동하여 고정밀도의 정보를 처리하여 슬램(SLAM, simultaneous localization and mapping)을 수행하는 방안을 제시한다.

본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 로봇이 클라우드 서버를 통해 클라우드 슬램을 수행하여 맵을 생성하고 로봇의 위치를 추정하고자 한다.

또한, 본 명세서에서는 고성능의 센서들이 생성한 센서 이미지에 기반하여 위치 추정의 정확도를 높이기 위해 클라우드 서버를 통한 슬램을 구현하고자 한다.

또한, 본 명세서에서는 클라우드 서버가 실시간으로 센서 데이터를 처리하여 로봇의 위치를 실시간으로 정확하게 추정할 수 있도록 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

발명의 일 실시예에 의한 실시간으로 클라우드 슬램을 수행하는 로봇은 SLAM을 수행하는데 필요한 센서 데이터를 획득하는 제1센서와, 클라우드 서버와 동기화된 맵을 저장하는 맵 저장부와 센서 데이터 또는 상기 특징점 또는 상기 라스트 프레임을 상기 클라우드 서버에 전송하고 상기 클라우드 서버로부터 로컬 맵 패치 또는 글로벌 포즈를 수신하는 통신부와 센서 데이터 또는 상기 센서 데이터에서 추출된 특징점 또는 라스트 프레임을 생성하고 클라우드 서버로부터 수신한 로컬 맵 패치 또는 글로벌 포즈를 이용하여 로봇의 이동을 제어하는 제어부를 포함한다.

발명의 일 실시예에 의한 실시간으로 클라우드 슬램을 수행하는 클라우드 서버는 맵을 저장하는 맵 저장부와 다수의 로봇들과 통신하는 통신부와 상기 로봇이 전송한 센서 데이터에 기반하여 맵을 생성하거나 상기 로봇 각각의 글로벌 포즈 또는 상기 로봇 각각의 로컬 맵 패치를 생성하는 서버제어부를 포함한다.

발명의 일 실시예에 의한 실시간으로 클라우드 슬램을 수행하는 방법은 로봇의 제1센서가 SLAM을 수행하는데 필요한 센서 데이터를 획득하는 단계와, 상기 로봇의 제어부가 상기 센서 데이터에서 특징점을 추출하여 로컬 매핑하여 로컬 포즈를 생성하는 단계와, 상기 로봇의 통신부가 상기 센서 데이터와 상기 특징점을 클라우드 서버로 전송하는 단계와, 상기 클라우드 서버의 서버제어부가 상기 로봇이 전송한 센서 데이터와 특징점에 기반하여 로컬 맵 패치를 생성하는 단계와, 상기 클라우드 서버의 통신부가 상기 로컬 맵 패치를 상기 로봇에게 전송하는 단계와, 상기 로봇의 상기 제어부는 상기 수신한 로컬 맵패치를 이용하여 루프 제약을 생성한 후, 제1글로벌 포즈를 생성하는 단계와, 상기 로봇의 상기 제어부는 상기 제1글로벌 포즈를 생성하여 상기 로봇의 이동을 제어하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 로봇이 클라우드 서버를 통해 클라우드 슬램을 수행하여 고품질의 맵을 생성할 수 있다.

또한, 본 발명의 실시예들을 적용할 경우, 로봇은 클라우드 서버에게 센서 데이터를 전송하고 클라우드 서버로부터 로봇의 위치를 추정하는데 필요한 정보를 수신할 수 있다.

또한, 본 발명의 실시예들을 적용할 경우, 각각의 센서들이 생성한 정보에 기반하여 로봇의 후보 위치를 산출하고 이들을 이용하여 로봇의 최종 위치 정보를 추정할 수 있다.

또한, 본 발명의 실시예들을 적용할 경우, 로봇의 센서들 중 어느 하나의 센서가 획득한 정보를 처리하는 시간이 다른 센서가 획득한 정보를 처리하는 시간과 상이할 경우 두 센서의 시간 차이를 줄이거나 보정하여 위치 추정의 정확도를 높이고자 한다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 의한 로봇의 외관을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 로봇의 제어모듈의 구성 요소를 보여준다.
도 3은 본 발명의 일 실시예에 의한 클라우드 서버의 구성을 보여준다.
도 4는 본 발명의 일 실시예에 의한 맵의 구조를 보여준다.
도 5는 본 발명의 일 실시예에 의한 이들 각 서브모듈들의 동작과정을 보여준다.
도 6은 본 발명의 일 실시예에 의한 클라우드 서버와 로봇이 매핑을 수행하는 과정을 보여준다.
도 7은 본 발명의 일 실시예에 의한 위치 추정 과정을 보여준다.
도 8은 본 발명의 일 실시예에 의한 통신 상의 지연이 발생한 경우 위치 추정 과정을 보여준다.
도 9는 본 발명의 일 실시예에 의한 통신 상의 지연이 발생한 경우 키드냅 리커버리를 수행하는 과정을 보여준다.
도 10은 본 발명의 일 실시예에 의한 클라우드 서버가 로봇들과의 SLAM 과정에서 우선 순위를 설정하는 과정을 보여준다.
도 11은 본 발명의 일 실시예에 의한 클라우드 서버의 또다른 구성을 보여준다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

이하, 본 명세서에서 로봇은 특정한 목적(청소, 보안, 모니터링, 안내 등)을 가지거나 혹은 로봇이 이동하는 공간의 특성에 따른 기능을 제공하며 이동하는 장치를 포함한다. 따라서, 본 명세서에서의 로봇은 소정의 정보와 센서를 이용하여 이동할 수 있는 이동수단을 보유하며 소정의 기능을 제공하는 장치를 통칭한다.

본 명세서에서 로봇은 맵을 보유하면서 이동할 수 있다. 맵은 공간에서 이동하지 않는 것으로 확인된 고정된 벽, 계단 등 고정 객체에 대한 정보를 의미한다. 또한, 주기적으로 배치되는 이동 장애물, 즉 동적인 객체들에 대한 정보도 맵 상에 저장될 수 있다.

일 실시예로 로봇의 진행 방향을 기준으로 일정한 범위 내에 배치된 장애물들에 대한 정보도 맵 상에 저장될 수 있다. 이 경우, 전술한 고정 객체가 저장되는 맵과 달리 임시적으로 장애물들의 정보가 맵에 등록되고 이후 로봇이 이동한 후 맵에서 제거될 수 있다.

본 명세서에서 로봇은 클라우드 서버와 통신으로 정보를 송수신하며, 이를 기반으로 SLAM(Fusion-simultaneous localization and mapping)을 수행한다. 이를 클라우드 슬램(Cloud SLAM)이라고 지시한다.

로봇이 SLAM을 수행하기 위해 사물들의 위치를 확인하는 라이다 센서 또는 이미지를 촬영하는 카메라 센서를 사용할 수도 있다. 로봇은 라이다 센서 또는 카메라 센서 중 어느 하나 또는 둘을 이용하여 SLAM을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 의한 로봇의 외관을 보여주는 도면이다. 로봇은 다양한 형상을 가질 수 있으며, 도 1은 예시적인 외관에 해당한다. 도 1의 외관 외에도 다양한 외관으로 본 발명의 로봇을 구현할 수 있다. 특히, 각각의 구성요소는 로봇의 형상에 따라 상하좌우 전후 등에서 다른 위치에 배치될 수 있다.

본 발명은 다양한 형상의 로봇에 적용되는데, 도 1과 같이 직립형 로봇에도 적용되지만, 마트 등에서 사용자들이 사용하는 카트로봇이나 청소로봇, 보안 로봇등 다양한 형상의 로봇에 모두 적용된다. 즉, 본 발명은 공간을 확인하여 자율주행하여 이동하는 모든 로봇에 적용될 수 있다. 이하 예시적인 로봇의 외관에 대해 살펴본다.

본체(10)는 상하 방향으로 길이가 길게 형성되며, 전체적으로 하부에서 상부 방향으로 올라갈수록 슬림해지는 오뚝이 형상을 가질 수 있다.

본체(10)는 로봇(1)의 외관을 형성하는 케이스(30)를 포함할 수 있다. 케이스(30)는 상측에 배치되는 탑 커버(31), 탑 커버(31)의 하측에 배치되는 제1 미들 커버(32), 제1 미들 커버(32)의 하측에 배치되는 제2 미들 커버(33) 및 제2 미들 커버(33)의 하측에 배치되는 바텀 커버(34)를 포함할 수 있다. 여기서 제1 미들 커버(32)와 제2 미들 커버(33)는 하나의 미들 커버로 이루어질 수 있다.

탑 커버(31)는 로봇(1)의 최상단에 위치되며, 반구 또는 돔 형상을 가질 수 있다. 탑 커버(31)는 사용자로부터 명령을 용이하게 입력 받기 위하여 성인의 키보다 낮은 높이에 위치될 수 있다. 그리고 탑 커버(31)는 소정각도 회전 가능하도록 구성될 수 있다.

한편, 로봇(1)은 그 내부에 제어모듈(150)을 더 포함할 수 있다. 제어모듈(150)은 일종의 컴퓨터 또는 프로세서와 같이 로봇(1)을 제어한다. 따라서 제어모듈(150)은 로봇(1)내에 배치되어 메인 프로세서와 유사한 기능을 수행하며, 사용자와의 인터랙션(interaction)을 담당할 수 있다. 또한, 제어모듈(150)은 클라우드 서버와의 통신을 담당한다.

로봇의 이동과 주변의 사물을 감지하여 로봇을 제어하기 위해 제어모듈(150)이 로봇(1) 내부에 탑재된다. 로봇제어모듈(150)은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩 등으로 구현 가능하다.

탑 커버(31)는 전면 일측에 사용자로부터 명령을 입력받거나 정보를 출력하는 디스플레이부(31a)과 카메라(31b), 마이크(31c)를 일 실시예로 하는 센서가 배치될 수 있다.

또한, 탑 커버(31)의 디스플레이부(31a) 외에도 미들 커버(32)의 일측에도 디스플레이부(20)가 배치된다.

로봇의 기능에 따라 두 개의 디스플레이부(31a, 20) 모두 정보를 출력하거나 혹은 어느 한쪽에서만 정보가 출력될 수 있다.

한편, 로봇(1)의 일측면 또는 하단부 전체에는 35a, 35b와 같이 다양한 장애물 센서(도 2의 220)들이 배치된다. 장애물 센서들은 TOF(Time of Flight) 센서, 초음파 센서, 적외선 센서, 뎁스 센서, 레이저 센서, 라이다 센서 등을 일 실시예로 한다. 센서들은 다양한 방식으로 로봇(1) 외부의 장애물을 감지한다.

또한, 도 1의 로봇은 하단부에 로봇을 이동시키는 구성요소인 이동부를 더 포함한다. 이동부는 일종의 바퀴와 같이 로봇을 이동시키는 구성요소로 로봇을 이동시킨다.

도 1의 로봇의 형상은 예시적이며, 본 발명이 이에 한정되는 것은 아니다. 또한, 로봇의 다양한 카메라들과 센서들 역시 로봇(1)의 다양한 위치에 배치될 수 있다. 도 1의 로봇은 사용자에게 정보를 안내하고 특정 지점까지 이동하여 사용자를 안내하는 안내 로봇을 일 실시예로 한다.

이외에도 청소, 보안 또는 기능을 제공하는 로봇 역시 도 1의 로봇의 범위에 포함된다.

도 1를 일 실시예로 하는 로봇이 서비스 공간 내에 다수 배치된 상태에서 로봇이 특정한 기능(안내, 청소, 보안, 짐 수납 등)을 수행한다. 이 과정에서 로봇(1)은 자신의 위치를 저장하며, 로봇(1)은 전체 공간에서 자신의 현재 위치를 확인하고, 목표 지점으로 이동하는데 필요한 경로를 생성할 수 있다.

도 1의 로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.

로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.

로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.

도 2는 본 발명의 일 실시예에 의한 로봇의 제어모듈의 구성 요소를 보여준다. 제어모듈(150)은 로봇이 로봇은 맵을 생성하는 기능과 맵을 이용하여 로봇의 위치를 추정하는 기능 둘 다 수행할 수 있도록 로봇을 제어한다.

또는 제어모듈(150)은 로봇이 맵을 생성하는 기능만 제공할 수 있도록 제어한다.

또는 제어모듈(150)은 로봇은 맵을 이용하여 로봇의 위치를 추정하는 기능만 제공할 수 있도록 제어한다. 즉, 제어모듈(150)은 로봇이 맵을 생성하거나, 또는 맴을 이용하여 위치를 추정하거나, 혹은 전술한 두 기능 모두를 수행하도록 로봇을 제어할 수 있다.

이하, 본 발명의 로봇이 클라우드 서버와 통산을 수행하여 맵을 생성하거나 로봇의 위치를 추정하는 기능을 제공할 수 있다. 추가적으로 로봇은 맵을 생성하거나 수정하는 기능을 제공할 수 있다.

로봇은 로봇이 이동 과정에서 센서들이 획득한 정보를 클라우드 서버에 전송할 수 있다. 센서들의 종류에 대해 살펴본다.

먼저 라이다 센서(LiDAR Sensor)(220)는 2차원 또는 3차원으로 주변의 사물들을 센싱할 수 있다. 2차원 라이다 센서의 경우 로봇을 중심으로 360도 범위 또는 그보다 작은 범위 내의 사물의 위치를 센싱할 수 있다. 특정 위치에서 센싱한 라이다 정보는 센서 데이터의 일 실시예가 된다.

또는 라이다 센서(220)로 확보한 센서 데이터를 라이다 프레임이라고 지칭할 수 있다. 즉, 라이다 센서(220)는 로봇의 외부에 배치된 사물과 로봇 사이의 거리를 센싱하여 라이다 프레임을 생성한다.

카메라 센서(230)는 일반 카메라를 일 실시예로 한다. 시야각의 제약을 해결하기 위해 둘 이상의 카메라 센서(230)를 사용할 수 있다. 특정 위치에서 촬영한 영상은 이미지 정보를 구성한다. 즉, 카메라 센서(230)는 로봇의 외부에 배치된 사물을 촬영하여 생성한 이미지 정보는 센서 데이터의 일 실시예가 된다.

또는, 카메라 센서(230)로 확보한 센서 데이터를 비주얼 프레임을 프레임이라고 지칭할 수 있다. 즉, 카메라 센서(230)는 로봇의 외부를 촬영하여 비주얼 프레임을 생성한다.

이하 본 발명을 적용하는 로봇(1)은 라이다 센서(220) 또는 카메라 센서(230) 중 어느 하나 또는 둘을 이용하여 SLAM(simultaneous localization and mapping)을 수행한다.

SLAM 과정에서 로봇(1)은 라이다 프레임과 비주얼 프레임을 각각 이용하거나 또는 이들을 결합하여 맵을 생성하거나 위치를 추정할 수 있다.

인터페이스부(290)는 사용자로부터 정보를 입력받는다. 터치 입력, 음성 입력 등 다양한 정보를 사용자로부터 입력받고, 이에 대한 결과를 출력한다. 또한 인터페이스부(290)는 로봇(1)이 저장하는 맵을 출력하거나, 로봇이 이동하는 과정을 맵과 오버랩 하여 출력할 수 있다.

또한, 인터페이스부(290)는 사용자에게 소정의 정보를 제공할 수 있다.

제어부(250)는 후술할 맵을 생성하고 이 맵을 기반으로 로봇이 이동하는 과정에서 로봇의 위치를 추정한다. 또는 클라우드 서버와 통신하여 정보를 송수신하고 이를 기반으로 맵을 생성하거나 로봇의 위치를 추정할 수 있다.

통신부(280)는 로봇(1)이 다른 로봇 또는 외부의 클라우드 서버와 통신하여 정보를 송수신할 수 있도록 한다.

맵 저장부(210)는 로봇이 이동하는 공간에 대한 맵을 저장한다. 특히, 이 맵은 클라우드 서버와 동기화된 맵인 것을 일 실시예로 한다. 맵 저장부(210)는 로봇이 선택적으로 보유할 수 있다. 예를 들어 로봇(1)은 맵을 저장하지 않고 클라우드 서버에 저장된 맵을 이용할 수 있다.

휠 인코더(Wheel Encoder)(260)는 로봇의 이동부를 구성하는 바퀴의 회전이나 방향 등의 정보를 취합하여 휠 오도메트리 정보를 생성하고 이를 제어부(250)에게 제공한다. 제어부(250)는 휠 인코더(260)가 제공한 정보에 기반하여 이동 거리나 이동 방향 등을 산출할 수 있다.

도 2를 정리하면 다음과 같다. 제1센서(카메라 센서 또는 라이다 센서 또는 그 외 고용량의 센서 데이터를 생성하는 센서)가 로봇이 SLAM을 수행하는데 필요한 센서 데이터를 획득하면, 통신부는 이를 클라우드 서버(300)로 전송한다.

그리고 제어부(250)는 센서 데이터 또는 상기 센서 데이터에서 추출된 특징점 또는 라스트 프레임을 생성한다.

그리고 통신부(280)는 센서 데이터 또는 상기 특징점 또는 상기 라스트 프레임을 상기 클라우드 서버에 전송하고 상기 클라우드 서버로부터 로컬 맵 패치 또는 글로벌 포즈를 수신한다. 그리고 제어부(250)는 상기 특징점과 상기 로컬 맵 패치 또는 상기 글로벌 포즈를 이용하여 로봇의 이동을 제어한다.

도 3은 본 발명의 일 실시예에 의한 클라우드 서버의 구성을 보여준다. 맵 저장부(310)는 고품질로 생성된 맵을 저장한다. 맵 저장부(310)의 맵은 로봇(1)에게 일부 또는 전부 전송될 수 있다. 통신부(380)는 로봇(1)과 통신한다. 이 과정에서 로봇(1) 다수들과 통신부(380)가 통신할 수 있다.

그리고 인공지능부(355)는 맵을 생성하거나 업데이트하는 과정에서 특징을 추출하거나(Feature Extraction), 또는 추출된 특징을 맵 등과 매칭(Matching)할 수 있다. 서버제어부(350)는 전술한구성요소를 제어하며, 로봇(1)이 SLAM을 수행하는데 필요한 다양한 정보를 생성하여 로봇(1)에게 제공한다.

클라우드 서버(300)는 클라우드 시스템을 구성한다. 클라우드 시스템은 다수의 로봇들과 하나 이상의 클라우드 서버(300)로 구성된다. 클라우드 서버는 대용량/고성능 연산 처리가 가능하므로, SLAM을 이용한 고품질의 맵을 빠른 시간 내에 작성할 수 있다.

즉, 클라우드 서버(300)는 높은 컴퓨팅 파워를 이용하여 최대한 많은 정보를 이용한 SLAM을 수행할 수 있다. 그 결과 클라우드 서버(300)가 작성한 맵의 품질은 크게 향상할 수 있다. 통신부(380)가 로봇(1)이 전송한 센서 데이터를 수신하면 서버제어부(350)는 이를 기반으로 특징 추출, 맵 생성과 맵 업데이트 등을 수행하고, 로봇이 키드냅(Kidnap)된 경우 다시 로봇의 위치를 복구하거나(Kidnap recovery) 또는 위치 복구에 필요한 정보를 제공할 수 있다.

도 2의 로봇 및 도 3의 클라우드 서버로 구성된 방식에서, SLAM의 기능 중 맵 작성(mapping)은 실시간 처리가 필요하지 않아도 되나, 위치 인식(localization) 부분은 실시간 처리가 필요하다. 따라서 클라우드 서버(300)와 로봇(1) 사이의 빠른 SLAM 수행을 위해서는 데이터 전송량을 최소한으로 하면서도 실시간 위치 인식을 수행할 수 있어야 한다.

서버제어부(350) 및 로봇(1)의 제어부(250)는 다수의 소프트웨어 또는 하드웨어 서브모듈로 구성된다. 이들 각 서브모듈은 다음과 같다. 이들 서브모듈들은 기능별로 구분되지만, 실제로는 하나의 소프트웨어 또는 하나의 하드웨어를 구성할 수 있다.

로봇(1)의 제어부(250)는 FEM(Feature Extraction and Matching) 서브모듈, LM(Local Mapper) 서브모듈, GPT(Global Pose Tracker) 서브모듈, 그리고 내비게이션(Navigation) 서브모듈을 포함한다. FEM 서브모듈은 제어부(250)에 포함될 수도 있고 인공지능부(255)에 포함될 수 있다.

서버제어부(350)는 DFEM(Deep Feature Extraction and Matching) 서브모듈, LD(Loop Detector) 서브모듈, GM(Global Mapper) 서브모듈, VT(Vocabulary Tree) 서브모듈, KR(Kidnap Recovery) 서브모듈, 그리고 MM(Map Management) 서브모듈을 포함한다.

도 3의 서버제어부(350)는 로봇이 전송한 센서 데이터에 기반하여 맵을 생성하거나 로봇 각각의 글로벌 포즈를 생성할 수 있다. 또는 서버제어부(350)는 로봇 각각의 로컬 맵 패치를 생성한다. 이러한 서버제어부(350)가 생성한 글로벌 포즈 또는 로컬 맵 패치를 수신한 로봇은 위치추정(로컬라이제이션)을 수행할 수 있다.

도 4는 본 발명의 일 실시예에 의한 맵의 구조를 보여준다. 도 4의 맵은 라이다 센서(220)와 카메라 센서(230)를 모두 사용하는 로봇이 SLAM 과정에서 이용하는 맵이다. 따라서 어느 하나의 센서만 가지고 있는 로봇이 보유한 맵은 해당 센서와 관련된 데이터만을 포함할 수 있다. 즉, 로봇의 센서 성능에 따라 도 4에 제시된 맵 중 일부만을 포함하는 맵이 로봇의 맵 저장부(210) 또는 클라우드 서버(310)의 맵 저장부에 저장될 수 있다.

도 4는 백본(backbone)을 제1레이어(first layer)로 하며 라이다 브랜치(LiDAR branch) 및 비주얼 브랜치(Visual branch)를 각각 제2레이어(second layer)로 하는 2중층의 구성을 보여준다. 도 4와 같은 구조를 구조적으로 탄력적인 포즈 그래프 기반 슬램(structurally elastic pose graph-based SLAM)이라 명명한다.

백본은 로봇의 궤적(trajectory)을 추적한 정보이다. 또한 백본은 궤적에 대응하는 하나 이상의 프레임 노드들을 포함한다. 그리고 이들 프레임 노드들은 다른 프레임 노드와의 관계에서 제약 정보(constraint, 또는 제약 조건)를 더 포함한다. 노드 사이의 에지는 제약 정보를 나타낸다. 에지는 오도메트리 제약 정보(odometry constraint) 또는 루프 제약 정보(loop constraint)를 의미한다.

또한, 제2레이어의 라이다 브랜치는 라이다 프레임(LiDAR Frame)들로 구성된다. 라이드 프레임은 로봇의 이동 과정에서 센싱한 라이다 센싱 값을 포함한다. 이들 라이다 프레임들 중에서 적어도 하나 이상은 라이다 키프레임(LiDAR Keyframe)으로 설정될 수 있다.

라이다 키프레임은 백본의 노드와 대응관계를 가진다. 도 4에서 백본의 노드들 v1 내지 v5 중에서 v1, v2, v4, v5가 라이다 키프레임을 지시한다.

마찬가지로, 제2레이어의 비주얼 브랜치는 비주얼 키 프레임(Visual Keyframe)들로 구성된다. 비주얼 키프레임은 로봇의 이동 과정에서 센싱한 카메라 센싱 값(즉, 카메라 센서로 촬영한 영상)인 비주얼 피쳐 노드(visual feature node)들을 하나 이상 지시한다. 로봇에 배치된 카메라 센서의 수에 따라 로봇은 다수의 비주얼 피쳐 노드를 생성할 수 있다.

즉, 도 4의 맵 구조에서는 백본의 프레임 노드에 라이다 키프레임이 연결되거나 또는 비주얼 키프레임이 연결되는 구성이다. 물론 라이다/비주얼 키프레임 모두 하나의 프레임 노드에 연결될 수 있다(v1, v4, v5).

각 프레임 노드와 연결된 라이다 또는 비주얼 키프레임의 로봇의 포즈는 같다. 다만, 라이다 센서 또는 카메라 센서가 로봇에 부착된 위치에 따라 외부 파라미터(extrinsic parameter)가 키프레임 별로 추가될 수 있다. 외부 파라미터란 로봇 중심으로부터의 센서가 부착된 상대적인 위치 정보를 의미한다.

비주얼 키프레임은 백본의 노드와 대응관계를 가진다. 도 4에서 백본의 노드들 v1 내지 v5 중에서 v1, v3, v4, v5가 비주얼 키프레임을 지시한다. 도 2에서 비주얼 피쳐 노드(비주얼 프레임)들은 두 개가 한 쌍으로 구성되는데, 이는 로봇(1)이 두 개의 카메라 센서(230)를 포함하여 영상을 촬영함을 의미한다. 카메라 센서(230)의 증감에 따라 각각의 위치에서 비주얼 피쳐 노드의 수 역시 증감한다.

제1레이어의 백본을 구성하는 노드들(v1~v5) 사이에는 에지(edge)가 표시되어 있다. e12, e23, e34, e45는 인접 노드들 사이의 에지이며, e13, e35, e25는 인접하지 않은 노드들 사이의 에지이다.

오도메트리 제약 정보 또는 줄여서 오도메트리 정보는 e12, e23, e34, e45와 같이 인접한 프레임 노드 사이의 제약 조건을 의미한다. 루프 제약 정보 또는 줄여서 루프 정보는 e13, e25, e35와 같이 인접하지 않은 프레임 사이의 제약 조건을 의미한다.

백본은 다수의 키프레임들로 구성된다. 다수의 키프레임을 백본으로 추가하기 위해 제어부(250)는 초기 매핑 과정(initial mapping process)를 수행할 수 있다. 초기 매핑은 키프레임 기반으로 라이다 키프레임과 비주얼 키프레임을 추가한다.

도 4의 구조를 정리하면 다음과 같다. 라이다 브랜치는 하나 이상의 라이다 프레임을 포함한다. 비주얼 브랜치는 하나 이상의 비주얼 프레임을 포함한다.

그리고 백본은 라이다 프레임 또는 비주얼 프레임 중 어느 하나 이상과 등록된 프레임 노드를 둘 이상 포함한다. 이때, 프레임 노드에 등록되는 라이다 프레임 또는 비주얼 프레임을 키프레임이라 지칭한다. 그리고 포즈 그래프는 이들 라이다 브랜치, 비주얼 브랜치, 백본을 포함한다.

뿐만 아니라, 포즈 그래프는 프레임 노드 사이의 오도메트리 정보 및 루프 정보 등을 포함한다. 오도메트리 정보는 로봇이 프레임 노드 사이를 이동하여 생성한 휠의 회전이나 방향 등을 포함한다. 루프 정보는 라이다 센서(220)의 최대 센싱 거리 내에서 특정한 프레임 노드를 중심으로 비주얼 키프레임 사이에 특정한 제약 조건으로 연결된 프레임 노드 셋에 기반한다.

도 4의 포즈 그래프는 클라우드 서버의 서버제어부(350)가 생성한다. 서버제어부(350)는 라이다 브랜치, 비주얼 브랜치, 백본, 프레임 노드 사이의 오도메트리 정보 및 이를 포함하는 포즈 그래프를 클라우드 서버(300) 내의 맵 저장부(310)에 저장한다. 그리고 이는 로봇(1)과 공유하여 로봇(1)의 맵 저장부(210) 역시 이들 포즈 그래프를 저장할 수 있다.

즉, 클라우드 서버(300)의 맵 저장부(310) 및 로봇(1)의 맵 저장부(210)는 라이다 센서(220)가 획득한 제1라이다 프레임과 비교 가능한 다수의 라이다 프레임들을 포함하는 라이다 브랜치를 저장한다. 또한 맵 저장부(210)는 카메라 센서(230)가 획득한 제1비주얼 프레임과 비교 가능한 다수의 비주얼 프레임들을 포함하는 비주얼 브랜치를 저장한다.

맵 저장부(210)는 저장된 라이다 프레임 또는 저장된 비주얼 프레임 중 어느 하나 이상과 등록된 프레임 노드를 둘 이상 포함하는 백본으로 구성된 포즈 그래프를 저장한다. 또한 맵 저장부(210)는 프레임 노드 사이의 오도메트리 정보를 저장한다.

특히, 도 4의 포즈 그래프는 카메라 센서(230)와 라이다 센서(220) 중 어느 하나만 작동 가능한 경우에도 로봇(1)이 위치 추정에 이용할 수 있다. 또는 로봇의 센서들 중 어느 하나의 정확도가 낮거나 어느 하나의 센서가 획득한 정보에 대응하는 위치가 다수 검출된 경우에 로봇(1)은 또다른 센서를 이용하여 위치 추정의 정확도를 높일 수 있다.

예를 들어, 하나 이상의 카메라 센서(230)와 하나 이상의 라이다 센서(220)를 모두 포함하는 로봇(1)이 퓨전 SLAM(Fusion-SLAM)으로 멀티 센서가 획득한 정보를 이용하여 위치를 추정할 수 있다. 각각의 센서를 이용하여 추정한 위치 추정 결과 중 하나라도 참인 경우가 존재하면 로봇(1)은 위치 추정이 가능하다.

또는 로봇(1)의 각 센서 중 일부 센서만 동작 가능하거나 어느 하나의 센서만을 포함하는 경우에도 맵 저장부(210)에 저장된 각 센서 별 저장된 정보를 이용하여 위치 추정이 가능하다. 하나의 라이다 센서(220)를 사용할 경우 라이다 센서(220)는 360도를 커버할 수 있다.

또한, 로봇(1)의 각 센서들이 모두 동작할 경우, 제어부(250)는 센서들이 센싱하는 시점을 제어하여 각 센서들이 정보를 획득하는 시점 또는 획득한 정보를 처리하는 시점을 조절할 수 있다.

로봇(1)이 각 센서들의 데이터 획득 및 처리 시간을 고려할 경우, 다양한 센서들을 이용하여 위치를 추정함에 있어서, 동기화 문제를 해결할 수 있다.

또한, 로봇(1)은 클라우드 서버와의 통신 속도나 통신 품질에 따라 어느 하나의 센서에 기반하여 위치를 확인할 수 있다.

또한, 클라우드 서버(300)와 로봇(1) 사이의 통신 문제나 라이다 센서(220), 카메라 센서(230)를 이용한 SLAM이 원활하게 진행되지 않을 경우, 로봇(1)의 제어부(250)는 휠 오도메트리(wheel odometry, WO)를 이용하여 SLAM을 수행할 수 있다. 휠 오도메트리는 휠 인코더(260)가 획득한 휠 회전과 방향, 속도 정보 등에 기반하여 산출된 정보이다.

비주얼 오도메트리(visual odometry, VO)는 카메라 센서(230)가 획득한 비주얼 데이터를 이용하여 산출된 정보이다. 라이다 오도메트리(LiDAR odometry, LO)는 라이다 센서(220)가 획득한 라이다 데이터(라이다 스캔 데이터)를 이용하여 산출된 정보이다.

로봇이 이들 WO, VO, LO를 처리하는데 있어서, 각각의 센서들이 데이터를 획득하고 처리하는 시간은 각 센서들(220, 230, 260)의 종류 및 센서들이 생성한 데이터의 특성에 따라 상이할 수 있다.

로봇(1)과 클라우드 서버(300)가 SLAM을 수행할 경우 두 가지 단계로 이루어진다. 즉 매핑 시퀀스(mapping sequence)에서 로봇(1)이 취득한 센서 데이터는 클라우드 서버(300)가 이를 이용하여 맵을 생성할 수 있다.

다음으로 위치추정(Localization)은 로봇의 위치를 맵을 통해 확인하여 위치 추정을 수행할 수 있다.

도 5는 본 발명의 일 실시예에 의한 이들 각 서브모듈들의 동작과정을 보여준다. 클라우드 서버(300)와, 로봇(1)의 제어모듈(150) 사이에서 SLAM을 수행하며, 이에 관한 각각의 서브모듈이 정보를 송수신하는 과정을 보여준다.

41로 지시되는 부분은 매핑과 키드냅 리커버리와 관련된 클라우드 서버(300)의 서브모듈들이며, 42로 지시되는 부분은 매핑, 위치 추정과 관련된 로봇(1)의 서브모듈들이다.

이들 클라우드 서버(300)와 로봇(1)은 무선 연결(wireless connection)로 통신할 수 있다.

센서는 도 1의 라이다 센서(220) 또는 카메라 센서(230) 등을 의미한다. 이외에도 초음파 센서, 적외선 센서 등을 포함한다. 센서가 생성하는 센서 데이터(Sensor Data)의 사이즈는 센서의 정밀도가 높을수록 큰 사이즈를 가진다. 따라서 센서 데이터는 헤비 데이터(heavy data)의 속성을 가진다. 제어모듈(150)은 센서 데이터를 클라우드 서버(300)에 전송한다(S51a). 또한, 센서가 획득한 센서 데이터는 FEM 서브모듈로도 제공된다(S51b).

클라우드 서버(300)와 로봇의 제어모듈(150) 사이에 발생하는 데이터의 송수신은 S51a 지점, FEM 서브모듈이 특징점(feature)을 클라우드 서버(300)에게 전송하는 S52b, 라스트 프레임(Last Frame)이 전송되는 S56 지점, 글로벌 포즈(Global Pose) 정보가 전송되는 S54b, S54c 지점, 그리고 제어모듈(150)과 클라우드 서버 사이의 요청/응답(request/response)이 전송되는 지점(S63a, S63b)이 있다.

그리고 제어모듈(150) 내에서 센서 데이터는 FEM 서브모듈로 제공되고(S51b), FEM 서브모듈이 센서 데이터에서 특징을 추출하고 매칭(Feature extraction and matching)하여 특징점(feature)을 생성한다. 그리고 FEM 서브모듈은 특징점(feature)을 LM 서브모듈로 제공한다(S52a).

LM 서브모듈은 로컬 매핑(local mapping)을 수행하여 특징 데이터를 이용하여 로컬 포즈(Local Pose)를 산출한다(S53). 그리고 GPT 서브모듈은 글로벌 포즈를 트래킹한다. 보다 상세히 GPT 서브모듈은 로컬 포즈와 LD 서브모듈로부터 루프 제약(Loop Constraints)를 제공받아(S55a) 글로벌 포즈(Global Pose)를 생성한다(S54a). 그 결과 제어모듈(150)은 글로벌 포즈에 기반하여 네비게이션을 수행한다. LD 서브모듈은 루프를 감지(loop detection)를 수행한다.

한편, 로봇의 맵저장부(210)는 로컬 맵 패치(Local Map Patch)를 LD 서브모듈에게 제공한다(S62c).

Navi 서브모듈은 이외에도 클라우드 서버(300)로부터도 글로벌 포즈를 제공받고(S54b, S54c) 이를 기반으로 로봇의 이동부를 제어하여 로봇을 이동시킬 수 있다.

LD 서브모듈은 GM 서브모듈에게 루프 제약을 제공한다(S55b).

DFEM 서브모듈은 GM 서브모듈에게 노드들에 기반한 특징점을 제공한다. 이 과정에서 딥러닝을 수행할 수 있다. DFEM 서브모듈은 생성한 노드와 결합된 딥 피쳐(deep features with nodes)를 노드들에 기반한 특징점으로 생성할 수 있다(S64).

또한, DFEM 서브모듈은 딥러닝 네트워크(Deep learning network)에 기반하여 맵을 생성하고 이를 맵 저장부(310)에 저장할 수 있다(S65)

DFEM 서브모듈 또는 VT 서브모듈은 KR 서브모듈이 키드냅 리커버리를 하는데 필요한 후보 노드(Candidate Node)를 제공한다(S60a, S60b). 보캐블러리 트리는 후보 노드의 검색 정확도를 높이는데 필요한 정보를 제공한다.

GM 서브모듈은 글로벌 매퍼로, 맵 내의 노드를 제공할 수 있다(S59). 이때 제공하는 노드의 실시예로 3차원의 비주얼 노드(3D visual nodes)를 일 실시예로 한다.

GM 서브모듈은 또한 맵 저장부(310)의 맵을 업데이트한다(S61). 전술한 실시예의 포즈 그래프 전체를 업데이트 하는 것을 일 실시예로 한다.

또한, 맵저장부(310)는 로컬 맵 패치(Local Map Patch)를 KR 서브모듈과 LD 서브모듈에게 제공한다(S62a, S62b).

표 1은 본 발명의 일 실시예에 의한 각각의 센서 데이터와 이들이 사용되는 분야를 보여준다.

데이터 명칭	프로세스	적용 분야
센서 데이터 (Sensor Data)	S51a, S51b	MAPPING, LOCALIZATION, KIDNAP RECOVERY
특징점(Feature)	S52a	MAPPING, LOCALIZATION
특징점(Feature)	S52b	KIDNAP RECOVERY
로컬 포즈(Local Pose)	S53	MAPPING, LOCALIZATION
글로벌포즈(Global Pose)	S54a	MAPPING
	S54b	LOCALIZATION
	S54c	KIDNAP RECOVERY
루프 제약(Loop Constraints)	S55a, S55b	MAPPING
라스트 프레임(Last Frame)	S56	LOCALIZATION
3차원 노드 셋(3D Node Set)	S59	MAPPING
후보 노드(Candidate Node)	S60a	KIDNAP RECOVERY
후보 노드(Candidate Node)	S60b	KIDNAP RECOVERY
맵 업데이트(Map Update)	S 61	MAPPING
로컬 맵 패치(Local Map Patch)	S62a, S62b, S62c	MAPPING, LOCALIZATION
요청/응답(Request / Responese)	S63a	KIDNAP RECOVERY
요청/응답(Request / Responese)	S63b, S63c	MAPPING
노드 기반 딥피쳐 (Deep Features with nodes)	S64	MAPPING
딥러닝 네트워크 (Deep Learning Network)	S65	LOCALIZATION, KIDNAP RECOVERY

S51a, S51b 과정에서 전달되는 데이터는 카메라 센서(230)가 촬영한 이미지 센서 데이터와 휠 인코더(260)가 생성한 휠 오도메트리 데이터를 포함한다. 또는 S51a, S51b에서 전달되는 데이터는 라이다 센서(220)가 획득한 라이다 센서 데이터와 휠 인코더(260)가 생성한 휠 오도메트리 데이터를 포함한다. 이들 데이터는 로봇의 제어모듈(150) 또는 제어부(250)가 관리할 수 있다. 이미지 센서 데이터는 전술한 비주얼 오도메트리(VO) 내에 포함될 수 있다.

S52a 및S52b 과정에서 특징접 추출과 매칭 결과가 산출된다.

S53은 로컬 포즈로 일 실시예로는 가장 마지막 VO 포즈(last VO pose), 상대적 VO 포즈(relative Vo Pose), 또는 새로운 키프레임(new keyframe)이 될 수 있다.

S54a 및 S54c 과정에서 전달되는 데이터는 보정변환(correcting transform)에 대한 정보와 글로벌 포즈를 포함할 수 있다. S54b는 보정변환(correcting transform)에 대한 정보를 포함할 수 있다.

S55a, S55b 과정에서 전달되는 데이터는 루프 에지에서의 루프 제약을 포함한다. 주변 노드롭터의 상대적인 포즈(reltive pose)를 포함한다.

S56 과정에서 비주얼 오도메트리 과정에서 획득된 라스트 프레임(last frame)이 전달된다.

S59는 GM 서브모듈로부터 3차원의 비주얼 노드들이 산출될 수 있다.

S60a, S60b는 후보 노드를 생성하는 과정이다. S61은 글로벌 옵티미제이션(global optimization) 결과 맵을 전체적으로 업데이트하는 과정이다. 포즈 그레프 전체를 업데이트할 수 있다.

S62a, S62b, S62c는 포즈 그래프 내의 루프 후보를 검색하는 과정이다. 일 실시예로 포즈 그래프에서 후보가 되는 것을 검색하여 이를 전달할 수 있다.

S63a는 로봇이 키드냅 리커버리를 요청하는 메시지가 전달되고, S63b는 맵 매니지먼트(Map Management)를 요청하는 메시지가 전달된다.

클라우드 서버(300) 및 제어모듈(150)의 각각의 서브모듈들에 대해서는 매핑 및 위치 추정 과정에서 상세하게 살펴본다.

도 6은 본 발명의 일 실시예에 의한 클라우드 서버와 로봇이 매핑을 수행하는 과정을 보여준다. 매핑 과정(mapping sequence)는 S51b, S52a, S56, S59, S61, S62, S55b 과정으로 진행된다. 이 과정은 라이다 센서(220)가 라이다 센서 데이터를 획득하거나 카메라 센서(230)가 카메라 센서 데이터를 획득할 경우 반복 수행할 수 있다.

매핑 과정에서 센서 데이터가 FEM 서브모듈에서 특징점으로 추출되고, LM 서브모듈을 거쳐 라스트 프레임이 클라우드 서버(300)의 GM 서브모듈로 전달된다(S51b, S52a, S56). 여기서 클라우드 서버(300)의 LD 서브모듈이 루프 제약(loop constratint)를 GM 서브모듈로 제공한다.

GM 서브모듈은 전송된 루프 제약을 이용하여 맵을 생성하여 맵 저장부(310)에 저장한다. 이러한 업데이트된 맵 정보는 다시 로봇의 제어모듈(150) 내의 맵 저장부(210)에 전송되어 두 장치 간의 맵 저장부들(210, 310)이 동일한 맵 정보를 저장한다.

또한, GM 서브모듈은 맵 중 일부(local map patch)를 로봇의 GPT 서브모듈에게 전달하여 위치 추정에 활용할 수 있도록 한다. 이 과정은 S62b, S62c, S55a에서 이루어진다.

도 6의 과정은 로봇이 이동하는 과정에서 라이다 센서 데이터 또는 이미지 센서 데이터를 로봇이 획득하면 이를 클라우드 서버(300)에게 전송하여 맵을 생성하는 것으로 계속 반복될 수 있다.

또한, 도 6의 프로세스와 구분된 별도의 프로세스에서 이미지를 주기적으로 전체적으로 업로드한 뒤, 딥러닝을 적용하여 도 4와 같은 포즈 그래프 노드와 연계하여 학습할 수 있다. 그리고, 이미지 - 위치 정보를 연계할 수 있다.

도 6과 같이 로봇이 센서 데이터를 취합하여 클라우드 서버(300)에 전송할 경우, 클라우드 서버가 가진 대용량의 저장 공간, 높은 연산 처리 능력으로 인해, 정보의 손실 없이 맵을 생성할 수 있다. 그리고 이렇게 생성된 맵을 이용하여 로봇은 SLAM을 수행할 수 있다.

그 결과, 기존에 로봇이 SLAM을 수행하는 과정에서 한계가 되었던 저용량 저장 공간과 연산 처리 능력 등의 문제를 극복하여 정확하게 SLAM을 수행할 수 있다.

도 6의 과정에서 로봇의 제어모듈(150)의 동작 과정을 정리하면, 제어부(250)가 매핑 과정에서 상기 센서 데이터에서 특징점을 추출하여 로컬 매핑 결과인 라스트 프레임을 생성한다. 그리고 통신부(280)는 라스트 프레임을 클라우드 서버(300)로 전송한다.

클라우드 서버(300)의 통신부(380)는 수신한 라스트 프레임을 이용하여 노드 셋을 생성한다. 이는 GM 서브모듈이 수신한 라스트 프레임을 이용하여 VT 서브모듈로 노드 셋을 제공하는 과정과, GM 서브모듈이 LD 서브모듈로부터 루프 제약을 제공받아(S55b) 이를 이용하여 맵을 업데이트하는 과정(S61)을 포함한다.

또한, 맵이 업데이트되면 LD 서브모듈은 로컬 맵 패치를 제공받는다. 이 과정에서 클라우드 서버(300)의 맵 저장부(310)와 로봇의 맵 저장부(210)가 동기화될 수 있으며, 동기화 결과 S62c와 같이 로컬 맵 패치가 이루어진다. 맵 동기화는 무선 연결을 통해 이루어지며 로컬 카피(local copy)와 같이 일부 변경된

한편, 매핑 과정에서 클라우드 서버(300)와 로봇(1) 사이에 통신할 수 없는 상태인 경우 로봇(1)의 제어부(250)는 획득한 센서 데이터를 시간 순으로 메모리에 저장한다. 그리고 통신부(280)가 클라우드 서버(300)와 통신이 가능한 상태에서 통신부(280)는 센서 데이터를 클라우드 서버에게 전송한다.

이때, 제어부(250)는 통신이 불가능한 상태에서는 센서 데이터를 저장할 때, 로컬 매핑을 수행한다. 그리고 이 과정에서 클라우드 서버(300)로부터 로컬 맵패치 혹은 글로벌 포즈를 수신하지 않도록 통신부(280)를 제어한다.

한편, 클라우드 서버(300)의 통신부(380)는 로봇으로부터 라스트 프레임을 수신하면, 서버제어부(350)가 이를 이용하여 ?오? 업데이트한다. 보다 상세히, 서버제어부(350)는 루프 디텍터 결과 생성된 루프 제약과 라스트 프레임을 이용하여 맵 저장부(310)의 맵을 업데이트한다. 이후, 서버제어부(350)는 루프 제약의 생성에 필요한 로컬 맵 패치를 수행한다.

그리고 맵 업데이트가 이루어지면 통신부(380)는 맵 저장부(310)와 로봇의 맵 저장부(210)를 동기화시킨다.

도 7은 본 발명의 일 실시예에 의한 위치 추정 과정을 보여준다.

클라우드 서버(300)에서 진행되는 과정은 S51a과 S52b, 그리고 S60b, S64, S60a, S62a, S54c이다. 로봇의 제어모듈(150)에서 진행되는 과정은 S51b, S52a, S53, S54a, S55a, S54a이다.

LM 서브모듈에서 라스트 프레임을 클라우드 서버의 GM 서브모듈로 전송하고, 전체 맵 중에서 일부(local map patch)를 전송받아서 GPT 서브모듈에서 최종 출력결과로 글로벌 포즈를 생성한다.

위치 추정 과정에서 데이터 크기가 큰 이미지 센서 데이터를 도 7의 과정에서 클라우드 서버와 수행할 수 있다. 이 경우, 라이다 센서 데이터의 사용 여부는 퓨전 슬램(Fusion SLAM)의 수행 여부에 따라 결정된다.

또는 라이다 센서 데이터 역시 도 7의 과정에서 클라우드 서버와 수행할 수 있다.

다음으로 키드냅 리커버리(Kidnap Recovery)을 살펴본다. 네비게이션 서브모듈(Navi)가 클라우드 서버(300)의 KR 서브모듈로 GKR(Global Kidnap Recovery) 메시지를 전송한다(S63a). 이 메시지에 대응하여 클라우드 서버(300)의 VT 서브모듈과 DFEM 서브모듈은 후보 노드(candidate node)를 검색하여 모션 밸리데이션(motion validation)을 수행한다. 그리고 최종 결과물로 S54c와 같이 글로벌 포즈를 네비게이션 서브모듈로 제공한다.

로봇(1)의 제어부(250)는 위치 추정 과정에서 센서 데이터에서 특징점을 추출하여 로컬 매핑하여 로컬 포즈를 생성한다(S53). 그리고 통신부(280)는 센서 데이터와 특징점을 클라우드 서버(300)로 전송한 후(S51, S52b), 클라우드 서버로부터 로컬 맵 패치를 수신한다(S62c, S55a). 로컬 맵 패치의 수신은 맵 업데이트 과정에서 이루어질 수 있다. 즉, 로봇(1)은 맵 업데이트를 위한 정보(로컬 맵 패치)를 수신한 후 맵 업데이트를 수행할 수 있다.

로봇(1)의 제어부(250)는 로컬 맵 패치를 이용하여 루프 제약을 생성한 후, 제1글로벌 포즈를 생성한다(S54a). 또한 통신부(280)는 제2글로벌 포즈를 수신한다(S54c). 제어부(250)는 제1글로벌 포즈와 제2글로붤 포즈를 이용하여 로봇의 이동을 제어한다.

서버제어부(350)는 로봇이 전송한 센서 데이터와 특징점에 기반하여 로컬 맵 패치를 생성하며, 통신부(380)는 이를 로봇에게 전송한다. 이 과정에서 맵을 동기화시킨 후, 맵 동기화 과정에서 로컬 맵 패치가 송수신되거나 생성될 수 있다.

전술한 도 5 내지 도 7의 과정은 많은 정보의 처리나 고속 처리를 위해 센서 데이터의 크기가 큰 경우에 더 높은 성능을 낼 수 있다. 예를 들어 고성능, 고화질의 카메라 센서가 매우 빠른 속도로 이미지 센서 데이터를 생성하는 경우에 이 데이터를 기반으로 SLAM을 수행하기 위해서는 클라우드 서버(300)가 이들 데이터를 수신하여 매핑 또는 위치 추정을 수행한 후, 그 결과를 로봇에게 제공할 수 있다.

이 과정에서 네트워크 상에서 많은 데이터가 송수신될 수 있으므로, 로봇 또는 클라우드 서버는 이로 인한 네트워크 과부하 또는 네트워크 전송 딜레이(delay)를 해결하기 위해 데이터 전송 조건 등을 제한하거나 예외 동작을 수행하여 이를 해결할 수 있다.

도 8은 본 발명의 일 실시예에 의한 통신 상의 지연이 발생한 경우 위치 추정 과정을 보여준다.

통신부(280)는 클라우드 서버와의 통신 상태를 모니터링하여 통신 지연이 발생한 것을 확인한다(S71). 그리고 제어부(250)는 LM 서브모듈과 GPT 서브모듈을 이용하여 위치 추정(로컬라이제이션, Localization)을 수행한다(S72). 이때, 도 5에서의 무선 통신 연결(wireless connection) 상태가 지연된 상태이므로, GPT 서브모듈은 클라우드 서버로부터 수신하는 로컬 맵 패치(S62c)의 생성 시간을 확인한다. 그리고 GPT 서브모듈은 LM 서브모듈이 생성한 로컬 포즈 정보의 생성 시간을 확인한다.

두 시간을 비교한 결과 GPT 서브모듈은 로컬 맵 패치의 정보 생성 시점이 로컬 포즈보다 이전인 경우, 로컬 맵 패치는 예전 정보이므로, GPT 서브모듈은 로컬 포즈를 이용하여 글로벌 포즈를 생성한다(S73).

반대로, 통신 지연이 발생하긴 하였으나 로컬 맵 패치의 정보 생성 시점이 로컬 포즈의 생성 시점과 동일하거나 혹은 최신인 경우, GPT 서브모듈은 두개의 정보들을 이용하여 글로벌 포즈를 생성한다.

매핑 과정에서 통신 딜레이가 발생한 경우에는 실시간 생성의 필요성이 높지 않다. 따라서 위치 추정에서 통신 딜레이가 발생한 경우에만 로봇은 로컬 포즈를 사용할 것인지 혹은 로컬 맵 패치를 사용할 것인지 결정할 수 있다.

즉, 제어부(250)는 위치 추정 과정에서 클라우드 서버(300)가 전송한 로컬 맵패치가 생성된 시간과 제어부(250)가 생성한 로컬 포즈를 비교하여 최신 정보를 이용하여 글로벌 포즈를 생성하여 위치 추정의 정확도를 높인다.

도 9는 본 발명의 일 실시예에 의한 통신 상의 지연이 발생한 경우 키드냅 리커버리를 수행하는 과정을 보여준다.

키드냅 리커버리가 발생한 경우, 실제로 로봇이 클라우드 서버로 전송하는 대용량의 데이터는 센서 데이터이다. 그리고 로봇이 클라우드 서버로부터 수신하는 정보는 이전 글로벌 포즈에서 위치를 수정하는 보정변환(correcting transform)이므로, 데이터의 크기가 크지 않다.

따라서, 센서 데이터가 원활하게 클라우드 서버로 전송되는 것이 필요하다. 이에, 통신부가 통신 지연 상태를 확인하면(S75), 제어부는 통신 상태를 확인하여 센서 데이터의 전송 상태 및 전송 성공율을 확인한다(S76).

그리고 센서 데이터의 전송 성공율이 일정 기준 이하이면, 제어부는 로봇을 일시 정지시키거나 로봇의 속도를 줄인다.

왜냐하면, 로봇이 빠르게 이동하면 이미지를 제대로 사용하지 못하는 문제가 발생하므로, 키드냅 리커버리 모션(kidnap recovery motion)을 수행할 경우, 통신 지연에 따라 로봇 속도를 천천히 제어할 수 있다.

예를 들어, 로봇의 이동 속도를 V, 통신 전송 속도를 K라 할 때, 다음과 같이 제어부는 로봇의 속도를 제어할 수 있다. a 는 상수이다. b는 0 또는 그 이상의 값을 가지며, 키드냅 리커버리 과정에서 선택적으로 0 이상의 값을 가질 수 있다.

[수학식 1]

V = aK - b

통신을 통한 전송 속도가 빠른 경우, 많은 데이터를 클라우드 서버가 수신할 수 있으므로 로봇의 이동 속도를 높일 수 있다. 다만 키드냅 리커버리인 경우에는 b는 0보다 큰 값으로 설정하여 로봇의 이동 속도를 낮출 수 있다. 키드냅 리커버리 과정에서 통신 지연이 발생하면 K 값이 낮아지므로, 로봇의 전체 속도가 낮아진다.

통신 지연이 아니라 통신이 아예 단절된 상태라면 클라우드 서버(300)와 로봇(1)의 제어모듈(150) 사이에는 데이터를 송수신할 수 없는 상태이다. 따라서 매핑 과정에서 클라우드 서버(300)로 루프 제약이 전송되지 않으며 서버에서 맵이 생성되지 않는다. 이 경우 클라우드 서버(300)로 전송되지 못한 데이터 또는 메시지가 로봇의 제어모듈(150) 내에 큐(queue) 형태로 쌓일 수 있다.

그리고 다시 통신이 복구되면 쌓여있던 데이터/메시지를 클라우드 서버(300)에게 전송하고, 클라우드 서버(300)는 맵을 생성할 수 있다. 만약, 통신이 단절된 상태라면 로봇은 LM 서브모듈이 생성한 로컬 포즈 정보를 이용하여 주행할 수 있다.

또한, 위치 추정 과정에서 통신이 단절되면 GPT 서브모듈은 클라우드 서버가 생성한 로컬 맵패치(local map patch)를 전달받을 수 없다.

따라서 로봇은 현재 위치를 기준으로 LM 서브모듈이 로컬 매핑만 수행한다. 단기적으로는 통신이 단절된 위치에서 멀리 이동하지 않고 주행할 수 있다. 위치 오차는 LM 서브모듈의 성능에 따라 증감할 수 있다. 다만 통신이 끊기는 기간이 길어지면, 기존 맵을 활용할 수 없는 기간이 길어져서 위치 오차가 점차 커지게 된다.

키드맵 리커버리 과정에서는 통신 단절 시 데이터 송수신이 불가능하므로, 로봇은 일단 속도를 줄이며 통신 연결 상태를 모니터링한다.

또한, 로봇과 클라우드 서버 사이의 데이터 송수신 조건을 로봇의 상황에 따라 달리 설정할 수 있다.

일 실시예로, 모든 데이터들은 항상 로봇에서 클라우드 서버로 전송하여 클라우드 서버가 데이터를 처리하는 것이 성능 확보 측면에서 유리하지만, 전술한 통신 상태에 따라 로봇의 이동 속도가 제한될 수 있다. 이에, 로봇이 클라우드 서버(300)와 통신하는 데이터의 크기(통신량)과 전송 속도를 제한하여 통신 품질을 유지할 수 있다.

또한, 통신 지연이나 단절 등으로 인해 실시간 위치 추정이 어려워지는 상황이 발생할 수 있으므로 클라우드 서버(300)와 로봇(1)은 다음과 같이 제한적으로 데이터 전송을 가능하게 할 수 있다. 데이터 전송의 허용 여부는 통신 상태, 공간 내 로봇의 상태에 따라 클라우드 서버가 판단하여 로봇에게 지시할 수 있다.

일 실시예로 클라우드 서버(300)는 키드냅 리커버리 상황에서 데이터의 전송을 일시적으로 제한할 수 있다. 키드냅 리커버리 상황은 로봇을 임의의 위치에 가져다 놓았을 때, 기존에 갖고 있는 맵을 활용하여 로봇의 위치를 추정하는 상황이다. 즉, 이 때에는 로봇의 위치를 추정할 수 없으며, 단지 현재 위치를 찾고 그 이후부터 위치 추정과 관련된 서비스를 수행하기 위한 목적이므로 실시간성이 확보되지 않아도 된다. 따라서, 이 경우 데이터의 전송을 제한할 수 있다.

또한, 위치 추정 에러 발생율이 높은 경우에도 데이터의 전송을 제한할 수 있다. 위치 추정을 하면서 로봇이 서비스를 하고 있을 때에는 로봇은 자신의 위치가 어디인지 아는 상태에서 다음 스텝의 위치를 추정하게 된다. 예를 들어 로봇은 "t-1"의 위치를 아는 상태에서 "t"의 위치를 추정한다.

단, 이 경우에도 다음과 같은 경우에 t-1의 위치를 신뢰하기 어렵고, 이 경우 t의 위치 역시 정확성이 낮을 수 있다. 따라서 로봇은 클라우드 서버로 데이터를 전송하여 키드냅 리커버리와 같은 방식으로 위치를 다시 찾는 과정을 수행할 수 있다.

다만, 이 과정에서는 온전히 키드냅 리커버리만을 수행하는 경우와는 다르다. 왜냐면 위치추정의 에러가 높아도 로봇은 계속 현재 위치를 추정하면서 클라우드 서버(300)에서 받은 위치 정보와 비교하여 로봇의 위치 추정이 맞는지 병렬적으로 확인할 수 있다. 예를 들어 일정 횟수 이상 위치의 정확도를 비교한 결과 클라우드 서버가 제공한 위치 정보의 정확도가 높을 때, 클라우드 서버가 제공한 위치 정보로 현재 위치 정보를 대체할 수 있다. 따라서 이 과정에서는 로봇과 클라우드 서버 사이에서 데이터 송수신이 발생한다.

위치 추정 에러가 높은 경우의 일 실시예로는 획득한 영상 이미지의 강도(intensity)가 매우 낮은 경우이다. 예를 들어 빛이 없는 공간의 아래 부분으로, 침대 밑, 소파 밑, 또는 조명이 오프된 공간을 포함한다.

또는 위치 추정 에러가 높은 경우로, 매칭된 특징점의 개수가 매우 적은 경우이다. 예를 들어 "t-1"에서 획득한 정보와 t에서 획득한 정보 사이에 상관 관계를 구하기 어려운 경우에는 위치 추정 에러가 발생하기 쉽다. 그리고, 로봇에 미리 설정된 영역에 따라 위치 추정 에러가 높은 영역으로 판단할 수 있다.

즉, 통신부(280)는 클라우드 서버(300)와의 통신 지연 또는 통신 단절 상태를 확인하면, 제어부(250)는 이동부의 이동 속도를 낮춘다. 그리고 제어부(250)는 로봇의 동작 카테고리(매핑, 위치추정, 키드냅 리커버리, 혹은 다른 작업 수행)에 따라 클라우드 서버(300)로 전송하는 데이터의 크기를 제어한다.

도 10은 본 발명의 일 실시예에 의한 클라우드 서버가 로봇들과의 SLAM 과정에서 우선 순위를 설정하는 과정을 보여준다.

통신 상태가 양호한 경우 각 로봇들(1a, 1b, 1n)는 센서 데이터를 업로드한다(S81, S82, S83). 그리고 클라우드 서버(300)는 수신한 센서 데이터를 처리한다. 물론, 이 과정에서 클라우드 서버(300)는 특징점 역시 로봇들로부터 수신할 수 있다.

그런데, 클라우드 서버(300)는 통신 지연 상태를 확인한다(S84). 많은 로봇들이 센서 데이터를 전송하여 통신이 지연되거나, 통신 장비의 문제 등으로 통신이 지연될 경우, 클라우드 서버(300)는 로봇들 각각의 위치, 로봇들이 전송하는 센서 데이터의 크기, 로봇들 각각의 위치 추정의 정확도, 또는 로봇의 동작 카테고리(매핑, 위치 추정, 키드냅 리커버리, 또는 정지하여 특정 기능을 수행)중 어느 하나에 따라 각 로봇의 우선 순위를 산출한다(S85). 그리고 클라우드 서버(300)는 우선 순위를 각 로봇들(1a, 1b, 1n)에게 전송한다(S86, S87, S88).

예를 들어 클라우드 서버(300)의 서버제어부(350)는 제1로봇(1a)에 대해 위치 추정이 시급하며 정확도가 높으므로 서버와의 상호작용이 필요하므로 높은 우선 순위를 설정한다. 클라우드 서버(300)의 서버제어부(350)는 제2로봇(1b)이 현재 정지하여 특정 기능을 수행 중이거나 키드냅 리커버리 상태이므로 위치 추정이 시급하지 않은 것으로 판단하여 낮은 우선 순위를 설정한다.

그리고 클라우드 서버(300)의 서버제어부(350)는 제n로봇(1n)이 현재 로컬에서 취합한 정보로 충분히 위치 추정을 정확하게 수행하는 것으로 판단하고, 서버와의 통신이 간헐적으로 이루어져도 되는 상태라 판단한다. 그 결과 서버제어부(350)는 제n로봇(1n)에 대해 중간 우선 순위를 설정한다.

그 결과 제1로봇(1a)은 여전히 센서 데이터를 업로드하고(S91), 제2로봇(1b)은 일시적으로 센서 데이터를 전송하는 것을 중단한다(S92). 또한 제n로봇(1n)은 이전 보다 센서 데이터 업로드 주기를 길게 변경하여 시간당 데이터 전송량을 줄인다(S93).

즉, 각 로봇의 제어부(250)들은 로봇의 위치, 센서 데이터의 크기, 로봇의 위치 추정 정확도, 로봇의 동작 카테고리 중 어느 하나에 따라 설정된 우선 순위가 지시하는 방식으로 통신 방식을 설정할 수 있다. 예를 들어 로봇의 통신부(280)가 전송하는 데이터의 크기나 전송 간격을 제한할 수 있다.

뿐만 아니라, 각 로봇의 제어부(250)들은 우선 순위에 따라 로봇의 속도를 제한할 수 있다. 각 로봇의 제어부(250)들은 센서 데이터를 자주 업로드 할 수 있을 경우 로봇의 속도를 높이고, 센서 데이터의 업로드가 제한된 경우 로봇의 속도를 낮출 수 있다.

또한, 로봇들 중에서 통신이 지연인 상태에서 클라우드 슬램을 신속히 이용할 필요가 있을 경우, 로봇은 데이터 통신량의 증가를 요청하거나 통신의 우선 순위를 높여줄 것을 요청하는 메시지를 클라우드 서버(300)에게 전송할 수 있다. 그리고 전송 후 클라우드 서버(300)는 도 10에 도시된 바와 같이 우선 순위를 재조정한다. 그 결과 당장 클라우드 슬램을 수행할 필요가 있는 로봇에게 우선적으로 통신할 수 있는 권한을 허가할 수 있다.

로봇은 도 2에 도시된 바와 같이 상이한 종류의 센서를 가질 수 있다. 즉, 클라우드 서버와 통신하여 SLAM을 수행하는 센서 데이터는 이미지 센서 데이터가 될 수 있다. 이 경우, 로봇(1)은 카메라 센서(230)가 생성하는 이미지 센서 데이터를 클라우드 서버(300)에 송신한다. 그리고 로봇(1)은 클라우드 서버(300)로부터 위치 정보를 수신하여 비주얼 SLAM을 수행할 수 있다.

추가적으로 로봇(1)이 라이다 센서(220)를 더 포함하는 경우, 제어부(250)는 카메라 센서(230)가 산출한 이미지 센서 데이터와 라이다 센서(220)가 산출한 라이다 센서 데이터에 기반하여 로봇의 이동을 제어하는 퓨전 SLAM(Fusion SLAM)을 수행할 수 있다.

뿐만 아니라, 클라우드 서버(300)와의 통신이 원활하지 않을 경우, 일시적으로 로봇(1)은 라이다 센서(220)만을 이용하여 위치 추정을 수행할 수 있다.

물론, 클라우드 서버와 통신하여 SLAM을 수행하는 센서 데이터가 라이다 센서 데이터인 경우에도 로봇(1)은 라이다 센서(220)가 생성하는 라이다 센서 데이터를 클라우드 서버(300)에 송신한다. 그리고 로봇(1)은 클라우드 서버(300)로부터 위치 정보를 수신하여 라이다 SLAM을 수행할 수 있다.

전술한 실시예들에 기반할 경우, 클라우드 슬램은 고품질의 맵을 작성하고 정밀한 위치 인식을 가능하게 한다. 특히 카메라 센서의 고정밀화, 또는 3차원 라이다 센서의 고정밀화에 따라 처리하는 데이터의 크기가 증가할 경우, 이들 센서 데이터를 클라우드 서버의 리소스를 이용하여 처리할 수 있다. 클라우드 서버가 가진 대용량 저장공간 및 고성능 연산 처리를 이용한 고품질 맵을 생성하여 센서의 성능 향상에 비례하여 맵 품질과 위치 추정의 정확도를 향상시킬 수 있다.

또한, 클라이언트를 구성하는 로봇은 적은 연산 만으로도 실시간 위치 인식이 가능하다.

또한 로봇과 클라우드 서버는 통신 지연에 대응하여 전송 방식, 로봇의 이동 방식 등을 변경할 수 있으므로, 통신 상황에 탄력적으로 대응할 수 있다.

즉, 로봇들의 이동/동작 상황과 위치 추정의 정확도 등을 반영하여 클라우드 서버와 로봇 사이의 네트워크를 통한 송수신 데이터를 최적화하여 고품질의 맵 작성 및 위치추정의 정확도를 보장할 수 있다.

특히, 클라우드 서버(300)는 인공지능부(355), 특히 DFEM 서브모듈을 이용하여 위치 추정의 정확도를 높일 수 있다.

인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.

인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.

지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.

로봇(1)은 앞서 살펴보았던 제어부(250)를 구성하는 하위 구성요소인 인공지능부(255)가 인공지능 기능을 수행할 수 있다. 제어부(250) 내에 인공지능부(255)가 소프트웨어 또는 하드웨어로 구성될 수 있다.

이 경우, 로봇(1)의 통신부(280)는 유무선 통신 기술을 이용하여 다른 AI 기능을 제공하는 로봇이나 또는 도 11에서 살펴볼 클라우드 서버(300) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(280)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.

이때, 통신부(280)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.

인터페이스부(290)는 다양한 종류의 데이터를 획득할 수 있다.

이때, 인터페이스부(290)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 라이다 센서(220), 카메라 센서(230) 또는 마이크로폰이 획득한 정보들은 센싱 데이터 또는 센서 정보 등을 지칭한다.

인터페이스부(290) 및 각종 센서들과 이동부의 휠 인코더(260) 등은 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 전술한 구성요소들은 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 제어부(250) 또는 인공지능부(255)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.

인공지능부(255)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 로봇(00)이 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.

이때, 로봇(1)의 인공지능부(255)는 클라우드 서버(300)의 인공지능부(355)와 함께 AI 프로세싱을 수행할 수 있다.

이때, 로봇(1)의 인공지능부(255)는 로봇(1)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 로봇(1)의 인공지능부(255)는 별도의 메모리 또는 로봇(1)에 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.

로봇(1)은 다양한 센서들을 이용하여 로봇(1)의 내부 정보, 로봇(1)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.

로봇(1)에 내장된 메모리는 로봇(1)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 로봇(1)에 내장된 각종 센서들이나 인터페이스부(290) 등이 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.

제어부(250)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 로봇(1)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 제어부(250)는 로봇(1)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.

이를 위해, 제어부(250)는 인공지능부 또는 메모리의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 로봇(1)의 구성 요소들을 제어할 수 있다.

이때, 제어부(250)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.

제어부(250)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.

한편, 제어부(250)는 이미지 센서 데이터 또는 라이다 센서 데이터와 같이 실시간으로 획득한 센서 데이터에서 특징점을 추출할 수 있다. 이를 위해 인공지능부(255) 보다 상세히 FEM 서브모듈이 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, 로봇(1)의 인공지능부(255)는 학습된 것이나, 클라우드 서버(300)의 인공지능부(355)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.

제어부(250)는 로봇(1)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리 또는 인공지능부(255)에 저장하거나, 클라우드 서버(300) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.

도 11은 본 발명의 일 실시예에 의한 클라우드 서버의 또다른 구성을 보여준다.

인공 지능 서버, 즉 AI 서버의 기능을 제공하는 클라우드 서버(300)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, 클라우드 서버(300)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다.

클라우드 서버(300)는 통신부(380), 서버제어부(350), 인공지능부(355) 등을 포함하며 각각에 대해 도 3에서 살펴본 바 있다. 한편 클라우드 서버(300)는 메모리(330)를 더 포함할 수 있다.

메모리(330)는 모델 저장부(331)를 포함할 수 있다. 모델 저장부(331)는 인공지능부(355)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 331a)을 저장할 수 있다.

인공지능부(355)는 학습 데이터를 이용하여 인공 신경망(331a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 클라우드 서버(300)에 탑재된 상태에서 이용되거나, 로봇(1)등의 외부 장치에 탑재되어 이용될 수도 있다.

학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(330)에 저장될 수 있다.

서버제어부(350)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

1: 로봇 150: 제어모듈
210: 맵저장부 220: 라이다 센서
230: 카메라 센서 250: 제어부
300: 클라우드 서버 350: 서버제어부

Claims

로봇을 이동시키는 이동부;
클라우드 서버와 정보를 송수신하는 통신부;
상기 로봇이 SLAM을 수행하는데 필요한 센서 데이터를 획득하는 제1센서;
상기 센서 데이터 또는 상기 센서 데이터에서 추출된 특징점 또는 라스트 프레임을 생성하는 제어부; 및
상기 클라우드 서버와 동기화된 맵을 저장하는 맵 저장부를 포함하며,
상기 통신부는 상기 센서 데이터 또는 상기 특징점 또는 상기 라스트 프레임을 상기 클라우드 서버에 전송하고 상기 클라우드 서버로부터 로컬 맵 패치 또는 글로벌 포즈를 수신하며,
상기 제어부는 상기 특징점과 상기 로컬 맵 패치 또는 상기 글로벌 포즈를 이용하여 로봇의 이동을 제어하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제1항에 있어서,
상기 제어부는 상기 로봇의 위치, 상기 센서 데이터의 크기, 상기 로봇의 위치 추정 정확도, 상기 로봇의 동작 카테고리 중 어느 하나 이상에 따라 상기 통신부가 전송하는 데이터의 크기 또는 전송 간격을 제한하거나 상기 로봇의 속도를 제한하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제1항에 있어서,
상기 제어부는 매핑 과정에서 상기 센서 데이터에서 특징점을 추출하여 로컬 매핑 결과인 라스트 프레임을 생성하며,
상기 통신부는 상기 라스트 프레임을 상기 클라우드 서버로 전송하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제3항에 있어서,
상기 통신부가 상기 클라우드 서버와 통신할 수 없는 상태인 경우,
상기 매핑 과정에서 상기 제어부는 상기 획득한 센서 데이터를 시간 순으로 저장한 후, 상기 통신부가 상기 클라우드 서버와 통신이 가능한 상태에서 상기 센서 데이터를 상기 클라우드 서버에게 전송하며,
상기 제어부는 상기 센서 데이터를 저장하는 과정에서 로컬 매핑을 수행하고 클라우드 서버로부터 로컬 맵 패치 또는 글로벌 포즈를 수신하지 않는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제1항에 있어서,
상기 제어부는 위치 추정 과정에서 상기 센서 데이터에서 특징점을 추출하여 로컬 매핑하여 로컬 포즈를 생성하며,
상기 통신부는 상기 센서 데이터와 상기 특징점을 상기 클라우드 서버로 전송한 후, 상기 클라우드 서버로부터 로컬 맵 패치를 수신하며
상기 제어부는 상기 수신한 로컬 맵패치를 이용하여 루프 제약을 생성한 후, 제1글로벌 포즈를 생성하며,
상기 통신부는 제2글로벌 포즈를 선택적으로 수신하며,
상기 제어부는 상기 제1글로벌 포즈와 상기 제2글로벌 포즈를 이용하여 상기 로봇의 이동을 제어하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제5항에 있어서,
상기 통신부는 상기 클라우드 서버와의 통신 상태가 통신 지연 상태인 경우, 위치 추정 과정에서 상기 클라우드 서버가 전송한 로컬 맵패치가 생성된 시간과 상기 제어부가 생성한 로컬 포즈를 비교하여 최신 정보를 이용하여 글로벌 포즈를 생성하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제1항에 있어서,
상기 통신부가 상기 클라우드 서버와의 통신 지연 또는 통신 단절 상태를 확인하면, 상기 제어부는 상기 이동부의 이동 속도를 낮추고 상기 로봇의 동작 카테고리에 따라 상기 클라이드 서버로 전송하는 데이터의 크기를 제어하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
제1항에 있어서,
상기 제1센서는 카메라 센서이며,
상기 로봇은 라이다 센서인 제2센서를 더 포함하며,
상기 제어부는 상기 카메라 센서가 산출한 이미지 센서 데이터 및 상기 라이다 센서가 산출한 라이다 센서 데이터를 이용하여 상기 로봇의 이동을 제어하는, 실시간으로 클라우드 슬램을 수행하는 로봇.
맵을 저장하는 맵 저장부;
다수의 로봇들과 통신하는 통신부; 및
상기 로봇이 전송한 센서 데이터에 기반하여 맵을 생성하거나 상기 로봇 각각의 글로벌 포즈 또는 상기 로봇 각각의 로컬 맵 패치를 생성하는 서버제어부를 포함하는, 실시간으로 클라우드 슬램을 수행하는 클라우드 서버.
제9항에 있어서,
상기 서버제어부는 상기 통신부의 통신 상태가 통신 지연 상태인 경우, 상기 로봇들의 위치, 상기 센서 데이터의 크기, 상기 로봇들의 위치 추정 정확도, 상기 로봇들의 동작 카테고리 중 어느 하나에 따라 상기 로봇들의 통신 우선 순위를 설정하며,
상기 통신부는 상기 통신 우선 순위를 상기 로봇들 각각에게 전송하는, 실시간으로 클라우드 슬램을 수행하는 클라우드 서버.
제9항에 있어서,
상기 통신부가 상기 로봇으로부터 라스트 프레임을 수신하면,
상기 서버제어부는 상기 라스트 프레임을 이용하여 노드 셋을 생성하는, 실시간으로 클라우드 슬램을 수행하는 클라우드 서버.
제11항에 있어서,
상기 통신부가 상기 로봇으로부터 라스트 프레임을 수신하면,
상기 서버제어부는 루프 디텍터 결과 생성된 루프 제약과 상기 라스트 프레임을 이용하여 상기 맵 저장부의 맵을 업데이트한 후, 상기 서버제어부는 루프 제약의 생성에 필요한 로컬 맵 패치를 수행하며,
상기 통신부는 상기 맵 저장부와 상기 로봇의 맵 저장부를 동기화시키는, 실시간으로 클라우드 슬램을 수행하는 클라우드 서버.
제9항에 있어서,
상기 서버제어부는 상기 로봇이 전송한 센서 데이터와 특징점에 기반하여 로컬 맵 패치를 생성하며,
상기 통신부는 상기 로컬 맵 패치를 상기 로봇에게 전송하는, 실시간으로 클라우드 슬램을 수행하는 클라우드 서버.
제9항에 있어서,
상기 서버제어부는 상기 로봇이 전송한 센서 데이터와 특징점에 기반하여 후보 노드를 선택한 후, 글로벌 포즈를 생성하며,
상기 통신부는 상기 글로벌 포즈를 상기 로봇에게 전송하는, 실시간으로 클라우드 슬램을 수행하는 클라우드 서버.
로봇의 제1센서가 SLAM을 수행하는데 필요한 센서 데이터를 획득하는 단계;
상기 로봇의 제어부가 상기 센서 데이터에서 특징점을 추출하여 로컬 매핑하여 로컬 포즈를 생성하는 단계;
상기 로봇의 통신부가 상기 센서 데이터와 상기 특징점을 클라우드 서버로 전송하는 단계;
상기 클라우드 서버의 서버제어부가 상기 로봇이 전송한 센서 데이터와 특징점에 기반하여 로컬 맵 패치를 생성하는 단계;
상기 클라우드 서버의 통신부가 상기 로컬 맵 패치를 상기 로봇에게 전송하는 단계;
상기 로봇의 상기 제어부는 상기 수신한 로컬 맵패치를 이용하여 루프 제약을 생성한 후, 제1글로벌 포즈를 생성하는 단계; 및
상기 로봇의 상기 제어부는 상기 제1글로벌 포즈를 생성하여 상기 로봇의 이동을 제어하는 단계를 포함하는, 실시간으로 클라우드 슬램을 수행하는 방법.
제15항에 있어서,
상기 클라우드 서버의 상기 서버제어부는 상기 로봇이 전송한 센서 데이터와 특징점에 기반하여 후보 노드를 선택한 후, 제2글로벌 포즈를 생성하는 단계; 및
상기 클라우드 서버의 상기 통신부는 상기 제2글로벌 포즈를 상기 로봇에게 전송하는 단계; 를 더 포함하며,
상기 이동을 제어하는 단계는
상기 로봇의 상기 제어부가 상기 제1글로벌 포즈 및 상기 제2글로벌 포즈를 이용하여 상기 로봇의 이동을 제어하는 단계를 포함하는, 실시간으로 클라우드 슬램을 수행하는 방법.
제15항에 있어서,
상기 클라우드 서버의 상기 서버제어부는 상기 클라우드 서버의 상기 통신부의 통신 상태가 통신 지연 상태인 경우, 상기 로봇들의 위치, 상기 센서 데이터의 크기, 상기 로봇들의 위치 추정 정확도, 상기 로봇들의 동작 카테고리 중 어느 하나에 따라 상기 로봇들의 통신 우선 순위를 설정하는 단계;
상기 클라우드 서버의 상기 통신부는 상기 통신 우선 순위를 상기 로봇들 각각에게 전송하는 단계; 및
상기 로봇의 상기 제어부는 상기 수신한 우선 순위에 따라 상기 로봇의 통신부가 전송하는 데이터의 크기 또는 전송 간격을 제한하거나 상기 로봇의 속도를 제한하는 단계를 더 포함하는, 실시간으로 클라우드 슬램을 수행하는 방법.
제15항에 있어서,
상기 로봇의 상기 제어부는 매핑 과정에서 상기 센서 데이터에서 특징점을 추출하여 로컬 매핑 결과인 라스트 프레임을 생성하는 단계;
상기 로봇의 상기 통신부는 상기 라스트 프레임을 상기 클라우드 서버로 전송하는 단계; 및
상기 클라우드 서버의 상기 서버제어부는 상기 라스트 프레임을 이용하여 노드 셋을 생성하는 단계를 포함하는, 실시간으로 클라우드 슬램을 수행하는 방법.
제18항에 있어서,
상기 로봇의 통신부가 상기 클라우드 서버와 통신할 수 없는 상태인 경우,
상기 매핑 과정에서 상기 로봇의 상기 제어부는 상기 획득한 센서 데이터를 시간 순으로 저장한 후, 상기 통신부가 상기 클라우드 서버와 통신이 가능한 상태에서 상기 센서 데이터를 상기 클라우드 서버에게 전송하는 단계를 더 포함하며,
상기 로봇의 상기 제어부는 상기 센서 데이터를 저장하는 과정에서 로컬 매핑을 수행하고 클라우드 서버로부터 로컬 맵 패치 또는 글로벌 포즈를 수신하지 않는 것을 특징으로 하는, 실시간으로 클라우드 슬램을 수행하는 방법.
제15항에 있어서,
상기 로봇의 상기 제1센서는 카메라 센서이며,
상기 로봇은 라이다 센서인 제2센서를 더 포함하며,
상기 로봇의 상기 제어부는 상기 카메라 센서가 산출한 이미지 센서 데이터 및 상기 라이다 센서가 산출한 라이다 센서 데이터를 이용하여 상기 로봇의 이동을 제어하는 단계를 더 포함하는, 실시간으로 클라우드 슬램을 수행하는 방법.