KR102213310B1

KR102213310B1 - 이동 로봇 및 이의 사람 인식 및 추적 방법

Info

Publication number: KR102213310B1
Application number: KR1020200128707A
Authority: KR
Inventors: 김진형; 김용년; 고동욱; 서일홍; 이진한
Original assignee: 코가플렉스 주식회사
Priority date: 2020-10-06
Filing date: 2020-10-06
Publication date: 2021-02-08

Abstract

이동 로봇의 사람 인식 및 추적 방법이 개시된다. 이동 로봇의 사람 인식 및 추적 방법은 상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계, 상기 이동 로봇은 카메라와 라이다 센서를 이용하여 그리드 맵을 생성하는 단계, 상기 이동 로봇이 상기 사람의 위치를 상기 그리드 맵에서 추정하는 단계, 및 상기 그리드 맵에서 추정된 사람의 위치에 따라 상기 이동 로봇은 상기 사람을 추적하는 단계를 포함하며, 상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계는 상기 이동 로봇은 서로 다른 시간에 상기 추적할 사람을 촬영하여 상기 추적할 사람이 포함된 복수의 제1이미지들을 생성하는 단계, 상기 이동 로봇은 RGB 컬러 모델로 표현된 상기 복수의 제1이미지들을 HSV 컬러 모델로 표현되는 복수의 제2이미지들로 변환하는 단계, 상기 이동 로봇은 상기 복수의 제2이미지들 각각에 포함된 상기 사람의 상의 영역에 대한 복수의 데이터들을 추출하는 단계, 상기 이동 로봇은 상기 추출된 복수의 데이터들을 이용하여 상기 추출된 사람의 상의 영역의 3D HSV 분포도를 생성하는 단계, 상기 이동 로봇은 상기 3D HSV 분포도에 가우시안 혼합 모델을 적용하여 복수의 가우시안 분포도들을 생성하는 단계, 및 상기 이동 로봇은 상기 복수의 가우시안 분포도들 중 가중치가 가장 높은 가우시안 분포도를 선택하여 상기 하나의 가우시안 분포도를 생성하는 단계를 포함한다.

Description

이동 로봇 및 이의 사람 인식 및 추적 방법 {Mobile robot and its human recognition and tracking method}

본 발명의 개념에 따른 실시 예는 이동 로봇 및 이의 사람 인식 및 추적 방법에 관한 것으로, 환경 변화에 강인한 이동 로봇 및 이의 사람 인식 및 추적 방법에 관한 것이다.

이동 로봇은 공장, 물류 센터, 박물관, 식당, 마트, 공항 또는 스마트 팜 등 다양한 곳에서 물건을 싣고 이동하거나, 사람들에게 이동하면서 정보, 또는 서비스를 제공하는데 이용될 수 있다.

특히, 공항, 마트, 공장 등에서 사람이 이동 로봇에 물건을 싣고, 이동할 경우, 이동 로봇은 사람을 따라 이동할 수 있다. 이동 로봇이 사람을 따라 이동함으로써 사람은 직접 물건을 들고 이동할 필요가 없다는 이점이 있다. 또한, 이동 로봇이 자동으로 사람을 인식하여 추적함으로써 사람은 물건을 카트와 같은 운반 장치에 싣고 운반 장치를 움직이기 위해 운반 장치를 직접 제어할 필요가 없다는 이점이 있다.

이동 로봇이 사람을 따라 움직이기 위해서는 이동 로봇은 사람을 인식하여야 한다. 종래에 사람의 옷 색깔 특징을 이용하여 사람을 인식하는 기술이 있었다. 하지만, 종래의 사람의 옷 색깔을 이용하여 사람을 인식하는 기술은 다음과 같은 문제점이 있다. 첫 번째로, 주변의 조명 변화가 있을 때, 색상과 채도가 변화한다. 따라서 단순히 이미지의 픽셀 정보만으로 사람을 식별할 때, 오류가 발생할 수 있다. 두 번째로, 이미지에서 맞물림이 발생할 때, 이미지에서 추종 대상인 사람을 재인식하기 위한 샘플들의 수가 감소한다. 이로 인해 인식률의 정확도가 떨어진다.

이러한 문제점을 해결하기 위한 새로운 이동 로봇의 사람 인식 및 추적 방법이 요구된다.

한국 등록특허공보 제10-1907548호(2018.10.05.)

본 발명이 이루고자 하는 기술적인 과제는 종래의 사람을 인식하는 이동 로봇의 문제점들을 해결하기 위한 이동 로봇 및 이의 사람 인식 및 추적 방법을 제공하기 위한 것이다.

본 발명의 실시 예에 따른 이동 로봇의 사람 인식 및 추적 방법은 상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계, 상기 이동 로봇은 카메라와 라이다 센서를 이용하여 그리드 맵(grid map)을 생성하는 단계, 상기 이동 로봇이 상기 사람의 위치를 상기 그리드 맵에서 추정하는 단계, 및 상기 그리드 맵에서 추정된 사람의 위치에 따라 상기 이동 로봇은 상기 사람을 추적하는 단계를 포함한다.

상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계는 상기 이동 로봇은 서로 다른 시간에 상기 추적할 사람을 촬영하여 상기 추적할 사람이 포함된 복수의 제1이미지들을 생성하는 단계, 상기 이동 로봇은 RGB 컬러 모델로 표현된 상기 복수의 제1이미지들을 HSV 컬러 모델로 표현되는 복수의 제2이미지들로 변환하는 단계, 상기 이동 로봇은 상기 복수의 제2이미지들 각각에 포함된 상기 사람의 상의 영역에 대한 복수의 데이터들을 추출하는 단계, 상기 이동 로봇은 상기 추출된 복수의 데이터들을 이용하여 상기 추출된 사람의 상의 영역의 3D HSV 분포도를 생성하는 단계, 상기 이동 로봇은 상기 3D HSV 분포도에 가우시안 혼합 모델을 적용하여 복수의 가우시안 분포도들을 생성하는 단계, 및 상기 이동 로봇은 상기 복수의 가우시안 분포도들 중 가중치가 가장 높은 가우시안 분포도를 선택하여 상기 하나의 가우시안 분포도를 생성하는 단계를 포함한다.

상기 추출된 복수의 데이터들은 서로 다른 환경들에서 상기 추적할 사람을 촬영하여 추출된 데이터들이며, 일정 주기마다 업데이트된다.

상기 이동 로봇이 상기 사람의 위치를 상기 그리드 맵에서 추정하는 단계는 상기 이동 로봇은 상기 그리드 맵에 복수의 입자들을 균일하게 분포시키는 단계, 상기 이동 로봇은 주변 환경을 촬영하여 주변 환경 이미지를 생성하는 단계, 상기 이동 로봇은 상기 생성된 주변 환경 이미지에 포함된 객체가 상기 하나의 가우시안 분포도에 속하는지 판단하는 단계, 상기 객체가 상기 하나의 가우시안 분포도에 속한다고 판단될 때, 상기 이동 로봇은 상기 이동 로봇과 상기 객체와의 거리 정보를 이용하여 상기 그리드 맵에서 상기 복수의 입자들의 가중치들을 갱신하는 단계, 상기 이동 로봇은 상기 그리드 맵에 분포된 상기 복수의 입자들을 재배열하는 단계, 및 상기 이동 로봇은 상기 그리드 맵에서 재배열된 상기 복수의 입자들의 분포에 따라 상기 사람의 위치로 추정하는 단계를 포함한다.

본 발명의 실시 예에 따른 이동 로봇은 카메라, 라이다 센서, 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다.

상기 명령들은 인식하여 추적할 사람을 학습시켜 복수의 가우시안 분포도들을 생성하며, 상기 카메라와 상기 라이다 센서를 이용하여 그리드 맵을 생성하며, 상기 사람의 위치를 상기 그리드 맵에서 추정하며, 상기 그리드 맵에서 추정된 사람의 위치에 따라 상기 이동 로봇은 상기 사람을 추적하도록 구현된다.

본 발명의 실시 예에 따른 이동 로봇 및 이의 사람 인식 및 추적 방법은 이동 로봇이 사람을 인식하기 위해 사람의 옷의 컬러 정보를 그대로 이용하지 않고, HSV(Hue, Saturation, Value) 컬러 모델로 변환하여 이용함으로써 주변 환경의 변화에 강인한 사람 인식이 가능하다는 효과가 있다.

또한, 본 발명의 실시 예에 따른 이동 로봇 및 이의 사람 인식 및 추적 방법은 실시간 학습에 기반하여 사람 인식 모델을 갱신함으로써 주변 환경의 변화에 강인한 사람 인식이 가능하다는 효과가 있다.

또한, 본 발명의 실시 예에 따른 이동 로봇 및 이의 사람 인식 및 추적 방법은 라이다 센서를 추가적으로 이용함으로써 주변 환경의 변화에 강인한 사람 인식이 가능하다는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이동 로봇의 블록도를 나타낸다.
도 2는 도 1에 도시된 이동 로봇이 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 동작을 설명하기 위한 블록도를 나타낸다.
도 3은 도 1에 도시된 이동 로봇이 사람의 위치를 그리드 맵에서 추정하는 동작을 설명하기 위한 블록도를 나타낸다.
도 4는 도 1에 도시된 이동 로봇이 사람의 위치를 그리드 맵에서 추정하는 다른 동작을 설명하기 위한 블록도를 나타낸다.
도 5는 도 1에 도시된 이동 로봇의 모드들의 블록도를 나타낸다.
도 6은 본 발명의 일실시 예에 따른 이동 로봇의 사람 인식 및 추적 방법을 설명하기 위한 흐름도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 이동 로봇의 블록도를 나타낸다.

도 1을 참고하면, 이동 로봇(100)은 공장, 물류 센터, 박물관, 식당, 공항, 마트, 또는 스마트 팜 등 다양한 장소에서 물건을 싣고 이동하거나, 사람들에게 이동하면서 정보, 또는 서비스를 제공하는데 이용되는 장치를 의미한다. 특히, 공항, 마트, 공장 등에서 사람(101)이 이동 로봇(100)에 물건을 싣고, 이동할 경우, 이동 로봇(100)은 사람(101)을 따라 이동할 수 있다. 이동 로봇(100)이 사람(101)을 따라 추적하기 위해서는 이동 로봇(100)은 추적할 사람(101)을 인식하여야 한다. 도 1에 도시된 사람(101)은 마트의 직원, 공장의 근로자, 또는 공항에서의 여행객일 수 있으며, 반드시 이에 한정되지 않는다. 이동 로봇(100)은 자율 주행 장치, 자율 주행 로봇 등 다양한 용어로 사용될 수 있다. 실시 예에 따라 이동 로봇(100)은 다양한 형태들로 구현될 수 있으며, 도 1은 이동 로봇(100)의 일 실시 예를 나타낸다.

이동 로봇(100)은 바디(10), 바퀴(11), 프로세서(20), 메모리(30), 라이다(lidar) 센서(35), 모터(40), 및 카메라(50)를 포함한다.

이동 로봇(100)은 프로세서(20)의 제어 하에 바퀴(11)를 이용하여 이동할 수 있다.

바디(10)의 내부에 프로세서(20)와 메모리(30)가 구현된다. 프로세서(20)는 이동 로봇(100)이 사람(101)을 인식하고 추적하기 위한 명령들을 실행한다. 또한, 프로세서(20)는 각 구성요소들(11, 30, 35, 40, 및 50)의 동작을 제어할 수 있다. 메모리(30)는 상기 명령들을 저장한다. 이동 로봇(100)의 사람(101) 인식 및 추적 방법에 대해서는 뒤에서 자세히 설명될 것이다. 이동 로봇(100)의 동작은 프로세서(20)의 제어 하에 수행되는 것으로, 이동 로봇(100)의 동작은 프로세서(20)가 명령들을 실행하는 동작으로 이해될 수 있다.

바디(10)에 라이다 센서(35)가 구현될 수 있다. 라이다 센서(35)는 빛을 발산하고 객체에 반사되는 빛을 측정하여 거리를 측정한다. 라이다 센서(35)의 구현 위치는 실시 예에 따라 다양할 수 있다. 예컨대, 라이다 센서(35)는 바디(10)의 상부에 구현될 수 있다.

바디(10)의 상부에는 모터(40)가 위치한다. 모터(40)는 지지대(13) 위에 위치할 수 있다. 모터(40)는 카메라(50)를 회전하기 위해 이용된다. 카메라(50)는 주변 환경을 촬영하고 주변 환경 이미지를 생성한다. 카메라(50)는 생성된 주변 환경 이미지를 프로세서(20)로 전송한다. 모터(40)를 이용함으로써 카메라(50)는 이동 로봇(100)의 360도 촬영할 수 있다. 실시 예에 따라 카메라(50)는 깊이 정보까지 생성할 수 있는 RGB-D 카메라일 수 있다. 카메라(50)와 라이다 센서(35)는 그리드 맵(grid map) 생성에 이용된다. 카메라(50)와 라이다 센서(35)는 시야(FOV(Field Of View))가 서로 다르다. 따라서 카메라(50)만을 이용하는 것보다 라이다 센서(35)를 같이 이용함으로써 보다 정확하게 그리드 맵의 생성이 가능하다. 그리드 맵은 복수의 셀들(cells)로 나뉘며, 복수의 셀들 각각은 이진 랜덤 변수(binary random variable)이다.

도 2는 도 1에 도시된 이동 로봇이 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 동작을 설명하기 위한 블록도를 나타낸다.

도 1과 도 2를 참고하면, 이동 로봇(100)이 추적할 사람(101)을 결정하기 위해서는 미리 추적할 사람(101)을 학습시켜야 한다. 도 2에서 이동 로봇(100)이 추적할 사람(101)을 학습시키는 과정들에 대해 도시된다. 이하, 이동 로봇(100)의 동작은 프로세서(20)가 명령들을 실행하는 동작으로 이해될 수 있다.

이동 로봇(100)은 서로 다른 시간에 추적할 사람(101)을 촬영하여 추적할 사람(101)이 포함된 복수의 제1이미지들(IMG1)을 생성한다(S10). 이 때, 카메라(50)가 이용된다. 이때, 복수의 제1이미지들(IMG1)은 서로 다른 환경들(예컨대, 다양한 조명 환경ㅇ들)에서 촬영하여 생성된 이미지들일 수 있다.

이동 로봇(100)은 RGB 컬러 모델로 표현된 상기 복수의 제1이미지들(IMG1)을 HSV 컬러 모델로 표현되는 복수의 제2이미지들(IMG2)로 변환한다(S20). RGB 컬러 모델에서 HSV 컬러 모델로 변환하는 이유는 HSV 컬러 모델이 RGB 컬러 모델보다 상대적으로 더 빛의 변화에 강인하기 때문이다. RGB 컬러 모델을 그대로 사용할 때, 조명 변화에 따라 색상과 채도의 변화가 발생한다. 이로 인해 이동 로봇(100)은 추적할 사람(101)을 인식하지 못할 가능성도 있다.

이동 로봇(100)은 복수의 제2이미지들(IMG2) 각각에 포함된 사람(101)의 상의 영역에 대한 복수의 데이터들을 추출한다(S30). 상기 추출된 복수의 데이터들은 서로 다른 환경들에서 추적할 사람(101)을 촬영하여 추출된 HSV 컬러 모델 데이터들이며, 순차적으로 생성된 순서에 따라 3D HSV 분포도에 이용된다. 구체적으로, 상기 추출된 복수의 데이터들은 HSV 컬러 모델 데이터들 중에서도 빛의 변화에 강인한 색상(Hue) 값일 수 있다. 상기 서로 다른 환경들이란 조명, 날씨 등의 환경이 다른 것을 의미한다. 조명, 날씨에 따라 카메라(50)에 의해 촬영된 사람(101)의 상의 컬러는 다른 값을 가질 수 있다. 상기 추출된 복수의 데이터들은 메모리(30)에 순차적으로 생성된 순서에 따라 저장된다. 예컨대, 제1시간(T0)에 생성된 데이터는 가장 오래 생성된 데이터이며, 제2시간(T1)에 생성된 데이터는 그 다음으로 생성된 데이터이며, 제4시간(T4)에 생성된 데이터는 가장 최근에 생성된 데이터이다. 서로 다른 환경들에서 생성된 데이터들이 3D HSV 분포도에 이용됨에 따라 주변 조명이 변화더라도 이동 로봇(100)은 추적할 사람(101)을 보다 정확하게 인식할 수 있다.

이동 로봇(100)은 상기 추출된 복수의 데이터들을 이용하여 추출된 사람(101)의 상의 영역의 3D HSV 분포도를 생성한다(S40). 이동 로봇(100)은 일정 주기마다 업데이트되는 상기 추출된 복수의 데이터들을 이용할 수 있다. 예컨대, 이동 로봇(100)은 제1주기에 제1시간(T0) 내지 제3시간(T2)에 생성된 데이터들을 이용하였다가, 제2주기에 제4시간(T3) 내지 제6시간(미도시)에 생성된 데이터를 이용할 수 있다. 이동 로봇(100)은 일정 주기마다 업데이트된 복수의 데이터들을 이용함으로써 생성될 하나의 가우시안 분포도를 최신의 상태로 유지할 수 있다. 추출된 사람(101)의 상의 영역의 각 부분마다 서로 다른 컬러들을 가질 수 있다.

이동 로봇(100)은 3D HSV 분포도에 가우시안 혼합 모델을 적용하여 복수의 가우시안 분포도들을 생성한다(S50).

이동 로봇(100)은 복수의 가우시안 분포도들 중 가중치가 가장 높은 가우시안 분포도를 선택하여 하나의 가우시안 분포도를 생성한다. 복수의 가우시안 분포도들을 가중치가 가장 높은 가우시안 분포도를 선택함으로써 에러의 발생을 최소화할 수 있다. 복수의 가우시안 분포도들을 하나의 가우시안 분포도로 근사화할 때 보다 가장 높은 가우시안 분포도를 선택할 때보다 신뢰도가 더 높다. 왜냐하면 복수의 가우시안 분포도들을 하나의 가우시안 분포도로 근사화할 때는 에러가 발생할 수 있는 가우시안 분포도도 고려하기 때문이다.

이동 로봇(100)은 하나의 가우시안 분포도를 생성함으로써 추적할 사람(101)에 대한 학습이 종료된다.

이동 로봇(100)은 카메라(50)와 라이다 센서(35)를 이용하여 그리드 맵을 생성한다. 구체적으로 이동 로봇(100)은 주변을 이동하여 객체를 인식하고 바이너리의 그리드 맵을 생성한다.

도 3은 도 1에 도시된 이동 로봇이 사람의 위치를 그리드 맵에서 추정하는 동작을 설명하기 위한 블록도를 나타낸다.

도 1과 도 3을 참고하면, 이동 로봇(100)은 상기 그리드 맵에 복수의 입자들을 균일하게 분포시킨다(S100). 추적할 사람(101)이 그리드 맵에서 어디에 위치하는지 알 수 없기 때문이다. 상기 복수의 입자들의 분포에 따라 추적할 사람(101)의 위치가 추정될 수 있다. 도 3에서 상기 그리드 맵과 상기 복수의 입자들이 도시된다.

이동 로봇(100)은 카메라(50)를 이용하여 주변 환경을 촬영하여 주변 환경 이미지를 생성한다(S200). 상기 주변 환경 이미지에는 거리 정보가 포함될 수 있다.

이동 로봇(100)은 상기 생성된 주변 환경 이미지에 포함된 객체(예컨대, 사람의 상의)가 상기 하나의 가우시안 분포도에 속하는지 판단한다(S300). 상기 생성된 주변 환경 이미지의 각 픽셀 값들이 상기 하나의 가우시안 분포도에 어디에 속하는지 판단한다. 사람들의 상의가 서로 다른 컬러일 때, 상의에 대한 가우시안 분포도는 서로 다른 곡선들을 가진다.

상기 객체가 상기 하나의 가우시안 분포도에 속한다고 판단될 때, 이동 로봇(100)의 카메라(50)에 의해 촬영된 객체(예컨대, 사람의 상의)는 이동 로봇(100)에 의해 미리 학습된 추적할 사람(101)의 상의와 동일하다고 판단된다. 즉, 상기 객체가 상기 하나의 가우시안 분포도에 속한다고 판단될 때, S200에서 카메라(50)에 의해 촬영된 사람은 이동 로봇(100)이 추적할 사람(101)이라 판단된다.

상기 객체가 상기 하나의 가우시안 분포도에 속한다고 판단될 때, 이동 로봇(100)은 이동 로봇(100)과 상기 객체와의 거리 정보를 이용하여 상기 그리드 맵에서 상기 복수의 입자들의 가중치들을 갱신한다(S400). 상기 그리드 맵에서 이동 로봇(100)과 상기 객체 사이의 거리(예컨대, 2m)가 가까울수록, 로봇(100)을 기준으로 가까운 위치(예컨대, 2.5m, 2.7m)에 있는 입자들에는 높은 가중치를 부여하고, 이동 로봇(100)과 상기 객체 사이의 거리(예컨대, 2m)가 멀수록, 로봇(100)을 기준으로 먼 위치(예컨대, 0.5m, 4m)에 있는 입자들에는 낮은 가중치를 부여한다.

이동 로봇(100)은 상기 그리드 맵에 분포된 상기 복수의 입자들을 재배열한다(S500). 이동 로봇(100)은 가중치가 낮게 부여된 입자들을 가중치가 높게 부여된 입자들 주변으로 이동시킨다.

실시 예에 따라 이동 로봇(100)은 재배열된 입자들의 위치를 랜덤하게 이동시킨다. 입자들의 위치를 랜덤하게 이동시킴으로써 추적할 객체인 사람(101)의 위치가 돌발적으로 변경되어도 위치 예측의 확률이 높아질 수 있다.

이동 로봇(100)은 상기 그리드 맵에서 재배열된 상기 복수의 입자들의 분포에 따라 상기 사람의 위치로 추정한다(S500). 도 3에서 도시된 점(TP)이 상기 복수의 입자들이 가장 많은 곳으로, 이동 로봇(100)은 점(TP)을 사람의 위치로 추정한다. 즉, 이동 로봇(100)은 추적할 사람(101)의 위치를 인식한다.

상기 그리드 맵에서 복수의 입자들을 이용하여 사람(101)의 위치를 인식함으로써, 카메라(50)가 사람(101)을 놓치더라도 사람(101)의 추적이 가능하다는 장점이 있다.

이동 로봇(100)은 상기 그리드 맵에서 추정된 사람(101)의 위치에 따라 이동 로봇(100)은 사람(101)을 추적한다. 즉, 이동 로봇(100)은 사람(101)을 추적함으로써 사람(101)은 원하는 장소에 물건을 이동할 수 있다.

도 4는 도 1에 도시된 이동 로봇이 사람의 위치를 그리드 맵에서 추정하는 다른 동작을 설명하기 위한 블록도를 나타낸다.

도 1과 도 4를 참고하면, 이동 로봇(100)은 서로 다른 시간에 생성된 그리드 맵들(GM1, GM2)의 차이를 이용하여 동적 객체들을 감지할 수 있다. 제1그리드 맵(GM1)과 제2그리드 맵(GM2)은 서로 다른 시간에 생성된 맵들이다. 제1그리드 맵(GM1)은 제2그리드 맵(GM2)보다 먼저 생성된 맵일 수 있다. 서로 다른 시간에 생성된 그리드 맵들(GM1, GM2)의 차이를 나타내는 그리드 맵(DGM)에서 동적 객체들이 점들(P1, P2, P3)로 감지된다. 상기 동적 객체들은 사람들일 수 있다.

이동 로봇(100)은 상기 동적 객체들을 중에서 추적 대상을 가우시안 분포도를 이용하여 추정한다. 구체적으로, 이동 로봇(100)은 카메라(50)를 이용하여 주변 환경을 촬영하여 주변 환경 이미지를 생성할 수 있다. 이동 로봇(100)은 생성된 주변 환경 이미지에 포함된 적어도 어느 하나의 객체(예컨대, 사람의 상의)가 가우시안 분포도에 속하는지 판단한다. 상기 객체가 가우시안 분포도에 속한다고 판단될 때, 이동 로봇(100)은 상기 주변 환경 이미지에서 포함된 거리 정보에 따라 가우시안 분포도에 속하는 객체의 위치를 그리드 맵들(GM1, GM2)의 차이를 나타내는 그리드 맵(DGM)에서 판단할 수 있다. 예컨대, 상기 주변 환경 이미지에서 포함된 거리 정보가 제1거리(D1)일 때, 이동 로봇(100)은 그리드 맵(DGM)에서 이동 로봇(100)의 위치(RP)와 점들(P1, P2, P3) 사이의 거리들(D1, D2, D3)을 비교하여 가우시안 분포도에 속하는 객체와 대응되는 점(P1)을 판단할 수 있다. 상기 주변 환경 이미지에서 포함된 거리 정보가 제1거리(D1)이고, 이동 로봇(100)의 위치(RP)와 제1점(P1) 사이의 거리가 제1거리(D1)로 서로 같으므로, 이동 로봇(100)은 가우시안 분포도에 속하는 객체와 대응되는 점(P1)을 판단할 수 있다. 즉, 이동 로봇(100)은 제1점(P1)에 위치한 사람은 이동 로봇(100)이 추적할 사람(101)이며, 제2, 3점(P2, P3)에 위치한 사람은 이동 로봇(100)이 추적할 사람들이 아니라고 판단한다. 이동 로봇(100)은 상기 동적 객체들 중 추적 객체와 비추적 객체를 판단할 수 있다.

이동 로봇(100)은 상기 동적 객체들 중 추적 객체와 비추적 객체를 판단한 후, 상기 그리드 맵에서 추적 객체가 위치한 점(P1)에서 거리가 가까운 입자들에는 높은 가중치를 부여하고, 상기 그리드 맵에서 비추적 객체가 위치한 점(P2, P3)에서 거리가 가까운 입자들에는 낮은 가중치를 부여한다.

이동 로봇(100)은 상기 그리드 맵에 분포된 상기 복수의 입자들을 재배열하고, 재배열된 입자들의 분포에 따라 추적할 사람의 위치를 상기 그리드 맵에서 추정할 수 있다.

서로 다른 시간에 생성된 그리드 맵들(GM1, GM2)의 차이를 이용하여 동적 객체들을 감지함으로써 다음의 효과를 기대할 수 있다.

첫째, 상기 그리드 맵에서 위치한 사람들이 이동하여 사람들이 맞물릴 때, 이동 로봇(100)은 추적할 사람을 정확하게 인식하고 추적할 수 있다. 왜냐하면 이동 로봇(100)은 맞물리기 전에 추적할 사람을 인식하기 때문이다. 서로 다른 시간에 생성된 그리드 맵들(GM1, GM2)의 차이를 이용하지 않을 때, 다음과 같은 문제점이 발생할 수 있다. 점(P2, 또는 P3)에 위치한 사람이 이동 로봇(100)이 위치한 점(RP)과 추적할 사람(101)이 위치한 점(P1) 사이로 움직일 때, 이동 로봇(100)은 점(P2, 또는 P3)에 위치한 사람을 점(P1)에 위치한 추적할 사람(101)으로 오인할 수 있다. 왜냐하면 이동 로봇(100)의 카메라(50), 또는 라이다 센서(35)는 점(P2)에 위치한 사람에 가려 점(P1)에 위치한 사람(101)을 찾지 못하기 때문이다. 이 때, 점(P2)에 위치한 사람의 상의 컬러가 점(P1)에 위치한 사람(101)의 상의 컬러와 유사할 때, 오류의 발생 가능성은 높아진다. 하지만, 서로 다른 시간에 생성된 그리드 맵들(GM1, GM2)의 차이를 이용할 때, 위와 같은 문제점은 해소될 수 있다. 점(P2, 또는 P3)에 위치한 사람이 이동 로봇(100)이 위치한 점(RP)과 추적할 사람(101)이 위치한 점(P1) 사이로 움직이더라도, 점(P2, 또는 P3)에서 거리가 가까운 입자들은 낮은 가중치가 부여되었기 때문에 이동 로봇(100)은 점(P2, 또는 P3)에 위치한 사람에 대해 점(P1)에 위치한 추적할 사람(101)으로 오인할 가능성은 낮다. 즉, 이동 로봇(100)은 점(P1)에 위치한 추적할 사람(101)이 점(P2, 또는 P3)에 위치한 사람에 의해 가려졌다고 판단할 수 있다.

둘째, 상기 그리드 맵에서 추적할 사람이 장애물에 가려질 때, 이동 로봇(100)은 추적할 사람을 정확하게 인식하고 추적할 수 있다.

도 5는 도 1에 도시된 이동 로봇의 모드들의 블록도를 나타낸다.

도 1과 도 5를 참고하면, 이동 로봇(100)은 프로세서(20)의 제어 하에 여러 가지 모드들로 동작할 수 있다.

RGB-D 노드는 이동 로봇(100)이 카메라(50)를 이용하여 주변 환경을 촬영하여 주변 환경 이미지를 생성하는 모드이다. RGB-D 노드에서 생성된 주변 환경 이미지는 인식 노드(Recognizer node)와 트랙커 노드(Tracker node)에서 사용될 수 있다.

인식 노드(Recognizer node)는 이동 로봇(100)이 RGB-D 노드에서 생성된 주변 환경 이미지를 이용하여 추적할 사람(101)을 학습하거나, 학습된 상태에서 RGB-D 노드에서 생성된 주변 환경 이미지를 이용하여 가우시안 분포도에 속하는지 판단하는 모드이다.

트랙커 노드(Tracker node)는 이동 로봇(100)이 RGB-D 노드에서 생성된 주변 환경 이미지를 이용하여 그리드 맵에서 추적할 사람(101)을 판단할 수 있는 모드이다.

레이저 노드(Laser node)는 그리드 맵을 생성할 수 있는 모드이다.

액츄에이터 노드(Actuator node)는 카메라(50)의 방향을 변경하기 위해 모터(40)를 제어하는 모드이다.

로봇 노드(Robot node)는 이동 로봇(100)의 주행을 위해 바퀴(11) 등을 제어하는 모드이다.

도 6은 본 발명의 일실시 예에 따른 이동 로봇의 사람 인식 및 추적 방법을 설명하기 위한 흐름도를 나타낸다.

도 1 내지 도 6을 참고하면, 이동 로봇(100)은 인식하여 추적할 사람(101)을 학습시켜 하나의 가우시안 분포도를 생성한다(S1000).

이동 로봇(100)은 카메라(50)와 라이다 센서(35)를 이용하여 그리드 맵(grid map)을 생성한다(S2000).

이동 로봇(100)이 사람(101)의 위치를 상기 그리드 맵에서 추정한다(S3000).

상기 그리드 맵에서 추정된 사람(101)의 위치에 따라 이동 로봇(100)은 사람(101)을 추적한다(S4000).

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 이동 로봇;
11: 바퀴;
20: 프로세서;
30: 메모리;
35: 라이다 센서;
40: 모터;
50: 카메라;
101: 추적할 사람;

Claims

이동 로봇의 사람 인식 및 추적 방법에 있어서,
상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계;
상기 이동 로봇은 카메라와 라이다 센서를 이용하여 그리드 맵(grid map)을 생성하는 단계;
상기 이동 로봇이 상기 사람의 위치를 상기 그리드 맵에서 추정하는 단계; 및
상기 그리드 맵에서 추정된 사람의 위치에 따라 상기 이동 로봇은 상기 사람을 추적하는 단계를 포함하며,
상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계는,
상기 이동 로봇은 서로 다른 시간에 상기 추적할 사람을 촬영하여 상기 추적할 사람이 포함된 복수의 제1이미지들을 생성하는 단계;
상기 이동 로봇은 RGB 컬러 모델로 표현된 상기 복수의 제1이미지들을 HSV 컬러 모델로 표현되는 복수의 제2이미지들로 변환하는 단계;
상기 이동 로봇은 상기 복수의 제2이미지들 각각에 포함된 상기 사람의 상의 영역에 대한 복수의 데이터들을 추출하는 단계;
상기 이동 로봇은 상기 추출된 복수의 데이터들을 이용하여 상기 추출된 사람의 상의 영역의 3D HSV 분포도를 생성하는 단계;
상기 이동 로봇은 상기 3D HSV 분포도에 가우시안 혼합 모델을 적용하여 복수의 가우시안 분포도들을 생성하는 단계; 및
상기 이동 로봇은 상기 복수의 가우시안 분포도들 중 가중치가 가장 높은 가우시안 분포도를 선택하여 상기 하나의 가우시안 분포도를 생성하는 단계를 포함하는 이동 로봇의 사람 인식 및 추적 방법.
삭제
제1항에 있어서, 상기 추출된 복수의 데이터들은,
서로 다른 환경들에서 상기 추적할 사람을 촬영하여 추출된 데이터들이며, 일정 주기마다 업데이트되는 이동 로봇의 사람 인식 및 추적 방법.
제1항에 있어서, 상기 이동 로봇이 상기 사람의 위치를 상기 그리드 맵에서 추정하는 단계는,
상기 이동 로봇은 상기 그리드 맵에 복수의 입자들을 균일하게 분포시키는 단계;
상기 이동 로봇은 주변 환경을 촬영하여 주변 환경 이미지를 생성하는 단계;
상기 이동 로봇은 상기 생성된 주변 환경 이미지에 포함된 객체가 상기 하나의 가우시안 분포도에 속하는지 판단하는 단계;
상기 객체가 상기 하나의 가우시안 분포도에 속한다고 판단될 때, 상기 이동 로봇은 상기 이동 로봇과 상기 객체와의 거리 정보를 이용하여 상기 그리드 맵에서 상기 복수의 입자들의 가중치들을 갱신하는 단계;
상기 이동 로봇은 상기 그리드 맵에 분포된 상기 복수의 입자들을 재배열하는 단계; 및
상기 이동 로봇은 상기 그리드 맵에서 재배열된 상기 복수의 입자들의 분포에 따라 상기 사람의 위치로 추정하는 단계를 포함하는 이동 로봇의 사람 인식 및 추적 방법.
이동 로봇에 있어서,
카메라;
라이다 센서;
명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하며, 상기 카메라와 상기 라이다 센서를 이용하여 그리드 맵을 생성하며, 상기 사람의 위치를 상기 그리드 맵에서 추정하며, 상기 그리드 맵에서 추정된 사람의 위치에 따라 상기 이동 로봇은 상기 사람을 추적하도록 구현되며,
상기 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 명령은,
서로 다른 시간에 상기 추적할 사람을 촬영하여 상기 추적할 사람이 포함된 복수의 제1이미지들을 생성하며, RGB 컬러 모델로 표현된 상기 복수의 제1이미지들을 HSV 컬러 모델로 표현되는 복수의 제2이미지들로 변환하며, 상기 복수의 제2이미지들 각각에 포함된 상기 사람의 상의 영역에 대한 복수의 데이터들을 추출하며, 상기 추출된 복수의 데이터들을 이용하여 상기 추출된 사람의 상의 영역의 3D HSV 분포도를 생성하며, 상기 3D HSV 분포도에 가우시안 혼합 모델을 적용하여 복수의 가우시안 분포도들을 생성하며, 상기 복수의 가우시안 분포도들 중 가중치가 가장 높은 가우시안 분포도를 선택하여 상기 하나의 가우시안 분포도를 생성하도록 구현되는 이동 로봇.