KR20140009737A

KR20140009737A - 하이브리드 맵 기반 로봇의 위치인식방법

Info

Publication number: KR20140009737A
Application number: KR1020120076299A
Authority: KR
Inventors: 권인소; 최동걸
Original assignee: 한국과학기술원
Priority date: 2012-07-12
Filing date: 2012-07-12
Publication date: 2014-01-23

Abstract

지피에스(GPS)가 없는 환경에서 키드냅 문제와 같은 상황에 효과적으로 대처하는 것이 가능하고 현재의 위치를 정확하게 인식할 수 있도록, 레이저 센서 및 카메라를 이용하여 주변 환경에 대한 정보를 획득하고, 레이저 센서를 통하여 획득한 레이저 정보로부터 레이저 키프레임을 결정하여 매트릭 맵을 생성하고, 카메라를 통하여 획득한 영상 정보로부터 각각의 특징량을 표현해 줄 수 있는 영상 키프레임을 결정하여 토폴로지컬 맵을 생성하고, 센서 특성에 따른 가중치를 결정하여 레이저 키프레임들과 영상 키프레임들을 연결하고 통합 키프레임을 결정하고, 상기 통합 키프레임으로부터의 거리차에 따라 각 레이저 및 영상 키프레임에 통합 키프레임 사이에 ICP 알고리즘을 사용하여 작성한 로컬 매트릭 맵 정보를 연결하여 현재 위치를 인식하는 과정을 포함하는 하이브리드 맵 기반 로봇의 위치인식방법을 제공한다.

Description

하이브리드 맵 기반 로봇의 위치인식방법 {Hybrid Map Based Localization Method of Robot}

본 발명은 하이브리드 맵 기반 로봇의 위치인식방법에 관한 것으로서, 토폴로지 맵과 매트릭 맵을 융합한 하이브리드 맵을 작성하여 상호보완적으로 작동하므로 지피에스(GPS)가 없는 환경에서도 위치를 정확하게 인식하는 것이 가능한 하이브리드 맵 기반 로봇의 위치인식방법에 관한 것이다.

현재 로봇 분야에서 연구되고 있는 로봇의 환경 인식을 통한 서비스나 자율주행 등의 일을 효율적으로 수행하기 위해서는 로봇의 현재 위치를 정확하게 인식하는 것이 매우 중요하다.

최근 지피에스(GPS) 기술이 발전함에 따라 정지 상태에서는 0.5m 이내의 정확도를 가지는 센서들도 개발되고 있다. 그렇지만, 실내나 터널 및 지하, 건물이 많은 지역, 또는 날씨가 좋지 않거나 전시와 같은 방해전파가 사용되는 경우에는 지피에스(GPS)를 사용하지 못한다는 단점이 있다.

그리고 지피에스(GPS)를 사용하지 않는 위치인식 방법으로는 레이저센서를 이용하여 주변의 맵을 만들고, 현재의 프레임과 기존 맵을 매칭하는 매트릭방식이 있다. 그런데 레이저를 사용하는 방식은 오차가 누적됨에 따라 기존 맵과 현재 프레임의 매칭 및 루프 클로징(loop closing)의 정확도가 떨어지고, 랜드마크를 만들기 힘들기 때문에, 키드냅(kidnap) 문제와 같은 상황에 대처하기 힘들다.

상기에서 키드냅 문제는 로봇이 자신의 현재 위치를 성공적으로 인식하는 도중에 아무런 위치 정보가 주어지지 않은 상태에서 위치가 옮겨지는 경우에, 로봇은 자신의 현재 위치가 변경되었다는 것을 인식하지 못하기 때문에, 이전의 위치로부터 현재 자신의 위치를 인식하고자 할 때에 발생하는 문제이다.

본 발명의 목적은 상기와 같은 문제를 해결하기 위한 것으로, 지피에스(GPS)가 없는 환경에서 키드냅 문제와 같은 상황에 효과적으로 대처하는 것이 가능하고 현재의 위치를 정확하게 인식할 수 있도록, 토폴로지 맵과 매트릭 맵을 융합한 하이브리드 맵을 작성하여 상호보완적으로 작동하는 하이브리드 맵 기반 로봇의 위치인식방법을 제공하기 위한 것이다.

본 발명의 실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법은 레이저 센서 및 카메라를 이용하여 주변 환경에 대한 정보를 획득하고, 레이저 센서를 통하여 획득한 레이저 정보로부터 레이저 키프레임(key frame)을 결정하여 매트릭 맵(matric map)을 생성하고, 카메라를 통하여 획득한 영상 정보로부터 각각의 특징량을 표현해 줄 수 있는 영상 키프레임을 결정하여 토폴로지컬 맵(topological map)을 생성하고, 센서 특성에 따른 가중치를 결정하여 레이저 키프레임들과 영상 키프레임들을 연결하고 통합 키프레임을 결정하고, 상기 통합 키프레임으로부터의 거리차에 따라 각 레이저 및 영상 키프레임에 통합 키프레임 사이에 ICP(Iterative Closest Point) 알고리즘을 사용하여 작성한 로컬 매트릭 맵 정보를 연결하여 현재 위치를 인식하는 과정을 포함하여 이루어진다.

본 발명의 실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 의하면, 레이저 센서로부터 획득한 레이저 정보와 카메라로부터 획득한 영상 정보를 활용하여 매트릭 맵과 토포로지컬 맵을 겹합한 하이브리드 맵으로부터 현재 위치를 인식하도록 이루어지므로, GPS가 없는 곳에서도 현재 위치를 정확하게 인식하는 것이 가능하고, 레이저 정보만을 활용하는 경우에 발생하는 키드냅 문제 등을 해결하는 것이 가능하다.

도 1은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법을 나타내는 순서도이다.
도 2는 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 로컬 매트릭 맵을 개념적으로 나타내는 이미지이다.
도 3은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 레이저 정보를 정규화하는 과정을 설명하는 이미지이다.
도 4는 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 토폴로지컬 맵을 개념적으로 나타내는 이미지이다.
도 5는 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 도 2 및 도 4를 결합하여 생성한 하이브리드 맵을 나타내는 이미지이다.
도 6은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 확률모델의 그래프 모델을 개념적으로 나타내는 이미지이다.
도 7은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 레이저 센서와 카메라를 동기화하는 시스템을 개념적으로 나타내는 블럭도이다.
도 8은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 도 7에 나타낸 동기화 시스템을 이용하여 동기화를 행한 경우의 동기화 신호 파형을 나타내는 그래프이다.
도 9는 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 레이저 센서는 정보 획득에 성공하고 카메라는 정보 획득에 실패한 경우 통합 매칭의 결과를 나타내는 이미지이다.
도 10은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 레이저 센서는 정보 획득에 실패하고 카메라는 정보 획득에 성공한 경우 통합 매칭의 결과를 나타내는 이미지이다.
도 11은 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법에 있어서 레이저 센서 및 카메라 모두 정보 획득에 성공한 경우 전체 프레임의 인식 결과를 나타내는 이미지이다.

다음으로 본 발명의 하이브리드 맵 기반 로봇의 위치인식방법의 바람직한 실시예를 도면을 참조하여 상세하게 설명한다.

본 발명은 여러가지 다양한 형태로 구현하는 것이 가능하며, 이하에서 설명하는 실시예들에 한정되지 않는다.

이하에서는 본 발명을 명확하게 설명하기 위해서 본 발명과 밀접한 관계가 없는 부분은 상세한 설명을 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이고, 반복적인 설명을 생략한다.

먼저 본 발명의 일실시예에 따른 하이브리드 맵 기반 로봇의 위치인식방법은 도 1에 나타낸 바와 같이, 정보를 획득하는 단계(S12), (S14)와, 매트릭 맵(metric map)을 생성하는 단계(S20)와, 토폴로지컬 맵(topological map)을 생성하는 단계(S30)와, 통합 키프레임을 결정하는 단계(S40)와, 현재 위치를 인식하는 단계(S50)를 포함하여 이루어진다.

상기 정보를 획득하는 단계(S12), (S14)에서는 레이저 센서 및 카메라를 이용하여 주변 환경에 대한 정보를 획득한다.

예를 들면, 레이저 센서를 이용하여 주변 환경에 대한 레이저 정보를 획득하고(S12), 카메라를 이용하여 주변 환경에 대한 영상 정보를 획득한다(S14).

상기 레이저 센서는 270도를 커버할 수 있는 센서를 사용하는 것이 최대한 넓은 시야각의 정보를 획득할 수 있으므로 바람직하다.

상기 카메라는 전후좌우를 모두 볼 수 있도록 4개의 카메라를 설치하여 사용하는 것이 바람직하다.

상기 레이저 센서와 카메라는 주변의 장애물에 의한 영향을 최소화하도록 가능하면 높은 위치에 설치하는 것이 바람직하다.

상기 매트릭 맵을 생성하는 단계(S20)에서는 상기 레이저 센서를 통하여 획득한 레이저 정보로부터 레이저 키프레임(key frame)을 결정하여 매트릭 맵(matric map)을 생성한다(도 2 참조).

상기에서 레이저 센서를 통하여 획득한 레이저 정보는 현재 위치를 기준으로 정확한 절대 거리 정보와 같은 지형 정보를 제공해준다.

그러나 레이저 정보는 특징적인 정보를 추출하기 힘들기 때문에, 현재 위치에서의 레이저 정보와 다른 위치에서의 레이저 정보를 구분하는 것이 어렵다.

상기 매트릭 맵은 로컬한 정보들을 누적하여 글로벌한 매트릭 맵으로 작성하는 것이 가능하지만, 누적 오차로 인하여 정확한 위치 정보를 추정하는 것이 어렵다.

상기와 같은 누적 오차를 보완하기 위하여 상기 매트릭 맵을 생성하는 단계(S20)에서는 먼저, 도 3에 나타낸 바와 같이, 현재 스캔된 정보의 중심 좌표를 기준으로 새로운 정보를 생성하여 정규화한다. 예를 들면 현재 스캔된 로우(low) 레이저 정보를 중심 좌표를 기준으로 재계산하여 정규화된 레이저 정보를 생성한다.

상기와 같이 정규화된 현재 프레임의 레이저 정보 히스토그램을 다음 프레임의 히스토그램과 비교하여 거리차가 일정 범위 이상 발생할 경우에는 새로운 키프레임으로 저장한다.

상기 토폴로지컬 맵을 생성하는 단계(S30)에서는 카메라를 통하여 획득한 영상 정보로부터 각각의 특징량을 표현해 줄 수 있는 영상 키프레임을 결정하여 토폴로지컬 맵(topological map)을 생성한다(도 4 참조).

상기에서 영상 키프레임을 결정하기 위해서는 현재 위치의 영상에서 SURF(Speeded Up Robust Feature) 기법을 적용하여 특징점을 추출하고, 다음 영상과의 사이에서 특징점의 매칭점 수가 줄어들면 새로운 키프레임으로 저장한다.

상기 통합 키프레임을 결정하는 단계(S40)에서는 센서 특성에 따른 가중치를 결정하여 레이저 키프레임들과 영상 키프레임들을 연결하고 통합 키프레임을 결정한다.

상기 레이저 센서는 유효 거리가 30m 정도인 반면에, 카메라(영상 센서)는 상황에 따라 100m도 넘는 시야를 확보하는 것이 가능하므로, 영상 정보는 레이저 정보에 비하여 단위 시간당 상대적으로 적은 변화를 갖게 된다.

이러한 센서 사이(레이저 센서와 카메라 사이)의 특성 차이 때문에 레이저 키프레임의 갱신 횟수가 영상 키프레임의 갱신 횟수보다 5~6배 정도 많게 된다.

따라서 상기 통합 키프레임을 결정하는 단계(S40)에서는 각 영상 키프레임과 가장 가까운 레이저 키프레임을 선택하고, 두 프레임 사이의 중간 거리에 있는 레이저 정보와 영상 정보를 통합 키프레임으로 결정한다.

상기 현재 위치를 인식하는 단계(S50)에서는 상기 통합 키프레임으로부터의 거리차에 따라 각 레이저 및 영상 키프레임에 통합 키프레임 사이에 ICP(Iterative Closest Point) 알고리즘을 사용하여 작성한 로컬 매트릭 맵 정보를 연결하여 현재 위치를 인식한다.

예를 들면, 상기 통합 키프레임을 결정하는 단계(S40)에서 결정된 통합 키프레임으로부터의 거리차에 따라 가중치를 부과하여 다음 위치 결정을 위한 확률모델에 추가한다. 그리고 상기와 같이 작성된 하이브리드 맵으로부터 현재의 레이저 정보 및 영상 정보를 각각의 키프레임과의 매칭을 통해 대략적인 현재의 위치를 결정한다.

상기와 같이 초기 현재 위치를 현재 레이저 정보와 결정된 키프레임 사이의 로컬 매트릭 맵과의 ICP 매칭을 통해 정확한 현재 위치를 인식하는 것이 가능하다.

도 5는 도 4에 나타낸 토폴로지컬 맵과 도 2에 나타낸 매트릭 맵을 결합하여 작성한 하이브리드 맵을 나타낸다.

그리고 현재 위치를 결정하기 위하여 하이브리드 맵의 키프레임과 새로 입력된 레이저 정보 및 영상 정보를 매칭하여 각각의 확률을 구한다.

예를 들면, 키프레임을 결정할 때와 마찬가지로 레이저 정보는 정규화된 히스토그램의 거리값 비교를 통하여 현재 레이저 정보의 전체 키프레임 매칭 확률을 계산한다.

그리고 영상 정보는 SURF 기법을 사용하여 특징점을 추출하고, 특징점 사이의 매칭을 통하여 전체 키프레임과의 매칭 확률을 구한다.

상기와 같이 얻어지는 레이저 정보와 영상 정보의 키프레임과의 매칭 확률을 다음의 수학식 1의 확률모델을 사용하여 통합하고, 가장 높은 수치의 키프레임을 현재 위치와 가장 가까운 곳으로 결정한다.

즉, 레이저 맵(l)과 영상 맵(v)에서 결정된 키프레임(k_t)에 대한 매칭확률(p)을 주어진 현재 정보(z₁ _:t)로부터 추정하기 위해 다음의 수학식 1과 같은 확률모델을 사용한다.

상기 수학식 1을 각 레이저 센서 및 카메라 기반의 키프레임 맵 확률모델로 표현하면, 다음의 수학식 2와 같이 나타낼 수 있다.

도 6에는 상기한 확률모델을 그래프 모델로 표현하여 나타낸다.

그리고 로봇이 이동할 때 키드냅 환경을 고려하지 않는다고 가정하면, 다음의 로봇 위치는 이전 로봇 위치와 가까울 확률이 높기 때문에, 다음의 수학식 3과 같이 이전 로봇 위치로 결정된 키프레임과 그 주변의 키프레임에 가중치를 부과하여 보다 더 강인한 위치 인식을 하는 것이 가능하다.

나아가 정보를 획득하는 단계(S12), (S14)에서 일반적인 레이저 센서는 50fps의 속도로 레이저 정보를 획득하지만, 카메라는 60fps의 속도로 영상 정보를 획들한다.

따라서 움직이는 플랫폼에서 움직이는 물체에 대한 정보를 획득(캡쳐)할 경우, 레이저 센서와 카메라 사이의 동기화가 이루어지지 않으면, 동일 프레임이지만 서로 다른 위치 정보를 포함할 가능성이 높다.

상기와 같은 문제를 해결하기 위해서 도 7에 나타낸 바와 같은 동기화 시스템을 사용하는 것이 바람직하다.

예를 들면, 레이저 센서(11)의 신호를 적외선 수광센서(15)를 사용하여 입력받고, 노이즈필터(16)와 신호증폭기(17)를 통하여 신호를 정류하여 증폭시킨 다음, 카메라(13)에 트리거 신호를 보내주도록 동기화 시스템을 구성한다.

상기와 같이 구성되는 동기화 시스템을 사용한 결과를 도 8에 나타낸다.

도 8에 있어서 왼쪽 이미지는 단일 파형에 대한 동기화 신호를 나타내고, 오른쪽 이미지는 누적 파형에 대한 동기화 신호를 나타낸다.

도 8에 있어서, 노란색 파형은 레이저 센서(11)의 신호를 적외선 수광센서(15)로 입력받은 신호이고, 파란색 파형은 동기화 시스템을 거쳐 카메라(13)에 입력하는 트리거 신호이다.

도 8의 왼쪽 이미지에서 확인되는 바와 같이, 레이저 센서(11)의 신호와 카메라(13)의 신호는 약 0.4ms의 차이로 신호가 입력되는 것을 볼 수 있다. 그러나 도 8의 오른쪽 이미지에서 확인되는 바와 같이, 연속된 프레임 캡쳐시에는 동기화 시스템이 균일한 속도로 신호를 출력해주는 것을 볼 수 있다.

도 9 및 도 10에는 각각 카메라와 레이저 센서가 매칭에 실패하지만, 성공한 다른 정보를 이용하여 통합 매칭을 수행한 결과를 나타낸다. 도 9 및 도 10으로부터 확인되는 바와 같이, 본 발명의 실시예를 적용하는 경우 어느 하나의 정보 획득에 실패하는 경우에도 성공한 다른 정보를 이용하여 올바른 키프레임과 매칭되는 결과를 얻을 수 있음을 알 수 있다.

도 9 내지 도 11에 있어서, 파란색 선은 레이저 정보의 현재 정보와 저장된 키프레임 사이의 매칭을 나타내고, 녹색선은 영상 정보의 매칭 결과를 나타낸다.

도 11에는 키드냅을 고려하지 않은 경우에 있어서, 이전 키프레임의 위치가 다음 위치에 영향을 준다는 가정하에 수행한 실험 결과를 나타낸다.

상기와 같이 본 발명의 실시예에서는 레이저 정보의 누적 오차와 영상 정보의 지형 정보의 부재(키드냅 문제)를 해결하기 위해 레이저 센서와 카메라 각각의 정보를 특징량으로 표현하여 키프레임을 생성하고, 키프레임 사이에 레이저 센서의 위치 정보를 표현하고 있는 매트릭 정보를 융합하여 하이브리드 맵을 생성하고, 현재 위치의 정보와 키프레임 사이의 매칭결과와 로봇의 이전 위치를 확률모델을 적용하여 현재 위치를 결정하므로, 지피에스(GPS) 데이터가 없는 상태에서도 정확한 위치 인식이 가능하다.

상기에서는 본 발명의 하이브리드 맵 기반 로봇의 위치인식방법의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 명세서 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고, 이 또한 본 발명의 범위에 속한다.

S12 - 레이저 정보를 획득하는 단계, S14 - 영상 정보를 획득하는 단계
S20 - 매트릭 맵을 생성하는 단계, S30 - 토폴로지컬 맵을 생성하는 단계
S40 - 통합 키프레임을 결정하는 단계, S50 - 현재 위치를 인식하는 단계

Claims

레이저 센서 및 카메라를 이용하여 주변 환경에 대한 정보를 획득하고,
레이저 센서를 통하여 획득한 레이저 정보로부터 레이저 키프레임을 결정하여 매트릭 맵을 생성하고,
카메라를 통하여 획득한 영상 정보로부터 각각의 특징량을 표현해 줄 수 있는 영상 키프레임을 결정하여 토폴로지컬 맵을 생성하고,
레이저 센서 및 카메라 특성에 따른 가중치를 결정하여 레이저 키프레임들과 영상 키프레임들을 연결하고 통합 키프레임을 결정하고,
상기 통합 키프레임으로부터의 거리차에 따라 각 레이저 및 영상 키프레임에 통합 키프레임 사이에 ICP(Iterative Closest Point) 알고리즘을 사용하여 작성한 로컬 매트릭 맵 정보를 연결하여 현재 위치를 인식하는 과정을 포함하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 1에 있어서,
상기 매트릭 맵을 생성하는 단계에서는 현재 스캔된 정보의 중심 좌표를 기준으로 새로운 정보를 생성하여 정규화하고, 정규화된 현재 프레임의 레이저 정보 히스토그램을 다음 프레임의 히스토그램과 비교하여 거리차가 일정 범위 이상 발생할 경우에는 새로운 키프레임으로 저장하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 1에 있어서,
상기 토폴로지컬 맵을 생성하는 단계에서는 영상 키프레임을 결정하기 위해서는 현재 위치의 영상에서 SURF(Speeded Up Robust Feature) 기법을 적용하여 특징점을 추출하고, 다음 영상과의 사이에서 특징점의 매칭점 수가 줄어들면 새로운 키프레임으로 저장하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 2 또는 청구항 3에 있어서,
상기 통합 키프레임을 결정하는 단계에서는 각 영상 키프레임과 가장 가까운 레이저 키프레임을 선택하고, 두 프레임 사이의 중간 거리에 있는 레이저 정보와 영상 정보를 통합 키프레임으로 결정하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 4에 있어서,
상기 통합 키프레임을 결정하는 단계에서는 결정된 통합 키프레임으로부터의 거리차에 따라 가중치를 부과하여 다음 위치 결정을 위한 확률모델에 추가하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 5에 있어서,
상기 통합 키프레임을 결정하는 단계에서 레이저 정보는 정규화된 히스토그램의 거리값 비교를 통하여 현재 레이저 정보의 전체 키프레임 매칭 확률을 계산하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 5에 있어서,
상기 통합 키프레임을 결정하는 단계에서 영상 정보는 SURF 기법을 사용하여 특징점을 추출하고, 특징점 사이의 매칭을 통하여 전체 키프레임과의 매칭 확률을 구하는 하이브리드 맵 기반 로봇의 위치인식방법.
청구항 1에 있어서,
상기 정보를 획득하는 단계에서는 레이저 센서의 신호를 적외선 수광센서를 사용하여 입력받고, 신호를 정류하여 증폭시킨 다음, 카메라에 트리거 신호를 보내주도록 동기화 시스템을 구성하는 하이브리드 맵 기반 로봇의 위치인식방법.