KR101207535B1 - 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법 - Google Patents

Abstract

본 발명은 로봇의 동시적 위치 인식 및 지도 작성 방법(SLAM : Simultaneous Localization And Mapping)에 관한 것으로서, 더욱 상세하게는, 카메라를 통해 입력되는 이미지에서 직선 성분을 추출하고 이를 특징 데이터로 사용하여 위치 인식과 지도 작성을 동시에 수행하는 방법에 관한 것이다.
본 발명은 촬영 이미지에서 추출된 선들로부터 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제1 후보 직선을 결정하는 단계; 상기 이동 로봇의 움직임에 따라 다음 촬영 이미지에서 예측되는 상기 제1 후보 직선의 대응 추정 직선을 산출하는 단계; 상기 이동 로봇의 움직임 후 촬영된 이미지 중 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제2 후보 직선을 결정하는 단계; 상기 추정 직선과 상기 제2 후보 직선의 동일성을 판정하는 단계; 및 판정 결과 상기 추정 직선과 동일성이 인정되는 상기 제2 후보 직선을 활용하여 지도를 작성하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 직선 성분을 특징 데이터로 사용하여 SLAM을 수행하므로, 특징점으로 작성된 지도보다 주변 환경을 더욱 잘 표현한다는 장점이 있다. 또한, 본 발명이 제공하는 신규한 방법에 의해 바닥 직선에 대한 관측 모델을 결정함에 따라 불확실성을 크게 개선할 수 있으며, 3차원을 구성하는 수직 직선과 바닥 직선을 2차원의 바닥 평면에 표현할 수 있으므로 데이터 처리를 간편화할 수 있다.

Description

이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법{IMAGE-BASED SIMULTANEOUS LOCALIZATION AND MAPPING FOR MOVING ROBOT}

본 발명은 로봇의 동시적 위치 인식 및 지도 작성 방법(SLAM : Simultaneous Localization And Mapping)에 관한 것으로서, 더욱 상세하게는, 카메라를 통해 입력되는 이미지에서 직선 성분을 추출하고 이를 특징 데이터로 사용하여 위치 인식과 지도 작성을 동시에 수행하는 방법에 관한 것이다.

동시적 위치 인식 및 지도 작성 방법(이하, "SLAM"이라 한다)은 자율주행을 필수로 하는 로봇에 있어서 가장 기본이 되는 기능 중 하나이다. 로봇이 처음으로 접하는 환경에 진입하게 될 경우, 그 환경에 대한 지도를 작성하여 환경을 이해해야 하는데, 이를 위해서는 작성 진행되는 지도에서 로봇의 현재 위치를 항상 정확하게 인식할 수 있어야 최종적으로 정확한 지도를 작성할 수 있다.

로봇에서 사용하는 센서 유형에 따라서 SLAM 알고리즘에 활용되는 특징 데이터도 다르다. 예컨대, 초음파(Sonar), 레이저와 같은 거리 센서를 통해 얻어진 거리 정보, GPS 기기를 통해 직접 얻어지는 좌표 정보, IMU 장비를 통해 얻어지는 가속도 정보, 스테레오 카메라 혹은 모노 카메라를 이용한 비전 정보 등이 특징 데이터로 사용될 수 있다.

모노 카메라는 기타 종류의 센서들에 비하여 가격이 싸고 센서가 차지하는 부피가 작은 장점이 있다. 또한, 카메라로부터 취득하는 비전 정보는 SLAM 외에도 물체 식별, 휴먼 표정 인식 등 기타 유용한 정보 추출에 활용될 수 있으므로 다른 센서에 비하여 더욱 유용하고 다양한 서비스에 제공하는데도 효과적이다.

비전 정보를 이용하는 SLAM(이하, "vSLAM"이라 한다)은 특징 데이터로 특징점을 이용하는 방법이 주로 연구되어 왔다. 특징점은 비전 알고리즘으로 처리하기 간편하고 다양한 환경에 적용할 수 있는 장점이 있는 반면, 필요한 특징점의 개수가 많아야 하고 작성된 지도를 확장하기 어려운 단점이 있다.

이에 비하여, 직선 성분을 특징 데이터로 삼는 경우 불확실성이 증가하는 문제가 있어 상대적으로 연구 진행이 미흡하다. 즉, 직선 성분은 인공구조물이 많은 환경에 적절하다는 평가가 있으나 지도를 구성하는데 필요한 개수가 적고, 작성된 지도는 의미적 레이블을 추가하기 용이하다는 빼어난 장점이 있다. 직선성분을 SLAM에 적용하기 위한 기존의 연구는 직선을 표현하기 위한 방법으로서, 주로 일반적인 모델링 방식으로 접근하여 특징 데이터의 불확실성을 크게 하는 단점이 있다.

따라서 본 발명은 기존 직선 성분을 이용한 vSLAM 알고리즘을 개선하여, 데이터 처리가 간편하고 불확실성이 감소한 SLAM을 제공하는 것을 목적으로 한다.

상기 목적은 본 발명의 일 양태에 따른, 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법에 있어서, 촬영 이미지에서 추출된 선들로부터 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제1 후보 직선을 결정하는 단계; 상기 이동 로봇의 움직임에 따라 다음 촬영 이미지에서 예측되는 상기 후보 직선의 대응 추정 직선을 산출하는 단계; 상기 이동 로봇의 움직임 후 촬영된 이미지 중 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제2 후보 직선을 결정하는 단계; 상기 추정 직선과 상기 제2 후보 직선의 동일성을 판정하는 단계; 및 판정 결과 상기 추정 직선과 동일성이 인정되는 상기 제2 후보 직선을 활용하여 지도를 작성하는 단계를 포함하는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법에 의해 달성될 수 있다.

여기에서, 상기 추정 직선과 상기 제2 후보 직선의 동일성을 판정하는 단계는, 상기 추정 직선을 특정하는 좌표와 상기 제2 후보 직선을 특정하는 좌표의 차이가 미리 결정된 임계범위 내에 있는지 여부에 따라 동일성을 결정하는 단계를 포함할 수 있다. 그리고, 상기 좌표는 상기 이미지에서의 임의의 점으로부터 직선에 이르는 거리와 수평 직선과 상기 직선이 이루는 각으로 구해지는 것으로 특정할 수 있다.

또한, 상기 본 발명은 상기 촬영 이미지로부터 상기 바닥에 수직을 이루는 수직 직선을 추출하는 단계를 더 포함하고, 촬영 이미지에서 추출된 선들로부터 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제1 후보 직선을 결정하는 단계는, 상기 수직 직선의 중간 점보다 낮은 위치에 형성된 직선 중에서 제1 후보 직선을 결정하는 단계를 포함하도록 선택할 수 있다.

또한, 상기 본 발명은 상기 촬영 이미지로부터 상기 바닥에 수직을 이루는 수직 직선을 추출하는 단계를 더 포함하고, 상기 추정 직선과 동일성이 인정된 상기 제2 후보 직선을 활용하여 작성되는 지도에 상기 수직 직선이 상기 바닥에 투영되는 점을 추가하여 2차원의 지도로 3차원의 지도 정보를 표현하도록 하는 단계를 포함하도록 함으로써 데이터 처리를 간편하게 하고 불확실성을 감소시킬 수 있다.

상기 일련의 본 발명들은 상기 추정 직선을 산출하는 단계는 다음 수식에 의해 상기 추정 직선을 결정하도록 할 수 있다.

여기에서, I는 제1 후보 직선, I'은 추정 직선, H는 호모그라피 행렬로서 다음과 같이 정의된다:

여기에서, K'은 이동 로봇의 움직임 후 카메라 속성 행렬,

은 카메라의 각도 변화를 나타내는 회전 행렬, 0 는 3×1의 영 행렬,

는 카메라의 위치 변화를 나타내는 행렬 , h는 이미지 촬영에 사용된 카메라의 높이를 나타낸다.

직선 성분을 특징 데이터로 사용하여 SLAM을 수행하는 본 발명에 의할 때 특징점으로 작성된 지도보다 주변 환경을 더욱 잘 표현한다는 장점이 있다.

또한, 본 발명이 제공하는 신규한 방법에 의해 바닥 직선에 대한 관측 모델을 결정함에 따라 불확실성을 크게 개선할 수 있으며, 3차원을 구성하는 수직 직선과 바닥 직선을 2차원의 바닥 평면에 표현할 수 있으므로 데이터 처리를 간편화할 수 있다.

도1은 본 발명의 실시예에 따른 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법에 관한 순서도;
도2는 호모그라피 행렬에 의한 직선 변환 관계를 설명하기 위한 개념도;
도3은 이미지상에서 직선을 특정하는 구좌표계를 설명하기 위한 개념도;
도4는 결정된 바닥 직선에 대한 관측 모델을 설명하기 위한 개념도;
도5는 수직 직선의 투영점의 개념을 설명하기 위한 개념도;
도6은 결정된 투영점에 대한 관측 모델을 설명하기 위한 개념도;
도7은 바닥 직선 및 수직 직선의 관측 모델을 EFK 알고리즘에 적용하여 완성한 최종 지도의 예; 및
도8은 특징점에 의해 작성된 지도와 직선에 의해 작성된 지도를 비교하기 위한 도면이다.

본 발명은 이동 로봇의 SLAM 알고리즘에 관한 것이므로, 이동 로봇의 하드웨어적인 부분의 구체적인 설명은 생략하며, 본 발명의 실시예는 이동 가능하고 모노 카메라가 탑재되어 있는 이동 로봇의 하드웨어 구조를 상정하여 기술하도록 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 구체적으로 설명한다.

도1은 본 발명의 실시예에 따른 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법에 관한 순서도이다.

먼저, 이동 로봇은 모노 카메라를 이용하여 촬영하여 촬영 이미지를 획득하고, 촬영 이미지로부터 직선 성분들을 추출한다(S1). 이미지로부터 직성 성분을 추출하는 방법으로 주지의 캐니 에지 검출(Canny edge detection) 및 호프 변환(Hough transform)을 활용한다.

다음, 추출된 직선 성분들 중 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제1 후보 직선을 결정한다(S2).

이때, 모노 카메라의 회전 정보 및 직선들의 방향성을 바탕으로 추출된 직선들이 바닥 상에 위치하는 선인지를 1차 구별할 수 있으며, 수직 직선 성분의 중간 지점보다 상위하는 직선은 바닥 선의 후보로부터 제하는 등 다양한 직간접 기준을 가지고 제1 후보 직선을 결정하는 것이 또한 가능하다. 카메라가 수평을 유지하는 경우, 추출된 직선 중에서 두 끝점의 수직 좌표 사이의 차이가 허용 범위 내의 픽셀 차이를 나타내는 경우 바닥 직선으로 또한 1차 추정할 수 있다.

다음, 이동 로봇이 움직임이 있는 경우, 모노 카메라로 다시 촬영하여 움직임 이후의 이미지를 획득한다(S3). 여기에서 이동 로봇의 움직임은 이동 로봇의 주행, 회전, 카메라의 회전 등의 개별적 움직임 혹은 동시 다발적인 움직임을 포함한다. 어느 경우에나 로봇의 움직임 또는 제어 정보가 축적되어 활용될 수 있다.

다음, 움직임에 의한 제1 후보 직선에 대응하는 새로운 이미지상의 직선 성분을 추정한다(S4). 여기에서, 움직임에 따른 로봇의 전후좌우 이동량, 카메라의 회전량, 카메라 속성의 변화, 로봇의 회전량 등이 제1 후보 직선을 예측하고 추정하는데 근거로 활용될 수 있다.

추정 방법으로 다음과 같은 수식을 사용하는 것이 가능하다:

[수식 1]

여기에서, I는 제1 후보 직선, I'은 추정 직선, H는 호모그라피 행렬로서 다음과 같이 정의된다:

[수식 2]

여기에서, K'은 이동 로봇의 움직임 후 카메라 속성 행렬,

은 카메라의 각도 변화를 나타내는 회전 행렬, 0 는 3×1의 영 행렬,

는 카메라의 위치 변화를 나타내는 행렬, h는 이미지 촬영에 사용된 카메라의 높이를 나타낸다.

수식 1은 도2에 도시된 개념도로부터 용이하게 이해될 수 있다.

즉, 이동 로봇의 카메라가 C 위치에서 C'으로 이동하는 경우에서, C 위치에서 획득된 이미지(π) 상에 바닥 직선(L)의 투영 직선(l)이, C' 위치에서 획득된 이미지(π') 상에서는 어떻게 나타날 것인지, 즉 C에서 C'으로 카메라 이동시 두 이미지 평면상에서 직선의 변환이 어떻게 일어나는지가 호모그라피 행렬(H: homography matrix)에 의해 결정된다.

은 도2에서 개시된 카메라의 위치 변화(C->C')에 따른 각도 변화를 나타내는 것으로서, 따라서 로봇의 회전에 따른 카메라 촬영 방향의 각도 변화를 포함하는 것이다. 또한,

는 로봇의 이동을 포함한 카메라의 위치 이동을 반영하는 것으로서 역시 카메라의 위치 변화(C->C')를 반영하기 위한 것이다.

본 발명자는 수식 2와 같은 호모그라피 행렬을 새롭게 제안하여 본 발명에 따른 정확한 추정 직선의 산출 방법을 제공한다.

이제, 제1 후보 직선을 결정했던 것과 마찬가지로 움직임 후 촬영된 이미지로부터 추출된 직선 성분들로부터 바닥 선으로 추정되는 제2 후보 직선을 결정한다(S5).

그리고 산출된 추정 직선과 제2 후보 직선의 동일성을 판정한다(S6). 추정 직선과 제2 후보 직선이 다수인 경우에는 개별적으로 동일성 판정을 수행한다.

이때 직선들의 동일성 판정은 이미지상에서 직선을 특정하는 좌표 비교에 의할 수 있다. 예를 들어, 도3을 참조하면 이미지의 좌측 모서리 점을 원점으로 하고, 원점으로부터 직선이 이르는 최단 거리(d)와 이미지의 수평 방향과 직선이 이루는 각(θ)에 의해 직선을 특정하는 좌표로 삼을 수 있다.

이제 직선 사이의 동일성을 판단하기 위해, 거리(d)와 각도(θ)의 차에 가중치(α,β)를 부여하여 평가된 에러의 크기(ε)를 산출한다.

[수식 3]

ε= α(d-d') + β(θ-θ') < Ζ

산출된 에러가 미리 결정된 임계값(Z)보다 작은 경우, 추정 직선과 제2 후보직선의 동일성이 있는 것으로 판정한다.

이제, 추정 직선과 동일성이 인정된 제2 후보 직선을 바닥 직선으로 결정하게 되고, 이에 따라 바닥 직선에 대한 관측 모델이 결정된다(S7). 즉, 도4에 도시된 바와 같이, 이동 로봇의 좌표(x,y) 변화와 그에 따른 바닥 직선(L) 사이의 거리 변화 및 주행 방향과 이루는 각도 변화(θ_k) 등을 정의할 수 있게 된다.

바닥 직선에 대한 관측 모델이 마련되면 표준 EFK 알고리즘을 적용하여 통상의 절차에 따라 지도를 작성하게 된다(S8).

본 발명의 실시예는 바닥에 수직한 수직 직선을 포함하는 지도 작성을 더 포함할 수 있다.

도5에 도시된 바와 같이, 수직 직선이 바닥 평면으로 투영되면 한 개의 점으로 표현될 수 있다. 모토 카메라로부터 이미지에서 추출한 수직직선은 각도 정보만 있고 거리 정보가 없으므로 Inverse Depth Parameterization(IDP) 방법으로 모델링하는 것이 가능하며, 도6과 같은 투영점에 대한 관측 모델을 마련할 수 있다.

이와 같이 마련된 바닥 직선과 수직 직선에 대한 관측 모델을 표준 EFK(Extended Kalman Filter)에 적용함으로써, 수직 직선과 바닥 직선을 이용하여 얻어진 최종 지도가 도7에 개시되어 있다.

도7의 3차원 지도는 실질적으로는 바닥 직선과 투영점의 2차원 정보로 작성될 수 있는 것이며, 따라서 데이터 표현의 용이성, 연산의 단순성 등 데이터 처리에 상당한 이점을 제공한다.

도8에서 알 수 있는 바와 같이, 특징점에 의해 작성된 지도와 비교하여 볼 때, 바닥 직선과 수직 직선에 의한 지도가 주변 환경을 더욱 잘 표현할 수 있다는 것을 알 수 있다.

지금까지 본 발명의 실시예를 설명하였으나 본 발명의 기술적 사상을 벗어나지 않는 범위에서 본 발명의 변형이 가능하다는 것을 당업자는 이해할 수 있을 것이다.

따라서, 전술한 본 발명의 실시예는 예시적인 것으로 이해되어야 하며, 이하 특허청구범위에 기재된 본 발명의 기술적 사상을 중심으로 그 균등범위까지 본 발명의 보호범위가 인정되어야 할 것이다.

Claims (6)

1. 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법에 있어서,
   촬영 이미지에서 추출된 선들로부터 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제1 후보 직선을 결정하는 단계;
   상기 이동 로봇의 움직임에 따라 다음 촬영 이미지에서 예측되는 상기 제1 후보 직선의 대응 추정 직선을 산출하는 단계;
   상기 이동 로봇의 움직임 후 촬영된 이미지 중 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 제2 후보 직선을 결정하는 단계;
   상기 추정 직선과 상기 제2 후보 직선의 동일성을 판정하는 단계; 및
   판정 결과 상기 추정 직선과 동일성이 인정되는 상기 제2 후보 직선을 활용하여 지도를 작성하는 단계를 포함하는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법.
   
2. 제1항에 있어서,
   상기 추정 직선과 상기 제2 후보 직선의 동일성을 판정하는 단계는,
   상기 추정 직선을 특정하는 좌표와 상기 제2 후보 직선을 특정하는 좌표의 차이가 미리 결정된 임계범위 내에 있는지 여부에 따라 동일성을 결정하는 단계를 포함하는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법.
   
3. 제2항에 있어서,
   상기 좌표는 상기 이미지에서의 임의의 점으로부터 직선에 이르는 거리와 수평 직선과 상기 직선이 이루는 각으로 구해지는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법.
   
4. 제1항에 있어서,
   상기 촬영 이미지로부터 상기 바닥에 수직을 이루는 수직 직선을 추출하는 단계를 더 포함하고,
   상기 촬영 이미지에서 추출된 선들로부터 상기 이동 로봇이 주행하는 바닥에 위치하는 선으로 추정되는 상기 제1 후보 직선을 결정하는 상기 단계는, 상기 수직 직선의 중간 점보다 낮은 위치에 형성된 직선 중에서 상기 제1 후보 직선을 결정하는 단계를 포함하는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법.
   
5. 제1항에 있어서,
   상기 촬영 이미지로부터 상기 바닥에 수직을 이루는 수직 직선을 추출하는 단계; 및
   상기 추정 직선과 동일성이 인정된 상기 제2 후보 직선을 활용하여 작성되는 지도에 상기 수직 직선이 상기 바닥에 투영되는 점을 추가하여 2차원의 지도로 3차원의 지도 정보를 표현하도록 하는 단계를 더 포함하는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 추정 직선을 산출하는 단계는 다음 수식에 의해 상기 추정 직선을 결정하는 것을 특징으로 하는 동시적 위치 인식 및 지도 작성 방법:
   

   

   
   여기에서, I는 제1 후보 직선, I'은 추정 직선, H는 호모그라피 행렬로서 다음과 같이 정의:
   

   

   
   여기에서, K'은 이동 로봇의 움직임 후 카메라 속성 행렬,

   

   은 카메라의 각도 변화를 나타내는 회전 행렬, 0 는 3×1의 영 행렬,

   

   는 카메라의 위치 변화를 나타내는 행렬, h는 이미지 촬영에 사용된 카메라의 높이)
   
   
   

Images