KR20190104304A - 점군을 포함하는 라이다 지도 생성 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 지도 생성 방법은, 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계, 상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계 및 상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하며, 상기 궤적(Odometry)을 추정하는 단계는, 상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계 및 상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시키며, 상기 점군 지도를 생성하는 단계는, 상기 제2 점군에서 지면에 해당하는 점군은 제거하는 단계를 포함할 수 있다.

Description

점군을 포함하는 라이다 지도 생성 방법{Method for building map including point cloud using LiDAR}

본 발명은 점군을 포함하는 라이다 지도 생성 방법에 관한 것이다. 보다 자세하게는, 라이다를 이용하여 복수의 점군을 중첩한 지도를 생성할 때 중첩의 정확도를 높이는 방법에 관한 것이다.

라이다(LiDAR, Light Detection and Ranging)는 빛을 활용해 거리를 측정하고 물체를 감지하는 기술이다. 1930년대 기상 관측을 위해 처음 개발되었다가 레이저 기술이 등장한 1960년대 이르러서 본격적으로 활용되기 시작했다. 당시에는 주로 항공분야와 위성에 적용되었으나 이후 영역을 넓히며 지구환경, 탐사, 자동차, 로봇 등에 적용되었다.

라이다는 레이더와 비슷한 원리를 가지고 있다. 레이더는 전자기파를 외부로 발사해 재수신 되는 전자기파로 거리, 방향 등을 확인한다. 반면 라이다는 펄스 레이저를 사용한다는 차이점이 있다. 파장이 짧은 레이저를 사용함으로써 정밀도 및 해상도를 높이고 사물에 따라 입체적인 파악도 가능하다.

이러한 라이다를 이용하여 3차원 지도를 생성하려는 노력이 있어왔다. 예를 들면 KR 10-1427364 B1 "라이다 장치를 이용한 3D 실내지도 생성용 스캔시스템"(2014.07.31)을 살펴보면 라이다 장치를 이용하여 3D 실내지도를 생성하는 시스템이 개시되어 있다.

그러나 해당 발명은 3대 이상의 와이파이 발신기로부터 수신되는 신호의 세기를 측정하여 라이다 장치의 위치를 파악하기 때문에, 라이다 장치의 위치의 정확도가 떨어지게 된다. 라이다 장치의 위치의 정확도는 곧바로 3D 실내지도의 품질에도 영향을 미치게 된다.

또한 KR 10-2013-0123041 A "라이다 장치를 활용한 실내지도 자동 생성 방법"(2013.11.12)을 살펴보면 GPS(Global Positioning System)를 이용하여 라이다 장치의 위치 정보를 파악하는 구성이 개시되어 있다. 하지만 GPS는 오차범위가 수 미터에서 수십 미터에 달하고 실내에서는 사용이 어렵다는 단점이 있다.

이에 실내/실외 구분 없이 지도를 생성할 수 있고, 생성한 지도의 정확도를 높일 수 있는 지도 생성 방법에 대한 필요성이 점차 커지고 있다.

본 발명이 해결하고자 하는 기술적 과제는 라이다를 이용하여 지도를 생성하는 방법 및 그 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 지도 생성 방법은, 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계; 상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및 상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함할 수 있다.

바람직하게는, 상기 궤적(Odometry)을 추정하는 단계 이전에, 상기 제2 점군에 대해, 상기 지도 생성 장치의 이동으로 인해 한 측정 주기 내에서 발생할 수 있는 왜곡을 IMU 측정값을 이용하여 보상하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 궤적(Odometry)을 추정하는 단계는, 상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및 상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함할 수 있다.

[수학식 9]

여기서,

는 상기 궤적의 회전 행렬이고,

는 상기 궤적의 이동 행렬이다.

바람직하게는, 상기 궤적(Odometry)을 추정하는 단계는, 최적화 기법을 이용하여 상기 d를 최소화하는

및

를 유도하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 궤적(Odometry)을 추정하는 단계는, IMU 측정값을 이용하여 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 제2 궤적을 추정하는 단계; 및 상기 궤적과 상기 제2 궤적을 병합하는 단계를 포함할 수 있다.

바람직하게는, 상기 점군 지도를 생성하는 단계는, 상기 제2 점군에서 지면에 해당하는 점군은 제거하는 단계를 포함할 수 있다.

바람직하게는, 상기 점군 지도를 생성하는 단계는, 상기 제2 지점으로부터 기 설정된 반경 이내에 해당하는 점은 유클리디안 거리 기반의 클러스터링을 수행하여 군집화 하는 단계를 포함할 수 있다.

바람직하게는, 상기 점군 지도를 생성하는 단계는, 상기 제1 점군의 군집과 상기 제2 점군의 군집을 매칭한 쌍들에 대해 RANSAC를 적용하여 이상치를 제거하고, 가장 많은 매칭 쌍에 의해 지지되는 변환 행렬을 구하는 단계를 포함할 수 있다.

바람직하게는, 상기 변환 행렬을 구하는 단계는, 상기 변환 행렬을 이용하여 상기 제2 점군을 변환하고, 상기 변환된 제2 점군을 상기 제1 점군에 누적하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 지도 생성 장치는, 라이다 센서; IMU 센서; 및 제1 점군의 특징과 제2 점군의 특징을 비교하여, 이동 경로인 궤적(Odometry)을 추정하고, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 변환하고, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 제어부를 포함할 수 있다.

본 발명에 따른 효과는 다음과 같다.

본 발명에 따른 지도 생성 방법을 이용하면, 보다 정밀한 3차원 지도를 생성할 수 있다. 이렇게 생성된 지도는 자율 주행이나 로봇 등과 같은 관계 분야에서 활용될 수 있다. 그 외에도 3차원 모델이 없는 자연물을 포함한 다양한 건축물에 대해서도 쉽게 3차원 모델을 얻을 수 있다.

또한 3차원 지도와 관련된 산업은 4차 산업의 하나로서, 공간적인 정보가 필요한 VR, 게임, 건축, 측량, 로봇 등 다양한 산업에서 활용이 가능하다. 특히 정확도가 높은 3차원 점군 지도를 통해 새로운 형태의 산업을 창출하는데 이바지할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1a 내지 도 1b는 라이다를 이용하여 측정을 수행하고 점군을 중첩할 때 위치 정보의 중요성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 지도 생성 방법을 설명하기 위한 도면이다.
도 3은 한 주기 내에서 라이다가 이동하는 경우에 발생할 수 있는 왜곡을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서 사용될 수 있는 궤적 추정 과정을 설명하기 위한 의사 코드이다.
도 5a는 본 발명의 일 실시예에서 사용될 수 있는 지면 제거 과정을 설명하기 위한 도면이다.
도 5b는 본 발명의 일 실시예에서 사용될 수 있는 군집화 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에서 사용될 수 있는 세그먼트 기반 맵핑 과정을 설명하기 위한 의사 코드이다.
도 7a 내지 도 8b는 본 발명의 일 실시예에 따른 지도 생성 방법의 성능을 종래의 방법과 비교 설명하기 위한 도면이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 지도 생성 장치를 설명하기 위한 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 지도 생성 방법을 설명하기 위한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1a 내지 도 1b는 라이다를 이용하여 측정을 수행하고 점군을 중첩할 때 위치 정보의 중요성을 설명하기 위한 도면이다.

이해의 편의를 돕기 위해 2차원 평면에서 라이다가 반시계 방향으로 360도 회전하면서 펄스 레이저를 외부로 발사하여 주변의 정보를 수집한다고 가정한다. 이러한 측정 과정을 통해 라이다는 현재 자신의 위치를 기준으로 주변의 물체에 대한 정보를 얻을 수 있다. 즉 반사된 펄스 레이저를 이용하여 자신의 위치에서 어느 방향으로 어느 거리에 물체가 있다는 것을 파악할 수 있다.

도 1a를 참고하면 제1 지점(110)에서 측정을 수행하여 제1 점군(210)을 얻고, 다시 이동해서 제2 지점(120)에서 측정을 수행하여 제2 점군(220)을 얻고, 다시 이동해서 제3 지점(130)에서 측정을 수행하여 제3 점군(230)을 얻는 것을 볼 수 있다.

이렇게 각각의 위치에서 측정한 복수의 점군을 누적해서 병합하면 점군으로 구성된 3차원 지도를 얻을 수 있다. 다만, 제1 점군(210)은 제1 지점(110)을 기준으로 한 상대 좌표만 있을 뿐이고, 제2 점군(220)은 제2 지점(120)을 기준으로 한 상대 좌표만 있을 뿐이고, 제3 점군(230)은 제3 지점(130)을 기준으로 한 상대 좌표만 있을 뿐이어서 이를 병합하기 위해서는 제2 점군(220)과 제3 점군(230)을 제1 점군(210)과 동일한 좌표계로 변환시킬 필요가 있다.

이를 위해서는 제2 지점(120)과 제3 지점(130)이 제1 지점(110)을 원점으로 하는 좌표계에서 어느 위치에 있는지를 정확히 알 필요가 있다. 즉, 제1 지점(110)과 제2 지점(120) 및 제3 지점(130)으로 이어지는 라이다의 이동 경로 내지 궤적(Odometry)를 정확히 측정할 필요가 있다.

다만, 종래에는 궤적의 오차로 인해 발생하는 문제점 때문에 정확도를 높이기 위해서 도 1a와 같이 라이다를 지정한 장소에 설치한 후, 일정한 시간 동안 정지된 상태에서 측정을 수행하고 이동하는 방식으로 지도를 생성하였다. 도 1a를 참고하면 제1 지점(110)에서 일정한 시간 동안 측정을 수행한 후, 다시 제2 지점(120)으로 이동해서 측정을 수행하고, 다시 제 3지점(130)을 이동해서 측정을 수행하는 과정을 볼 수 있다.

하지만 이와 같은 지도 작성 방법은 궤적의 오차는 줄일 수 있지만 지도 작성에 소요되는 시간이 많다는 단점이 있다. 이를 해결하기 위해서는 라이다가 이동하면서 측정을 수행하되, 라이다의 위치 정보를 이용하여 이동으로 인해 발생할 수 있는 오차를 최소화 하는 과정이 필요하다.

도 1b를 참고하면 제1 지점(110)에서 제2 지점(120)으로 이동하면서 동시에 측정을 수행하고, 다시 제2 지점(120)에서 제3 지점(130)으로 이동하면서 동시에 측정을 수행하는 과정을 볼 수 있다. 이와 같이 이동하면서 측정을 수행하면 데이터를 수집하는 시간은 단축시킬 수 있지만, 앞서 설명한 것처럼 궤적의 오차로 인해 발생할 수 있는 오차가 도 1a의 경우보다 더 크게 증폭되므로 이를 최소화 하기 위한 과정이 필요하다.

이러한 오차는 이동 중인 라이다의 위치 정보를 이용하여 최소화 할 수 있다. 즉 출발 지점인 제1 지점(110)을 원점으로 두고 제1 지점(110)으로부터 제2 지점(120)의 상대적인 위치 정보, 제1 지점(110)으로부터 제3 지점(130)의 상대적인 위치 정보를 고려하여 이동으로 인한 오차를 상쇄시키고 지도의 정확도를 높일 수 있다.

정리하면, 복수개의 점군을 병합하기 위해서는 라이다의 궤적을 필수적으로 알아야 한다. 다만 라이다의 궤적을 알기 위해서는 라이다의 위치 정보가 필요한데, 위치 정보의 오차는 점군 지도의 정확도에 영향을 미치게 된다. 이러한 영향을 최소화 하기 위해 도 1a와 같이 정지된 상태에서 측정을 수행하고, 다시 이동한 후 정지된 상태에서 측정을 수행하는 방식을 이용할 수도 있지만 이는 지도 작성의 효율성 측면에서 바람직하지 않다.

그래서 도 1b와 같이 이동하면서 측정을 수행할 수 있으나, 이 경우에는 이동하면서 측정을 수행하므로 궤적에 오차가 발생하면 도 1a의 경우에 비해 점군 지도의 정확도에는 더 큰 영향을 미치게 된다. 그러므로 도 1b의 방법으로 지도를 작성할 때에는 라이다의 정확한 궤적을 파악하는 것이 점군 지도 작성에 있어서 무엇보다 중요하다.

이처럼 라이다의 정확한 궤적, 즉 라이다의 정확한 위치 정보가 무엇보다도 중요하다. 하지만, 앞서 살펴본 것처럼 종래에는 3개 이상의 와이파이 발신기로부터 수신되는 신호의 세기를 이용하여 삼각 측량을 통해 위치를 파악하거나 GPS를 이용하여 위치를 파악하는 방법을 이용하였다.

와이파이 발신기를 이용한 방법은 오차가 크고 층간 구분이 어렵다는 단점이 있다. 또한 GPS를 이용한 방법도 오차가 크고 실내에서는 활용이 어렵다는 단점이 있다. 이러한 문제를 해결하기 위해서 본 발명에서는 IMU(Inertial Measurement Unit)를 이용하는 방법을 제안한다.

IMU를 이용하면 라이다의 위치와 자세를 알 수 있다. 예를 들면 IMU는 3축의 자이로 센서와 3방향의 가속도 센서를 포함할 수 있다. 이를 통해 라이다의 각속도 및 가속도를 검출하고 이에 기초하여 라이다의 위치와 자세를 판단할 수 있다. 이하 위치와 자세를 모두 포함하는 정보를 위치 정보라 한다. 자세는 다른 말로 회전을 의미한다.

본 발명에서는 IMU를 이용하여 위치 정보의 정확도를 높임으로써, 최종적으로는 지도의 정확도를 높이는 지도 생성 방법을 제안한다. 이를 통해서 실시간으로 주변 환경 구조를 3차원 점군 지도로 생성할 수 있다. 이에 대해서는 다음의 도 2에서 보다 자세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 지도 생성 방법을 설명하기 위한 도면이다.

도 2를 참고하면 본 발명은 크게 2단계로 구성이 된다. 하나는 궤적 추정(Odometry Estimation) 단계이고 다른 하나는 세그먼트 기반 맵핑(Segment based mapping) 단계이다. 궤적 추정 단계와 세그먼트 기반 맵핑 단계를 통해서 점군 데이터의 왜곡을 보상하고 지도의 정확도를 높일 수 있다.

여기서, 궤적 추정 단계와 관련해서 용어를 살펴보면

는 k 시점에 측정된 점군을 의미하고,

는 한 주기 내에서 왜곡 보정을 거친 k 시점의 점군을 의미한다.

은 k 시간에 구한 특징(선과 면)을 나타낸다.

은 라이다로부터 추정된 궤적이고,

은 IMU로부터 추정된 궤적이며

는 융합된 궤적이다.

도 2를 참고하여 궤적 추정 단계를 살펴보면, 라이다가 측정한 제k 샘플의 한 주기 내의 점군에 대해 왜곡 보정을 수행하고(Distortion Compensation), 왜곡이 보정된 점군에서 특징을 추출한 후(Feature Extraction), 이를 이전 프레임의 특징과 비교하여(Feature Matching), 궤적을 추정한다(Odometry Estimation). 그 후 IMU를 이용하여 측정한 정보와 융합하여(Data Fusion), 추정한 궤적을 보정하고 점군 변환을 수행한다(Point Cloud Transformation).

도 2의 왜곡 보정(Distortion compensation) 단계를 보다 자세히 살펴보기 위해서 도 3을 살펴보자. 도 3은 한 주기 내에서 라이다가 이동하는 경우에 발생할 수 있는 왜곡을 설명하기 위한 도면이다.

도 3을 참고하면 좌측에는 정지 상태의 점군(211)이 도시되어 있고, 우측에는 이동 상태의 점군(212)이 도시되어 있다. 도 3에서 볼 수 있듯이 라이다를 정지시켜놓고 측정을 하면 한 주기 내에서 시작점(Start)과 끝점(End)가 동일하게 되어 왜곡이 발생하지 않는다. 하지만, 라이다가 이동하면서 측정을 하면 라이다가 이동한만큼 한 주기 내에서도 시작점과 끝점이 차이가 발생하게 된다.

즉, 도 1a 내지 도 1b와 같이 복수개의 점군을 병합(=중첩)하기 위해서 라이다의 이동 경로인 궤적이 필요할 뿐 아니라, 한 주기 내에서도 도 3과 같이 왜곡이 발생할 수 있기 때문에 라이다의 이동 경로인 제1-1 지점(111)에서 제1-2 지점(112)까지의 이동 경로가 필요하다.

다시 말하면, 도 3의 좌측의 경우에는 시작점(start)과 끝점(end)이 모두 동일한 원점인 제1 지점(110)을 기준으로 한 좌표계를 사용하므로 왜곡이 없으나, 도 3의 우측의 경우에는 시작점(start)은 제1-1 지점(111)을 원점으로 하는 좌표계이나 끝점(end)는 제1-2 지점(112)을 원점으로 하는 좌표계이기 때문에 한 주기 내에서도 왜곡이 발생하게 된다.

이렇게 한 주기 내에서도 라이다의 이동으로 인해 발생할 수 있는 왜곡을 보상하기 위해서, 우선 IMU로 측정한 값을 이용하여 측정된 점군들을 기준 좌표계로 변환한다. 여기서 기준 좌표계는 라이다가 측정을 시작한 지점의 위치 및 자세를 원점으로 하는 좌표계이다. 도 3의 우측의 예에서는 제1-1 지점(111)을 원점으로 하는 좌표계이다. 이를 위해서 라이다 센서와 IMU 센서가 결합된 측정 장치를 이용하여 지도를 생성한다.

그 다음에는 측정 장치의 자세, 가속도, 각속도를 측정하여 각 점들의 측정 시점에 따른 정확한 점의 위치를 구한다. 즉 시작점(start)부터 끝점(end) 사이의 모든 점에 대해서 정확한 점의 위치를 구한다. 이해의 편의를 돕기 위해 측정 장치가 등가속도 운동을 하는 것으로 가정하면, IMU에서 중력 가속도 성분을 제거한 후, 위치 및 자세를 추정하면 다음의 수학식 1, 2에 따라서 제1-1 지점(111)과 제1-2 지점(112) 사이에서 각 축의 이동 거리와 속도를 계산할 수 있다.

[수학식 1]

[수학식 2]

수학식 1에서는 가속도 a, 속도 v, 위치 s가 3차원으로 정의되어 있고, 수학식 2에서는 속도 v와 가속도 a 사이의 관계, 위치 s와 속도 v 사이의 관계가 정의되어 있다. 수학식 2를 참고하면, 속도 v는 k-1 시점의 속도에 시간 변화량과 가속도를 곱한 값을 더해서 구할 수 있다. 또한 위치 s는 속도 v와 가속도 a 사이의 상관 관계에 의해 구할 수 있다.

IMU 센서는 3축 방향의 가속도 값을 제공하므로 이를 적분하면 속도를 얻을 수 있고 이를 다시 적분하면 도 3에서 제1-1 지점(111)과 제1-2 지점(112) 사이의 이동 경로를 알 수 있다. 이를 통해 제1-2 지점(112)을 원점으로 하는 끝점을 제1-1 지점(111)을 원점으로 하는 좌표계로 변환할 수 있다.

여기서, 라이다는 일정한 주기를 가지고 회전하여 데이터를 측정하기 때문에 측정 데이터의 정확한 위치를 보정하기 위해서는 측정되는 각 점들의 측정 시점을 정확하게 알아야 한다. 측정 장치가 이동하는 경우에는 불규칙한 움직임에서 기인하는 다양한 방향의 가속도, 각가속도가 라이다 측정 주기의 균일성에 영향을 미치게 된다.

1회의 회전으로 측정된 데이터에서 제일 첫번째로 측정된 점은 t초에서 얻어졌고, 마지막으로 얻은 데이터는 t+0.1초에서 얻어졌다고 가정해보자. 즉 0.1초 동안 1회의 측정이 이루어지므로 1초 동안에는 10회의 측정이 가능하다. 이 경우 측정 장치의 라이다 센서의 측정 주기는 10Hz가 된다.

움직임 왜곡 보상 알고리즘은 라이다가 1 회전시 측정된 각 점의 측정 시점의 위치 정보를 알아야 한다. 앞선 예에서는 0.1 초 동안 라이다가 1 회전을 하게 된다. 이때 1 회전시 측정된 각 점의 측정 시점을

라 하고, IMU 센서의 측정 시간을

~

라 가정하자. 만약

의 시간 값이

보다 클 경우 측정되는 점군 데이터는 순차적으로 나열될 수 있다.

그러나 그렇지 않은 경우에는, 즉

의 시간 값이

보다 작을 경우에는 다음의 수학식 3을 통해서 각 시점 k에 대한 비율을 구해서 사용할 수 있다. 즉 비율값을 이용하여 수학식 5에 의한 속도

와 위치

에 따라 연속적인 점군의 범위는 재조정되어 나열될 수 있다.

[수학식 3]

[수학식 4]

[수학식 5]

이렇게 측정 장치가 측정한 점군을 IMU 센서의 측정값을 이용하여 이동에 의한 왜곡을 보정한 후에 궤도를 추정하는 과정을 살펴보면 다음과 같다. i 번째 샘플의 보상된 점군

와 i+1 번째 샘플의 보상된 점군

사이의 궤적을 추정한다. 이를 위해서 각 시점의 특징점을 추출하여 궤적(odometry)을 계산한다.

보다 구체적으로는 곡률(curvature) 기반의 특징점을 이용한다. 먼저,

에 속하는 모든 점들에 대하여, 곡률 값을 계산한다. 곡률 값은 인접 7개 점간의 상대적인 거리에 기반하여 계산되며 선택된 점 왼쪽의 3개의 점과 오른쪽의 점 3개를 이용하여 계산할 수 있다.

해당 점과 인접점들 사이의 평균 거리를 통해서 곡률을 판정하며, 곡률 값이 특정 임계치(threshold) 보다 높을 때에는 모서리로 판단하고, 이보다 낮을 때는 평면으로 판단한다. 그 후, 모서리로 판단됨 점들은

, 평면으로 판단된 점은

집합으로 분류한다.

곡률에 따라 점을 모서리와 평면으로 분류하였으면, 이전 샘플에서 분류된 점들과의 매칭을 통해서 두 샘플 측정 시점의 측정 장치의 6 자유도(DOF, Six degrees of freedom)의 자세 변화를 추정한다. 자세 변화는 강체 변환(rigid body transform)이라고 가정하며, 이를 통하여 i번째 스캔 시점의 측정 장치의 자세

와 i-1 번 째 스캔 시점의 측정 장치의 자세

간의 관계를 다음의 수학식 6과 같이 변환 행렬 간의 곱으로 표현할 수 있다.

[수학식 6]

모서리로 판단된 점들의 집합

에 속하는 점

에 대하여

집합에 속하는 점들 중 가장 가까운 2점을 선택하고 이 두 점을 연결하는 직선을 구성하고, 점

를 그 직선 위에 투영한다.

를 직선 위에 투영된 점이라고 가정하고, i-1번째 측정과 i번째 측정 사이에 발생한 움직임의 회전을

로, 이동을

이라 할 때 다음의 수학식 7의 관계를 만족한다.

[수학식 7]

또한 수학식 7은 다음의 수학식 8과 같이 비선형 방정식으로 정리가 가능하다.

[수학식 8]

모서리로 판단된 점들의 집합

에 속하는 모든 점에 대해서 수학식 8과 같은 형태로 정리가 가능하다. 마찬가지로 평면으로 판단된 점들의 집합

에 속하는 점은 3점을 추출하여 평면을 구축하고, 이 평면에 투영되는 점을 이용하여 수학식 8을 유도할 수 있다. 이렇게 유도된 식을 행마다 쌓아 행렬로 표현된 비선형 방정식을 만들 수 있다. 이는 다음의 수학식 9와 같다.

[수학식 9]

수학식 9를 풀기 위해서 최적화 기법을 적용할 수 있다. 즉

를 최소화하는

,

를 유도할 수 있다. 최적화 기법은 Gradient Descent, Gauss-Newton 등 다양한 방법을 사용할 수 있다. 다만, 본 발명에서는 이해의 편의를 돕기 위해 Levenberg-Marquardt (이하 LM) 기법을 기준으로 설명을 계속하기로 한다.

이를 통해 점군

와 점군

사이의 측정 장치의 이동량을 계산할 수 있다. 이러한 과정을 모든 시점에 대해서 반복하면 측정 장치가 측정을 시작한 시점부터 종료한 시점 사이의 라이다 장치의 이동 궤적을 추정할 수 있다. 즉 도 1b에서 제1 지점(110), 제2 지점(120) 및 제3 지점(130)으로 이루어지는 궤적을 추정할 수 있다. 이러한 과정은 도 2에서 설명한 특징점 비교를 기반으로 한 궤적 추정 과정이다. 이를 의사 코드로 정리하면 도 4와 같다.

도 4는 본 발명의 일 실시예에서 사용될 수 있는 궤적 추정 과정을 설명하기 위한 의사 코드이다.

도 4을 참고하면 i 번째 샘플의 보상된 점군

와 i-1 번째 샘플의 보상된 점군

및 i-1 번째 샘플의 측정 장치의 자세

를 이용하여 i 번째 샘플의 측정 장치의 자세

를 구할 수 있다. 이를 위해서

의 모든 점에 대해서 곡률을 기반으로 모서리와 평면으로 점을 분류한다.

다음으로, 특정 점이 모서리로 분류된 경우에는 i-1 번째 샘플에서 해당 특정 점과 가장 가까운 두 개의 점을 선택하여 선택된 두 개의 점으로 이루어지는 선에 해당 특정 점을 투영하여 수학식 8을 생성하고, 특정 점이 평면으로 분류된 경우에는 i-1 번째 샘플에서 해당 특정 점과 가장 가까운 세 개의 점을 선택하여 선택된 세 개의 점으로 이루어지는 평면에 해당 특정 점을 투영하여 수학식 8을 생성한다.

모든 점에 대해서 유도된 수학식 8을 행렬로 표시하면 수학식 9를 얻을 수 있고 최적화 기법을 적용하여

와

사이의 측정 장치의 움직임을 회전

와 이동

로 표현할 수 있다. 이처럼 특징점을 기반으로 구한 측정 장치의 움직임을 궤적(Odometry)으로 사용하면 도 1b에서 설명한 것처럼 측정 장치가 이동하면서 측정한 복수개의 점군을 중첩하여 3차원 점군 지도를 생성할 수 있다.

물론 앞서 도 3에서 설명한 것과 같이 한 주기 내에서 매우 짧은 시간에 측정 장치의 이동으로 인해 발생할 수 있는 왜곡을 해결하기 위해, IMU가 측정한 값을 이용하여 제1-1 지점(111)에서 제1-2 지점(112) 사이의 이동 경로를 구하는 것을 설명하였다.

마찬가지로 IMU가 측정한 값을 이용하여 도 1b의 이동 경로인 제1 지점(110), 제2 지점(120) 및 제3 지점(130)으로 이루어지는 궤적을 추정할 수도 있다. 다만, IMU가 제공하는 값은 가속도이고 이를 적분해서 이동 거리를 구하게 되므로 경로가 길어지면 길어질수록 적분에 의해 발생하는 오차는 점차 커지게 된다. 그러므로 도 3과 같이 한 주기 내에서의 이동 경로는 IMU의 측정값을 이용해서 구해도 무방하지만 도 1b과 같이 전체 측정 과정에서의 이동 경로는 IMU의 측정값을 이용해서 구하면 오차가 커지게 된다.

종래에도 GPS를 이용해서 라이다 장치의 위치를 파악하는 경우 오차가 발생할 수 있는 문제점을 해결하기 위해 GPS 외에 추가적으로 IMU를 이용하여 지도를 작성하기도 하였다. 다만, 앞서 설명한 것처럼 IMU를 이용하면 측정 장치의 직접적인 위치가 아닌 가속도를 얻을 수 있고, 가속도를 적분해서 위치를 얻는 것이므로 이동 경로가 길어지면 길어질수록 오차가 커질 가능성이 있다.

이에 본 발명에서는 IMU 센서값은 도 3의 경우와 같이 한 주기 내에서 발생하는 왜곡을 보정하기 위한 짧은 시간 동안의 이동 경로를 산출하는 경우에만 사용하고, 도 1b와 같이 전체 측정 과정에서 긴 시간 동안의 이동 경로를 산출하는 경우에는 각 샘플의 특징점을 비교해서 이동 경로를 산출한다. 이를 통해서 궤적의 정확도를 높일 수 있다.

또한, 특징점을 비교해서 추정한 궤적에 IMU를 이용해서 추정한 궤적을 병합해서 사용할 수도 있다. 이는 도 2의 Data Funsion 단계이다. 특징점을 비교해서 추정한 궤적에 IMU를 이용해서 추정한 궤적을 병합하기 위해서 가중치에 기반한 산술 연산을 수행할 수 있다.

즉, 특징점을 비교해서 추정한 궤적

에 w의 가중치를 곱하고, IMU를 이용해서 추정한 궤적

에 (1-w)의 가중치를 곱해서 이를 더한 값으로 융합된 궤적

를 얻을 수 있다. 물론 이러한 가중치 연산 외에도 다양한 산술 연산을 통해서 궤적

와 궤적

을 융합하여 궤적

를 얻을 수 있다.

이때 가중치 w는 센서의 정확도에 기초해서 정할 수 있다. 예를 들면 라이다 센서의 정확도가 IMU 센서의 정확도가 더 높은 경우에는 특징점을 비교해서 추정한 궤적

의 가중치를 높게 설정하고, IMU를 이용해서 추정한 궤적

의 가중치를 낮게 설정할 수 있다.

이렇게 모든 측정 시점에 대해서 구한 측정 장치의 궤적은 측정 장치의 회전 및 이동 행렬로 표현할 수 있다. 이를 통해 앞서 도 1a에서 설명한 것처럼 모든 점군을 동일한 좌표계로 변환할 수 있다. 즉 각 시점의 점군을 궤적 추정 단계에서 얻어진 측정 장치의 상대적인 위치 및 회전을 활용하여 다음의 수학식 10과 같이 변환할 수 있다.

[수학식 10]

여기서 P는 3차원 라이다로 측정한 점군이며, R는 추정된 측정 장치의 회전 행렬이고, T는 추정된 측정 장치의 이동 행렬을 의미한다. 측정 장치의 궤적을 추정하고 추정한 궤적의 위치 정보, 즉 회전 행렬과 이동 행렬을 이용하면 각 시점에 얻은 점군을 맨 처음 측정을 시작한 측정 장치의 위치를 원점으로 하는 표준 좌표계로 변환 시킨 후 중첩시켜서 지도를 생성할 수 있다.

다만, 이렇게 변환된 점군을 누적하여 3차원 지도를 생성하는 것은 비효율적이며 정확도가 떨어지게 된다. 이는 IMU 센서의 오차, 라이다의 오차 등에 기인한 것으로 정확도를 보다 높이기 위해서는 점군을 누적시키는 과정에서 추가적인 과정이 필요하다. 이는 도 2의 세그먼트 기반 맵핑 과정이다.

여기서, 세그먼트 기반 맵핑 단계와 관련해서 용어를 살펴보면

는 추정된 궤적을 통해 변환된 점군이고,

는 지면이 제거된 점군의 집합이다.

는 군집화 된 그룹을 나타내며,

는 각 그룹의 특징들의 집합이다.

는 기존 3차원 지도에 저장되어 있던 특징들의 집합을 나타낸다. 마지막으로

는 k번째 샘플까지 누적된 3차원 지도를 의미한다.

도 2를 참고하여 세그먼트 기반 맵핑 단계를 살펴보면, 변형된 점군에 대해 지면을 제거하고(Ground Removal), 유클리드 세그먼테이션을 수행하고(Euclidean Segmentation), 특징을 이전 3차원 지도의 특징과 비교하고(Feature Matching), 점군을 누적하여 3차원 지도를 생성한다(Target 3D Map). 이 과정에서 기하학적 기반으로 검증 과정을 수행하여 정확도를 더욱 높인다(Geometric Verification).

즉 점군 데이터를 군집화 및 객체화시킨 뒤 같은 객체로 분류된 점군 데이터가 매 측정 샘플에서 어떻게 이동하는지를 분석하여 측정 장치의 움직임을 정확히 예측하고 이를 이용하여 지도를 생성한다. 이는 앞서 궤적 추정 단계에서 추정한 궤적을 보다 정밀하게 추정하는 것을 의미한다. 우선 그 전처리 단계로 점군에서 지면을 제거한다.

지면을 제거하는 단계는 매 프레임 측정되는 점군에서 땅에 해당하는 데이터를 제거하는 것을 말한다. 이는 연산 속도를 높이는 한편 3차원 지도의 정확도를 높이는 효과가 있다. 이를 위해 라이다와 결합된 IMU 센서에서 얻어지는 자세각 값을 이용하여 측정된 점군의 z축을 지구의 중력 가속도 방향과 일치 시킨다.

그 뒤, z 축 부분에 수직 벡터를 가지는 평면 모델을 이용하여 측정된 점군 데이터 중 땅에 해당하는 부분과 점의 개수가 가장 많이 포함되도록 하는 계수를 찾아낸다. 그 뒤 해당 평면 모델로부터 특정 임계치 내에 존재하는 점을 선택하여, 해당 선택된 점군들을 땅으로 가정하고 로 데이터(raw data) 내에서 제거한다.

또는 각도의 변화량을 기준으로 지면을 제거할 수 있다. 이를 보다 자세히 살펴보면, 우선 점군 데이터를 2D range image로 변환한다. 이때 변환된 range image는 다음의 수학식 11과 같이 2D ange image로 변환될 수 있다.

[수학식 11]

여기서

은 range image에서 (r, c)위치에서의 값이며,

는 angle image를 나타낸다.

는 range image에서 r번째 행에 해당하는 레이저 빔의 수직 각도를 의미하며,

는 range image에서 r-1번째 행에 해당하는 레이저 빔의 수직 각도를 나타낸다.

생성된 angle image는 주변 점과의 각도 변화량에 대한 정보를 포함하고 있다. 즉 angle image에서 제일 하단의 한 점을 시작으로, 주변 픽셀과의 각도 변화가 적으면 지면으로 판단하는 Breadth-first search (BFS) 방법을 이용하여 지면에 해당하는 점들을 추출하여 제거할 수 있다.

이러한 과정을 통해서 제거된 지면은 도 5a에 도시되어 있다. 도 5a는 본 발명의 일 실시예에서 사용될 수 있는 지면 제거 과정을 설명하기 위한 도면이다. 도 5a를 참고하면 중앙에 빨간점으로 표시된 영역들이 지면으로 판단되어 제거된 부분이다. 이렇게 지면을 제거하고 점군을 누적시키면 계산량 및 정확도에서 이득을 얻을 수 있다.

전처리 과정에서 땅에서 얻어진 데이터를 제거한 뒤 데이터 중에 매칭에 참조 요소로 쓸 잠재적 후보군 (potential candidate)을 뽑는 과정을 수행한다. 이 때 군집화 기법을 이용하는데 여기서는 유클리디안 거리 클러스터링 방법을 적용할 수 있다. 이는 다른 말로 유클리디안 세그멘테이션이라고 한다.

이는 측정된 점을 KdTree 형태로 구성한 뒤, 무작위로 선택된 점 주변의 일정 임계치 거리 값 이내에 있는 점들을 같은 군집에 속하는 것으로 판단하는 방법이다. 하나의 객체에서 얻어진 점군 들은 대체로 모여 있기 때문에 이와 같은 방법에 기반하여 점을 군집화 하게 되면 각 객체 단위 별로 물체가 군집화가 수행된다.

이때 점군에 포함된 모든 점에 대해서 군집화를 수행하는 것이 아니라 현재 라이다의 위치를 기준으로 특정 반지름(R)에 존재하는 점군들만 군집화를 수행할 수 있다. 이는 라이다의 특성상, 멀리 위치한 물체들은 점의 수가 적기 때문에 밀도가 낮아 군집화가 어렵기 때문이다.

라이다로부터 일정한 거리 이내에 있는 점군들에 대해서 노이즈를 제거하고 효율적인 데이터 저장을 위해서 Voxel Grid 좌표계로 변환을 수행한다. Voxel 좌표계로 변환된 점군들에 대해서, 유클리드 클러스터링과 region growing segmentation을 적용한다. 이를 통해 라이다로부터 일정한 거리 내에 있는 점들을 군집화할 수 있다.

도 5b를 참고하면 군집화를 수행한 후의 결과를 볼 수 있다. 도 5b는 본 발명의 일 실시예에서 사용될 수 있는 군집화 과정을 설명하기 위한 도면이다. 동일한 객체로 판단이 된 점군들은 동일한 색상으로 도시하였다. 여기서 객체는 실제 존재하는 사물 형상과 같을 수도 있지만, 측정 원리 상 사물 형상과는 다르지만 군집되어 측정된 데이터들 모두 객체화 시킨다.

예를 들면 실제 서로 분리된 물체가 밀착해서 존재하는 경우에, 도 5b의 예에서는 하나의 군집으로 객체화 될 수 있다. 그 후, 군집화 된 물체가 어떤 물체인지 알기 위하여 특징을 추출한다. 여기서, 특징은 다양한 것들을 사용할 수 있으나 고유값(eigenvalue) 기반의 특징을 사용할 수 있다. 고유값 기반의 특징은 다음의 수학식 12와 같이 8개로 이루어져 있다.

[수학식 12]

여기서 e1, e2, e3는 3차원 구조에서 정규화된 고유값들을 의미한다. 이를 통해 각 군집 별로 데이터가 어떻게 분포되어 있는지를 수치화 할 수 있다. 연속되어 측정되는 데이터 들은 전체적인 점군 분포가 비슷하기 때문에 이와 같은 방법으로 특징을 추출하여 이전 샘플의 군집화된 점군과 비교하면 특정 객체가 얼마나 이동하였는지를 알 수 있다.

연속된 두 번의 라이다 측정에 대해 위의 지면 제거, 객체 추출, 특징 계산 과정을 수행한 뒤 기존 객체 별로 매칭 과정을 수행한다. 이를 통해 두 샘플에서 추출된 객체 군집이 어떻게 대응되는지를 알 수 있다. 그 뒤 대응되는 점들이 두 샘플 내에서 어떻게 이동하였는지를 계산하여 전체적인 라이다의 이동에 대한 강체 변환을 계산할 수 있다.

앞선 궤적 추정 단계에서는 제2 샘플의 모든 점에 대해서 이전 샘플인 제1 샘플과 비교하여 궤적을 추정하였다면, 세그먼트 기반 맵핑 당계에서는 제2 샘플에서 군집화 된 점군과 제1 샘플에서 군집화 된 점군을 비교하여 측정 장치의 궤적을 추정한다. 이를 통해 궤적 추정 단계에서 추정한 궤적의 정확도를 높일 수 있다.

이는 군집화 된 점군이 나타내는 객체가 실제로는 움직이지 않고 고정되어 있다는 가정하에서만 가능하다. 물론 실제로는 측정 장치 외에도 움직이는 사물이 존재하나 건물 등 주변 환경은 고정되어 있는 물체들이 훨씬 많기 때문에 군집화 된 점군을 기반으로 궤적을 추정해도 정확도가 높다. 그리고 후술하겠지만 일부 매칭된 쌍 중에서 이상치(outlier)에 해당하는 쌍은 궤적 추정에서 제외를 하므로 정확도는 더욱 높아지게 된다.

추정된 궤적을 이용하여 변환된 현재 점군을 정밀하게 기존 3차원 지도에 붙이기 위해서 현재 점군에서 추출한 특징과 기존 3차원 지도에 저장된 특징들을 비교하여 매칭을 수행한다. 이때 비교를 효과적으로 수행하기 위해서 K-D Tree 탐색 방법을 이용할 수 있다. K-D Tree 탐색 방법에 의해 정렬된 매칭 후보 쌍들을 SVM 분류기의 입력으로 사용한다. SVM 분류기는 각 특징들을 비교하여, 각 특징의 차이의 합이 가장 작은 후보들을 우선적으로 매칭되었다고 판단한다.

마지막으로 잘못 매칭된 그룹들을 찾아내고, 이를 반영하기 위하여 random sample consensus (RANSAC)을 이용하여 이상치(outlier)에 해당하는 매칭 쌍들을 제거한다. 만약 N개의 매칭 쌍 중 M개의 매칭이 이상치(outlier)로 판단되면, 제대로 매칭된 (N-M)개의 매칭 쌍들을 이용하여 새롭게 6 자유도의 변환 행렬을 새로 추정한다. 이 과정에서 앞서 설명한 것처럼 고정되지 않은 객체들의 매칭된 쌍은 제외된다. 추정된 변환 행렬을 이용하여 현재 점군을 변환한 후, 기존 3차원 지도에 붙여 합친다. 이를 매 프레임 반복하여, 3차원 지도를 계속적으로 확장해나가면서 갱신할 수 있다.

도 6은 본 발명의 일 실시예에서 사용될 수 있는 세그먼트 기반 맵핑 과정을 설명하기 위한 의사 코드이다.

이상으로 설명한 세그먼트 기반의 지도 맵핑 과정을 의사 코드로 표현하면 도 6과 같다. 도 6을 참고하면, angle image를 통해서 각도의 변화량이 작은 점들을 지면으로 간주하여 제거하고, 지면이 아닌 점들에 대해서 유클리디안 클러스터링을 수행한 후 region growing segmentation을 수행한다. 다음으로 고유값 기반의 특징을 비교하여 점군을 기존의 3차원 지도에 누적해 나간다.

이와 같은 본 발명에서 제안하는 지도 생성 방법 이용하면 단거리 및 중거리에서 측정된 점들의 위치 변화를 고려하여 라이다의 이동량을 정밀하게 얻을 수 있기 때문에, 고정밀 GPS 기반의 지도 생성 방법을 이용하는 경우와 유사한 정밀도를 확보하면서 실내외에서 자유롭게 3차원 점군 지도를 생성할 수 있다.

즉 IMU 측정값을 이용하여 궤적을 추정할 수 있지만 가속도라는 특성으로 인해 이동 거리가 길어지면 길어질수록 오차가 증폭되는 경향이 있으므로, 본 발명에서는 IMU의 측정값은 도 3의 경우와 같이 한 주기라는 짧은 시간 동안의 왜곡을 보상하는데 사용하고, 실제 측정 장치의 궤적은 점군을 비교하여 추정한다. 이를 통해 IMU 측정값을 이용하여 궤적을 추정하거나 GPS를 이용하여 궤적을 추정하는 종래의 방법에 비해 궤적의 정확도를 높일 수 있다.

뿐만 아니라 계산된 객체 군의 전체 맵 좌표계 기준의 위치와 각 객체 별 특징도를 저장하기 때문에, 이를 이용하여 루프 결합(Loop closure)을 수행할 수 있다. 이를 통해 장거리 측정에서 발생하는 드리프트(drift)에 의한 효과를 줄일 수 있어서 장거리 측정에서도 정밀도의 보장이 가능하다.

즉, 본 발명에서는 3차원 지도를 확장시키기 위해서 3차원 지도 내의 점군을 군집화를 통해 객체로 구분하므로, 측정 장치를 이용하여 측정을 시작한 맨 처음 출발점과 측정을 종료한 도착점이 같은 경우 루프 결합을 통해 출발점에서 얻은 점군와 도착점에서 얻은 점군에서 인식된 각각의 객체를 매칭하여 이동 거리가 길어지면 길어질수록 증폭되는 효과가 있는 오차를 줄일 수 있다.

도 7a 내지 도 8b는 본 발명의 일 실시예에 따른 지도 생성 방법의 성능을 종래의 방법과 비교 설명하기 위한 도면이다.

도 7a와 도 8a를 참고하면 본 발명에서 제안하는 지도 생성 방법을 적용한 경우의 3차원 지도를 볼 수 있다. 이에 비해 도 7b와 도 8b를 참고하면 종래의 GPS 기반으로 생성한 3차원 지도를 볼 수 있다. 특히 도 8a와 도 8b의 빨간색 네모 영역의 점군을 살펴보면 본 발명에서 제안하는 방법이 오차가 더 적은 형태로 점군들이 누적된 것을 볼 수 있다.

도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 지도 생성 장치를 설명하기 위한 도면이다.

도 9a를 참고하면 라이다 센서와 IMU 센서 및 이를 제어하기 위한 회로가 도시된 것을 볼 수 있다. 또한 도 9b 및 도 9c를 참고하면 데이터를 주고 받기 위한 입출력 포트가 도시된 것을 볼 수 있다. 이렇게 구성된 측정 장치를 차량의 상부에 부착하고 이동하거나, 실내에서 사람 또는 로봇을 통해 이동시키면서 점군을 측정하여 3차원 지도를 생성할 수 있다.

도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 지도 생성 방법을 설명하기 위한 순서도이다.

도 10a를 참고하면, 우선 라이다 센서로 점군을 수집하고, 점군에 속한 각 점에 대해서 해당 점을 측정할 당시의 IMU 센서값 수집한다(S1100). 다음으로 IMU의 센서값을 이용하여 점군에 속한 각 점을 기준 좌표계로 변환한다(S1200). 여기서 기준 좌표계란 한 주기 내에서 라이다 장치가 측정을 시작한 처음 위치 및 자세를 기준으로 하는 좌표계이다.

이렇게 점군을 기준 좌표계로 변환하기 위해서 IMU 센서가 측정한 가속도를 이용하여 변위를 산출하고 이를 반영하여 왜곡을 보상한다. 이를 통해 라이다가 측정 중에 이동을 하더라도, 한 주기 내에서 라이다의 이동으로 인해 발생하는 왜곡을 상쇄시킬 수 있다. 이때 IMU 센서값의 측정 주기와 라이다 장치의 측정 주기가 서로 맞지 않는 경우에는 비율을 구해서 왜곡을 보상할 수 있다.

다음으로 점군의 특징점에 기반하여 라이다의 이동 경로, 즉 궤적을 추정한다(S1300). 이 과정에서 IMU의 센서값을 이용하여 궤적의 정확도를 높일 수 있다. 보다 자세하게는 라이다가 제1 샘플의 점군과 제2 샘플의 점군의 특징을 비교하여 궤적을 추정한다(S1310). 여기서 제1 샘플의 점군이란, 라이다가 1회 회전을 하면서 전방향에 대해 정보를 수집하므로, 1회의 측정으로 수집한 점군을 의미하며 다른 말로 제1 프레임의 점군이라고도 할 수 있다.

제1 샘플의 점군과 제2 샘플의 점군의 특징을 비교하는 과정은 해당 샘플에 포함된 전체의 점군을 비교하는 것이므로, 비교의 편의를 위해서 우선 점군을 모서리에 해당하는 점군과 평면에 해당하는 점군으로 구분을 한다.

제2 샘플의 모서리에 해당하는 점은 제1 샘플의 점군에서 가장 가까운 두 개의 점을 선택하여 만들어진 선에 투영하여 제1 샘플의 점군에서 제2 샘플의 모서리에 해당하는 점이 나올 수 있는 이동 행렬 및 회전 행렬에 관한 식을 유도한다.

마찬가지로 제2 샘플의 평면에 해당하는 점은 제1 샘플의 점군에서 가장 가까운 세 개의 점을 선택하여 만들어진 평면에 투영하여 제1 샘플의 점군에서 제2 샘플의 평면에 해당하는 점이 나올 수 있는 이동 행렬 및 회전 행렬에 관한 식을 유도한다.

제2 샘플에 속하는 모든 점에 대해서 비선형 방정식을 유도하고 최적화 기법을 통해 제1 샘플의 점들이 제2 샘플의 점에 대응되기 위한 이동 행렬 및 회전 행렬을 구하면 이를 통해서 제1 샘플을 측정할 당시의 측정 장치의 위치와 제2 샘플을 측정할 당시의 측정 장치의 위치의 차이인 이동 경로, 즉 궤적을 추정할 수 있다.

물론 궤적은 라이다와 결합된 IMU 센서값을 통해서도 추정을 할 수 있으나, 점군의 특징점 비교를 기반으로 추정하는 것이 보다 정확도를 높일 수 있기 때문에 이와 같이 궤적을 추정하고 IMU 센서값은 이를 보완하는 용도로 추정한 점군의 정확도를 높이는데 활용한다(S1320).

마지막으로 궤적 추정 과정에서 구한 회전 행렬 R과 이동 행렬 T를 이용하여 점군 변환을 수행하여 제1 샘플의 점군과 제2 샘플의 점군을 동일한 표준 좌표계로 통일한다. 이를 통해 제1 샘플의 점군과 제2 샘플의 점군을 누적하기 위한 준비를 마치게 된다(S1330).

물론 변환된 점군을 그대로 누적하는 것만으로도 어느 정도 정확도가 높은 3차원 지도를 생성할 수 있으나, 보다 정확도를 높이기 위해서 각 샘플의 객체를 식별하고, 식별된 객체를 기준으로 3차원 지도를 만들기로 한다. 이는 세그먼트 기반의 매칭 과정이다(S1400).

세그먼트 기반의 매칭을 수행하기 위해서 우선 전처리로 지면을 제거한다(S1410). 지면을 제거하는 과정은 중력 가속도 방향에 수직인 점을 가장 많이 포함하고 있는 평면을 지면으로 판단해서 제거하거나, 점군을 angle image로 변환한 후, 주변 점과 비교해서 각의 변화량이 적은 점을 지면으로 판단해서 제거할 수 있다.

다음으로 라이다에서 기 설정된 거리 이내의 점군들에 대해서 다른 점과의 거리에 기초하여 군집화를 수행한다(S1420). 이는 유클리디안 세그멘테이션에 해당한다. 다음으로 제1 샘플의 군집과 제2 샘플의 군집의 특징점을 비교하여 매칭을 수행한다(S1430). 매칭된 군집이 대응되도록 제1 샘플과 제2 샘플을 중첩시키면 점군으로 만들어진 3차원 지도를 확장시켜나갈 수 있다(S1450).

이 과정에서 기하학적 구조 검증을 수행할 수 있다(S1450). 기하학적 구조 검증 과정은 제1 샘플의 군집과 제2 샘플의 군집을 매칭하는 과정에서 매칭된 쌍들에 대해 RANSAC를 적용하여 이상치를 제거하고, 가장 많은 매칭 쌍에 의해 지지되는 변환 행렬을 구한다. 그 후 변환 행렬을 통해 제2 샘플의 점군을 변환하여 제1 샘플의 점군에 병합한다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (4)

1. 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계;
   상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및
   상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하는,
   상기 궤적(Odometry)을 추정하는 단계는,
   상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및
   상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함하는,
   [수학식 9]
   

   

   
   여기서,

   

   는 상기 궤적의 회전 행렬이고,

   

   는 상기 궤적의 이동 행렬이며,
   상기 점군 지도를 생성하는 단계는,
   상기 제2 점군에서 지면에 해당하는 점군은 제거하는 단계를 포함하는,
   점군을 포함하는 라이다 지도 생성 방법
2. 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계;
   상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및
   상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하는,
   상기 궤적(Odometry)을 추정하는 단계는,
   상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및
   상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함하는,
   [수학식 9]
   

   

   
   여기서,

   

   는 상기 궤적의 회전 행렬이고,

   

   는 상기 궤적의 이동 행렬이며,
   상기 점군 지도를 생성하는 단계는,
   상기 제2 지점으로부터 기 설정된 반경 이내에 해당하는 점은 유클리디안 거리 기반의 클러스터링을 수행하여 군집화 하는 단계를 포함하는,
   점군을 포함하는 라이다 지도 생성 방법.
   
3. 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계;
   상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및
   상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하는,
   상기 궤적(Odometry)을 추정하는 단계는,
   상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및
   상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함하는,
   [수학식 9]
   

   

   
   여기서,

   

   는 상기 궤적의 회전 행렬이고,

   

   는 상기 궤적의 이동 행렬이며,
   상기 점군 지도를 생성하는 단계는,
   상기 제1 점군의 군집과 상기 제2 점군의 군집을 매칭한 쌍들에 대해 RANSAC를 적용하여 이상치를 제거하고, 가장 많은 매칭 쌍에 의해 지지되는 변환 행렬을 구하는 단계를 포함하는,
   점군을 포함하는 라이다 지도 생성 방법.
   
4. 제3항에 있어서,
   상기 변환 행렬을 구하는 단계는,
   상기 변환 행렬을 이용하여 상기 제2 점군을 변환하고, 상기 변환된 제2 점군을 상기 제1 점군에 누적하는 단계를 포함하는,
   점군을 포함하는 라이다 지도 생성 방법.

Images