KR20180004151A - 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 - Google Patents

Abstract

실시간 맵핑, 로컬리제이션 및/또는 변화 분석에 사용 가능한 3D 참조 맵을 구성하기 위한 방법, 여기서 상기 3D 참조 맵은 모바일 레이저 범위 스캐너에 기초한 3D SLAM(동시 로컬리제이션 및 맵핑, Simultaneous Localization and Mapping) 프레임워크를 사용하여 구축되며, 상기 방법들을 구현하기 위한 모바일 레이저 스캐닝 장치뿐만 아니라, 특히 GPS-거부 환경에서의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법.

Description

실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법

본 발명은 일반적으로, 특히, 실내와 같은, GPS-거부 환경들(GPS-denied environments)에서의 로컬리제이션(localization) 및 맵핑(mapping)에 관한 것이다.

로컬리제이션 또는 맵핑과 같은 목적을 위한 획득 환경들을 허용하기 위해 다른 솔루션들이 설명되거나 상업적으로 이용 가능하다. 다른 접근 방식들은 다른 솔루션들을 제시한다.

이들 중, 다수의 상업적 및 프로토타입 실내 네비게이션 시스템들은 관성 센서들(예를 들어: DLR의 풋SLAM(FootSLAM), 치란지 지리 실내 추적(Chirange Geospatial Indoor Tracking))을 기반으로 한다. 그것들은 작고 저렴하지만, 위치 정확성이 낮고 시간이 지남에 따라 크게 드리프트한다(drifts). 또한, 관성 시스템은 맵 정보를 생성하지 않는다. 따라서, 그것들은 맵 생성이 아닌 위치 및 네비게이션에만 적합하다.

다른 실내 포지셔닝 시스템들(indoor positioning systems)은 실외 환경들에서의 GPS 신호들과 유사하게 - 무선 신호들의 송신에 기초한다. 일부 시스템은 기존 인프라(infrastructure)(예를 들어, 공항들의 와이파이 네트워크(WiFi networks), 내비존(Navizon))를 사용하고, 다른 것들은 전용 인프라(예를 들어, 넥스트내브(NextNav), 시니온랩(SenionLab))의 설치가 필요하다. 시스템들은 사실상 센서 비용이 없지만(클라이언트 애플리케이션(client application)은 전용 소프트웨어 애플리케이션과 함께 스마트 폰(smart phone)을 사용함), 그것들은 무선 신호를 내보내는(emitting) 네트워크 인프라를 요구한다. 또한, 그것들은 맵 정보를 생성하지 않는다. 따라서, 그것들은 맵 생성이 아닌 포지셔닝 및 내비게이션에만 적합하다.

더 흥미로운 제품은 3D 스캐닝을 사용한다. ZEB1은 고속 (실내) 맵핑(fast (indoor) mapping)을 위해 3D 레이저 스캐닝(3D laser scanning)을 사용하는 상업적 제품이다. 레이저는 스프링에 장착되며 진동 운동(oscillating movement)은 손에 의해 창조되는(created) 것이 필요하다. 그것은 실내 환경의 정확한 3D 모델을 생성한다. 그러나, 시스템은 데이터 처리가 오프-라인(off-line)으로 수행되기 때문에 사용자에게 즉각적인 피드백을 제공하지 않는다. 따라서, 시스템은 맵핑에는 적합하지만 실시간 로칼리제이션에는 적합하지 않다.

또 다른 솔루션은 UC 버클리(UC Berkley)에서 개발된 레이저 백팩(laser backpack)이다. 그것은 실내 환경들의 3D 모델을 생성하는데 사용되는 여러 2D 라인 스캐너들(2D line scanners)을 갖춘 백팩을 제안하는 R&D 프로젝트이다. 다시 말해, 그것은 온라인 시각화(on-line visualization)를 제공하지 않는다.

마지막 솔루션은 LOAM(Lidar Odometry and Mapping)이라 불리며, 실시간 로칼리제이션 및 맵핑을 위해 레이저 스캐닝 및 비디오 이미지를 결합하는 관련 알고리즘들을 구비한 휴대용 센서로 구성된다.

거의 모든 이들 솔루션들은 실시간/온라인 시각화가 결여되어 있으며, 더 중요한 것은 그것들은 획득 및 처리 단계들에서 직접적인 사용자 인터랙션을 허용하지 않는다는 것이다.

본 발명의 목표는, 특히 GPS-거부 환경에서 실시간 획득, 맵핑 및 로컬리제이션을 허용 할뿐만 아니라, 사용자 인터랙션을 위해 가능성 및 실시간 시각화를 제공하는 시스템, 장치 및 방법을 제공하는 것이다. 또한, 본 발명은 현재 획득된 데이터와 이전에 획득된 맵들의 실시간 비교 또한 제공할 수 있어야 한다. 이렇게 하면 마지막 맵핑 이후에 발생한 차이들이나 변화들을 식별하는 것을 허용할 것이다. 이러한 변화들 또는 차이들의 온라인 식별은 보안 점검, 토목 건설, 비상 사태 또는 재난 관리와 같은 애플리케이션들에 큰 이득이 될 수 있다.

상기 목표를 달성하기 위해, 본 발명은, 제1 측면에 있어서, 실시간 맵핑, 로컬리제이션 및/또는 변화 분석(을 위한 방법)에서의 사용 가능한 환경의 3D 참조 맵을 구성하기 위한 방법을 제안하며, 다음 단계들을 포함한다:

(a) 적어도 초 당 5 프레임(즉, 5 포인트 클라우드들), 바람직하게는 적어도 10 프레임의 속도로 모바일 실시간 레이저 범위 스캐너(mobile real-time laser range scanne)를 구비하여 상기 환경의 (3D) 스캐너 데이터((3D) scanner data)를 획득하는 단계,

(b) 상기 레이저 범위 스캐너의 복수의 포즈들의 각각에 대한 상기 (3D) 스캐너 데이터를 사용하여, 맵 표현(map presentation)을 구성하는 단계, 각 포즈(pose)는 상기 스캐너 데이터에 의해 정의된 관련된 포인트 클라우드(associated point cloud)를 갖고, 상기 맵 표현은 큰 영역들에 걸친 확장성(scalability over large areas), 고속 최근접 이웃 서치(fast nearest neighbor search) 및 일정한 시간에 그곳에 랜덤 샘플 액세스를 위해 구성되는 데이터 구조(data structure configured for random sample access thereto in constant time)를 갖음, 및

(c) 3D 동시 로컬리제이션 및 맵핑(3D Simultaneous Localization And Mapping)(3D SLAM) 프레임워크를 사용하여 상기 환경에 대한 상기 3D 참조 맵을, 상기 맵 표현을 사용하여, 구축하는 단계, 상기 구축하는 단계는 다음을 포함함,

(i) 주행 기록계 모듈(odometer module)을 사용하여, 로컬 맵 표현에 (마지막) 포인트 클라우드의 등록에 기초하여 각 포인트에 대한 상기 레이저 범위 스캐너의 현재 포즈를 추정하는 단계,

(ii) 로컬 궤적 최적화 모듈(local trajectory optimization module)을 사용하여, 상기 로컬 맵 표현에서의 상기 드리프트(drift)를 최소화하기 위하여 포인트 클라우드들의 (서브)세트의 상기 궤적을 다듬는(refining) 단계, 및

(iii) 상기 3D 참조 맵을 형성함으로써, 루프 폐쇄들(loop closures)을 이용하여(고려하여) 상기 환경의 전체 맵을 재구성함으로써 글로벌 궤적 최적화를 오프라인 수행하는 단계.

본 발명은 상기 로컬 궤적 최적화 모듈은 상기 마지막 등록된 세트까지 구축된 맵에 대하여 포즈들의 세트 및 그것의 관련된 포인트 클라우드들(their associated point clouds)에 의해 구성된 궤적 프레그먼트(trajectory fragment)를 최적화하는 로컬 윈도우 메커니즘(local window mechanism)을 포함하고, 여기서 포인트들은 바람직하게는

그룹에서 포즈 보간(pose interpolation)을 사용하여 세계 좌표들(world coordinates)로 변환되고, 반복적인 최근접 포인트 방법의 정규화는 바람직하게는 모든 상기 포인트들을 상기 맵에 더 잘 정렬시키는 상기 궤적을 발견하는데 사용됨; 상기 로컬 윈도우 메커니즘은, 상기 리스트에서의 제1 및 마지막 포즈 사이의 상기 거리가 임계값 보다 더 클 때, 클라우드 포즈들이 최적화되고 새로운 리스트가 상기 다듬어진 포즈(refined pose) 및 상기 입력 클라우드들(input clouds)과 함께 생산되도록 연산하는(operates), 이러한 방법과 더 관련한다.

특히 바람직한 실시예에 있어서, 상기 데이터 구조는 3D 포인트들을 네이티브하게(natively) 다루도록(handle) 설정되고, 상기 맵 표현에서 특징들의 (컴팩트 조밀) 리스트((compact dense) list)를 인덱스하는데 사용되는 희소 복셀라이즈드 구조(sparse voxelized structure)에 의해 구성된 하이브리드 구조(hybrid structure)에 기초하며, 상기 탐색된 공간에 대한 확장성으로 상기 데이터의 맵 크기 및 효율적인 저장으로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스(constant time random access)를 허용한다.

여전히 더 바람직한 실시예에 있어서, 상기 데이터 구조는 저장된 상기 데이터의 다섯 가지의 다른 표현들을 유지하여, 각각의 맵 업데이트 후에 내부 데이터 표현들 사이의 일관성(consistency)을 부여할 수 있으며, 상기 다섯 가지의 표현들은

(i) 특징들의 (컴팩트 및 조밀) 리스트((compact and dense) list of features)

및 각 요소

인, 상기 마지막 요소에 대한 인덱스

는, 세계 좌표들에서의 위치 및 법선 단위 벡터, 바람직하게는 추가 정보와 같은, 상기 맵에서의 특징에 관련된 모든 상기 정보를 포함하고,

(ii) 각 요소

인, (컴팩트 및 조밀) 유효 마스크((compact and dense) validity mask)

는,

을 보장하는, 그것의 대응하는 샘플(its corresponding sample)

이 유효한지 아닌지를 나타내는 부울 값(boolean value)이고,

(iii) 각 요소

인, 구멍들의 리스트(list of holes)

는

이 유효하지 않아서,

임을 나타내고,

(iv) 각 셀

에 저장하는, 파라미터화 가능한 셀 크기(parametrizable cell size)로 구축되는, 희소 복셀 표현

,

에서의 그것의 대응하는 특징(its corresponding feature)의 인덱스, 여기서,

에서의 셀들 및

에서의 특징들은 상기

의 셀 크기 및 상기

의 위치에 기초한, 일대일 방식(one-to-one manner)으로 관련되며, 및

(v) kd-트리(kd-tree)

는 상기 맵에서 최근접 이웃 서치들(nearest neighbor searches)을 수행하는데 사용되고, 그것의 메모리 풋프린트(its memory footprint)를 낮게 유지하기 위해 상기 조밀 리스트

에 참조들을 단지 저장한다.

본 방법은, 중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들(inner features)은

에 저장된 상기 요소들을 루핑(looping)함으로써 선택되고, 상기 kd-트리

는 최근접 이웃 서치들에 대한 고속 메커니즘으로서 재구축되는 단계를 더 포함한다.

제2 측면에 있어서, 본 발명은 환경의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법에 관한 것이다, 즉, 특히 GPS-거부 환경에서의, 상기 본 방법의 이전 실행을 통해 이미 업데이트된 또는 수정된 이러한 3D 참조 맵으로부터 또는 상술한 바와 같은 상기 본 발명의 제1 측면에 따른 방법으로부터 이용 가능한 상기 환경의 3D 참조 맵에 관한 것이며, 다음 단계들을 포함한다:

(a) 적어도 초 당 5 프레임(포인트 클라우드들)의 속도로 실시간 레이저 범위 스캐너를 구비하여 상기 환경의 (3D) 스캐너 데이터를 획득하는 단계,

(b) 장소 인식 동안, 장소 인식 동안 상기 스캐너 포즈(scanner pose)의 사전 지식없이 알고 있는 환경(known environment) 내의(즉, 상기 3D 참조 맵 내의) 상기 레이저 범위 스캐너의 현재 위치를 식별하고, 상기 장면 내의 감소된 서치 공간을 사용하여 상기 레이저 범위 스캐너에 의해 획득된 상기 장면의 간단 및 컴팩트 디스크립터들(simple and compact descriptors)을 미리-계산하는 단계; 실시간으로 상기 스캐너를 셀프-로컬라이즈(self-localize)하기 위하여, 또는 잠재적 스캐너 포즈들에서 상기 3D 참조 맵의 미리-계산된 콤팩트 디스크립터들을 사용하여 실시간으로 상기 스캐너를 셀프-로컬라이즈 하기 위하여 상기 미리-계산된 디스크립터 공간의 사용을 만들어 상기 3D 참조 맵 내의 상기 레이저 범위 스캐너의 현재 위치를 식별하는 단계,

(c) 상기 알고 있는 환경에서(즉, 3D 참조 맵 내의) 상기 스캐너의 로컬리제이션의 결정 후, 최근접 이웃 정보를 포함하는 데이터를 이용하는 표준 반복 최단 포인트 방법(standard Iterative Closest Point method)을 사용하여 3D 참조 맵 내에 현재 스캐너 데이터를 등록함으로써 상기 스캐너 포즈를 추적하는 단계,

(d) 상기 3D 참조 맵에서의 최근접 포인트 및 상기 현재 스캐너 데이터에서의 각 스캔 포인트 사이의 거리를 산출하는(calculating) 단계, 변화 분석은 임계값을 이 거리에 적용함으로써 (상기 임계값 보다 더 먼 상기 참조 모델에서 대응하는 이웃을 가지는 상기 현재 스캐너 데이터에서의 각 포인트가 변화로 간주됨) 수행됨, 및

(e) 상기 3D 참조 맵 및 상기 현재 (3D) 스캐너 데이터에 관한 정보를 실시간 사용자 인터페이스에 디스플레이하는 단계, 상기 정보는 바람직하게는 상기 정보의 변화/비-변화 분류(change/no-change classification)에 따라 컬러-코딩됨(color-coded).

바람직하게는, 단계 (b)는 상기 단계 (a)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고, 상기 단계 (b)는 다음 서브단계들을 더 포함한다:

(b1) 상기 마지막 스캐너 데이터에 기초하여, 관련된 디스크립터

을 계산하고 후보 위치들의 세트

를 복구하는 서브단계. 상기 후보 위치들은

와 유사한 디스크립터를 가지며, 즉 디스크립터 공간에서의 거리는 임계 반경

보다 더 작음. 후보 위치들의 세트

는, 바람직하게는 360° 수평 시찰 스캐너 데이터(horizontal view scanner data)에 대해, 상기 디스크립터 공간에서 임계 반경

이 주어진

에 대한 방사상의 서치(radial search)를 수행함으로써 복구되며, 범위 값들을 수평으로 시프트함으로써 추가 입력 디스크립터들을 계산함으로써 상기 후보 위치들을 증가시키며, 각 디스크립터는 그것의 로컬 축(its local axis)에서 회전하는 경우 상기 스캐너가 생산할 판독들에 대응하고 후보 위치들의 각 결과 세트가

에 따라 회전함,

(b2) 각 잠재적 위치

에 가중치

를 관련시키는 서브단계:

여기서

는

로부터 검색된 상기 위치

에 관련된 상기 디스크립터이고,

은 완벽하게 매칭하는 디스크립터들에 대해 1이고 상기 서치 스피어 경계(search sphere boundary)에 대한 디스크립터들에 대해 0임, 및

(b3)

에서 가중치들을 수집하고

갖도록 이 가중치들을 정규화하는 서브단계.

유리하게는, 단계 (b)는 서브단계들을 더 포함한다

(b4) 상기 이동을 추정하고(상기 제1 측면의 방법의 단계 (c)(i)에 상술된 바와 같은 상기 주행 기록계 모듈을 사용하여) 상기 새로운 포즈에서 상기 질의 결과들에 기초하여 각 초기 후보 포즈에 대한 상기 가중치를 재평가함으로써 상기 센서가 이동하는 동안 상기 후보 위치들의 세트를 업데이트하는 서브단계, 및

(b5) 상기 후보 포즈들이 단일 위치로 수렴할 때까지(즉, 상기 방법이 상기 현재 포즈를 명확하게 할(disambiguate) 수 있을 때까지) 상기 업데이트 서브단계를 반복하는 서브단계.

특히 지상 모션(ground motion)을 위해, 상기 레이저 범위 스캐너는 플로어(floor)를 가로지르는 차량 또는 사람(예를 들어, 백팩을 구비한)에 장착되고, 상기 방법은 다음 단계들을 포함한다

(i) 상기 3D 참조 맵에서 상기 플로어의 넓이(extents)를 식별하는 단계, 여기서 플로어 추출은 상기 환경(3D 참조 맵)

의 희소 복셀 표현을 통해 수행되며, 여기서 상기 희소 복셀 표현의 각 풀 셀(full cell)

은 그것의 중심(its centroid)

주위의 상기 포인트들에 의해 국부적으로(locally) 정의된 상기 표면에 법선 벡터를 포함하며, 그것의 관련된 법선들에서의(their associated normals) 수직 구성 요소가 우세한지(dominant), 즉,

가 일반적으로 0.5와 1 사이의 값인

를 체크함(checking)으로써, 후보 플로어 셀들

을 표현하는 복셀들의 서브세트를 추출함,

(ii) 셀들의 도달 가능성(reachability)을 결정하는 단계, 도달 가능한 셀(reachable cell)

이 주어지면, 모든 주변 셀들

은 다음 조건들이 만족되는 경우 도달 가능한 것으로서 간주됨:

(6)

(7)

(8)

여기서, (6)에서의

는 최대 스텝 거리(maximum step distance)(예를 들어, 보행 모션에 대해 0.5 미터, 또는 차량 모션에 대해

)이고, (7)에서의

은 최대 수직 스텝 크기(maximum vertical step size)이고, (8)에서의

은 플로어 셀(floor cell)

위 중심에 있는, 상기 관찰자의 단순화된 볼륨(simplified volume)임.

본 발명의 맥락에서 사용 가능한 상기 맵 구조는 저장되고 동기화되는 요소들의 두 개의 다른 리스트들을 바람직하게는 포함한다: 특정 복셀 크기로 구축된, 복셀들의 (조밀) 그리드((dense) grid)

, 및 평면들의 (컴팩트) 리스트

, 각 평면

은 단위 법선

및 세계 좌표들 에서의 위치

를 저장함; 각 복셀

은 풀(full), 엠티(empty) 또는 니어(near)일 수 있는 현재 상태를 저장함, 풀 복셀들은 관련된 위치가 속한, 상기 평면

에 인덱스를 저장함, 엠티 셀들은 눌 참조(null reference)를 저장하고 니어 셀들은 상기 복셀 중심에 대한 관련된 위치 거리

가 가장 작은 상기 평면

에 인덱스를 저장함; 바람직하게는 니어 복셀은 상기 거리

가 주어진 임계값

아래인 경우에만 고려되고, 그렇지 않은 경우 상기 복셀은 엠티로 간주됨

전체 시스템 견고성을 향상시키기 위해, 주행 기록계와 상기 스캐너 추적이 결합되고(예를 들어, 상기 제1 측면의 방법의 단계 (c)(i)에서 상술한 바와 같은 상기 주행 기록계 모듈을 사용하여), 포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들(its associated points)은 kd-트리로 저장되고(따라서 주행 기록계 맵을 창조함), 상기 레이저 범위 스캐너에 의해 새로운 획득(획득된 포인트 클라우드)이 주어지면, (즉, 등록 알고리즘이 상기 포인트들의 세트들(

)을 창조할 때), 그것이(it) 두 상기 참조 맵(

) 및 이전에 고정된 포인트 클라우드(주행 기록계 맵)(

)에서 최근접 이웃들을 찾고(looks for), 대응들은 다음과 같이 정의되고:

여기서,

는 상기 복셀 셀 크기에 대응하고, 상기 이전에 고정된 클라우드의 비-이산화된 kd-트리(non-discretized kd-tree)와 상기 복셀라이즈된 지상 검증 맵(voxelized ground truth map) 사이의 다른 해상도를 보상함.

제3 측면에 있어서, 본 발명은 본원에서 설명된 상기 방법들의 하나 이상을 구현하는, 특히 GPS-거부 환경들에서, 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치를 제안한다. 특히, 본 발명은 실시간 레이저 범위 스캐너(real-time laser range scanner), 처리 유닛(processing unit), 전원 유닛(power supply unit) 및 휴대용 시각화 및 제어 유닛(hand-held visualization and control unit)을 포함하는, 특히 GPS-거부 환경들에서 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치에 관한 것이며, 여기서 상기 실시간 레이저 범위 스캐너는 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임, 바람직하게는 적어도 초 당 10 프레임의 속도로 상기 환경을 획득할 수 있고, 상기 처리 유닛은 상기 스캐너 데이터를 분석하고, 상기 처리 결과들을 디스플레이하고 상기 모바일 레이저 스캐닝 장치를 사용자가 제어하도록 허용하는 상기 휴대용 시각화 및 제어 유닛에 3D 맵/모델, 로컬리제이션 및 변화 정보를 포함하는 처리 결과들을 제공하도록 배열된다.

따라서, 본 발명에 따른 장치는 상기 환경의 3D 맵핑/모델링, (생성된 맵 또는 기존 맵/모델에 관한) 상기 사용자의 정확한 로컬리제이션, 이전에 획득된 모델에 관한 변화 검출을 제공하는 온라인, 실시간 처리를 할 수 있고, 주변 조명 및 GPS 신호와 독립적으로 만드는 레이저 신호에 전적으로 의존한다. 또한, GPS 또는 관성 센서들과 같은 추가 센서를 요구하지 않는다. 그럼에도 불구하고, 본 발명은 유용한 것으로 간주되는 경우 추가 센서들을 추가하는 것을 배제하지 않는다. 따라서, 선택적 센서는 생성된 모델(예를 들어, 컬러 카메라들)을 강화하기(enrich) 위해 추가될 수 있다. 또한, 상기 장치가 온라인 및 실시간 결과들을 사용자에게 제공할 수는 있지만, 획득된 데이터를 사용하고 이를 오프라인에서 추가 처리하는 것, 예를 들어 향후 로컬리제이션 및 변화 분석을 위해 획득된 3D 모델의 다듬기가 예견될 수 있다.

본 발명에 따른 장치는, 예를 들어, 3D (실내) 맵핑/모델링, 시설 관리, 정확한 실시간 실내 로컬리제이션 및 네비게이션, 설계 정보 검증, 변화 분석(예를 들어, 세이프가드 점검(safeguards inspections)을 위한), 진행 모니터링(예를 들어, 토목 건설을 위한), 재난 관리 및 대응, 등과 같은 수많은 애플리케이션들(numerous applications)에서 유용하고 사용될 수 있다.

상기 모바일 레이저 스캐닝 장치에 있어서, 상기 시각화 및 제어 유닛은 바람직하게는 터치 스크린 컴퓨터(touch screen computer), 더 바람직하게는 태블릿 컴퓨터(tablet computer)이다.

상기 모바일 레이저 스캐닝 장치는 가장 바람직하게는 백팩 또는 차량 장착 장치(backpack or vehicle mounted device)이다.

제4 측면에 있어서, 본 발명은 3D 실외 및 실내, 바람직하게는 실내 맵핑/모델링; 시설 관리; 정확한 실시간 실내 로컬리제이션 및 네비게이션; 장애인 또는 노인들에 대한 지원; 설계 정보 검증; 세이프가드 점검과 같은, 변화 분석; 토목 건설과 같은, 진행 모니터링; 또는 재난 관리 및 대응을 위해 본원에 설명된 바와 같은 모바일 레이저 스캐닝 장치들 또는 방법들의 사용을 제안한다.

제5 측면은 본 발명의 방법들 중 하나 이상을 실행하기 위해 본원에서 설명된 바와 같은 프로그래밍 가능한 장치, 바람직하게는 모바일 레이저 스캐닝 장치 또는 그것의 처리 유닛을 유발시키는(causing) 컴퓨터 실행 가능 명령들을 갖는 컴퓨터 프로그램 제품에 관한 것이다.

최종 측면에 있어서, 본 발명은 또한 프로그램된 프로세서에 의해 실행 가능한 명령들을 표현하는 데이터를 그에 저장한, 컴퓨터 판독 가능 매체에 관한 것으로, 상기 컴퓨터 판독 가능 매체는, 본 발명의 방법들 중 하나를 실행하기 위해, 프로그램 가능한 장치, 바람직하게는 본 발명의 모바일 레이저 스캐닝 장치 또는 그의 처리 유닛을 유발시키는 명령들을 포함한다.

상기 측면들, 더 많은 변형들, 대안들, 및 특징들의 조합뿐만 아니라 이들의 이점들은 더 상세하게 아래에 설명될 것이다.

본 발명의 바람직한 측면들 및 실시예들은 이제 첨부 도면들을 참조하여 예시에 의해 설명될 것이다.
도 1: 본 발명에 따른 모바일 레이저 스캐닝 장치의 바람직한 실시예의 하드웨어 구성 요소들, 3D 레이저 스캐너(1), 백팩(2), 처리 장치(3)(단지 그림으로 별로도 도시된, 백팩 내에 포함됨) 및 태블릿(4)을 포함하는 모바일 레이저 스캐닝 플랫폼(Mobile Laser Scanning Platform)(MLSP 시스템 또는 단순하게 MLSP)으로 불림.
도 2: 실시간으로 사용자에게 제공되는 사용자 인터페이스의 스냅샷(Snapshot)(오리지널하게 컬러링된 스냅샷(originally colored snapshot)의 흑백). 그것은 두 시간의 포인트들(two points of time)에서 스캔된 터널 환경을 도시한다. 실제 컬러 디스플레이에서, 초록색은 획득들 사이의 변화를 나타내지 않고 빨간색은 두 획득들 사이의 새로운 구성들을 나타낸다.
도 3: 키티 데이터 세트들(Kitti datasets)의 샘플 트랙(sample track)에 대한 루프 폐쇄의 영향. 궤적은 온라인으로 추정되고 전체적으로 최적화된 궤적으로 도시된다. (실제)맵은 두 맵들에 대한 다른 체계(different scheme)(로컬 맵인 보라색 영역과 같은)를 구비한 포인트들의 법선 벡터들에 따라 컬러링된다.
도 4: 두 로컬 맵(일반적으로 1M 보다 적은 특징들을 포함함) 및 글로벌 맵(일반적으로 1M 보다 많은 특징들을 포함함)에 대한 포인트 선택 시간, 도 4a 다른 서치 반경에 대한 로컬 맵 포인트 선택 시간 및 도 4b 다른 서치 반경에 대한 글로벌 맵 포인트 선택 시간.
도 5: 제안된 맵 표현들의 바람직한 실시예. 풀 셀들은 어두운 회색 박스들로 디스플레이된다. 니어 셀들은 관련된 최근접 이웃과 중심을 연결하는 선을 구비한 밝은 회색 박스들로서 표현된다. 엠티 셀들은 흰색 박스들로 디스플레이된다.
도 6: 대칭 환경 및 비대칭 환경에 대한 회전 히스토그램.
도 7: 인라이어 선택. 축들은 검출된 변환들의 주요 우세 치수들(main dominant dimensions)을 표현한다. 각 포인트는 아웃라이어들로서 마크된 반복(iteration)에 따라 회색으로 변하는(grayed) 후보 변환을 표현한다(중심으로부터 너무 먼 일부 아웃라이어 변환들은 생략되었음). 중앙 타원들에서의 어두운 회색 포인트들은 인라이어들로서 마크된 변환들을 표현한다. 타원들은 특정 후속 반복들에서 법선 추정들(normal estimations)을 표현한다.
도 8: 플로어 추출 알고리즘의 결과들. 검은색 포인트들은 획득 동안 스캐너 위치를 표현한다. 이 위치들는 초기 활성 셀들의 세트를 자동으로 선택하는데 사용된다.
도 9: 서치 공간 감소를 위한 경험적 파라미터 선택(Empirical parameter selection). (좌측) 여러 번의 보행 동안 관찰된 플로어까지의 평균 높이에 관한 센서의 편차. (우측) 여러 번의 보행 동안 관찰된 수직 축(Z)에 관한 센서의 편차.
도 10: 분류기(classifier)가 멀티 환경들에 관한 데이터를 포함하는 공간 인식(분류에 의해 추적함)만을 사용하는 드리프트 분석. 이러한 실험에 대한 지상 검증은 채택된 오차 측정법의 디스크립션을 위해 정확한 빌딩에서 초기화된 추적 모듈에 의해 생성된 최종 궤적이 간주된다.
도 11a 및 도 11b: 도 10에 도시된 드리프트 분석을 생성하는데 사용된 두 개의 샘플 경로들. 점선 지상 검증 경로(ground truth path)은 전체 시스템을 사용하여 추정됨. 실선 경로는 분류에 의해 추적을 사용하여 추정됨. 검은색 원은 사용자가 특정 빌딩에서 고유하게 식별된 후 프레임을 도시한다.
도 12: 제안된 인라이어 선택 알고리즘의 결과들.
도 13: 센서가 그것의 위치의 트랙 손실 없이 비-맵핑된 방((우측)에 도시된, A)으로 이동한 빌딩 내부의 샘플 보행(sample walk-through) 동안의 주행 기록계 통합의 결과들, 그 다음 빌딩 외부에서 두 루프들을 수행함(C 및 D).
도 14: 아웃라이어들 없는 환경(상부) 및 아웃라이어들을 구비한 환경(하부)에서의 표준 ICP(점선) 및 제안된 견고한 구현(실선) 사이의 추적 정확성 비교.
도 15: 백팩 장착 설정을 추적하는 동안의 시스템 전체 성능: 회색 실선들은 각 프레임을 처리하는데 소비된 시간(초)임. 점선의 수평선은 벨로다인 HDL- 32E 센서(Velodyne HDL-32E sensor)(12Hz)를 사용한 실시간 결과들에 대한 최대 실행 시간을 나타낸다.
본 발명의 추가의 세부 사항들 및 이점들은 첨부된 도면들을 참조하여 여러 비-제한적인 측면들 및 실시예들의 다음의 상세한 설명으로부터 명백해질 것이다. 실제로, 아래의 상세한 설명은 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 오히려 일반적인 설명, 청구항들 및 도면들에 제시된 특정 측면들을 설명하기 위한 것이다.

이전에 언급한 바와 같이, 본 명세서에 기술된 바와 같은 본 발명의 바람직한 실시예들의 주요 장점들 중 하나는 GPS-거부(예: 실내) 환경들에서 실시간 변화 분석 및 모니터링을 제공한다는 개념에 있다. 사용자는 시설을 보행할 때 휴대용 장치(handheld device)에 대한 변화들을 시찰하고(view) 시설을 점검할 수 있다. 바람직한 기본 방법론들과 알고리즘들은 아래에 요약되어 있으며 이후에 더 설명된다.

이전에 알고 있지 않은(스캔되지 않은) 위치에 대한 기본 워크플로우(basic workflow)는 원칙적으로 두 단계들을 요구한다: (A) T0에서의 3D 참조 모델(3D reference model)의 구성 및 (B) T1에서의 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석. 이러한 위치를 다시 방문할 때 또는 적절한 맵이 이미 있는 경우에는, 단계 (B)로 충분할 것 이다.

(A) 3D 참조 맵의 구성

3D 참조 맵은 아래 설명된 바와 같이 모바일 레이저 범위 스캐너(mobile laser range scanner)를 기초로 한 3D SLAM(Simultaneous Localization And Mapping) 구현을 사용하여 만들어진다. 주요 특징들은 바람직하게는 다음과 같다:

1) 큰 영역에 걸친 확장성, 고속 최근접 이웃 서치 및 일정한 시간에 랜덤 샘플 액세스를 허용하는 효율적인 맵 표현(아래 섹션 A.2 참조).

2) SLAM 프레임워크(SLAM framework)(아래 섹션 A.3 참조)는 다음을 포함한다:

a) 로컬 맵 표현(local map representation)에 대한 마지막 클라우드(cloud)의 등록에 기초하여 현재 포즈(current pose)를 추정하는 주행 기록계(odometer).

b) 생성된 맵에서의 드리프트를 최소화하기 위하여 클라우드들의 세트(set of clouds)의 궤적을 다듬는 로컬 궤적 최적화(local trajectory optimization).

c) 루프 폐쇄들(loop closures)을 이용하여 환경의 전체 맵을 재구성 하는 것을 허용하는 글로벌 궤적 최적화(global trajectory optimization).

주행 기록계는 전형적으로 실시간으로 수행된다. 맵 최적화는 후-처리 단계에서 수행될 수 있다.

(B) 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석

실시간 로컬리제이션, 추적 및 변화 분석은 일반적으로 전술한 바와 같이 이전에 생성된 환경의 기존 3D 참조 맵을 요구한다. 주요 구성 요소들은 바람직하게는 다음과 같다

1) 장소 인식 동안 시스템은 센서 포즈의 사전 지식없이 알고 있는 환경 내의 현재 위치를 식별한다. 그것은 장면의 간단 및 컴팩트 디스크립터들(simple and compact descriptors)을 미리-계산하고(pre-computes) 실시간으로 센서를 셀프-로컬라이즈(self-localize)하기 위하여 서치 공간을 감소시키도록 효율적인 전략을 사용한다(아래 섹션B.2 참조).

2) 센서가 알고 있는 환경에서 로컬라이즈되면, 시스템은 표준 반복 최단 포인트(standard Iterative Closest Point)(ICP) 방법을 사용하여 3D 참조 맵 내에 현재 관찰(3D 스캔)을 등록함으로써 센서 포즈를 추적하기 시작한다. 실시간으로 센서 포즈를 정확하게 추적하기 위하여, 시스템은 다수의 개선사항들을 구현하며, 예를 들어 그것은 고속 최근접 이웃 서치들을 위해 특별히 설계된 데이터 구조를 사용한다(아래 섹션 B.3 참조).

3) 데이터 구조에서 최근접-이웃 정보가 주어지면, MLSP는 3D 참조 모델에서 최근접 포인트와 현재 관찰에서의 각 스캔 포인트 사이의 거리를 효율적으로 산출할 수 있다. 변화 분석은 이 거리에 간단한 임계값을 적용함으로써 수행되며, 예를 들어 참조 모델에서 대응하는 이웃을 가지지 않는(또는 참조 모델에서 대응하는 이웃을 가지지만 임계값보다 먼) 현재 스캔에서의 각 포인트는 변화로 간주된다. 실시간 사용자 인터페이스는 변화/비-변화 분류에 따라 컬러-코딩된(color-coded) 현재 관찰들 및 3D 참조 모델을 보여준다.

A. 3D 참조 맵의 구성

외수용성 센서들(exteroceptive sensors)을 이용한 정밀한 3D 맵핑 및 6DOF 궤적 추정은 많은 분야에서 핵심 문제들이다. 실시간 이동 레이저 센서들은 정밀한 깊이 측정들, 높은 프레임 속도 및 넓은 시야(field of view)로 인해 인기를 얻었다.

하나의 바람직한 측면에서, 본 발명은 이동중 스캐닝 시나리오(scanning-while-moving scenario)에서 획득 프로세스(acquisition process)를 적절하게 모델링하는(models) 동시 로컬리제이션 및 맵핑(SLAM; Simultaneous Localization And Mapping)을 위한 최적화 방법 또는 프레임워크를 제안한다. 각 측정은

에서 제어 포즈들의 이산 세트(discrete set of control poses)의 선형 보간으로서 정의되는 연속 시간 궤적을 고려함으로써 맵 참조 프레임에서 정확하게 재투영된다(reprojected). 또한 본 발명은 대규모 맵 관리를 허용하게 하는, 하이브리드 희소 복셀라이즈드 표현(hybrid sparse voxelized representation)을 사용하여 특히 효율적인 데이터 구조를 제안한다. 이 덕분에 발명자들은 또한 루프들이 수행될 때 누적된 드리프트를 재설정하여, 궤적들에 대한 글로벌 최적화를 수행할 수 있었다.

본 발명자들은 그러한 프레임워크가 최적화 단계에서 왜곡 효과들을 포함시키지 않고 그것들을 보상하는 솔루션들에 관해(w.r.t.) 로컬리제이션 및 맵핑을 향상시키는 것을 실험적으로 보여주었다. 또한, 본 발명자들은 실시간 SLAM을 수행하고 매우 큰 맵들을 다루기 위하여 맵 크기에 관해 제안된 데이터 구조가 선형 또는 일정한 연산 시간(operations time)을 제공하는 것을 보여준다.

A.1. 서론

3D맵들의 생성 및 궤적들의 추정은 로봇 공학, 자율적 유도 및 감시의 다양한 애플리케이션들을 위한 기본 빌딩 블록들(fundamental building blocks)이다. 동시 로컬리제이션 및 맵핑(SLAM) 기술들은 알고 있지 않은 환경(unknown environment)의 맵을 공동으로 만들고 동일한 환경에서 센서를 로컬라이즈한다. SLAM 공식들은 표준 카메라들, 깊이 카메라들 및 레이저 스캐너들 용으로 제안되었다. 레이저 스캐너들을 기초로 한 대부분의 SLAM 시스템들은 반복 최단 포인트(ICP; Iterative Closest Point) 알고리즘의 변형들을 사용하여 스캔 정렬들을 수행한다. 실시간 애플리케이션들에 중점을 둔 ICP 알고리즘들의 리뷰는 2001년 3DIM에서의, 에스. 루신키위크즈(S. Rusinkiewicz) 및 엠.레보이(M. Levoy), "ICP 알고리즘의 효율적인 변형들(Efficient variants of the ICP algorithm)"에서 발견될 수 있다. 벨로다인 스캐너들(Velodyne scanners)과 같은, 실시간 이동 3D 라이다 센서들(3D LIDAR sensors)이 최근 인기를 얻었다: 이 장치들은 높은 데이터 속도를 가지며, 종종 완전한 360 ° 수평 필드(complete 360° horizontal field)를 제공하고, 거리 측정들에 대한 좋은 정확성을 갖는다.

이러한 센서들(스캐너들)은 이동하는 동안 측정들을 획득하므로 궤적 경로를 따라 획득된 프레임들을 워프하는(warp) 비-중심 투영 시스템들(non-central projection systems)을 나타낸다. 이러한 생산된 포인트 클라우드들(point clouds)의 정렬은 3D 포인트들에 대한 워핑 효과(warping effect)의 적절한 처리를 요구한다. 2011년 IVS에서의 에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)"에서 제안된 SLAM 프레임워크는 센서의 현재 속도가 주어진 각 클라우드를 비워프하고(unwarps), ICP를 수행하고, 새로운 추정 속도로 포인트들을 비워프한다. LOAM 알고리즘(LOAM algorithm)(제이. 장(J. Zhang) 및 에스. 싱흐(S. Singh), "LOAM: 실시간으로 라이다 주행거리측정 및 맵핑(LOAM: Lidar odometry and mapping in real-time)", RSS, 2014)은 에지들(edges)과 평면 특징에 중점을 두어 각각의 클라우드에서의 워핑 효과를 제거함으로써 모션(motion)의 연속적인 추정을 수행한다. 완전한 프레임(complete frame)이 생성될 때 그것은 예측된 최종 포즈를 사용하여 최종 포인트 클라우드를 비워프한다. 씨. 에이치. 통(C. H. Tong), 에스. 앤더슨(S. Anderson), 에이치. 동(H. Dong) 및 티. 디. 바르풋(T. D. Barfoot), "레이저-기반 시각적 주행거리측정에 대한 포즈 보간법(Pose interpolation for laser-based visual odometry)", 필드 로보틱스의 저널(Journal of Field Robotics), 31권, 731-757, 2014에서는 획득 반사율 이미지들(acquisition reflectance images)에서 매칭된 특징들에 의존하는 연속-시간 가우시안 프로세스 모델(continuous-time Gaussian Process Model)(GPGN)을 사용하여 보간법을 수행한다.

본 발명의 바람직한 측면에서, 마지막 등록된 세트까지 구축된 맵에 대해 포즈들의 세트 및 그와 연관된 포인트 클라우드들에 의해 구성된 궤적 프래그먼트(trajectory fragment)를 최적화하는 로컬 윈도우 메커니즘(local window mechanism)을 사용하는 것이 제안된다. 포인트들은

그룹의 포즈 보간법을 사용하여 세계 좌표(world coordinates)로 변환되며, ICP의 일반화는 모든 포인트들을 맵에 더 잘 정렬하는 궤적을 발견하는데 사용된다. 이 공식에서 비워프 연산(unwarp operation)은 최적화 전략의 일부이다.

SLAM 시스템들에 대한 중요한 측면은 큰 환경들에 대한 확장성 및 최적화 루틴(optimization routine)을 지원하기 위한 맵의 실시간 관리이다. 일반적으로 확장성은 일반 옥트리들(octrees), 볼륨 주기 인덱싱(volume cyclical indexing)을 사용하는 조밀 복셀 맵들(dense voxel maps) 또는 복셀 헤이징(voxel hazing)을 기초로 한 희소 표현들과 같은 희소 구조들(sparse structures)을 사용하여 달성된다. 일 측면에서, 본 발명은 3D 포인트들을 네이티브하게(natively) 다루고, 희소 복셀라이즈드 구조(sparse voxelized structure)에 의해 구성된 하이브리드 구조에 기초하는 데이터 구조에 중점을 두며, 이는 특징들의 컴팩트 조밀 리스트(compact dense list)를 인덱스하기(index) 위해 사용된다. 이것은 탐색된 공간에 대한 확장성을 구비한 데이터의 효율적인 저장소 및 맵 크기로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스를 허용한다. 현재 제안된 구조는 그래프 최적화가 사용되는 경우(예: 루프 폐쇄들을 수행하기 위해) 전체 글로벌 맵을 메모리에 유지하고 로컬 섹션들을 업데이트 할 수 있다.

본 발명의 일부 실시예들의 주요 기여들은 (i) 추정 프로세스에서 비워핑(unwarping)을 포함하는 일반화된 ICP 알고리즘의 사용, (ii) 두 고속 장소 질의들 및 큰 환경 관리를 허용하는 맵 관리를 위한 효율적인 구조의 사용이다. 본 발명자들은 공개적으로 이용 가능한 데이터세트들(datasets) 및 추가로 획득된 실내/실외 환경들을 사용하여 그것들의 접근 방식을 검증하였다.

섹션 A.2. 아래에는 맵 관리 및 사용 가능한 연산들을 위한 데이터 구조를 제시한다(presents); 섹션 A.3. 최적화 프레임 워크를 제시한다; 섹션 A.4. 이 방법으로 획득된 실험 결과를 보여준다; 및 섹션 A.5. 일부 결론들을 이끌어 낸다(draws).

A.2. 맵 표현

실시간 SLAM 애플리케이션들에 적합한 데이터 구조는 (i) 저장된 특징들에 대한 일정한 시간(평균적으로)에서의 랜덤 샘플 액세스, (ii) 저장된 요소들의 수에 관해 선형 시간에서의 철저한 특징 반복 및 (iii) 질의 특징(query feature)이 주어지면 고속 최근접 이웃 서치를 제공해야 한다. 또한, 그것은 (iv) 탐색된 공간에 대한 확장성을 제공해야 하고 (v) 특징 추가 및 제거를 효율적으로 지원해야 한.

속성(i)은 일반적으로 확장성(iv)을 위한 메모리 요건들이 주요 결점이고 철저한 탐색들(ii)이 느린 조밀 복셀 표현들과 관련된다. 반대로 속성(ii)는 메모리 요건들(iv)이 매우 낮지만 랜덤 액세스 시간(i)이 느린(kd-트리(kd-trees)의 경우 대수(logarithmic)), 희소 구조들과 관련된다. 두 조밀 및 희소 구조들의 본질적인 이점들을 이용하면서 요구된 모든 속성들을 보유하기 위해, 제안된 바람직한 맵 구조는 저장된 데이터의 다섯 가지의 다른 표현들을 유지한다. 내부 데이터 표현들 간의 일관성은 각 맵 업데이트 후에 부여되어야 한다.

(i) 특징들의 컴팩트 및 조밀 리스트

및 각 요소

인, 마지막 요소에 대한 인덱스

는 맵에서의 특징에 관련된 모든 정보(위치, 법선 및 추가 정보)를 포함한다.

(ii) 각 요소

인, 컴팩트 및 조밀 유효 마스크(compact and dense validity mask)

는

을 보장하는, 그것의 대응하는 샘플

이 유효한지 아닌지를 나타내는 부울 값(boolean value)이다.

(iii) 각 요소

인, 구멍들의 리스트(list of holes)

는

이 유효하지 않아서,

임을 나타낸다.

(iv) 각 셀

에 저장하는, 파라미터화 가능한 셀 크기(parametrizable cell size)로 구축되는, 희소 복셀 표현

,

에서의 그것의 대응하는 특징의 인덱스.

에서의 셀들 및

에서의 특징들은

의 셀 크기 및

의 위치에 기초한, 일대일 방식으로 관련된다. 현재 희소 복셀 표현은 오픈VDB 구조(OpenVDB structure)를 기초로 한다(케이. 뮤세스(K. Museth), "Vdb: 동적 토폴로지를 구비한 고해상도 희소 볼륨들(Vdb: High-resolution sparse volumes with dynamic topology)", 에이씨엠 트랜색션 온 그래픽스(ACM Transaction on Graphics), 32 권, 3 호, 2013).

(v) kd-트리

는 맵에서 최근접 이웃 서치들을 수행하는데 사용된다.

는 단지 그것의 메모리 풋프린트(memory footprint)를 낮게 유지하기 위해 조밀 리스트에 참조들을 저장한다. Kd-트리는 필요하다면(예를 들어, 마지막 관찰 위치 주변의 영역을 따라) 맵의 로컬 지역에 구축될 수 있다.

특징들의 조밀 리스트를 가짐으로써, 전체 맵을 철저히 조사하는 시간은 포함된 요소들의 수에 선형적이다. 반면, 임의의 질의들은 오픈 VDB 희소 복셀 구조(OpenVDB sparse voxel structure)와 캐싱 시스템(caching system)을 이용하여 일정한 랜덤 액세스 시간(평균)에서 해결된다.

맵에 추가될 새로운 특징

가 주어지면, 제안된 데이터 구조는 다음과 같이 수정된다: 특징의 세계 위치

고려 및 그것의 대응하는 복셀 셀

계산. 셀이 이미 채워져 있으면(

), 그것의 관련 정보는

로부터 검색되고 필요하다면 값은 업데이트된다. 그렇지 않으면(

), 새로운 특징은 구조에 추가된다. 그렇게하기 위해서,

에서의 삽입 위치는, 다음과 같이 계산된다:

그 다음, 내부 값들은 다음과 같이 업데이트된다:

및

이러한 방식으로, 구멍들의 세트가 요소들을 포함하는 반면, 특징 추가는 조밀 표현에서의 갭들을 채운다. 구멍들이 없으면, 특징들은 리스트의 끝에 추가된다.

맵의 특징이 삭제되어야 하는 경우, 그것의 대응하는 복셀 셀

은 이전과 동일한 방식으로 계산된다.

에 저장된 값은 조밀 리스트

에서의 특징 위치를 나타내고, 값들은 다음과 같이 업데이트된다:

이러한 방식으로, 특징들을 삭제하는 것은

의 값을 업데이트 하지 않고, 조밀 리스트에 새로운 구멍들을 생성한다.

및

은 연산 중 정확하게 업데이트 되기 때문에, 내부 데이터 표현은 여전히 일치하지만, 너무 많은 구멍들이 있으면 성능이 저하될 수 있다.

이 문제를 해결하기 위해, 본 발명자들은 특히 바람직한 실시예에서 두

및

벡터들에서 스왑(swap)을 수행함으로써 리스트들에서의 마지막 요소들로 구멍들을 채우는(populates) 컴팩트 연산을 도입할 것을 제안한다.

에서의 영향을 받은 값들은 새로운 위치들에 따라 업데이트 되고

은 컴팩트 리스트의 새로운 마지막 요소로 이동된다. 이 연산의 비용은 구멍들의 수에 관해 선형적이므로,

경우, 아무 것도 하지 않는다.

마지막으로, 최근접 이웃 서치를 위한 고속 메커니즘을 제공하기 위하여, 중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들(inner features)은

에 저장된 요소들을 루핑(looping)함으로써 선택될 수 있고(맵에서의 샘플들의 수에 대한 선형 비용) kd-트리

는 재구성된다.

에서의 요소들은 단지

에서의 연관된 특징들에 대한 참조를 저장하므로,

메모리 공간은 작게 유지되며(관심의 영역에 있는 특징들의 수에 선형) 평균적으로 일정하다. 동일한 연산은 복셀 구조를 비짓(visiting)함으로써 전체 리스트를 반복하지 않고 수행될 수 있다. 본 발명자들은 실험 섹션에서 이 두 메커니즘들 사이의 차이들을 조사한다.

트리가 창조되면, 새로운 특징들이 추가되고(이미

에서의 기존 요소들은 변화되지 않음) 또는 기존 특징들이 삭제되더라도(

에서의 요소들은 구멍으로서 마크되지만(marked), 그 값은 교체되지 않음), 두 연산들 모두가 수행되는 경우(

에서의 제거된 요소들은 덮어 쓸 수 있음(overwritten))가 아니라면, 유효하게 유지 될 것이다.

제안된 연산들을 효율적으로 수행하기 위해, 클라우드 추가들은 새로운 kd-트리가 요구될 때까지 연기되는 것이 바람직하다. 이 경우, 관심의 영역 외부의 맵에서의 기존 특징들이 이미 삭제되어, 새로운 구멍들을 창조한다. 그 다음, 관심 영역 내에 있는 특징들만 추가함으로서, 연기된 클라우드들이 추가된다. 이러한 방식으로, 이전에 창조된 구멍들이 일정한 시간 안에 새 샘플들로 채워진다. 모든 추가들 후에도 여전히 구멍들이 있다면(더 많은 특징들이 추가된 것보다 삭제됨), 구멍들의 남아 있는 수와 관련하여 선형 비용(linear cost)으로, 컴팩트 연산이 수행될 수 있다. 마지막으로,

는

의 요소들을 사용하여 다시 구축되며 새 요소가 요구될 때까지 사용될 수 있다.

A.3. SLAM 프레임워크

본 발명의 바람직한 최적화 프레임워크는 두 개의 연속적인 모듈들에 의해 구성된다: 맵이 주어진 각각의 클라우드의 포즈를 추정하는 주행 기록계 및 클라우드들의 세트의 궤적을 다듬는 로컬 궤적 최적화기(local trajectory optimizer). 두 모듈들은 커지는 맵(growing map)을 다루기 위해 여기에 설명된대로 맵 데이터 구조를 사용한다.

맵

에 저장된 각 특징은 포인트 세계 위치(point world position)

, 그것의 법선 단위 벡터(normal unit vector)

및 추가 정보(예를 들어, 반사율)에 의해 구성된다. 후자는 등록 단계들에서 사용되지 않는다. 이 프레임워크는 또한 루프 폐쇄들을 이용하여 환경의 전체 맵을 재구성 할 수 있는 글로벌 궤적 최적화를 수행하도록 확장될 수 있다.

이러한 프레임워크의 입력은 센서에 의해 스트리밍되는(streamed) 데이터로 생산된 3D 포인트 클라우드들의 세트

이다(벨로다인 스캐너의 경우, 포인트 클라우드는 센서의 완전한 공전(revolution) 후에 생성된다). 각 포인트 클라우드

는 포인트들의 세트

, 상대 타임스탬프들의 세트(set of relative timestamps)

및 법선 단위 벡터들의 세트

에 의해 구성된다. 상대 타임스탬프들은 생산된 제1 포인트가 타임스탬프 0을 갖고 마지막 포인트가 1을 갖도록 할당된다. 법선 단위 벡터들은, 포인트 클라우드 그리드 구조(point cloud grid structure)에서 박스 필터링(box filtering)을 이용하는, 에이치. 바디노(H. Badino), 디. 휴버(D. Huber), 와이. 파크(Y. Park) 및 티. 카나데(T. Kanade), "범위 이미지들로부터 표면 법선들의 고속 및 정확한 계산(Fast and accurate computation of surface normals from range images)", ICRA, 2011에서의 제안된 제약되지 않은 최소 제곱 공식으로 추정될 수 있다.

주행 기록계

처음에는, 그것(one)은 각 포인트 클라우드의 포즈를 복구함으로써 센서의 궤적의 제1 추정치를 생산할 필요하다. 센서가 움직이기 때문에, 그것(one)은 마지막 포인트가 수신될 때 센서 포즈를 클라우드의 대표 포즈로서 간주한다.

그것(One)은 맵 및 마지막으로 수신된 클라우드의 포인트들의 서브세트(subset) 사이에 포인트-평면(point-plane) ICP를 수행한다. 에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)", IVS, 2011에서와 마찬가지로, 클라우드의 선택된 포인트들은 등록을 수행하기 전에 마지막으로 추정된 모션을 고려함으로써 비워프된다(unwarped).

등록될 클라우드

가 주어지면, 그것(one)은 이전에 등록된 두 개의 클라우드들의 포즈

,

를 사용하여 추정된 마지막 상대 모션을 고려한다:

여기서

은 역 맵핑 함수

를 구비한

대수학(algebra)으로 나타낸다(에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012).

그 다음, 그것(One)은 법선들

및 상대 타임스탬프들

을 구비하여, 선택된 포인트들 의 서브세트

를 고려한다. 비워프(unwarp)는 다음을 계산함으로써 선택된 포인트들에 대해 수행된다:

여기서

은 클라우드

의 예측된 포즈이고,

및

은 예측된 클라우드 포즈

의 로컬 좌표 프레임에서의 선택된 포인트들이다.

맵들은 대수학

에

을 그룹으로 만든다(

maps group

to the algebra

).

이 요소들이 주어지면 그것(One)은 비워프된 포인트들 및 법선들

및

과 맵

사이에서 포인트-플랜 ICP를 하여 포즈

를 추정함으로써 등록을 수행하여, 초기 추측으로서

을 제공한다.

그것과 관련된 포즈

를 구비한 각 등록된 클라우드

는 클라우드들의 리스트

에 추가된다:

로컬 궤적 최적화기

이 모듈은 관련된 포즈를 구비한 클라우드들의 리스트

를 입력으로서 테이크하고(takes) 로컬 윈도우 접근 방식을 사용함으로써 궤적 다듬기(trajectory refinement)을 수행한다. 리스트에서의 제1 및 마지막 포즈 사이의 거리가 임계값보다 클 때, 클라우드 포즈들은 최적화되고 새로운 리스트

는 다듬어진 포즈 및 입력 클라우드들을 구비한 새 리스트로 생산된다. 이 단계가 최적화에서 비워핑(unwarping)을 적절하게 통합함을 주목한다(Notice).

이 단계에서 최소화된 목적 함수

는 각 클라우드

의 개별 정렬 오차들의 합이다:

(1)

이는, 결국, 클라우드의 제1 및 마지막 포인트와 관련된 포즈에 달려 있다. 시퀀스

에서의 제1 클라우드의 초기 포즈는 이전 최적화된 세트의 마지막 클라우드의 마지막 포즈로 가정된다.

는 두 포즈들 사이의

에서 선형 보간에 의해 정의된 궤적에 대해 일반화된 포인트-평면 ICP의 총 오차로서 계산된다.

(2)

(3)

(4)

여기서,

은 등록을 위해 선택된 포인트

와 관련된 시간

에서 보간된 세계 포즈를 나타낸다. 주어진

, 현재 포인트의 추정된 세계 좌표들,

및

은 각기 맵 및 그것의 관련된 법선으로부터 검색된 그것의 최근접 포인트이다.

수렴 기준이 만족되거나 반복들의 최대 수에 도달할 때까지, 가우스-뉴튼(Gauss-Newton) 단계 및 맵에서 새로운 대응들(correspondences)을 위한 서치를 교대로 반복함으로써 전체 목적 함수는 최소화된다.

본 발명자들은 알. 쿠엠멀레(R. Kuemmerle), 쥐. 그리세티(G. Grisetti), 에이치. 스트라스다트(H. Strasdat), 케이. 코놀리쥐(K. Konolige), 및 더블유. 버가드(W. Burgard), "g2o: 그래프 최적화를 위한 일반적인 프레임워크(g2o: A general framework for graph optimization)", ICRA, 2011에서 제안된 매니폴드 공식(manifold formulation)을 사용할 것을 제안한다:

에서 포즈

를 통해

대수학의 요소에 의해 구성된, 섭동 벡터(perturbation vector)

를 통해 수행된다. 구성 연산(composition operation)은

로서 정의된다. 목적 함수에서 항목들(terms)의 야코비안(Jacobians)은 다음과 같이 구성 규칙을 적용함으로써 평가되고

와 유사하다. 수학식 1에서의 각 항목

는 연속적인 포즈들의 쌍을 포함하고, 따라서 근사된 헤시안(approximated Hessian)은 희소 매트릭스들(sparse matrices)에서 콜레스키 인수 분해(Cholesky factorization)를 위한 표준 알고리즘들에 의해 쉽게 취급 가능한(tractable) 블록 삼중 대각 매트릭스(block tridiagonal matrix)를 발생시킨다.

최적화가 종료되면, 리스트

는 최적화된 포즈들을 구비하여 업데이트될 수 있다. 그 다음, 클라우드들의 법선들 및 포인트들의 전체 세트는 수학식 3에 따라 세계 좌표들로 변환된 다음 맵

에 추가된다. 이 단계에서 그것(one)은 섹션 A.2에서 설명한 로컬 맵을 업데이트하는 효율적인 전략을 이용한다: 포인트들을 추가하기 전에, 그것(one)은 먼저 마지막 궤적 포즈로부터 주어진 반경보다 멀리 있는 모든 점을 맵으로부터 삭제한 다음, 그것(one)은

로부터 변환된 클라우드들을 추가한다. 맵가 업데이트되면 새로운 kd-트리는 이후의 최근접 이웃 서치들을 허용하기 위해 결과 포인트들에 창조된다. 리스트

은 지워지고 다음 클라우드 등록에 대한 주행 기록계 추측은

의 마지막 두 포즈들에 따라 업데이트된다. 제안된 공식은 실제 센서 모델의 애드헤런트 디스크립션(adherent description)을 나타내고, 이는 움직이는 동안 포인트들을 획득한다: 세계 좌표들에서의 포인트 변환들은 두 각 클라우드의 초기 및 마지막 포즈들을 포함한다. 또한, 각 포즈의 추정(제1 및 마지막을 제외하고)은 두 개의 클라우드들에 의해 직접적으로 영향을 받는다.

글로벌 궤적 최적화기

제안된 프레임워크는 궤적의 오프-라인 글로벌 최적화를 수행하도록 확장될 수 있다. 실제로, 제안된 로컬 궤적 최적화기의 한계는 이미 맵에 추가된 포인트들(및 결과적으로 포즈들)을 다듬을 수 없다는 점에 있다. 이 제한은 일반적으로 로컬 규모에서 환경들을 탐색할 때 허용되지만, 매우 큰 환경들에서 이동할 때, 드리프트가 누적될 수 있다. 이러한 경우, 루프 폐쇄들 또는 외부 절대 측정들을 이용하는 글로벌 최적화 기술들을 고려해야 한다.

본 발명자들은 강화된 맵 디스크립션(enriched map description)을 사용하여 글로벌 궤적 최적화를 제안한다: 맵에서의 각 특징에 대해, 그것(one)은 상대 타임스탬프 t 및 그것을 유래한(originate) 클라우드의 인덱스 ID, 로컬 센서 참조 프레임에서의 법선 단위 벡터

및 포인트

의 오리지널 좌표들(original coordinates), 세계 좌표들(

및

)에서의 그것의 위치 및 법선에 추가한다. 클라우드 인덱스 및 궤적이 주어지면, 포인트들 및 법선의 로컬 좌표들은 중복 정보이지만, 본 발명자들이 재계산(recomputations)을 회피하기 위해 이것들을 저장하는 것을 선호한다는 것이 주목될 수 있다.

본 발명자들은 또한 두 개의 맵들

및

을, 각각 로컬 및 글로벌 맵을 이용할 것을 제안한다.

은 주행 기록계 및 로컬 궤적 최적화기 모듈들에 의해 사용된다. 그것(one)이

로부터 포인트들을 제거해야 할 때, 대신 그것은 글로벌 맵으로 그것들을 이동한다. 또한, 로컬 최적화기의 각 단계에서, 일반화된 ICP에서 사용된 선택된 대응들이 리스트

에 추가되며, 여기서 그것의 관련된 법선

및 타임스탬프

와 함께 클라우드

로부터 테이크한(taken) 각 질의 포인트

에 대해, 그것은 최적화의 마지막 단계에서 사용된 최근접 이웃에 관련된 데이터를

로부터 검색한다: 그것의 위치

, 법선 벡터

, 클라우드 인덱스

및 타임스탬프

. 모든 정보는 센서의 로컬 좌표들에 있다.

맵에 로컬 정보를 갖는다는 것은 이 단계에서 필수적이고, 그것은(one) 전체 클라우드들을 저장할 필요가 없지만, 각 단계에서 맵에 추가되는 포인트들만 있음을 고려하면 메모리 요건들은 낮게 유지한다. 새로운 클라우드들의 추가가 맵에서의 오래된 포인트들을 덮어 쓸(overwrite) 수 있으므로, 로컬 최적화기의 각 단계 후에 리스트

가 덧붙여질(populated) 것임이 주목되어야 한다.

유사하게, 그것(one)은 로컬 최적화 단계에 의해 다듬어진 포즈들을 스태킹(stacking)함으로써 클라우드들과 관련된 모든 포즈들

의 리스트를 창조한다.

클라우드들이 주어지면, 포즈 리스트는

요소들을 포함한다는 것을 주목한다. 글로벌 궤적 최적화는 다음을 최소화함으로써 수행된다

(5)

여기서

수학식 5에서의 목적 함수는 여전히 일반화된 포인트-평면 ICP를 나타내며, 여기서 두 질의 및 모델 포인트는 로컬 좌표들로 나타내고 그것들의 클라우드들 및 보간 타임스탬프들과 관련된 포즈들을 구비하여 세계 좌표들로 변환된다.

총합의 각 항목은 단지 전체 궤적의 세 개(

일 때) 또는 네 걔의 포즈들을 포함하지만, 매트릭스는 삼중 대각 블록이 아니기 때문에, 동일한 클라우드로부터의 두 개의 포인트들이 다른 클라우드들의 포인트들에 관련될 수 있기 때문에, 가우스-뉴튼으로 수학식 5를 최적화하는 것은 여전히 희소 근사된 헤시안 매트릭스를 발생시킨다. 이런 이유 때문에, 본 발명자들은 알. 쿠엠멀레(R. Kuemmerle), 쥐. 그리세티(G. Grisetti), 에이치. 스트라스다트(H. Strasdat), 케이. 코놀리쥐(K. Konolige), 및 더블유. 버가드(W. Burgard), "g2o: 그래프 최적화를 위한 일반적인 프레임워크(g2o: A general framework for graph optimization)", ICRA, 2011에서 제안된 바와 같은, 그래프 최적화 접근 방식을 이용한다.

계산 시간을 감소시키기 위해 특징들이 로컬 궤적 최적화기에 의해 적절히 매치된다고 가정하고 특징 연관들을 결코 재계산하지 말 것을 제안한다. 최적화가 종료되면 두 글로벌 및 로컬 맵은 모든 특징들의 세계 좌표들을 계산함으로써 업데이트된다.

이 최적화는 전체 궤적을 다듬기 위해 클라우드들의 완전한 시퀀스에 적용될 수 있다. 또한, 루프 탐지들이 존재할 때, 루프를 표현하는 대응들은 전체 포즈들을 다듬는 궤적을 추정하는 것을 허용하여, 루프가 정확하게 폐쇄되도록 제한한다.

그러나, 전체적인 궤적을 따라 수행되는 모든 포즈들 및 모든 연관들을 포함하기 때문에, 이러한 글로벌 최적화는 실시간 계산에 적합하지 않음을 주목한다.

그럼에도 불구하고, 적절한 정보를 보유함으로써, 현재 데이터 구조가 글로벌 최적화 및 루프 폐쇄들에 사용될 수 있음을 나타낸다. 글로벌 궤적 다듬기(Global trajectory refinement)는, 엠. 니에쓰너(M. Nießner), 엠. 졸호퍼(M. Zollh?fer), 에스. 이자디(S. Izadi) 및 엠. 스탐민거(M. Stamminger), "복셀 해싱을 사용하는 규모에서 실시간 3D 재구성(Real-time 3d reconstruction at scale using voxel hashing)", ACM 그래픽스(ACM Graphics), 2013에 제시된 것과 같은, 포즈 그래프 최적화 솔루션으로 더 효율적으로 수행될 수 있지만, 메모리에서 큰 맵들을 유지하는 기능은 루프들을 폐쇄한 후에 맵들을 재창조하는 것이 핵심 요소이다.

A.4. 실험적 결과들

본 발명자들은 벨로다인 HDL-32E를 사용하여 획득된 실제 데이터 세트들(datasets)에 대해 시스템을 테스트했다. 제1 데이터 세트는 약 10 x 35 x 3 미터의 실내 환경을 탐색하면서 센서를 운반하는 작업자에 의해 획득되었다. 유사하게, 제2 데이터 세트는 약 16 x 65 x 10 미터의 실내 산업 빌딩에서 획득되었다. 제3 데이터 세트는 약 500 미터 길이의 각각의 타운 지역에서 네 개의 루프들을 수행하면서 보통의 교통 조건에서 운전하면서 차량의 지붕에 장착된 센서로 획득되었다. 또한, 발명자들은, 다양한 속도들에서 그리고 다양한 도시 환경들에서 테이크된(taken) 벨로다인 HDL-64E 획득들을 장착된 차량에 제공하는, 대중적으로 이용 가능한 키티 데이터세트들(Kitti datasets)(에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012)에 대한 프레임워크를 평가했다. 키티 트레이닝 데이터세트들(Kitti training datasets)은 또한 각 단일 트랙의 GPS 측정된 지상 검증(GPS measured ground truth)를 이용 가능하게 만든다. 그러나 제공된 3D 포인트 클라우드들은 탑재된 주행거리측정 시스템(on-board odometry system)의 추정된 모션을 사용하여 이미 비워프되었다. 이런 이유 때문에, 발명자들은 네이티브 원시 데이터(native raw data)가 이용 가능한 트레이닝 트랙들(those training tracks)만을 사용하였다.

로컬 궤적 최적화는 획득된 환경들의 고화질 로컬 3D 모델들을 생성하는데 이용될 수 있다. 생성된 모델들의 품질을 검증하기 위해, 발명자들은 2m의 로컬 최적화를 트리거(trigger)하도록 임계값을 갖는 1cm의 복셀 해상도를 사용하여 두 개의 실내 데이터세트들을 처리했다. 결과적으로 제1 데이터세트의 경우 대략 800만 포인트들 및 제2 데이터 세트의 경우 대략 2,400 만 포인트를 발생시킨다. 그 다음, 참조 모델은 제이. 야오(J. Yao), 엠. 알. 러게리(M. R. Ruggeri), 피. 타데이(P. Taddei) 및 브이. 세퀘이라(V. Sequeira), "3d 선형 및 평면 특징들을 사용한 자동 스캔 등록(Automatic scan registration using 3d linear and planar features)", 3D 리서치(3D Research), 1권, 3호, 1-18페이지, 2010의 방법을 사용하여 고해상도 ZF 5010C 스캐너로 테이크한 환경의 스캔들을 쌍으로 등록함으로써(pairwise registering) 창조된다. 발명자들은 두 모델들을 정확하게 등록하고 그것들 사이의 포인트-포인트 거리(point-point distances)를 계산하였다. 시각적 왜곡들은 모델에 존재하지 않으며 두 클라우드들 사이의 거리의 히스토그램들(histograms)은 0.02m보다 더 낮은 피크들을 가지며, 이는 사용된 벨로다인 HDL-32E 센서의 공칭 정확성 내에 있다.

추적 품질 및 축적된 드리프트를 추정하기 위해, 본 발명자들은 입력 데이터로서 센서의 원시 판독들(raw readings)(총 10 트랙들(tracks))을 사용하여 모든 키티 트레이닝 데이터세트들에 존재하는 프레임워크를 실행했다. 또한, 최적화 프레임워크에 센서 모션을 통합하는 이점을 입증하기 위해, 그들은 동일한 트랙들에서 현재 시스템을 실행하지만 데이터세트들의 공식 전처리된 클라우드들(탑재된 주행거리측정 시스템의 추정된 모션을 사용하여 비워프됨)을 사용한다. 이 경우에, 본 발명자들은 최적화 동안 임의의 비워프를 수행하지 않았다(즉, 그들은 주행 모듈만을 사용했다). 이 실험들에 대해 그들은 맵들에서 15cm의 복셀 크기를 사용했고 루프 폐쇄들을 수행하지 않았다. 도 2는 100m, 200m, ..., 800m 길이의 궤적 세그먼트를 사용하여 생성된 회전 오차 및 평균 상대 변환에 관한 두 실험 결과들을 도시한다(채택된 오차 측정법의 디스크립션에 대한 에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012 참조). 최적화 프레임워크로 비워프하는 클라우드를 통합함으로써 더 나은 결과를 얻을 수 있고 병진(translational) 및 회전 드리프트 모두를 감소시킨다는 것(특히 평균 0.3 포인트 백분율로 병진 오차(translation error)가 향상됨)이 분명하다. 라이다 데이터(LOAM)만 이용하는 키티 벤치 마크(Kitti benchmark)를 위한 최신 알고리즘은 더 잘 수행함을 주목한다. 그것은 오리지널 비워프된 포인트 클라우드들(original unwarped point clouds)에 직접적으로 검증되었으며 클라우드들을 1Hz에서만 처리한다는 점에 유의해야 한다.

루프 폐쇄들을 통합 한 후에 제안된 글로벌 최적화 전략에 의해 도입된 개선사항들을 평가하기 위해, 본 발명자들은 단일 루프를 포함하는 키티 데이터세트의 샘플 트랙에 대해 이 특징을 가능하게 하였다. 그들의 루프 탐지 메커니즘은 매우 단순하며 실제 애플리케이션에 적합하지 않다: 그것(one)은 현재 포즈와 이전 포즈 사이의 거리가 임계값보다 더 작으면 루프를 탐지한다. 그 다음, 그것(one)은 글로벌 맵에 마지막 클라우드를 등록하고 성공하면, 그것(one)은 발견한 대응들을 글로벌 최적화에 추가한다. 도 3은 고려된 트랙에서 루프 폐쇄의 영향을 도시한다. 또한 실험적 결과들은 두 주행 기록계 및 로컬 최적화된 궤적에 대한 글로벌 최적화의 개선사항을 도시한다.

본 발명자들은 그들의 시스템을, 또한 획득한 포인트 클라우드들에 대해 모션 보정을 수행하는 공개적으로 이용 가능한 벨로다인 SLAM [에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)," IVS, 2011]과 비교했다. 두 시스템들을 비교하기 위해, 본 발명자들은 실외 차량 데이터세트를 사용하여 축적된 드리프트를 측정하였다. 동일한 위치가 여러 번 재검토되기 때문에, 그들은 생성된 초기 로컬 맵을 이후의 각 통로(passage)에서 생성된 것으로 등록함으로써 드리프트를 추정했다. 초기 로컬 맵으로 현재 로컬 맵을 정렬하는 등록 변환의 병진 및 방향 구성 요소들은 얼마나 많은 드리프트가 축적되었는지 나타낸다. [에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)," IVS, 2011의 현저한 특성들 중 하나는 궤적 추정에 긍정적인 영향을 주는 휴리스틱 테스트들(heuristic tests)의 세트에 기초로 하는 맵 다듬기 전략(map refinement strategy)(적응력이라고 함)의 존재이다. 본 시스템은 문제를 적절하게 모델링함으로써 최적화 전략에 중점을 두기 때문에, 본 발명자들은 궤적 추정에 분석을 집중시키기 위해 오리지널 작업(original work)에서 이 특징을 사용하지 않았다. 각 루프 이후의 결과들은 표 1에 도시된다. 그것(one)이 오리지널 작업보다 더 적은 드리프트를 축적하는 것임이 주목될 수 있다. 또한, 본 시스템은 벨로다인 SLAM의 휴리스틱 전략들보다 더 적은 구성 파라미터들을 요구하는 문제의 자연적 공식(natural formulation)이다. 현재 시스템의 성능은 벨로다인 SLAM 시스템보다 실행 시간과 환경의 글로벌 맵을 유지하는 능력 모두에서 뛰어나지만, 오리지널 작업에서는 로컬 맵만 유지된다. 제1 루프에 축적된 드리프트와 다음 루프들에 대한 글로벌 맵의 사용을 정정하기(correct) 위한 글로벌 최적화 기술 및 루프 폐쇄의 사용의 경우, 글로벌 맵을 사용하는 기능이 확인되었다.

제안된 맵 표현의 성능을 평가하기 위하여, 본 발명자들은 인텔 제온(Intel Xeon) E5-2650 CPU를 갖춘 PC에서 실외 차량 데이터세트를 실행하면서 각 연산의 실행 시간을 측정하였다.

예상되는 바와 같이, 가산 연산들은, 특징 당 평균 시간 36.4ns인, 맵에 추가된 특징들의 수에 관해서 선형 시간에서 수행되며, 이는 HDL-32E 센서를 위한 1.81ms의 평균 클라우드 삽입 시간(average cloud insertion time)을 준다.

현재 SLAM 프레임 워크에서의 삭제 연산들은 kd-트리를 업데이트하기 직전에, 로컬 맵을 통해서만 수행된다.

표 1: 드리프트 오차 보고서

삭제될 특징들은 관심의 포인트(예를 들어, 마지막 추정된 센서 포즈) 주위에서 반경 서치를 수행함으로써 선택되고 글로벌 맵에 추가된다. 결과들은 평균 30.84ns 테이크하는 특징 당 일정한 삭제 시간을 보여준다.

로컬 맵으로부터 삭제될 특징들의 선택은 두가지 방식으로 수행될 수 있다: 복셀 구조를 사용하거나 조밀 리스트(dense list)를 반복함으로써. 도 4a는 서치 반경(search radius) 및 맵에 저장된 특징들의 수에 기초한 평균 서치 시간들을 도시한다. 알 수 있듯이, 조밀 리스트를 사용하는 것은 항상 동일한 성능(서치 반경과 관계없이, 저장된 특징들의 수에 선형임)을 제공한다. 반면에, 복셀 서치 시간들은 반경이 증가함에 따라 증가하며, 모든 경우들에서, 최악의 결과를 제시한다.

포인트들이 글로벌 맵으로부터 삭제되지 않으므로, 컴팩트 연산들은 로컬 맵에서만 발생한다. 새로운 kd-트리가 요청될 때까지 새로운 클라우드들의 추가를 연기하는 제안된 전략 덕분에, 창조된 구멍들의 수는 추가된 특징들의 수 보다 더 많으며, 시간의 단지 7.79%가 컴팩트 연산을 수행하는데 필요하다(only 7.79% of the times the number of holes created is greater than the number of features added, being necessary to perform a compact operation). 이러한 경우들에서, 실행 시간은 남아 있는 구멍들의 수에 관해 선형 작동(linear behavior)을 보여주고, 이는 각 연산의 평균 시간 1.81ms이다.

마지막으로, 루프 폐쇄 연산들에 대해, 글로벌 맵은 관심 영역 주위에서 질의되어야 한다. 로컬 맵에서 발생하는 바와 같이, 이 선택은 두 가지 방식들로 수행될 수 있다. 도 4b는 복셀 구조와 조밀 리스트 사용의 결과를 도시한다. 알 수 있듯이, 90m 미만의 서치 반경의 경우, 복셀은 조밀 리스트를 초과-수행한다(over-performs). 그러나, 반경이 커지면, 내부 희소 복셀 구조에서 캐싱이 실패하는 것은 큰 성능 손실을 가져온다.

이 시스템은 로컬 궤적 최적화가 활성화 되지 않을 때 12.93Hz(즉, 벨로다인 획득 속도에 관해 실시간으로)에서 클라우드들을 처리할 수 있고, 반면에 주파수는 로컬 궤적 최적화를 사용하여 7.5Hz로 줄며(decreases), 이는 실시간에 가깝다. 등록 및 로컬 최적화는 멀티-스레드(multi-thread)로 실행되도록 코딩되지 않으므로, 본 발명자들은 두 주행 기록계 및 로컬 최적화에서 성능이 향상될 수 있다고 예상한다는 것이 주목될 수 있다.

주행 기록계 모드에서 클라우드들을 등록하는데 소비된 시간은 전체의 54%이며, 반면 로컬 최적화 모드에서는 30 %의 시간이 주행 기록계 등록에 소비되고 35 %가 로컬 궤적 최적화에 소비된다. 등록은 최근접 이웃 서치 시간을 포함하는 반면, 주행 기록계 모드(제1 행)를 작업할 때 및 로컬 궤도 최적화(제2 행)를 수행할 때, 로컬 및 글로벌 맵들에 대해 수행된 각 작업의 영향은 표 2에 요약된다. 로컬 맵에 대한 추가, 삭제 및 컴팩트 연산들은 각각 추가(add), 삭제(delete) 및 컴팩트(compact) 열들에 각각 도시되며, 삭제 시간들은 글로벌 맵에 대한 추가 및 로컬 맵에 대한 포인트 선택을 포함한다. 전체 로컬 맵에 대한 kd-트리 빌딩의 영향은 kd-트리 열에 도시되고, 마지막으로, 글로벌 맵으로 로컬 맵의 삭제된 포인트들 추가의 영향이 추가 g(add g) 열에 도시된다.

표 2: 시스템 성능

	주파수	추가	삭제	컴팩트	kd-트리	추가 g.
주행.	12.93Hz	2.1%	0.9%	0.2%	25.0%	0.3%
로컬.	7.54Hz	1.2%	0.5%	0.1%	13.7%	0.2%

A.5. 결론

본 명세서는 이동하는 레이저들을 사용하여 획득된 포인트 클라우드들의 로컬 최적화를 위한 프레임워크를 제시한다. 특히, 본 발명자들은 획득된 각 포인트 클라우드를 시작 및 끝 위치 사이에서 보간함으로써 획득 모션을 최적화에 통합하였다. 본 발명자들은 공개적으로 이용 가능한 데이터세트들을 사용하여, 센서 운동(sensor movement)을 정확하게 모델링함으로써, 주행거리측정 추정 오차들(odometry estimation errors)을 감소시키는 것이 가능하다는 것을 실험적으로 보여 주었다.

또한, 그들은 희소 특징들에 의해 구성된 큰 복셀라이즈드 3D 맵들을 관리하기 위한 효율적인 데이터 구조를 제시한다. 맵 데이터 구조는 두 로컬 맵 최적화 및 오프라인 글로벌 최적화에 적합하다. 그들의 실험들은, 이전 문제의 경우, 그러한 구조는 실시간 주행거리측정 및 거의 실시간 로컬 다듬기를 제공한다는 것을 보여준다. 이러한 성능들은 로컬 궤적 최적화가 수행될 때(예를 들어, 최근접 이웃 서치, 클라우드 비워프하기(cloud unwarping)), 멀티-스레드 연산들을 이용함으로써 향상될 수도 있다.

B. 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석

옥트리 또는 kd-트리에 기초한 접근 방식들은 최근접 이웃들(전형적으로 맵 크기에 관한 대수(logarithmic)) 및 양호한 확장성을 위한 합리적인 서치 시간을 제공한다. 이러한 접근 방식에서, 본 발명자들은 희소 데이터 구조들에 의해 제공된 확장성 및 조밀 복셀 표현들에 의해 제공된 고속 랜덤 액세스들(fast random accesses)을 결합하는 대안적인 복셀 표현을 도입한다.

정확한 포즈 추적을 보장하기 위하여, 바람직한 시스템은 ICP 알고리즘에 대한 양호한 기하학적 안정성을 보장하는 등록 프로세스에서 사용될 포인트들의 효율적인 선택을 수행한다. 그 다음, 아웃라이어들(outliers)을 효율적으로 폐기하는 전략은 등록이 전세계적으로 일관되는 (인라이어들(inliers)) 대응들을 단지 사용하여 수행되는 것을 보장한다.

본 바람직한 프레임워크는 사용자가 맵을 두고 갈 때에도 또는 관찰된 환경이 초기에 획득한 모델과 너무 많이 다른 경우(예를 들어, 가구가 변화됨) 실시간으로 추적을 할 수 있는 견고한 주행 기록계를 지상 검증 모델(ground truth model)에 관한 등록 프로세스에 융합한다. 알고 있는 맵(known map)을 다시-입력함(re-entering)으로써 시스템은 자동으로 정확한 위치를 복구하므로 드리프트 축적을 회피할 수 있다.

B.1. 아래에 설명된 바람직한 실시예들의 주요 이점들

1) 미리-계산된 디스크립터들의 세트를 사용하여 매우 큰 환경에서 센서를 로컬라이즈하고 지상 검증 맵에 대한 액세스를 회피하는 확장 가능한 장소 인식 전략.

2) 낮은 메모리 풋프린트(low memory footprint) 및 일정한 시간 가까운 이웃 서치를 제공하는 맵을 표현하는 효율적인 데이터 구조.

3) 기하학적으로 안정된 결과들을 보장하는 고속 포인트 선택 전략.

4) 등록 프로세스 동안 아웃라이어들의 간섭을 효율적으로 제거하는 인라이어 선택 기술(inlier selection technique).

5) 사용자가 비-맵핑된 영역들(non-mapped areas)을 네비게이트하는(navigate) 것을 허용하고 정적 아웃라이어들(static outliers)을 이용하는 지상 검증 맵에 대립하는 등록과 로컬 주행 기록계 사이의 융합.

6) 높은 정확성으로 실시간 결과들을 제공하는 완전한 시스템.

아래 설명은 다음과 같이 구조화된다: 섹션 B.2.는 바람직한 온라인 장소 인식 및 리로컬리제이션(relocalization) 전략을 제시하고, 섹션 B.3은 알고 있는 환경에서 사용자 포즈가 식별되면 온라인 추적을 수행하는 방법을 보여준다. 그 다음 섹션 B.4.는 실험적 결과들을 제시하고 마지막으로 섹션 B.5.은 결론을 이끌어 낸다.

B. 2. 장소 인식

장소 인식 구성 요소는 선험적 정보 없이 사용자 위치 및 방향의 초기 추정을 복구하는 것을 다룬다. 현재 센서 관찰이 주어진(given) 후보 위치들을 제공하도록 프레임 속도로 온라인으로 실행할 수 있다. 또한, 확장성 목적들을 위해, 멀리 있는 위치들(따라서 메모리에서 로드되지 않음), 또는 다른 맵들과 관련한 후보 포즈들을 제공할 수 있으므로 실행 동안 맵 모델을 사용해서는 안된다. 이러한 두 가지 요구들을 만족시키기 위하여, 전처리 단계는 (1) 이용 가능한 포즈들의 서치 공간을 감소시키고 (2) 특정 위치에 있을 가능성을 주어진 관찰이 효율적으로 추정하는 견고하고 컴팩트한 분류기를 트레인하기 위하여 바람직하게는 도입된다.

서치 공간 감소

그것(One)은 전체 맵 중에서 네비게이블 영역들(navigable areas)을 처음에 바람직하게는 검출한다. 이 영역들은 환경의 탐색 동안 센서가 배치될 수 있는 볼륨(volume)으로서 정의된다. 또한 그것(one)은 맵 모델 Z 축이 중력 벡터와 대략 정렬된다는 일반성의 손실 없이 일반적으로 가정할 수 있다.

본 발명자들은 지상 모션(ground motion)(백팩 또는 차량 장착 센서)에 중점을 두기 때문에, 네비게이블 영역들은 네비게이블 플로어(navigable floor) 위의 비교적 좁은 공간에 있을 것으로 예상된다. 이런 이유 때문에, 그것(one)은 플로어의 넓이(extents)를 먼저 식별한다. 플로어 추출은 환경

의 희소 복셀 표현을 통해 수행되며, 여기서 각 풀 셀

은 그것의 중심

주위의 포인트들에 의해 국부적으로(locally) 정의된 표면에 법선 벡터를 포함한다. 관련된 법선들에서의 수직 구성 요소가 우세한지(dominant), 즉,

가 일반적으로 0.5와 1 사이의 값인

를 체크함(checking)으로써, 후보 플로어 셀들

을 표현하는 복셀들의 서브세트를 추출한다. 그러나, 이 제약만으로도 너무 많은 셀들을 플로어로서 분류할 수 있다(예를 들어, 테이블들 또는 빈 선반들(tables or empty shelves)).

이 문제를 해결하기 위해, 본 발명자들은 도달 가능성(reachability)의 개념을 도입하는 것을 제안한다. 도달 가능한 셀(reachable cell)

이 주어지면, 다음 조건들이 만족되는 경우 모든 주변 셀들

이 도달 가능한 것으로서 간주된다.

(6)

(7)

(8)

여기서, (6)에서의

는 최대 스텝 거리(maximum step distance)(예를 들어, 보행 모션에 대해 0.5 미터, 또는 차량 모션에 대해

)이고, (7)에서의

은 최대 수직 스텝 크기(maximum vertical step size)이고, (8)에서의

은 플로어 셀(floor cell)

(본 실시예에서는 바운딩 실린더(bounding cylinder)) 위 중심에 있는, 관찰자의 단순화된 볼륨(simplified volume)이다.

초기 도달 가능한 셀들은 수동으로 제공될 수 있지만, 맵의 생성은 도달 가능한 셀들 위로(over) 스캐너를 위치시킴으로써 수행되는 것이 바람직하기 때문에, 이 초기화는 획득 위치들 아래 플로어 셀들을 도달 가능한 것으로 가정하여 자동으로 수행될 수 있다.

이러한 조건들에 따라, 모든 플로어 셀들

을 검출하는 것은, 초기에

가 도달 가능한 셀들의 제1 세트를 저장하는 알고리즘을 나타내는 표 3에 도시된 바와 같이, 플루딩-알고리즘 스타일(flooding-algorithm style)로 수행된다.

플로어가 식별되면, 네비게이블 공간(navigable space)

은 플로어 셀들 위의, 셀들의 세트

로서 정의된다, 여기서

.

정밀도(precision)의 손실 없이 네비게이블 공간을 더 감소시키기 위하여, 본 발명자들은 또한 효과적 네비게이블 공간

을 제공하는 시스템의 특정 연산성(particular operability)(예를 들어, 특정 센서 장착에 대한 가능한 센서 포즈에 대한 수직 및 각도 제한들)과 관련된 물리적 제약들을 도입하는 것을 제안한다. 이러한 제약들은 샘플 데이터세트들에 대한 실험들의 세트를 실행함으로써 경험적으로 선택된다(섹션 B.4 참조).

포즈 분류기

포즈 분류기를 구축하기 위해서, 그것(one)은 초기에 각각의 단일 관찰의 컴팩트한 표현을 정의할 필요가 있다. 특히 본 발명자들은 타데이, 피.(Taddei, P.), 산체크, 씨.(Sanchez, C.), 로드리구에즈, 에이. 엘.(Rodriguez, A. L.), 세리아니, 에스.(Ceriani, S.), 세퀘이라, 브이.(Sequeira, V.), 2014에 의해 정의된 간단 및 고속-계산 컴팩트 디스크립터(simple and fast-to-compute compact descriptor)를 채택한다. 깊이 센서들을 사용한 로컬리제이션 문제들의 모호성 검출(Detecting ambiguity in localization problems using depth sensors). 인(In): 3DV: 그것(one)은

정기적인 빈들(regular bins)에서의 범위 이미지를 나누고, 각각의 것에 대해(for each one), 그것(one)은 중간 범위 값을 추정한다. 이 모든 값들은 관찰된 프레임

의 디스크립터에 스택된다(stacked).

그 다음 그것(One)은 알고 있는 효과적 네비게이블 공간

에서 무작위로 트레이닝 포즈들의 세트

를 생성한다. 각각의 포즈

에 대해, 그것(one)은 제공된 포즈에 정렬된 센서 이미지 평면에 3D 맵을 광선-캐스팅함(ray-casting)으로써 깊이 이미지를 합성하고, 본 발명자들은 생성된 깊이 이미지로부터 그것의 디스크립터

를 추출한다. 그것(One)은 생성된 모든 디스크립터들

을 그것들의 대응하는 포즈

에 맵핑하는 kd-트리

를 구축한다. 디스크립터

가 주어지면, 디스크립터 공간에서 가까운 위치/디스크립터 쌍들의 세트는 디스크립터 공간에서 대수 복잡성(logarithmic complexity)을 구비하여,

에 대해 효율적인 서치들을 수행함으로써 검색될 수 있다. 트레이닝 샘플들의 세트

가 주어지면, 그것은 글로커, 비.(Glocker, B.), 이자디, 에스.(Izadi, S.), 쇼튼, 제이.(Shotton, J.), 크리미니시, 에이.(Criminisi, A.), 2013에 설명된 바와 같이, 더 컴팩트한 분류기들를 구축하는 것이 가능하다는 것을 주목한다. 실시간 rgb-d 카메라 로컬리제이션(Real-time rgb-d camera relocalization). 인(In): ISMAR. 그럼에도 불구하고, 본 발명자들은 메모리에서 풀 트레이닝 세트(full training set)를 보유하고 kd-트리의 디스크립터 공간에서 방사상의 최근접 이웃 서치들(radial nearest neighbor searches)에 의한 분류를 수행하기에

이 충분히 작았다는 것을 실험적으로 관찰하였다.

실행 동안 포즈 분류기는 현재 관찰이 주어진 가장 가능한 위치들을 복구하는데 사용된다. 특히, 본 발명자들은 두 가지 상이한 단계들에서 프로세스를 나눈다: 선험적 정보가 이용 가능하지 않을 때 가능한 위치들의 추정을 다루는, 초기화(initialization) 및 후보 위치들의 평가 및 이것들의 리샘플링(resampling)을 다루는, 업데이트(update).

초기화 단계에서, 그것(one)은 단일 센서 관찰이 주어지는 센서의 가능한 위치의 세트를 이끌어 낼 필요가 있다. 본 발명자들은 다음과 같이 진행할 것을 제안한다:

1. 마지막 센서 관찰이 주어지면, 그것(one)은 그것의 관련된 디스크립터

를 계산하고 디스크립터 공간에서 임계값

이 주어진

에 대한 방사상의 서치를 수행하는 후보 위치들의 세트

를 복구한다. 360 수평 시야(360 horizontal field of view)를 제공하는 센서들의 경우, 그것(one)은 범위 값들을 수평으로 시프트함(shifting)으로써 추가 입력 디스크립터들을 계산함으로써 후보 위치들을 증가시킬 수 있다. 각 디스크립터는 그것의 로컬 축 상에 의해 회전될 경우 센서가 생산하는 판독들(readings)에 대응한다. 그 다음 후보 위치들의 각 결과 세트(Each resulting set of candidate locations)는

에 따라 회전된다.

2. 그것(One)은 각 잠재적 위치

에 가중치(weight)

를 관련시킨다:

여기서

는

로부터 검색된 위치

에 관련된 디스크립터이다.

은 완벽하게 매칭하는 디스크립터들에 대해 1이고 서치 스피어 경계(search sphere boundary)에 대한 디스크립터들에 대해 0이다.

3. 마지막으로, 가중치들은

에서 수집되고

갖도록 정규화된다.

업데이트 단계는 센서가 주어진 그것들의 관련된 가중치들

을 이동하는 동안 가능한 위치들

의 업데이트를 다룬다. 이 단계에서는 다음 섹션에서 설명하는 기술에 따라 이전 것(predecessor)에 하나의 클라우드를 등록하는(registers one cloud to its predecessor) 주행 기록계의 사용을 만든다는 것을 주목한다. 특히, 본 발명자들은 다음과 같이 진행한다:

1. 그것(One)은 주행 기록계 및 현재 관찰을 사용하여

에서의 모든 위치들을 업데이트한다.

2. 마지막 잠재적 위치들이 창조된 후 주어진 거리를 다닐(travelled) 때, 새로운 디스크립터

는 마지막 관찰로부터 계산된다. 이것은 초기화 단계에서의 단계1과 유사하게, 가능한 위치들의 세트

를

로부터 검색하는데 사용된다.

3. 각 가능한 위치

와 관련된 가중치는 다음과 같이 계산되고:

(9)

일단 모든 가중치들이 계산되면, 그것들은 최대 값 1을 갖도록 정규화된다.

4. 그것(One)은

및

를 업데이트하고 업데이트 단계의 반복을 되풀이한다.

수학식 (9)는 두보이스, 디.(Dubois, D.), 2006에 비슷한 가능성 이론으로 나타낸 베이스 정리(Bayes theorem)를 사용하여 각 가능한 위치에 관련된 가중치를 계산한다. 가능성 이론 및 통계적 추론(Possibility theory and statistical reasoning). 전산 통계 및 데이터 분석 (Computational Statistics and Data Analysis)51 (1), 47 - 69, 통계 분석에 대한 퍼지 접근 방식(Fuzzy Approach to Statistical Analysis). (9)의 개별 항목들은 다음과 같다:

(10)

(11)

(12)

(13)

수학식(10)은 초기화 단계의 단계 2에서와 같은 방식으로 포즈

가 주어지면, 디스크립터

의 가능성을 추정한다(멀티 입력 디스크립터들의 경우, 각각은 개별적으로 고려되어야 함). 수학식(11)은 잠재적 위치들의 세트 에서 가장 호환 가능한 위치(most compatible location)를 발견함으로써 포즈

에 있을 가능성을 평가한다. 이 호환 가능성(compatibility)은 이전의 잠재적 포즈

와 포즈

사이의 가중된 상대 거리(수학식 (12))로서 정의된다. 수학식(13)은 트레이닝 세트의 크기에 관해 검색된 이웃들의 수를 비교함으로써 현재 관찰의 특수성(distinctiveness)을 추정하며, 예를 들어, 통로들(corridors)에서와 같이 매우 모호한 포즈들는 많은 결과를 생산할 것이고, 높은 모호성을 초래한다.

잠재적 포즈들이 단일 위치에 수렴할 때까지, 즉 가중치들

에 따른 계산된

의 중심의 공분산(covariance)이 작아질 때까지 업데이트 단계는 반복된다. 이 포인트에서 그것(one)은 문제가 해결되고 포즈 추적 구성 요소가 시작된 것으로 간주한다.

전술한 바람직한 시스템은 단일 센서 관찰을 사용하는 고속 부트스트래핑(fast bootstrapping)으로 가능한 위치들(possible locations)의 반복적 재-가중치두기(re-weighting)에 기초한다. 큰 맵들에 대한 확장성을 위한 핵심 요소는 참조 맵들로부터 경량 디스크립터들(lightweight descriptors)의 미리-계산 및 관련된 포즈들을 구비한 kd-트리 구조에서의 그것들의 구성(organization)이다. 이 방식으로, 디스크립터 공간에서의 질의는 시스템을 제1 관찰이 주어진 후보 위치들로 효율적으로 채우는데 사용된다. 그 다음, 이후의 업데이트 단계들에서, 디스크립터 공간에서의 추정된 모션 및 질의들은 가능한 위치들의 새로운 세트 및 그것들의 관련 가중치들을 이끌어 내는데 사용된다.

이 접근 방식은 입자 필터들을 이용하는 [쓰런(Thrun) 외. (2005) 쓰런(Thrun), 버가드(Burgard), 및 폭스(Fox)] 및 [쓰런, 에스.(Thrun, S.), 폭스, 디.(Fox, D.), 버가드, 더블유.(Burgard, W.), 델라어트, 에프.(Dellaert, F.), 2001. 모바일 로봇을 위한 견고한 몬테 카를로 로컬리제이션(Robust monte carlo localization for mobile robots), 인공 지능(Artificial intelligence) 128 (1), 99-141]에 제시된 일반적인 몬테 카를로 로컬리제이션 기술들(general Monte Carlo Localization techniques)과 비슷하다(comparable). 그러나 그들의 기술들은 로컬리제이션 문제의 모든 단계들을 해결하기 위하여 가중화된 입자들의 세트(set of weighted particles)로 그것을 근사함으로써(approximating) 센서 확률 분포를 정밀하게 추정하는 것을 목표로 한다[런, 에스.(Thrun, S.), 버가드, 더블유.(Burgard, W.), 폭스, 디.(Fox, D.), 2005. 확률적 로보틱스(Probabilistic Robotics) (지능형 로보틱스 및 자율 에이전트(Intelligent Robotics and Autonomous Agents)). MIT 프레스(MIT Press)].

대신, 본 장소 인식 구성 요소는, 고유한 위치가 식별되면 정밀한 포즈 추적이 이후의 추적 구성 요소(섹션 B.3.)에 의해 수행되기 때문에, 고속(fast) 및 러프한(rough) 포즈 추정만 필요로 한다. 또한, 본 시스템은 가능한 위치들이 폐기되지 않도록 보장해야만 하고, 따라서 정밀한 센서 포즈 확률 밀도 추정을 요구하지 않는다. 이런 이유 때문에, 그것(one)은 섹션 B.4에 도시된 바와 같이, 네비게이블 공간의 조밀 샘플링을 요구하지 않는다. 그러나 낮은 샘플링 밀도는 잘못된 입자 초기화로 인해 특정 경우들에서 추적 손실이 발생될 수 있다. 이 문제는 업데이트 단계가 수행될 때마다 입자들의 새로운 세트를 이끌어 냄으로써 극복된다.

B.3. 포즈 추적

포즈 추적 구성 요소는 센서가 환경 주위를 이동할 때 센서의 로컬 모션을 계산하는 것을 다룬다. 이전의 추정된 포즈를 알면, 새로운 획득이 수신될 때, 본 발명자들은 맵과 관찰된 포인트들 사이의 로컬 등록을 수행한다. 결과 변환(resulting transformation)으로부터, 암시된 모션(implicit motion)이 유추되고 이전에 추정된 포즈에 적용된다.

실시간으로 센서 포즈를 정확하게 추적하기 위해서, (1) 최근접 이웃 서치들을 위해 특별히 설계된 데이터 구조를 이용하는 것 및 (2) 입력 포인트들의 안정적이고 대표적인 서브세트를 정확하게 선택하여 등록을 수행하는 것이 중요하다. 그럼에도 불구하고, 정확한 추정들을 보장하기 위하여, (3) 아웃라이어들은 적절하게 검출되어야 한다. 이것은 특히 몇몇의 큰 지배적인 방향들을 포함하는(contains few large dominant directions) 퇴화한 환경들(degenerate environments), 예를 들어 긴 통로들, 터널들 또는 잘못된 등록들을 방해하는 적절한 포인트들이 많지 않은 대칭 환경에서 중요하다.

맵 표현

현재 제안된 맵 구조에서, 요소들의 두 개의 다른 리스트들은 저장되고 동기화된다: 특정 복셀 크기로 구축된, 복셀들의 조밀 그리드(dense grid)

, 및 평면들의 컴팩트 리스트

. 각 평면

은 단위 법선

및 세계 좌표들에서의 위치

를 저장한다. 각 복셀

은 풀(full), 엠티(empty) 또는 니어(near)일 수 있는 현재 상태를 저장한다. 풀 복셀들은 관련된 위치가 속한, 평면

에 인덱스를 저장한다. 특히 복셀에 속하는 참조 맵 포인트들은 평면 파라미터들을 추정하는데 사용된다. 엠티 셀들(Empty cells)은 눌 참조(null reference)를 저장하고 니어 셀들은 복셀 중심에 대한 관련된 위치 거리

가 가장 작은 평면

에 인덱스를 저장한다. 본 발명자들은 바람직하게는 거리

가 주어진 임계값

아래(under)인 경우에만 니어 복셀(near voxel)을 고려하고, 그렇지 않은 경우 복셀은 엠티로 간주됨을 주목한다. 도 5는 제안된 표현을 도시한다.

이 맵 표현으로, 모든 최근접 이웃 서치들은 오프라인으로 미리-계산되고 조밀 그리드 내에 저장된다. 실행 시, 세계 좌표들에서의 질의 포인트가 주어지면, 본 발명가들은 그것을 포함하는 복셀을 계산함으로써 맵에서 그것의 최근접 이웃의 계산을 근사한다. 그 다음, 셀 상태가 풀 또는 니어(full or near)인 경우, 그것(one)은 관련된 평면을 반환한다(returns). 그렇지 않으면, 그것(one)은 이웃이 없다는 것을 알려준다.

제안된 접근 방식에 있어서, (1) 단일 서치 동안 수행된 모든 연산들은 맵의 크기에 관계없이 일정한 실행 시간을 제시한다는 것을 주목한다. 비교하여, kd-트리 구조들은 평균적으로 맵의 크기에 관해 대수 시간을 제공한다. 또한, 적절하게

를 설정함으로써 그것(one)은 ICP에서 최근접 이웃을 찾을 때 너무 분리된 대응들의 초기 아웃라이어 거부(initial outlier rejection)를 암시적으로(implicitly) 수행한다.

큰 환경들을 표현하기 위해 조밀 복셀 구조들을 사용하는 것의 주요 단점은 그것들의 메모리 풋프린트에 있다. 본 발명자들은 중간 노드들이

노드들의 블록인 3-레벨 계층 구조(three-level hierarchical structure)를 사용하여 이 문제를 해결한다. 이 방식으로, 노드가 완전히 엠티(empty)일 때, 저장될 필요가 없으며 제안된 리프 크기(proposed leaf size)

가 주어지면, 그것(one)은 2 바이트만 사용하는 각 단일 내부 셀들에, 비어 있는 것들을 마크하는(mark) 추가 비트를 플러스(plus)하여 해결할 수 있다(15+1 비트). 추가적으로, 본 구현들은 스트리밍(streaming)을 허용하여 센서의 범위 내의 파트(part) 만이 메모리 내에 있어야 한다. 센서 이동 속도는 관련된 로드 연산들 아래의 자릿수(orders of magnitude)이기 때문에, 온라인 실행 메모리 요건들은 항상 경계가 있으며 맵은 항상 센서 포즈 주위에서 업데이트된다.

포인트 선택 전략

그것(One)은 현재 획득의 포인트들의 선택된 서브세트가 등록 동안 덜 정의된 자유도를 정확하게 락하는데(to correctly lock the less defined degrees of freedom) 충분히 대표적인지 보장해야 한다. [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz) 및 레보이(Levoy)]에서 설명된 작업과 유사하게, 본 발명자들은, 포인트-평면 거리(point-plane distance)에서 변환 벡터

에 의해, 포인트

, 및 그것의 관련된 법선

을 이동시키는 기여를 고려한다. 이것은 다음과 같이 나타낼 수 있다:

(14)

작은 각도 근사(small angles approximation)를 사용하여 회전들을 선형화함으로써.

수학식(14)에서의 회전만을 고려하면, 포인트-평면 거리에 도입된 오차는 시찰 광선(viewing ray) 및 그의 법선 사이의 각도 및 센서에 관한 포인트 거리에 비례한다. 이것은 먼 포인트들과 시찰 광선에 관해 가능한 한 수직인 법선을 선택하게 한다. 불행하게도 이동하는 레이저는 균일하게 분산되지 않은 포인트들을 생산하고, 특히 멀리 있는 영역들은 더 낮은 포인트 밀도로 획득되어 제대로 추정된 법선들을 제공하지 못한다. 또한, 센서가 대칭 축에 접근할 때, 원형 환경들에서 시찰 광선과 법선 사이의 각도는 사라진다.

본 발명자들은 바람직하게는 병진들 및 회전들 사이를 명시적으로 구별하여 이 문제들을 해결한다. 병진들을 적절하게 제약하기(constrain) 위하여, 그들은 포인트 법선들만을 고려한다. 그들은 병진

을 위한 공분산 매트릭스를 다음과 같이 계산하고:

그것의 관련된 고유 벡터들

,

,

, 및 고유 값들

을 추출한다. 획득 포인트들은 다음과 같이 세 개의 빈들

로 분류된다.

세 개의 빈들이 균형을 이루었을 때, 병진 자유도(translation degrees of freedom)는 동등하게 제약된다. 반면, 퇴화의 경우, 예를 들어 긴 복도, 하나의 빈은 다른 것보다 상당히 적게 채워질 것이며, 예를 들어 관련된 법선들이 종축에 평행한 포인트들을 포함하는 것이다.

방향에 관해, 그것(one)은 위치들과 법선들 사이의 교차 곱(cross products)을 사용하여 주 회전 축(principal rotation axes)을 계산한다. 결과 공분산 매트릭스는 다음과 같이 정의된다:

병진들과 유사하게, 그것(one)은 관련된 고유 벡터들

,

,

, 및 고유 값들

을 계산한다. 그 다음, 입력 클라우드로부터의 포인트들은 다음과 같이 세 개의 빈들

로 분류된다.

각 빈에 대해, 그것(one)은 센서에 대한 그것들의 거리에 따라, 포함된 위치들의 가중된 평균으로서 회전 중심을 근사하고(이 근사는 센서들에 대해 유효하다. 다른 시야에 대해서(For other fields of view) 대안적 근사가 요구될 수 있다):

그 다음, 빈에서의 각 포인트에 대해, 그것(one)은 대응하는 고유 벡터

에 대한 회전들을 락하는데 기여하는 정도를 추정한다:

(15)

수학식(15)에서의 제1 항목은 회전 축에 직각도에 따른 주어진 포인트 법선의 영향을 가중한다(더 수직할수록 더 높은 가중). 제2 항목 분자는 회전의 중심을 포인트에 연결하는 벡터와, 회전 축 및 법선에 의해 정의된 평면에 수직인 벡터 사이의 각도를 계산함으로써

에 대한 락 회전(locking rotations)에 대한 품질을 추정한다. 마지막으로, 분모는 범위

에서의 결과를 정규화하므로, 포인트 선택은 센서까지의 거리로부터 독립적이다.

작은

값들과 관련된 빈들이 너무 많은 포인트들을 포함할 때, 고려된 축 주위의 회전은 열악한 제약을 받는다: 그것(one)은 가장 높은 값들을 구비한 포인트들만을 선택할 필요가 있다. 도 6은 높은 대칭을 구비한 환경 및 회전이 적절하게 정의된 다른 환경으로부터 복구된

값들의 샘플 히스토그램(sample histograms)을 보여주는 이 개념을 도시한다.

등록 및 인라이어 선택

등록 목적들을 위해, 본 발명자들은 대응들의 나머지와 일치하지 않는, 맵 포인트들

과 (세계 좌표에서의) 센서 포인트들

사이의 것을 잘못된 대응들로서 고려한다. 이것은 다음과 같은 경우에 발생한다: (a) 센서에 의해 보여진 포인트가 맵에 존재하지 않는 물체(즉, 오리지널 획득 후에 제거되거나 추가된 무언가)에 대응하는 경우 또는 (b) 추정된

가 맵에서 그것의 대응하는 포인트로부터 멀리 있는 경우. 두 경우들에서, 최근접 이웃은 다른 대응들에 관해 기하학적 센스(geometrical sense)를 만들지 않는다. 이 아웃라이어들을 식별하는 고전적인 방식은 대응하는 포인트들 사이의 상대 위치들과 법선들을 기반으로 휴리스틱을 이용한다: 거리가 주어진 임계값보다 크거나 매우 다른 법선 방향들을 구비한 이웃들은 아웃라이어들로 간주된다. 예시들은 [루신키위크즈(Rusinkiewicz) 및 레보이(Levoy) (2001)]에서 찾을 수 있다. 이러한 근사들은 높은 허용 오차 값들을 사용할 때 유용하지만(예를 들어, 5보다 큰 대응하는 포인트들은 대부분의 경우들에 잘못될 수 있음), 이 경우들에는 식별력(discriminative power)이 낮다.

본 발명자들은 초기에 전술한 병진들과 관련된 빈들을 고려한다. 그 다음 그들은 회전이 모든 축들에 대해 적절하게 정의되었는지 평가한다. 주어진 축에 해당하지 않는 경우, 회전을 더 잘 제약하는 포인트들, 즉 가장 큰

값을 구비한 포인트들을 포함하는 빈을 추가한다.

그 다음, 그들은 새로운 센서 포즈에 초기 추측을 수행하기 위해 (두 개의 이전에 등록된 포즈들을 사용하여) 마지막 추정된 모션(last estimated motion)을 고려한다:

이 추측으로부터 시작하여, ICP 알고리즘의 각 반복은 포인트들의

랜덤 세트들

를 창조하며, 여기서 각 세트

는 각 빈(일반적으로

)으로부터

랜덤하게 선택된 포인트들을 포함한다. 이 포인트들의 각각의 하나에 대해, 그것(one)은

을 사용하여, 세계 좌표들에서 관련된 위치

를 계산하고, 맵에서 그것의 대응하는 최근접 평면(its corresponding nearest plane)

은 서치되어, 대응

을 창조한다 각 세트에서의 모든 대응들이 해결되면, 수식(expression)

을 최소화하는 강체 변환(rigid transformation)

은 그것들의 각각에 대해 독립적으로 계산된다.

각 세트의 대응들이 6 자유도 모두에 적절히 락시키는(properly lock on all six degrees of freedom) 관찰된 포인트들에 대해 정의됨을 고려하면, 이것들의 관련된 강체 변환들은 유사할 것으로 예상된다. 그러나, 아웃라이어들의 존재 및 각 세트에 대한 포인트들의 감소된 수를 고려할 때, 결과 변환들은 랜덤하게 달라질 것이다. 그것(One)은 이러한 분포로부터 벗어나는 세트들을 제거함으로써 가우시안 분포 및 식별 아웃라이어 대응들과의 추정 오차를 근사할 수 있다. 초기에 모든 변환들을 고려하고 관련된 정규 분포(associated normal distribution)

를 계산함으로써, 반복적으로 진행하고:

여기서, 회전들이 요(yaw), 피치(pitch), 롤 각도(roll angle)로 이루어진, 벡터로서 나타낸 각 세트와 관련된

강체 변환들이다. 그 다음, 각 세트에 대한

마할라노비스 거리(mahalanobis distances)에 따라 다음과 같이 계산되며:

1% 보다 더 작은 관련된 확률을 구비한 변환들은 폐기된다. 이 프로세스는 변환들이 폐기되거나 인라이어 변환들의 최소 수에 도달할 때까지, 반복적으로 되풀이된다(각 단계에서 남아 있는 변환들로

업데이트함). 최종 등록은 남아 있는 변환들과 관련된 세트들에 존재하는 대응들만을 고려하여 추정된다.

도 7은 제안된 인라이어 선택 전략 이후의 결과들을 도시한다. 모든 독립적으로 계산된 변환들이 잘 정의된 중심 위치 주위에 분포된 것을 주목한다. 또한 아웃라이어 제거의 각 반복 이후, 분포들은 인라이어들로서 마크된 모든 대응들을 고려할 때, 최종 추정 변환으로 빠르게 수렴된다는 것을 주목한다.

주행 기록계 통합

전반적인 시스템의 견고성을 향상시키기 위해, 본 발명자들은 제안된 센서 추적 구성 요소를 주행 기록계와 바람직하게는 결합한다.

포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들은 kd-트리로 저장된다. 새로운 획득이 주어지면, 등록 알고리즘이 포인트들의 세트들(

)을 창조할 때, 그것은 두 참조 맵(

) 및 이전에 고정된 클라우드(

)에서 최근접 이웃들을 찾는다. 그 다음, 대응들은 다음과 같이 정의되고:

여기서,

는 복셀 셀 크기에 대응하고, 이전에 고정된 클라우드의 비-이산화된 kd-트리(non-discretized kd-tree)와 복셀라이즈된 지상 검증 맵(voxelized ground truth map) 사이의 다른 해상도를 보상한다.

주요 이점들은 (a) 참조 맵에서 누락된 표면들이 등록 프로세스 동안 이용될 수 있고, (b) 시스템이 사용자를 연속적으로 추적함으로써 비-맵핑된 영역들을 탐색하는 것을 허용한다는 것이다.

B.4. 결과들

제안된 로컬리제이션 및 추적 시스템을 평가하기 위해, 본 발명자들은 LIDAR 스캐너로 획득된 네 개의 다른 데이터세트들을 사용하여 몇 가지 테스트들을 실행했다: (a) 아래층에 큰 실험실이 있고 1 층에 여러 사무실들이 있으며, 1400의 근사된 표면을 구비한 두 개의 플로어 빌딩; (b) 1800의 근사된 표면 및 단일 플로어를 구비한 컨퍼런스 빌딩(conference building); (c) 천장이 매우 높고 3000의 근사된 표면을 구비한 산업 워크숍(industrial workshop); (d) 2.2의 총 길이를 구비하고, 차량에 의해 탐색될 수 있는 큰 지하 터널(large underground tunnel). 모든 모델들은 야오, 제이.(Yao, J.), 러게리, 엠.알.(Ruggeri, M.R.), 타데이, 피.(Taddei, P.), 세퀘이라, 브이.(Sequeira, V.), 2010, 3D 선형 및 평면 특징들을 사용한 자동 스캔 등록, 1 (3), 1-18의 방법을 사용하여 공통 참조 프레임에 획득들을 등록함으로써 얻는다. 최종 맵은 크기 1 또는 10의 복셀 서브샘플링 단계(voxel subsampling step) 후에 포인트들 및 관련된 법선들(및, 존재하는 경우, 컬러들)을 저장함으로써 생성된다.

이 데이터세트들에 대해, 본 발명자들은 세 개의 다른 구성들로 장착된 벨로다인 HDL-32E 센서(Velodyne HDL-32E sensor)를 사용하여 시스템을 평가하였다: 보행용 백팩(backpack for walkthroughs), 세그웨이(Segway) 및 차량의 상부에. 결과들은64 비트 운영 시스템 및 RAM 8GB을 구비한 인텔 제온(Intel Xeon) CPU @ 2.80GHz를 구비한 컴퓨터를 사용하여 생성되었다.

장소 인식

장소 인식기에 대한 서치 공간을 감소시키기 위하여, 모든 맵들에 대한 플로어들은 제안된 플루딩 알고리즘(proposed flooding algorithm)을 사용하여 계산되었다. 이 단계에서, 본 발명자들은 플로어 제한들의 매우 상세한 표현이 필요 없기 때문에, 큰 복셀 셀들(20)을 사용하여 계산을 수행하였다. 세 개의 빌딩들에 대한 평균 플로어 계산 시간은 터널 데이터세트가 3.91을 테이크하는 동안 단지 0.14이었다. 도 8은 사무실 빌딩에 대한 결과들을 도시한다.

일단 플로어들이 계산되면, 본 발명자들은 유효 네비게이블 공간

을 추정했다. 특히, 백팩 장착 애플리케이션(backpack mounted application)에 대해, 본 발명자들은 평평한 표면들 위에서의 정상적인 보행, 달리기, 계단 위를 보행 및 고속 회전을 수행하는 것을 포함하는 여러 테스트들을 실행했다. 이 테스트들 동안, 관찰자의 위치는 연속적으로 추적되고 로그되었다(logged). 달성된 결과들 중 일부는 도 8에 제시된다.

도 9(좌측)는 플로어 위의 평균 높이에 대한 편차의 히스토그램을 도시한다. 결과는

의 표준 편차를 구비한 분포를 도시한다. 이러한 방식으로, [맥도웰 엠에이(McDowell MA) 및 씨엘(CL) (2008)]에 따라, 백팩에 장착된 센서가 캐리어의 머리(carrier's head) 위에

서고(stands),

및

백분위 수(percentiles) 사이의 사람 높이가 이 범위

안에 있다는 것을 고려하면, 플로어 위의 유효 높이 범위는

로서 추정되었다.

방향에 관해, 그것(one)은

축 위의 자유 모션을 고려한다. 보행 동안 사람들은 일반적으로 어느 정도만 구부리기 때문에 다른 두 자유도는 제한된다. 도 9(우측)는 평가 테스트들 동안 관찰된 절대

축에 대한 편차들의 히스토그램을 도시한다(값들은 표준 편차

를 구비한

에서의 중심에 있음). 이에 따르면, 현재 트레이닝 프로세스는 수직축(

)에 대한

의 편차를 단지 고려한다.

이 파라미터들이 주어지면, 서치 공간에 대한 전체 볼륨 감소(위치만을 고려함)는 표 4에 도시된다. 일반 빌딩들(사무실 (a) 및 회의 (b) 빌딩)에 대해, 결과 서치 공간은 맵의 전체 볼륨의 약

인 반면, 워크샵 (c) 및 터널 (d)에서는 이 비율이 첫 번째의 높은 천장과 두 번째에서의 네비게이블 영역들의 낮은 밀도 때문에 상당히 더 낮다는 것을 주목한다.

표 4: 네비게이블 공간 감소(Navigable space reduction)

맵	볼륨 ( )	네비게이블 ( )	비율
(a)	26214.4	677.6	2.58%
(b)	19660.8	564.3	2.87%
(c)	1101000.5	669.9	0.06%
(d)	72170864.6	11329.6	0.02%

장소 인식 성능만을 측정하기 위해, 본 발명자들은 수동으로 초기화된 센서 위치를 구비한 추적 구성 요소를 이용함으로써 지상 검증 트랙들을 추정하였고 다섯 개의 획득 시퀀스들을 사용하였다. 그 다음 그들은 세 개의 다른 빌딩들을 공동으로 사용하여 장소 인식 분류기를 트레이닝했다. 각 단일 트랙은 장소 인식 구성 요소만을 사용하여 처리되었다(분류에 기초하여 추적함). 그들은 사용자가 이동하는 특정 빌딩에 대한 정보를 제공하지 않았으므로, 제1 후보 솔루션들은 세 가지 환경들 모두에 걸쳐 균일하게 배포되었다(spread). 실험들 동안, 센서가 2 보다 많이 이동될 때마다 장소 인식기는 질의되었다(queried). 사용된 디스크립터의 빈들의 총 수는

이고, 질의들은 디스크립터 공간에서 반경 6으로 수행되었다. 잠재 포즈들에 대한 선험적 가능성들은

을 고려하여 계산되었으며, 위치들은 그것들의 상대 방향이 45보다 더 작 으면 단지 비교 가능하였다. 세 개의 빌딩들에 사용된 트레이닝 세트의 총 크기는

KB였다.

그들은 시작 위치로부터 대략

내에서, 2회 또는 3 회 반복 후에, 후보 솔루션들이 고유한(unique) 정확한 환경에서 클러스터링되고(clustered), 그 다음 정확한 센서 위치를 밀접하게 따랐다는 것을 관찰했다. 도 10은 이용된 모든 시퀀스들의 드리프트 분석 결과를 도시한다. 각 트랙에 대해 본 발명자들은 시스템이 아직 환경을 고유하게(uniquely) 식별하기에 충분한 정보를 가지고 있지 않은 프레임들과 관련된 초기 포즈 추정들을 제거했다는 것을 주목한다. 게이거, 에이.(Geiger, A.), 렌즈, 피.(Lenz, P.), 스틸러, 씨.(Stiller, C.), 우르타선, 알.(Urtasun, R.), 2013, 비전 밋츠 로보틱스: 키티 데이터세트(Vision meets robotics: The kitti dataset), 인터내셔널 저널 오브 로보틱스 리서치(International Journal of Robotics Research)에 의해 설명된 바와 같이, 그래프들은 특정 트랙 길이 이후에 트랙들 상의 임의의 포인트가 주어진 병진 및 회전 평균 드리프트 오차들을 도시한다.

포즈 추적

포즈 추적 구성 요소는 그것의 구성 요소의 각각을 격리하고 개별 결과들(맵 표현, 포인트 선택, 인라이어 선택 및 주행 기록계 통합)을 생성함으로써 및 완전한 시스템의 전체 정확성 및 성능을 측정함으로써 평가된다.

맵 표현

제안된 맵 표현의 확장성을 평가하기 위해 그리고 표준 kd-트리들에 관해 그것이 어떻게 수행되는지 비교하기 위해, 본 발명자들은 메모리 내의 각 데이터세트의 전체 복셀 구조 로딩(loading)의 공간 요건들을 측정하였고, 등록 프로세스에서 최근접 이웃 서치들을 격리하여 질의 당 평균 계산 시간을 추정하였다.

표 5는 복셀 크기(제2 열) 및 완전한 복셀 구조(complete voxel structure)의 치수(dimensions)(제3 열)를 고려하여 각 데이터세트의 메모리 풋프린트(제4 열)를 도시한다. 산업 빌딩(c)에 대해, 두 가지 경우들은 고려된다는 것을 주목한다: 내부만 저장된 오리지널 맵(c)-i, 및 외부에 대한 정보를 추가함으로써 오리지널 맵(c)-o을 확장하는 것.

또한, 모든 경우들에서, 복셀 데이터 구조 메모리 크기가 그것들을 생성한 포인트 클라우드 보다 더 작다는 것을 주목하는 것이 중요하다.

표 5: 다른 데이터세트들에 대한 맵 크기들.

표 6은 표준 kd-트리에 관해 제안된 맵 표현의 최근접 이웃 서치 시간을 비교한다. 이 테스트에 대해, 두 구조들은 동일한 수의 포인트들을 포함하였고, 질의들은 동일한 데이터를 사용하여 수행되었다. 2열 및 3열에서의 결과들은 포인트 당 나노세컨즈(nanoseconds per point)로 나타내고 모든 질의들을 고려한 평균 시간을 표현한다. 4열은, 공간의 이산화(discretization)로 인해, 제안된 맵 표현의 평균 최근접 이웃 오차를 도시한다. 5열은 맵에서의 총 포인트 수를 도시한다.

표 6: 표준 kd-트리 구현과 비교된 제안된 맵 표현에 대한 맵 평균 최근접 이웃 계산 시간들 및 오차들.

맵	복셀	kd-트리	오차	크기
	(ns)	(ns)	(mm)	(# 포인트들)
(a)	53.7	573.3	0.220	184570
(b)	54.99	687.61	0.244	149030
(c)	77.32	744.46	0.083	1308380
(d)	69.23	876.26	0.185	9049443

평균 서치 시간은 kd-트리들을 사용하는 것 보다 항상 약 10 배 더 빠르다는 것을 주목한다. 또한, 10의 복셀 셀 크기가 사용되었던, (a), (b) 및 (d)의 경우들에서 전체 오차는 약 0.2이라는 것을 주목한다. 이것이 (c)의 경우와 같이, 5로 감소되면, 오류는 0.08로 떨어진다.

포인트 선택

실험들에서, 본 발명자들은 기하학적 안정성을 보장하기 위한 포인트 선택 기술이 항상 견고한 결과들을 제공한다는 것을 관찰했다. 또한, 그들은 이 특징을 사용하지 않으면, 통로들을 네비게이트 할 때 추적하는 것이 손실되는 것을 관찰했다. 그러나, [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz), 및 레보이(Levoy)]에 의해 제안된 기술에 관한 결과들의 안정성을 비교할 때 상당한 차이들은 검출되지 않았다. 반면에, 사용된 비닝 전략(binning strategy)은 그것들의 락 기능들(locking capabilities)에 따라 구분한 포인트들(sorting points)을 회피하기 때문에, 실행 시간은 본 기술을 구비하는 것이 항상 더 작았다.

대칭 환경들에 대한 포인트 선택 전략을 평가하기 위한 추가 테스트가 수행되었다. 이 경우에, 본 기술은 정확한 포인트들을 선택함으로써 방향을 적절하게 락(locked)했지만 [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz), 및 레보이(Levoy)]에 제안된 것은 실패했다. 이 경우, 현재 포인트 선택 전략(present point selection strategy)은 포인트들과 센서 사이의 거리에 영향을 받지 않는다. 이 방식으로, A 및 C 경우들에 도시된 것과 같은 중요한 포인트들은 선택될 수 있다. 이 사실은 B 경우에 대한 결과들을 비교할 때 분명하다. 현재 선택(present selection)이 거리에 따라 정규화되었으므로, 가장 먼 포인트들의 효과는 가장 가까운 것들의 선택을 손상시키지(compromise) 않는다.

인라이어 선택

제안된 인라이어 선택 전략을 평가하기 위하여, 본 발명자들은 다음과 같이 진행했다: 본 발명자들은 벨로다인 HDL-32E 센서를 이동하지 않고 삼각대에 장착하였다. 제1 프레임은 참조 모델로서 사용되었고, 실험의 나머지 동안, 아웃라이어들이 점진적으로 추가되었다(예를 들어, 사람들은 주위를 이동하였고 물체들은 이동하였음). 이 방식으로, 그들은 참조 프레임에서 각 포인트와 그것의 최근접 이웃 사이의 거리를 평가함으로써 인라이어들 대응들을 분류할 수 있었다.

도 4는 입력 클라우드에서의 아웃라이어들의 수에 관한 현재 인라이어 전략의 최종 정밀도를 도시한다. 아웃라이어들의 총 수가

아래일 때, 현재 정밀도는 거의 항상

인(잘못된 대응들이 등록을 위해 선택되지 않음) 것을 주목한다. 아웃라이어들의 전체 수가 증가함에 따라, 정밀도는 준다(decreases). 평균적으로, 제안된 실험은

잘못된 대응들을 가졌으며, 이는

의 정밀도를 이끌어낸다.

주행 기록계 통합

포즈 업데이트 구성 요소에서 제안된 주행 기록계 통합의 이점들을 설명하기 위해, 본 발명자들은 빌딩 (a)의 내부로부터 시작하여, 비 스캔된 방으로 이동하고, 빌딩의 바깥으로 나가고 다른 문으로부터 들어감으로써 일부 루프들을 수행한 추적을 기록하였다. 도 13은 달성된 결과들을 도시한다.

알고 있는 환경(A, C 및 D 경우들)을 센서가 벗어날 때, 추적은 주행 기록계에만 의존하는 것을 주목한다. 또한, 알고 있는 맵과 비-맵핑된 영역들 사이의 전이들(transitions) 동안, 제안된 포인트 선택 전략은 이러한 상황들을 다루기 위한 임의의 특별한 로직(any specific logic) 없이 점차적으로 가장 편리한 맵으로부터 더 많은 정보를 테이크한다(예를 들어, C 경우에 도시된 전이를 테이크함, 바로(right)). 관찰될 수 있듯이, 제안된 등록 알고리즘의 정확성은, 비-맵핑된 영역들을 탐색한 후 사용자가 맵에 다시 진입할(reenters) 때, 주행 기록계 드리프트가 충분히 낮아서 참조 맵을 사용한 추적이 계속될 수 있음을 보장한다. 마지막으로, 센서가 알고 있는 공간(known space) 안에서 이동할 때, 등록에 사용된 포인트들 중 일부가 주행 기록계로부터 테이크된다는 것을 주목한다. 이것은 일반적으로 참조 맵에 유효한 대응이 없는 포인트들의 존재 때문이지만, 그것들은 주행 기록계의 로컬 맵에서 수행된다. 예를 들어, B 경우에서의 환경은 센서가 외부로부터 포인트들을 획득하는 것을 허용하는 큰 윈도우들(big windows)을 갖고 있으며, 이는 오리지널 맵에서 존재하지 않는다.

전체 정확성 및 성능

제안된 포즈 추적 기술의 전체적인 정확성을 측정하기 위해, 본 발명자들은 각각의 클라우드 등록 후에 ICP 잔류들(ICP residuals)의 분석을 수행하였다. 이는 커버(cover)할 영역이 정확한 외부 참조 시스템들을 사용하기에는 너무 크기 때문에, 큰 실내 시나리오에 걸쳐 자유 모션에 대한 지상 검증 궤적의 결핍에 의해 도입된다(imposed).

도 14(상부)는 두 고전적인 포인트-평면 ICP 알고리즘 및 현재의 견고한 ICP에 대한 아웃라이어-자유 시나리오(outlier-free scenario) 내부에서 이동할 때의 평균 포인트-평면 거리들을 도시한다. 아웃라이어들의 부재는 10의 복셀 셀 크기를 사용하여 표현된, 지상 검증 모델을 스캔한 직후에 획득들을 수행함으로써 보장되었다. 두 접근 방식들에 대한 잔류들은, 2를 정점으로, 거의 동일하며, 이는 벨로다인HDL- 32E 센서(Velodyne HDL-32E sensor)의 공칭 정확성 내에 있다.

반면, 도 14(하부)는 변화들이 환경에 도입될 때의 중요한 차이들을 도시한다. 이 경우, 환경을 재구성한 후 트랙이 기록되었다. 현재 견고한 ICP 구현은, 인라이어 대응들의 효율적 선택 때문에, 고전적인 포인트-평면 ICP를 사용하는 것보다 훨씬 나은 결과들을 제공한다. 이 경우, 잔류들은 도시된 히스토그램을 계산하기 위해 포인ㅌ-평면 거리 추정에서의 아웃라이어들의 간섭으로 인해 3에서 피크한다(peak).

시스템이 실시간으로 결과들을 제공해야 한다는 것을 감안하면, 본 발명자들은 모든 데이터세트들에서 모션의 다른 종류에 대한 포즈 추적 동안 전체 성능을 측정했다. 도 15는 각 클라우드를 등록하고 보행 설정 시나리오를 위해 센서의 새로운 포즈를 계산하는데 소요된 실행 시간을 도시한다. 이 프로세스는 일반적으로 20 내지 30ms 사이가 테이크되지만, 일부 프레임들에서는, 약 100ms 피크가 관찰된다. 이 피크들은 주행 기록계를 위한 kd-트리 생성과 관련이 있으며, 이는 트리의 마지막 업데이트의 시간 이후 고정된 거리를 다녔을 때 트리거된다(triggered). 센서 이동 속도가 빠를수록, 이 이벤트(event)가 전반적인 성능에 영향을 미칠 것이다. 프레임 드롭(frame dropping)을 회피하기 위해, kd-트리 생성 및 주행 기록계는 다른 스레드들에서 실행되며 후자는 새 것이 준비될 때까지 마지막 이용 가능한 kd-트리(last available kd-tree)를 사용한다.

표 7에서, 시스템의 평균 성능은 세 가지 상이한 설정(보행, 세그웨이 장착 및 차량 장착)에 대해 도시된다. 센서 이동 속도가 빠를수록, 주행 기록계 kd-트리 업데이트들로 인해 성능이 가장 낮다는 것을 주목한다. 벨로다인 HDL-32E 센서가 12Hz에서 판독들을 제공하기 때문에, 모든 경우들이, 추가 연산을 수행하는 데 프로세서 시간을 남겨두는(leaving), 실시간 결과들을 보장한다. 마지막으로, 현재 구현에서 모든 추적 계산들이 단일 CPU 코어(single CPU core)를 사용하여 수행되었음을 주목한다.

표 7: 다른 설정들에 대한 시스템 실행 성능.

설정	성능
백팩 장착	39.98
세그웨이 장착	27.36
차량 장착	23.34

5 결론

본 발명은, 매우 큰 환경들의 탐색을 허용하면서, 맵 크기에 실시간 결과들 및 스케일들을 제공하는 실내 로컬리제이션 애플리케이션들을 지원하기 위한 바람직한 실시예들을 구비한 완전한 시스템을 제시한다.

전처리 단계를 추가함으로써, 주행 기록계를 사용하여 측정된, 센서의 로컬 모션 및 컴팩트 및 고속-계산 디스크립터(compact and fast-to-compute descriptor)를 이용하는 효율적인 장소 인식기가 제안된다. 장소 인식기의 트레이닝 동안 시스템의 특정 연산 모드(particular operation mode)와 관련된 물리적 제약들을 고려한 서치 공간 감소 전략이 제안된다.

포즈 추적은 일정한 최근접 이웃 서치 시간을 제공하고, 메모리 요건들을 낮게 유지하는 효율적인 맵 표현을 사용하여 수행된다. 현재 등록 알고리즘은 (1) 기하학적 안정성을 보장하는 포인트들을 선택하고, (2) 아웃라이어들을 효과적으로 폐기하며, (3) 등록을 위해 참조 맵에 존재하지 않는 포인트들을 사용하고 비-맵핑된 영역들을 통해 네비게이트 할 수 있는 로컬 주행 기록계와 융합됨으로써 견고한 결과들을 제공한다.

실험 결과들은, 매우 확장성이 있는 시스템이, 많은 아웃라이어들이 도입될 때에도, (사용된 센서의 공칭 정확성 내에서) 매우 정확한 결과들을 생산하고 추가 연산들을 실행하기 위해, 많은 CPU 시간을 남기는 프레임 속도로 추적을 수행함을 입증했다.

Claims (16)

1. 실시간 맵핑, 로컬리제이션 및/또는 변화 분석을 위해, 환경의 3D 참조 맵을 구성하는 방법에 있어서,
   (a) 3D 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임의 속도로 모바일 실시간 레이저 범위 스캐너를 구비하여 상기 환경을 획득하는 단계,
   (b) 상기 레이저 범위 스캐너의 복수의 포즈들의 각각에 대한 상기 3D 스캐너 데이터를 사용하여, 맵 표현을 구성하는 단계, 각 포즈는 상기 스캐너 데이터에 의해 정의된 관련된 포인트 클라우드를 갖고, 상기 맵 표현은 큰 영역들에 걸친 확장성, 고속 최근접 이웃 서치 및 일정한 시간에 그곳에 랜덤 샘플 액세스를 위해 구성되는 데이터 구조를 갖음, 및
   (c) 3D 동시 로컬리제이션 및 맵핑(3D SLAM) 프레임워크를 사용하여 상기 환경에 대한 상기 3D 참조 맵을, 상기 맵 표현을 사용하여, 구축하는 단계
   를 포함하고,
   상기 구축하는 단계는,
   (i) 주행 기록계 모듈을 사용하여, 로컬 맵 표현에 마지막 포인트 클라우드의 등록에 기초하여 상기 레이저 범위 스캐너의 현재 포즈를 추정하는 단계,
   (ii) 로컬 궤적 최적화 모듈을 사용하여, 상기 로컬 맵 표현에서의 상기 드리프트를 최소화하기 위하여 포인트 클라우드들의 세트의 상기 궤적을 다듬는 단계, 및
   (iii) 상기 3D 참조 맵을 형성함으로써, 루프 폐쇄들을 고려하여 상기 환경의 전체 맵을 재구성함으로써 글로벌 궤적 최적화를 오프라인 수행하는 단계
   를 포함하는 방법.
2. 제1항에 있어서,
   상기 로컬 궤적 최적화 모듈은 상기 마지막 등록된 세트까지 구축된 맵에 대하여 포즈들의 세트 및 그것의 관련된 포인트 클라우드들에 의해 구성된 궤적 프레그먼트를 최적화하는 로컬 윈도우 메커니즘을 포함하고,
   포인트들은 바람직하게는

   

   그룹에서 포즈 보간을 사용하여 세계 좌표들로 변환되고,
   반복적인 최근접 포인트 방법의 정규화는 바람직하게는 모든 상기 포인트들을 상기 맵에 더 잘 정렬시키는 상기 궤적을 발견하는데 사용되고;
   상기 로컬 윈도우 메커니즘은 상기 리스트에서의 제1 및 마지막 포즈 사이의 상기 거리가 임계값 보다 더 클 때, 클라우드 포즈들이 최적화되고 새로운 리스트가 상기 다듬어진 포즈 및 상기 입력 클라우드들과 함께 생산되도록 연산하는
   방법.
3. 제1항 또는 제2항에 있어서,
   상기 데이터 구조는 3D 포인트들을 네이티브하게 다루도록 설정되고, 상기 맵 표현에서 특징들의 컴팩트 조밀 리스트를 인덱스하는데 사용되는 희소 복셀라이즈드 구조에 의해 구성된 하이브리드 구조에 기초하며, 상기 탐색된 공간에 대한 확장성으로 상기 데이터의 맵 크기 및 효율적인 저장으로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스를 허용하는
   방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 데이터 구조는 저장된 상기 데이터의 다섯 가지의 다른 표현들을 유지하여, 각각의 맵 업데이트 후에 내부 데이터 표현들 사이의 일관성을 부여하며, 상기 다섯 가지의 표현들은,
   (i) 특징들의 컴팩트 및 조밀 리스트

   

   및 각 요소

   

   인, 마지막 요소에 대한 인덱스

   

   는, 세계 좌표들에서의 위치 및 법선 단위 벡터, 바람직하게는 추가 정보와 같은, 상기 맵에서의 특징에 관련된 모든 상기 정보를 포함하고,
   (ii) 각 요소

   

   인, 컴팩트 및 조밀 유효 마스크

   

   는,

   

   을 보장하는, 그것의 대응하는 샘플

   

   이 유효한지 아닌지를 나타내는 부울 값이고,
   (iii) 각 요소

   

   인, 구멍들의 리스트

   

   는

   

   이 유효하지 않아서,

   

   임을 나타내고,
   (iv) 각 셀

   

   에 저장하는, 파라미터화 가능한 셀 크기로 구축되는, 희소 복셀 표현

   

   ,

   

   에서의 그것의 대응하는 특징의 인덱스, 여기서,

   

   에서의 셀들 및

   

   에서의 특징들은 상기

   

   의 셀 크기 및 상기

   

   의 위치에 기초한, 일대일 방식으로 관련되며, 및
   (v) kd-트리

   

   는 상기 맵에서 최근접 이웃 서치들을 수행하는데 사용되고, 그것의 메모리 풋프린트를 낮게 유지하기 위해 상기 조밀 리스트

   

   에 참조들을 단지 저장하는
   방법.
5. 제4항에 있어서,
   중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들은

   

   에 저장된 상기 요소들을 루핑함으로써 선택되고, 상기 kd-트리

   

   는 최근접 이웃 서치들에 대한 고속 메커니즘으로서 재구축되는
   방법.
6. 환경, 특히 GPS-거부 환경에서의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법에 있어서,
   (a) 3D 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임의 속도로 실시간 레이저 범위 스캐너를 구비하여 상기 환경을 획득하는 단계,
   (b) 장소 인식 동안, 장소 인식 동안 상기 스캐너 포즈의 사전 지식없이 상기 환경 내의 상기 레이저 범위 스캐너의 현재 위치를 식별하고, 실시간으로 상기 스캐너를 셀프-로컬라이즈하기 위하여 상기 장면 내의 감소된 서치 공간을 사용하여 상기 레이저 범위 스캐너에 의해 획득된 장면의 간단 및 컴팩트 디스크립터들을 미리-계산하는 단계,
   (c) 상기 환경에서 상기 스캐너의 로컬리제이션의 결정 후, 최근접 이웃 정보를 포함하는 데이터를 이용하는 표준 반복 최단 포인트 방법을 사용하여 상기 환경의 기존 3D 참조 맵 내에 현재 스캐너 데이터를 등록함으로써 상기 스캐너 포즈를 추적하는 단계,
   (d) 상기 3D 참조 맵에서의 최근접 포인트 및 상기 현재 스캐너 데이터에서의 각 스캔 포인트 사이의 거리를 산출하는 단계, 변화 분석은 임계값을 이 거리에 적용하고, 상기 참조 모델에서 대응하는 이웃을 가지지 않는 상기 현재 스캐너 데이터에서의 각 포인트가 변화로 간주됨으로써 수행됨,
   (e) 상기 3D 참조 맵 및 상기 현재 3D 스캐너 데이터에 관한 정보를 실시간 사용자 인터페이스에 디스플레이하는 단계, 상기 정보는 바람직하게는 상기 정보의 변화/비-변화 분류에 따라 컬러-코딩됨
   을 포함하는 방법.
7. 제6항에 있어서,
   단계 (b)는 상기 단계 (a)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고,
   상기 단계 (b)는,
   (b1) 상기 마지막 3D 데이터에 기초하여, 바람직하게는 360° 수평 시찰 스캐너 데이터에 대해, 상기 디스크립터 공간에서 임계 반경

   

   이 주어진

   

   에 대한 방사상의 서치를 수행함으로써, 관련된 디스크립터

   

   을 계산하고 후보 위치들의 세트

   

   를 복구하는 서브단계, 범위 값들을 수평으로 시프트함으로써 추가 입력 디스크립터들을 계산함으로써 상기 후보 위치들을 증가시키며, 각 디스크립터는 그것의 로컬 축에서 회전하는 경우 상기 스캐너가 생산할 판독들에 대응하고 후보 위치들의 각 결과 세트가

   

   에 따라 회전함,
   (b2) 각 잠재적 위치

   

   에 가중치

   

   를 관련시키는 서브단계:
   

   

   
   여기서

   

   는

   

   로부터 검색된 상기 위치

   

   에 관련된 상기 디스크립터이고,

   

   은 완벽하게 매칭하는 디스크립터들에 대해 1이고 상기 서치 스피어 경계에 대한 디스크립터들에 대해 0임, 및
   (b3)

   

   에서 가중치들을 수집하고

   

   갖도록 이 가중치들을 정규화하는 서브단계
   를 더 포함하는 방법.
8. 제6항에 있어서,
   단계 (b)는 상기 단계 (a)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고,
   상기 단계 (b)는,
   (b1) 상기 마지막 3D 스캐너 데이터에 기초하여, 관련된 디스크립터

   

   를 계산하고 후보 위치들의 세트

   

   를 복구하는 서브단계, 상기 후보 위치들은

   

   와 유사한 디스크립터를 갖음,
   (b2) 각 잠재적 위치

   

   에 가중치

   

   를 관련시키는 서브단계:
   

   

   
   여기서,

   

   는

   

   로부터 검색된 상기 위치

   

   에 관련된 상기 디스크립터이고,

   

   은 완벽하게 매칭하는 디스크립터들에 대해 1이고 상기 서치 스피어 경계에 대한 디스크립터들에 대해 0임.
   (b3)

   

   에서의 가중치들을 수집하고

   

   갖도록 이 가중치들을 정규화하는 서브단계,
   (b4) 상기 이동을 추정하고 상기 새로운 포즈에서 상기 질의 결과들에 기초하여 각 초기 후보 포즈에 대한 상기 가중치를 재평가함으로써 상기 센서가 이동하는 동안 상기 후보 위치들의 세트를 업데이트하는 서브단계, 및
   (b5) 상기 후보 포즈들이 단일 위치로 수렴할 때까지 상기 업데이트 서브단계를 반복하는 서브단계
   를 더 포함하는 방법.
9. 제6항, 제7항 또는 제8항 중 어느 한 항에 있어서,
   특히 지상 모션을 위해, 상기 레이저 범위 스캐너는 플로어를 가로지르는 차량 또는 사람에 장착되고,
   (i) 상기 3D 참조 맵에서 상기 플로어의 넓이를 식별하는 단계, 여기서 플로어 추출은 상기 환경

   

   의 희소 복셀 표현을 통해 수행되며, 여기서 상기 희소 복셀 표현의 각 풀 셀

   

   은 그것의 중심

   

   주위의 상기 포인트들에 의해 국부적으로 정의된 상기 표면에 법선 벡터를 포함하며, 그것의 관련된 법선들에서의 수직 구성 요소가 우세한지, 즉,

   

   가 일반적으로 0.5와 1 사이의 값인

   

   를 체크함으로써, 후보 플로어 셀들

   

   을 표현하는 복셀들의 서브세트를 추출함,
   (ii) 셀들의 도달 가능성을 결정하는 단계, 도달 가능한 셀

   

   이 주어지면, 모든 주변 셀들

   

   은 다음 조건들이 만족되는 경우 도달 가능한 것으로서 간주됨:
   

   

   (6)
   

   

   (7)
   

   

   (8)
   여기서, (6)에서의

   

   는 최대 스텝 거리(예를 들어, 보행 모션에 대해 0.5 미터, 또는 차량 모션에 대해

   

   )이고, (7)에서의

   

   은 최대 수직 스텝 크기이고, (8)에서의

   

   은 플로어 셀

   

   위 중심에 있는, 상기 관찰자의 단순화된 볼륨임
   을 포함하는 방법.
10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 맵 구조는 저장되고 동기화되는 요소들의 두 개의 다른 리스트들을 포함하는: 특정 복셀 크기로 구축된, 복셀들의 조밀 그리드

    

    , 및 평면들의 컴팩트 리스트

    

    , 각 평면

    

    은 단위 법선

    

    및 세계 좌표들 에서의 위치

    

    를 저장함; 각 복셀

    

    은 풀, 엠티 또는 니어일 수 있는 현재 상태를 저장함, 풀 복셀들은 관련된 위치가 속한, 상기 평면

    

    에 인덱스를 저장함, 엠티 셀들은 눌 참조를 저장하고 니어 셀들은 상기 복셀 중심에 대한 관련된 위치 거리

    

    가 가장 작은 상기 평면

    

    에 인덱스를 저장함; 바람직하게는 니어 복셀은 상기 거리

    

    가 주어진 임계값

    

    아래인 경우에만 고려되고, 그렇지 않은 경우 상기 복셀은 엠티로 간주됨
    방법.
11. 제6항 내지 제10항 중 어느 한 항에 있어서,
    전체 시스템 견고성을 향상시키기 위해, 상기 스캐너 추적은 주행 기록계와 결합되고,
    포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들은 kd-트리로 저장되고,
    상기 레이저 범위 스캐너에 의해 새로운 획득이 주어지면, 등록 알고리즘이 상기 포인트들의 세트들(

    

    )을 창조할 때, 그것이 두 상기 참조 맵(

    

    ) 및 이전에 고정된 포인트 클라우드(

    

    )에서 최근접 이웃들을 찾고, 대응들은 다음과 같이 정의되고:
    

    

    
    

    

    
    여기서,

    

    는 상기 복셀 셀 크기에 대응하고, 상기 이전에 고정된 클라우드의 비-이산화된 kd-트리와 상기 복셀라이즈된 지상 검증 맵 사이의 다른 해상도를 보상하는
    방법.
12. 제1항 내지 제5항 중 어느 한 항에 따른 상기 방법 또는 제6항 내지 제11항 중 어느 한 항에 따른 상기 방법을 구현하는, 특히 GPS-거부 환경들에서, 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치.
13. 제12항에 있어서,
    실시간 레이저 범위 스캐너, 처리 유닛, 전원 유닛 및 휴대용 시각화 및 제어 유닛을 포함하고, 여기서 상기 실시간 레이저 범위 스캐너는 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임의 속도로 상기 환경을 획득할 수 있고, 상기 처리 유닛은 상기 스캐너 데이터를 분석하고, 상기 처리 결과들을 디스플레이하고 상기 모바일 레이저 스캐닝 장치를 사용자가 제어하도록 허용하는 상기 휴대용 시각화 및 제어 유닛에 3D 맵/모델, 로컬리제이션 및 변화 정보를 포함하는 처리 결과들을 제공하도록 배열되는
    모바일 레이저 스캐닝 장치.
14. 제12항 또는 제13항에 있어서,
    상기 시각화 및 제어 유닛은 태블릿 컴퓨터인
    모바일 레이저 스캐닝 장치.
15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 모바일 레이저 스캐닝 장치는 백팩 또는 차량 장착 장치인
    모바일 레이저 스캐닝 장치.
16. 3D 실내 맵핑/모델링; 시설 관리; 정확한 실시간 실내 로컬리제이션 및 네비게이션; 장애인 또는 노인들에 대한 지원; 설계 정보 검증; 세이프가드 점검과 같은, 변화 분석; 토목 건설과 같은, 진행 모니터링; 재난 관리 및 대응을 위한 제1항 내지 제5항 중 어느 한 항에 따른 방법, 또는 제6항 내지 제11항 중 어느 한 항에 따른 방법, 또는 제12항 내지 제15항 중 어느 한 항에 따른 모바일 레이저 스캐닝 장치.

Images