KR102427921B1 - 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 - Google Patents
실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR102427921B1 KR102427921B1 KR1020177032418A KR20177032418A KR102427921B1 KR 102427921 B1 KR102427921 B1 KR 102427921B1 KR 1020177032418 A KR1020177032418 A KR 1020177032418A KR 20177032418 A KR20177032418 A KR 20177032418A KR 102427921 B1 KR102427921 B1 KR 102427921B1
- Authority
- KR
- South Korea
- Prior art keywords
- map
- scanner
- data
- real
- pose
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004807 localization Effects 0.000 title claims abstract description 45
- 238000013507 mapping Methods 0.000 title claims abstract description 35
- 230000008859 change Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims description 56
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000012800 visualization Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 7
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 6
- 229910052698 phosphorus Inorganic materials 0.000 claims description 6
- 239000011574 phosphorus Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 229910052709 silver Inorganic materials 0.000 claims description 4
- 239000004332 silver Substances 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000013459 approach Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000007792 addition Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000014616 translation Effects 0.000 description 7
- 238000000844 transformation Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000764238 Isis Species 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000785626 Homo sapiens Zinc finger E-box-binding homeobox 1 Proteins 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 102100026457 Zinc finger E-box-binding homeobox 1 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- -1 consisting of yaw Substances 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
실시간 맵핑, 로컬리제이션 및/또는 변화 분석에 사용 가능한 3D 참조 맵을 구성하기 위한 방법, 여기서 상기 3D 참조 맵은 모바일 레이저 범위 스캐너에 기초한 3D SLAM(동시 로컬리제이션 및 맵핑, Simultaneous Localization and Mapping) 프레임워크를 사용하여 구축되며, 상기 방법들을 구현하기 위한 모바일 레이저 스캐닝 장치뿐만 아니라, 특히 GPS-거부 환경에서의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법.
Description
본 발명은 일반적으로, 특히, 실내와 같은, GPS-거부 환경들(GPS-denied environments)에서의 로컬리제이션(localization) 및 맵핑(mapping)에 관한 것이다.
로컬리제이션 또는 맵핑과 같은 목적을 위한 획득 환경들을 허용하기 위해 다른 솔루션들이 설명되거나 상업적으로 이용 가능하다. 다른 접근 방식들은 다른 솔루션들을 제시한다.
이들 중, 다수의 상업적 및 프로토타입 실내 네비게이션 시스템들은 관성 센서들(예를 들어: DLR의 풋SLAM(FootSLAM), 치란지 지리 실내 추적(Chirange Geospatial Indoor Tracking))을 기반으로 한다. 그것들은 작고 저렴하지만, 위치 정확성이 낮고 시간이 지남에 따라 크게 드리프트한다(drifts). 또한, 관성 시스템은 맵 정보를 생성하지 않는다. 따라서, 그것들은 맵 생성이 아닌 위치 및 네비게이션에만 적합하다.
다른 실내 포지셔닝 시스템들(indoor positioning systems)은 실외 환경들에서의 GPS 신호들과 유사하게 - 무선 신호들의 송신에 기초한다. 일부 시스템은 기존 인프라(infrastructure)(예를 들어, 공항들의 와이파이 네트워크(WiFi networks), 내비존(Navizon))를 사용하고, 다른 것들은 전용 인프라(예를 들어, 넥스트내브(NextNav), 시니온랩(SenionLab))의 설치가 필요하다. 시스템들은 사실상 센서 비용이 없지만(클라이언트 애플리케이션(client application)은 전용 소프트웨어 애플리케이션과 함께 스마트 폰(smart phone)을 사용함), 그것들은 무선 신호를 내보내는(emitting) 네트워크 인프라를 요구한다. 또한, 그것들은 맵 정보를 생성하지 않는다. 따라서, 그것들은 맵 생성이 아닌 포지셔닝 및 내비게이션에만 적합하다.
더 흥미로운 제품은 3D 스캐닝을 사용한다. ZEB1은 고속 (실내) 맵핑(fast (indoor) mapping)을 위해 3D 레이저 스캐닝(3D laser scanning)을 사용하는 상업적 제품이다. 레이저는 스프링에 장착되며 진동 운동(oscillating movement)은 손에 의해 창조되는(created) 것이 필요하다. 그것은 실내 환경의 정확한 3D 모델을 생성한다. 그러나, 시스템은 데이터 처리가 오프-라인(off-line)으로 수행되기 때문에 사용자에게 즉각적인 피드백을 제공하지 않는다. 따라서, 시스템은 맵핑에는 적합하지만 실시간 로칼리제이션에는 적합하지 않다.
또 다른 솔루션은 UC 버클리(UC Berkley)에서 개발된 레이저 백팩(laser backpack)이다. 그것은 실내 환경들의 3D 모델을 생성하는데 사용되는 여러 2D 라인 스캐너들(2D line scanners)을 갖춘 백팩을 제안하는 R&D 프로젝트이다. 다시 말해, 그것은 온라인 시각화(on-line visualization)를 제공하지 않는다.
마지막 솔루션은 LOAM(Lidar Odometry and Mapping)이라 불리며, 실시간 로칼리제이션 및 맵핑을 위해 레이저 스캐닝 및 비디오 이미지를 결합하는 관련 알고리즘들을 구비한 휴대용 센서로 구성된다.
거의 모든 이들 솔루션들은 실시간/온라인 시각화가 결여되어 있으며, 더 중요한 것은 그것들은 획득 및 처리 단계들에서 직접적인 사용자 인터랙션을 허용하지 않는다는 것이다.
US2014/005933A1은 로봇 맵핑 시스템에 의해 획득된 파라미터 데이터를 맵핑하기 위한 시스템 및 방법을 개시한다. 환경을 특징화하는 파라미터 데이터는 로봇이 랜드마크들(landmarks)을 사용하여 환경 내에서 자체적으로 로컬라이즈하는(localizes) 동안 수집된다. 파라미터 데이터는 복수의 로컬 그리드들(local grids), 즉 데이터가 수집될 때 로봇 위치 및 방향과 관련된 서브-맵들(sub-maps)에 기록된다. 로봇은 로봇의 현재 포즈, 다른 그리드와 관련된 포즈 및 이러한 상대 포즈 추정들의 불확실성에 따라 새로운 그리드들을 생성하거나 기존 그리드들을 재사용하도록 구성된다. 그리드들과 관련된 포즈 추정들은 로봇이 환경에서 그것의 포즈를 결정하는 것으로부터 랜드마크들의 위치의 추정들을 다듬는 것에 따라 시간이 지남에 따라 업데이트된다. 점유 맵들 또는 다른 글로벌 파라미터 맵들은 환경의 치수들(dimensions)을 확장하는 글로벌 참조 프레임의 파라미터 데이터를 나타내는 포괄적인 맵으로 로컬 그리드들을 렌더링하여 생성될 수 있다.
티모시 리우(TIMOTHY LIU) 외: "인간-작동 백팩 시스템을 사용하는 실내 로컬리제이션 및 시각화(Indoor localization and visualization using a human-operated backpack system)", 실내 포지셔닝 및 실내 네비게이션(INDOOR POSITIONING AND INDOOR NAVIGATION)(IPIN), 2010 국제 컨퍼런스 온(INTERNATIONAL CONFERENCE ON), IEEE, 피스카타웨이(PISCATAWAY), NJ, USA, 2010년 9월 15일 (2010-09-15), 페이지 1-10, XP031809367, ISBN: 978-1-4244-5862-2는 2D 레이저 스캐너들 및 관성 측정 유닛(IMU; inertial measurement units)이 갖춰진 인간-작동 백팩 시스템을 사용하여 실내 로컬리제이션 및 시각화를 위한 기술들을 개시하며, 여기서 스캔 매칭 기반 알고리즘들(scan matching based algorithms)은 복잡한 실내 환경들에서 백팩을 로컬라이즈하는데 사용된다. 3D 텍스쳐 모델들(3D textured models)을 구축할 때 텍스쳐링(texturing)에 사용되는 연속적인 이미지들 간의 정렬 불일치를 해결하기 위해, 작성자는 스캔 매칭 기반 로컬리제이션으로부터의 결과들을 다듬기 위한 이미지 기반 포즈 추정 알고리즘을 제안한다.
WO2015/017941A1은 장면의 3 차원 표현을 나타내는 데이터를 생성하는 시스템들 및 방법들을 개시한다. 장면을 나타내는 현재 깊이 데이터는 센서를 사용하여 생성된다. 현저한 특징들은 깊이 데이터와 관련된 깊이 프레임 내에서 검출되며, 이들 현저한 특징들은 현저한 라이클리후드 분포(saliency likelihoods distribution)와 매칭한다. 현저한 라이클리후드 분포는 장면을 표현하며, 이전에-검출된 현저한 특징들로부터 생성된다. 센서의 포즈는 검출된 현저한 특징들의 매칭에 기초하여 추정되며, 이 추정된 포즈는 장면의 체적 표현에 기초하여 다듬어진다. 장면의 체적 표현은 현재 깊이 데이터 및 추정된 포즈를 기반으로 업데이트된다. 현저한 라이클리후드 분포 표현은 현저한 특징들에 기초하여 업데이트된다. 장면을 나타내는 이미지 데이터는 깊이 데이터와 함께 생성되어 사용될 수도 있다.
이들 중, 다수의 상업적 및 프로토타입 실내 네비게이션 시스템들은 관성 센서들(예를 들어: DLR의 풋SLAM(FootSLAM), 치란지 지리 실내 추적(Chirange Geospatial Indoor Tracking))을 기반으로 한다. 그것들은 작고 저렴하지만, 위치 정확성이 낮고 시간이 지남에 따라 크게 드리프트한다(drifts). 또한, 관성 시스템은 맵 정보를 생성하지 않는다. 따라서, 그것들은 맵 생성이 아닌 위치 및 네비게이션에만 적합하다.
다른 실내 포지셔닝 시스템들(indoor positioning systems)은 실외 환경들에서의 GPS 신호들과 유사하게 - 무선 신호들의 송신에 기초한다. 일부 시스템은 기존 인프라(infrastructure)(예를 들어, 공항들의 와이파이 네트워크(WiFi networks), 내비존(Navizon))를 사용하고, 다른 것들은 전용 인프라(예를 들어, 넥스트내브(NextNav), 시니온랩(SenionLab))의 설치가 필요하다. 시스템들은 사실상 센서 비용이 없지만(클라이언트 애플리케이션(client application)은 전용 소프트웨어 애플리케이션과 함께 스마트 폰(smart phone)을 사용함), 그것들은 무선 신호를 내보내는(emitting) 네트워크 인프라를 요구한다. 또한, 그것들은 맵 정보를 생성하지 않는다. 따라서, 그것들은 맵 생성이 아닌 포지셔닝 및 내비게이션에만 적합하다.
더 흥미로운 제품은 3D 스캐닝을 사용한다. ZEB1은 고속 (실내) 맵핑(fast (indoor) mapping)을 위해 3D 레이저 스캐닝(3D laser scanning)을 사용하는 상업적 제품이다. 레이저는 스프링에 장착되며 진동 운동(oscillating movement)은 손에 의해 창조되는(created) 것이 필요하다. 그것은 실내 환경의 정확한 3D 모델을 생성한다. 그러나, 시스템은 데이터 처리가 오프-라인(off-line)으로 수행되기 때문에 사용자에게 즉각적인 피드백을 제공하지 않는다. 따라서, 시스템은 맵핑에는 적합하지만 실시간 로칼리제이션에는 적합하지 않다.
또 다른 솔루션은 UC 버클리(UC Berkley)에서 개발된 레이저 백팩(laser backpack)이다. 그것은 실내 환경들의 3D 모델을 생성하는데 사용되는 여러 2D 라인 스캐너들(2D line scanners)을 갖춘 백팩을 제안하는 R&D 프로젝트이다. 다시 말해, 그것은 온라인 시각화(on-line visualization)를 제공하지 않는다.
마지막 솔루션은 LOAM(Lidar Odometry and Mapping)이라 불리며, 실시간 로칼리제이션 및 맵핑을 위해 레이저 스캐닝 및 비디오 이미지를 결합하는 관련 알고리즘들을 구비한 휴대용 센서로 구성된다.
거의 모든 이들 솔루션들은 실시간/온라인 시각화가 결여되어 있으며, 더 중요한 것은 그것들은 획득 및 처리 단계들에서 직접적인 사용자 인터랙션을 허용하지 않는다는 것이다.
US2014/005933A1은 로봇 맵핑 시스템에 의해 획득된 파라미터 데이터를 맵핑하기 위한 시스템 및 방법을 개시한다. 환경을 특징화하는 파라미터 데이터는 로봇이 랜드마크들(landmarks)을 사용하여 환경 내에서 자체적으로 로컬라이즈하는(localizes) 동안 수집된다. 파라미터 데이터는 복수의 로컬 그리드들(local grids), 즉 데이터가 수집될 때 로봇 위치 및 방향과 관련된 서브-맵들(sub-maps)에 기록된다. 로봇은 로봇의 현재 포즈, 다른 그리드와 관련된 포즈 및 이러한 상대 포즈 추정들의 불확실성에 따라 새로운 그리드들을 생성하거나 기존 그리드들을 재사용하도록 구성된다. 그리드들과 관련된 포즈 추정들은 로봇이 환경에서 그것의 포즈를 결정하는 것으로부터 랜드마크들의 위치의 추정들을 다듬는 것에 따라 시간이 지남에 따라 업데이트된다. 점유 맵들 또는 다른 글로벌 파라미터 맵들은 환경의 치수들(dimensions)을 확장하는 글로벌 참조 프레임의 파라미터 데이터를 나타내는 포괄적인 맵으로 로컬 그리드들을 렌더링하여 생성될 수 있다.
티모시 리우(TIMOTHY LIU) 외: "인간-작동 백팩 시스템을 사용하는 실내 로컬리제이션 및 시각화(Indoor localization and visualization using a human-operated backpack system)", 실내 포지셔닝 및 실내 네비게이션(INDOOR POSITIONING AND INDOOR NAVIGATION)(IPIN), 2010 국제 컨퍼런스 온(INTERNATIONAL CONFERENCE ON), IEEE, 피스카타웨이(PISCATAWAY), NJ, USA, 2010년 9월 15일 (2010-09-15), 페이지 1-10, XP031809367, ISBN: 978-1-4244-5862-2는 2D 레이저 스캐너들 및 관성 측정 유닛(IMU; inertial measurement units)이 갖춰진 인간-작동 백팩 시스템을 사용하여 실내 로컬리제이션 및 시각화를 위한 기술들을 개시하며, 여기서 스캔 매칭 기반 알고리즘들(scan matching based algorithms)은 복잡한 실내 환경들에서 백팩을 로컬라이즈하는데 사용된다. 3D 텍스쳐 모델들(3D textured models)을 구축할 때 텍스쳐링(texturing)에 사용되는 연속적인 이미지들 간의 정렬 불일치를 해결하기 위해, 작성자는 스캔 매칭 기반 로컬리제이션으로부터의 결과들을 다듬기 위한 이미지 기반 포즈 추정 알고리즘을 제안한다.
WO2015/017941A1은 장면의 3 차원 표현을 나타내는 데이터를 생성하는 시스템들 및 방법들을 개시한다. 장면을 나타내는 현재 깊이 데이터는 센서를 사용하여 생성된다. 현저한 특징들은 깊이 데이터와 관련된 깊이 프레임 내에서 검출되며, 이들 현저한 특징들은 현저한 라이클리후드 분포(saliency likelihoods distribution)와 매칭한다. 현저한 라이클리후드 분포는 장면을 표현하며, 이전에-검출된 현저한 특징들로부터 생성된다. 센서의 포즈는 검출된 현저한 특징들의 매칭에 기초하여 추정되며, 이 추정된 포즈는 장면의 체적 표현에 기초하여 다듬어진다. 장면의 체적 표현은 현재 깊이 데이터 및 추정된 포즈를 기반으로 업데이트된다. 현저한 라이클리후드 분포 표현은 현저한 특징들에 기초하여 업데이트된다. 장면을 나타내는 이미지 데이터는 깊이 데이터와 함께 생성되어 사용될 수도 있다.
본 발명의 목표는, 특히 GPS-거부 환경에서 실시간 획득, 맵핑 및 로컬리제이션을 허용 할뿐만 아니라, 사용자 인터랙션을 위해 가능성 및 실시간 시각화를 제공하는 시스템, 장치 및 방법을 제공하는 것이다. 또한, 본 발명은 현재 획득된 데이터와 이전에 획득된 맵들의 실시간 비교 또한 제공할 수 있어야 한다. 이렇게 하면 마지막 맵핑 이후에 발생한 차이들이나 변화들을 식별하는 것을 허용할 것이다. 이러한 변화들 또는 차이들의 온라인 식별은 보안 점검, 토목 건설, 비상 사태 또는 재난 관리와 같은 애플리케이션들에 큰 이득이 될 수 있다.
상기 목표를 달성하기 위해, 본 발명은, 제1 측면에 있어서, 실시간 맵핑, 로컬리제이션 및/또는 변화 분석(을 위한 방법)에서의 사용 가능한 환경의 3D 참조 맵을 구성하기 위한 방법을 제안하며, 다음 단계들을 포함한다:
(a) 적어도 초 당 5 프레임(즉, 5 포인트 클라우드들), 바람직하게는 적어도 10 프레임의 속도로 모바일 실시간 레이저 범위 스캐너(mobile real-time laser range scanne)를 구비하여 상기 환경의 (3D) 스캐너 데이터((3D) scanner data)를 획득하는 단계,
(b) 상기 레이저 범위 스캐너의 복수의 포즈들의 각각에 대한 상기 (3D) 스캐너 데이터를 사용하여, 맵 표현(map presentation)을 구성하는 단계, 각 포즈(pose)는 상기 스캐너 데이터에 의해 정의된 관련된 포인트 클라우드(associated point cloud)를 갖고, 상기 맵 표현은 큰 영역들에 걸친 확장성(scalability over large areas), 고속 최근접 이웃 서치(fast nearest neighbor search) 및 일정한 시간 내에 랜덤 샘플 액세스(random sample access thereto in constant time)를 위해 구성되는 데이터 구조(data structure)를 갖음, 및
(c) 3D 동시 로컬리제이션 및 맵핑(3D Simultaneous Localization And Mapping)(3D SLAM) 프레임워크를 사용하여 상기 환경에 대한 상기 3D 참조 맵을, 상기 맵 표현을 사용하여, 구축하는 단계, 상기 구축하는 단계는 다음을 포함함,
(i) 주행 기록계 모듈(odometer module)을 사용하여, 로컬 맵 표현에 (마지막) 포인트 클라우드의 등록에 기초하여 각 포인트에 대한 상기 레이저 범위 스캐너의 현재 포즈를 추정하는 단계,
(ii) 로컬 궤적 최적화 모듈(local trajectory optimization module)을 사용하여, 상기 로컬 맵 표현에서의 상기 드리프트(drift)를 최소화하기 위하여 포인트 클라우드들의 (서브)세트의 상기 궤적을 다듬는(refining) 단계, 및
(iii) 상기 3D 참조 맵을 형성함으로써, 루프 폐쇄들(loop closures)을 이용하여(고려하여) 상기 환경의 전체 맵을 재구성함으로써 글로벌 궤적 최적화를 오프라인 수행하는 단계.
본 발명은 상기 로컬 궤적 최적화 모듈은 상기 마지막 등록된 세트까지 구축된 맵에 대하여 포즈들의 세트 및 그것의 관련된 포인트 클라우드들(their associated point clouds)에 의해 구성된 궤적 프레그먼트(trajectory fragment)를 최적화하는 로컬 윈도우 메커니즘(local window mechanism)을 포함하고, 여기서 포인트들은 바람직하게는
그룹에서 포즈 보간(pose interpolation)을 사용하여 세계 좌표들(world coordinates)로 변환되고, 반복적인 최근접 포인트 방법의 정규화는 바람직하게는 모든 상기 포인트들을 상기 맵에 더 잘 정렬시키는 상기 궤적을 발견하는데 사용됨; 상기 로컬 윈도우 메커니즘은, 상기 리스트에서의 제1 및 마지막 포즈 사이의 상기 거리가 임계값 보다 더 클 때, 클라우드 포즈들이 최적화되고 새로운 리스트가 상기 다듬어진 포즈(refined pose) 및 상기 입력 클라우드들(input clouds)과 함께 생산되도록 연산하는(operates), 이러한 방법과 더 관련한다.
특히 바람직한 실시예에 있어서, 상기 데이터 구조는 3D 포인트들을 네이티브하게(natively) 다루도록(handle) 설정되고, 상기 맵 표현에서 특징들의 (컴팩트 조밀) 리스트((compact dense) list)를 인덱스하는데 사용되는 희소 복셀라이즈드 구조(sparse voxelized structure)에 의해 구성된 하이브리드 구조(hybrid structure)에 기초하며, 상기 탐색된 공간에 대한 확장성으로 상기 데이터의 맵 크기 및 효율적인 저장으로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스(constant time random access)를 허용한다.
여전히 더 바람직한 실시예에 있어서, 상기 데이터 구조는 저장된 상기 데이터의 다섯 가지의 다른 표현들을 유지하여, 각각의 맵 업데이트 후에 내부 데이터 표현들 사이의 일관성(consistency)을 부여할 수 있으며, 상기 다섯 가지의 표현들은
(i) 특징들의 (컴팩트 및 조밀) 리스트((compact and dense) list of features)
및 각 요소 
인, 상기 마지막 요소에 대한 인덱스 
는, 세계 좌표들에서의 위치 및 법선 단위 벡터, 바람직하게는 추가 정보와 같은, 상기 맵에서의 특징에 관련된 모든 상기 정보를 포함하고,
(ii) 각 요소
인, (컴팩트 및 조밀) 유효 마스크((compact and dense) validity mask) 
는, 
을 보장하는, 그것의 대응하는 샘플(its corresponding sample) 
이 유효한지 아닌지를 나타내는 부울 값(boolean value)이고,
(iii) 각 요소
인, 구멍들의 리스트(list of holes) 
는 
이 유효하지 않아서, 
임을 나타내고,
(iv) 각 셀
에 저장하는, 파라미터화 가능한 셀 크기(parametrizable cell size)로 구축되는, 희소 복셀 표현 
, 
에서의 그것의 대응하는 특징(its corresponding feature)의 인덱스, 여기서, 
에서의 셀들 및 
에서의 특징들은 상기 
의 셀 크기 및 상기 
의 위치에 기초한, 일대일 방식(one-to-one manner)으로 관련되며, 및
(v) kd-트리(kd-tree)
는 상기 맵에서 최근접 이웃 서치들(nearest neighbor searches)을 수행하는데 사용되고, 그것의 메모리 풋프린트(its memory footprint)를 낮게 유지하기 위해 상기 조밀 리스트 
에 참조들을 단지 저장한다.
본 방법은, 중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들(inner features)은
에 저장된 요소들을 루핑(looping)함으로써 선택되고, 상기 kd-트리 
는 최근접 이웃 서치들에 대한 고속 메커니즘으로서 재구축되는 단계를 더 포함한다.
제2 측면에 있어서, 본 발명은 환경의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법에 관한 것이다, 즉, 특히 GPS-거부 환경에서의, 상기 본 방법의 이전 실행을 통해 이미 업데이트된 또는 수정된 이러한 3D 참조 맵으로부터 또는 상술한 바와 같은 상기 본 발명의 제1 측면에 따른 방법으로부터 이용 가능한 상기 환경의 3D 참조 맵에 관한 것이며, 다음 단계들을 포함한다:
(a) 적어도 초 당 5 프레임(포인트 클라우드들)의 속도로 실시간 레이저 범위 스캐너를 구비하여 상기 환경의 (3D) 스캐너 데이터를 획득하는 단계,
(b) 장소 인식 동안, 장소 인식 동안 상기 스캐너 포즈(scanner pose)의 사전 지식없이 알고 있는 환경(known environment) 내의(즉, 상기 3D 참조 맵 내의) 상기 레이저 범위 스캐너의 현재 위치를 식별하고, 상기 장면 내의 감소된 서치 공간을 사용하여 상기 레이저 범위 스캐너에 의해 획득된 상기 장면의 간단 및 컴팩트 디스크립터들(simple and compact descriptors)을 미리-계산하는 단계; 실시간으로 상기 스캐너를 셀프-로컬라이즈(self-localize)하기 위하여, 또는 잠재적 스캐너 포즈들에서 상기 3D 참조 맵의 미리-계산된 콤팩트 디스크립터들을 사용하여 실시간으로 상기 스캐너를 셀프-로컬라이즈 하기 위하여 상기 미리-계산된 디스크립터 공간의 사용을 만들어 상기 3D 참조 맵 내의 상기 레이저 범위 스캐너의 현재 위치를 식별하는 단계,
(c) 상기 알고 있는 환경에서(즉, 3D 참조 맵 내의) 상기 스캐너의 로컬리제이션의 결정 후, 최근접 이웃 정보를 포함하는 데이터를 이용하는 표준 반복 최단 포인트 방법(standard Iterative Closest Point method)을 사용하여 3D 참조 맵 내에 현재 스캐너 데이터를 등록함으로써 상기 스캐너 포즈를 추적하는 단계,
(d) 상기 3D 참조 맵에서의 최근접 포인트 및 상기 현재 스캐너 데이터에서의 각 스캔 포인트 사이의 거리를 산출하는(calculating) 단계, 변화 분석은 임계값을 이 거리에 적용함으로써 (상기 임계값 보다 더 먼 상기 참조 모델에서 대응하는 이웃을 가지는 상기 현재 스캐너 데이터에서의 각 포인트가 변화로 간주됨) 수행됨, 및
(e) 상기 3D 참조 맵 및 상기 현재 (3D) 스캐너 데이터에 관한 정보를 실시간 사용자 인터페이스에 디스플레이하는 단계, 상기 정보는 바람직하게는 상기 정보의 변화/비-변화 분류(change/no-change classification)에 따라 컬러-코딩됨(color-coded).
바람직하게는, 단계 (b)는 상기 단계 (a)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고, 상기 단계 (b)는 다음 서브단계들을 더 포함한다:
(b1) 상기 마지막 스캐너 데이터에 기초하여, 관련된 디스크립터
을 계산하고 후보 위치들의 세트 
를 복구하는 서브단계. 상기 후보 위치들은 
와 유사한 디스크립터를 가지며, 즉 디스크립터 공간에서의 거리는 임계 반경 
보다 더 작음. 후보 위치들의 세트 
는, 바람직하게는 360° 수평 시찰 스캐너 데이터(horizontal view scanner data)에 대해, 상기 디스크립터 공간에서 임계 반경 
이 주어진 
에 대한 방사상의 서치(radial search)를 수행함으로써 복구되며, 범위 값들을 수평으로 시프트함으로써 추가 입력 디스크립터들을 계산함으로써 상기 후보 위치들을 증가시키며, 각 디스크립터는 그것의 로컬 축(its local axis)에서 회전하는 경우 상기 스캐너가 생산할 판독들에 대응하고 후보 위치들의 각 결과 세트가 
에 따라 회전함,
(b2) 각 잠재적 위치
에 가중치 
를 관련시키는 서브단계:
여기서
는 
로부터 검색된 상기 위치 
에 관련된 상기 디스크립터이고, 
은 완벽하게 매칭하는 디스크립터들에 대해 1이고 상기 서치 스피어 경계(search sphere boundary)에 대한 디스크립터들에 대해 0임, 및
(b3)
에서 가중치들을 수집하고 
갖도록 이 가중치들을 정규화하는 서브단계.
유리하게는, 단계 (b)는 서브단계들을 더 포함한다
(b4) 상기 이동을 추정하고(상기 제1 측면의 방법의 단계 (c)(i)에 상술된 바와 같은 상기 주행 기록계 모듈을 사용하여) 상기 새로운 포즈에서 상기 질의 결과들에 기초하여 각 초기 후보 포즈에 대한 상기 가중치를 재평가함으로써 상기 센서가 이동하는 동안 상기 후보 위치들의 세트를 업데이트하는 서브단계, 및
(b5) 상기 후보 포즈들이 단일 위치로 수렴할 때까지(즉, 상기 방법이 상기 현재 포즈를 명확하게 할(disambiguate) 수 있을 때까지) 상기 업데이트 서브단계를 반복하는 서브단계.
특히 지상 모션(ground motion)을 위해, 상기 레이저 범위 스캐너는 플로어(floor)를 가로지르는 차량 또는 사람(예를 들어, 백팩을 구비한)에 장착되고, 상기 방법은 다음 단계들을 포함한다
(i) 상기 3D 참조 맵에서 상기 플로어의 넓이(extents)를 식별하는 단계, 여기서 플로어 추출은 상기 환경(3D 참조 맵)
의 희소 복셀 표현을 통해 수행되며, 여기서 상기 희소 복셀 표현의 각 풀 셀(full cell) 
은 그것의 중심(its centroid) 
주위의 상기 포인트들에 의해 국부적으로(locally) 정의된 상기 표면에 법선 벡터를 포함하며, 그것의 관련된 법선들에서의(their associated normals) 수직 구성 요소가 우세한지(dominant), 즉, 
가 일반적으로 0.5와 1 사이의 값인 
를 체크함(checking)으로써, 후보 플로어 셀들 
을 표현하는 복셀들의 서브세트를 추출함,
(ii) 셀들의 도달 가능성(reachability)을 결정하는 단계, 도달 가능한 셀(reachable cell)
이 주어지면, 모든 주변 셀들 
은 다음 조건들이 만족되는 경우 도달 가능한 것으로서 간주됨:
(6)
(7)
(8)
여기서, (6)에서의
는 최대 스텝 거리(maximum step distance)(예를 들어, 보행 모션에 대해 0.5 미터, 또는 차량 모션에 대해 
)이고, (7)에서의 
은 최대 수직 스텝 크기(maximum vertical step size)이고, (8)에서의 
은 플로어 셀(floor cell) 
위 중심에 있는, 상기 관찰자의 단순화된 볼륨(simplified volume)임.
본 발명의 맥락에서 사용 가능한 상기 맵 구조는 저장되고 동기화되는 요소들의 두 개의 다른 리스트들을 바람직하게는 포함한다: 특정 복셀 크기로 구축된, 복셀들의 (조밀) 그리드((dense) grid)
, 및 평면들의 (컴팩트) 리스트 
, 각 평면 
은 단위 법선 
및 세계 좌표들 에서의 위치 
를 저장함; 각 복셀 
은 풀(full), 엠프티(empty) 또는 니어(near)일 수 있는 현재 상태를 저장함, 풀 복셀들은 관련된 위치가 속한, 상기 평면 
에 인덱스를 저장함, 엠프티 셀들은 눌 참조(null reference)를 저장하고 니어 셀들은 상기 복셀 중심에 대한 관련된 위치 거리 
가 가장 작은 상기 평면 
에 인덱스를 저장함; 바람직하게는 니어 복셀은 상기 거리 
가 주어진 임계값 
아래인 경우에만 고려되고, 그렇지 않은 경우 상기 복셀은 엠프티로 간주됨
전체 시스템 견고성을 향상시키기 위해, 주행 기록계와 상기 스캐너 추적이 결합되고(예를 들어, 상기 제1 측면의 방법의 단계 (c)(i)에서 상술한 바와 같은 상기 주행 기록계 모듈을 사용하여), 포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들(its associated points)은 kd-트리로 저장되고(따라서 주행 기록계 맵을 창조함), 상기 레이저 범위 스캐너에 의해 새로운 획득(획득된 포인트 클라우드)이 주어지면, (즉, 등록 알고리즘이 상기 포인트들의 세트들(
)을 창조할 때), 그것이(it) 두 상기 참조 맵(
) 및 이전에 고정된 포인트 클라우드(주행 기록계 맵)(
)에서 최근접 이웃들을 찾고(looks for), 대응들은 다음과 같이 정의되고:
여기서,
는 상기 복셀 셀 크기에 대응하고, 상기 이전에 고정된 클라우드의 비-이산화된 kd-트리(non-discretized kd-tree)와 상기 복셀라이즈된 지상 검증 맵(voxelized ground truth map) 사이의 다른 해상도를 보상함.
제3 측면에 있어서, 본 발명은 본원에서 설명된 상기 방법들의 하나 이상을 구현하는, 특히 GPS-거부 환경들에서, 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치를 제안한다. 특히, 본 발명은 실시간 레이저 범위 스캐너(real-time laser range scanner), 처리 유닛(processing unit), 전원 유닛(power supply unit) 및 휴대용 시각화 및 제어 유닛(hand-held visualization and control unit)을 포함하는, 특히 GPS-거부 환경들에서 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치에 관한 것이며, 여기서 상기 실시간 레이저 범위 스캐너는 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임, 바람직하게는 적어도 초 당 10 프레임의 속도로 상기 환경을 획득할 수 있고, 상기 처리 유닛은 상기 스캐너 데이터를 분석하고, 상기 처리 결과들을 디스플레이하고 상기 모바일 레이저 스캐닝 장치를 사용자가 제어하도록 허용하는 상기 휴대용 시각화 및 제어 유닛에 3D 맵/모델, 로컬리제이션 및 변화 정보를 포함하는 처리 결과들을 제공하도록 배열된다.
따라서, 본 발명에 따른 장치는 상기 환경의 3D 맵핑/모델링, (생성된 맵 또는 기존 맵/모델에 관한) 상기 사용자의 정확한 로컬리제이션, 이전에 획득된 모델에 관한 변화 검출을 제공하는 온라인, 실시간 처리를 할 수 있고, 주변 조명 및 GPS 신호와 독립적으로 만드는 레이저 신호에 전적으로 의존한다. 또한, GPS 또는 관성 센서들과 같은 추가 센서를 요구하지 않는다. 그럼에도 불구하고, 본 발명은 유용한 것으로 간주되는 경우 추가 센서들을 추가하는 것을 배제하지 않는다. 따라서, 선택적 센서는 생성된 모델(예를 들어, 컬러 카메라들)을 강화하기(enrich) 위해 추가될 수 있다. 또한, 상기 장치가 온라인 및 실시간 결과들을 사용자에게 제공할 수는 있지만, 획득된 데이터를 사용하고 이를 오프라인에서 추가 처리하는 것, 예를 들어 향후 로컬리제이션 및 변화 분석을 위해 획득된 3D 모델의 다듬기가 예견될 수 있다.
본 발명에 따른 장치는, 예를 들어, 3D (실내) 맵핑/모델링(3D (indoor)mapping/modelling), 시설 관리(facility management), 정확한 실시간 실내 로컬리제이션 및 네비게이션(accurate and real-time indoor localization and navigation), 설계 정보 검증(design information verification), 변화 분석(change analysis)(예를 들어, 세이프가드 점검(safeguards inspections)을 위한), 진행 모니터(progress monitoring)링(예를 들어, 토목 건설을 위한), 재난 관리 및 대응(disaster management and response), 등과 같은 수많은 애플리케이션들(numerous applications)에서 유용하고 사용될 수 있다.
상기 모바일 레이저 스캐닝 장치에 있어서, 상기 시각화 및 제어 유닛은 바람직하게는 터치 스크린 컴퓨터(touch screen computer), 더 바람직하게는 태블릿 컴퓨터(tablet computer)이다.
상기 모바일 레이저 스캐닝 장치는 가장 바람직하게는 백팩 또는 차량 장착 장치(backpack or vehicle mounted device)이다.
제4 측면에 있어서, 본 발명은 3D 실외 및 실내, 바람직하게는 실내 맵핑/모델링; 시설 관리; 정확한 실시간 실내 로컬리제이션 및 네비게이션; 장애인 또는 노인들에 대한 지원(assistance to disabled or elderly people); 설계 정보 검증; 세이프가드 점검과 같은, 변화 분석; 토목 건설과 같은, 진행 모니터링; 또는 재난 관리 및 대응을 위해 본원에 설명된 바와 같은 모바일 레이저 스캐닝 장치들 또는 방법들의 사용을 제안한다.
제5 측면은 본 발명의 방법들 중 하나 이상을 실행하기 위해 본원에서 설명된 바와 같은 프로그래밍 가능한 장치, 바람직하게는 모바일 레이저 스캐닝 장치 또는 그것의 처리 유닛을 유발시키는(causing) 컴퓨터 실행 가능 명령들을 갖는 컴퓨터 프로그램 제품에 관한 것이다.
최종 측면에 있어서, 본 발명은 또한 프로그램된 프로세서에 의해 실행 가능한 명령들을 표현하는 데이터를 그에 저장한, 컴퓨터 판독 가능 매체에 관한 것으로, 상기 컴퓨터 판독 가능 매체는, 본 발명의 방법들 중 하나를 실행하기 위해, 프로그램 가능한 장치, 바람직하게는 본 발명의 모바일 레이저 스캐닝 장치 또는 그의 처리 유닛을 유발시키는 명령들을 포함한다.
상기 측면들, 더 많은 변형들, 대안들, 및 특징들의 조합뿐만 아니라 이들의 이점들은 더 상세하게 아래에 설명될 것이다.
(a) 적어도 초 당 5 프레임(즉, 5 포인트 클라우드들), 바람직하게는 적어도 10 프레임의 속도로 모바일 실시간 레이저 범위 스캐너(mobile real-time laser range scanne)를 구비하여 상기 환경의 (3D) 스캐너 데이터((3D) scanner data)를 획득하는 단계,
(b) 상기 레이저 범위 스캐너의 복수의 포즈들의 각각에 대한 상기 (3D) 스캐너 데이터를 사용하여, 맵 표현(map presentation)을 구성하는 단계, 각 포즈(pose)는 상기 스캐너 데이터에 의해 정의된 관련된 포인트 클라우드(associated point cloud)를 갖고, 상기 맵 표현은 큰 영역들에 걸친 확장성(scalability over large areas), 고속 최근접 이웃 서치(fast nearest neighbor search) 및 일정한 시간 내에 랜덤 샘플 액세스(random sample access thereto in constant time)를 위해 구성되는 데이터 구조(data structure)를 갖음, 및
(c) 3D 동시 로컬리제이션 및 맵핑(3D Simultaneous Localization And Mapping)(3D SLAM) 프레임워크를 사용하여 상기 환경에 대한 상기 3D 참조 맵을, 상기 맵 표현을 사용하여, 구축하는 단계, 상기 구축하는 단계는 다음을 포함함,
(i) 주행 기록계 모듈(odometer module)을 사용하여, 로컬 맵 표현에 (마지막) 포인트 클라우드의 등록에 기초하여 각 포인트에 대한 상기 레이저 범위 스캐너의 현재 포즈를 추정하는 단계,
(ii) 로컬 궤적 최적화 모듈(local trajectory optimization module)을 사용하여, 상기 로컬 맵 표현에서의 상기 드리프트(drift)를 최소화하기 위하여 포인트 클라우드들의 (서브)세트의 상기 궤적을 다듬는(refining) 단계, 및
(iii) 상기 3D 참조 맵을 형성함으로써, 루프 폐쇄들(loop closures)을 이용하여(고려하여) 상기 환경의 전체 맵을 재구성함으로써 글로벌 궤적 최적화를 오프라인 수행하는 단계.
본 발명은 상기 로컬 궤적 최적화 모듈은 상기 마지막 등록된 세트까지 구축된 맵에 대하여 포즈들의 세트 및 그것의 관련된 포인트 클라우드들(their associated point clouds)에 의해 구성된 궤적 프레그먼트(trajectory fragment)를 최적화하는 로컬 윈도우 메커니즘(local window mechanism)을 포함하고, 여기서 포인트들은 바람직하게는
특히 바람직한 실시예에 있어서, 상기 데이터 구조는 3D 포인트들을 네이티브하게(natively) 다루도록(handle) 설정되고, 상기 맵 표현에서 특징들의 (컴팩트 조밀) 리스트((compact dense) list)를 인덱스하는데 사용되는 희소 복셀라이즈드 구조(sparse voxelized structure)에 의해 구성된 하이브리드 구조(hybrid structure)에 기초하며, 상기 탐색된 공간에 대한 확장성으로 상기 데이터의 맵 크기 및 효율적인 저장으로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스(constant time random access)를 허용한다.
여전히 더 바람직한 실시예에 있어서, 상기 데이터 구조는 저장된 상기 데이터의 다섯 가지의 다른 표현들을 유지하여, 각각의 맵 업데이트 후에 내부 데이터 표현들 사이의 일관성(consistency)을 부여할 수 있으며, 상기 다섯 가지의 표현들은
(i) 특징들의 (컴팩트 및 조밀) 리스트((compact and dense) list of features)
(ii) 각 요소
(iii) 각 요소
(iv) 각 셀
(v) kd-트리(kd-tree)
본 방법은, 중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들(inner features)은
제2 측면에 있어서, 본 발명은 환경의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법에 관한 것이다, 즉, 특히 GPS-거부 환경에서의, 상기 본 방법의 이전 실행을 통해 이미 업데이트된 또는 수정된 이러한 3D 참조 맵으로부터 또는 상술한 바와 같은 상기 본 발명의 제1 측면에 따른 방법으로부터 이용 가능한 상기 환경의 3D 참조 맵에 관한 것이며, 다음 단계들을 포함한다:
(a) 적어도 초 당 5 프레임(포인트 클라우드들)의 속도로 실시간 레이저 범위 스캐너를 구비하여 상기 환경의 (3D) 스캐너 데이터를 획득하는 단계,
(b) 장소 인식 동안, 장소 인식 동안 상기 스캐너 포즈(scanner pose)의 사전 지식없이 알고 있는 환경(known environment) 내의(즉, 상기 3D 참조 맵 내의) 상기 레이저 범위 스캐너의 현재 위치를 식별하고, 상기 장면 내의 감소된 서치 공간을 사용하여 상기 레이저 범위 스캐너에 의해 획득된 상기 장면의 간단 및 컴팩트 디스크립터들(simple and compact descriptors)을 미리-계산하는 단계; 실시간으로 상기 스캐너를 셀프-로컬라이즈(self-localize)하기 위하여, 또는 잠재적 스캐너 포즈들에서 상기 3D 참조 맵의 미리-계산된 콤팩트 디스크립터들을 사용하여 실시간으로 상기 스캐너를 셀프-로컬라이즈 하기 위하여 상기 미리-계산된 디스크립터 공간의 사용을 만들어 상기 3D 참조 맵 내의 상기 레이저 범위 스캐너의 현재 위치를 식별하는 단계,
(c) 상기 알고 있는 환경에서(즉, 3D 참조 맵 내의) 상기 스캐너의 로컬리제이션의 결정 후, 최근접 이웃 정보를 포함하는 데이터를 이용하는 표준 반복 최단 포인트 방법(standard Iterative Closest Point method)을 사용하여 3D 참조 맵 내에 현재 스캐너 데이터를 등록함으로써 상기 스캐너 포즈를 추적하는 단계,
(d) 상기 3D 참조 맵에서의 최근접 포인트 및 상기 현재 스캐너 데이터에서의 각 스캔 포인트 사이의 거리를 산출하는(calculating) 단계, 변화 분석은 임계값을 이 거리에 적용함으로써 (상기 임계값 보다 더 먼 상기 참조 모델에서 대응하는 이웃을 가지는 상기 현재 스캐너 데이터에서의 각 포인트가 변화로 간주됨) 수행됨, 및
(e) 상기 3D 참조 맵 및 상기 현재 (3D) 스캐너 데이터에 관한 정보를 실시간 사용자 인터페이스에 디스플레이하는 단계, 상기 정보는 바람직하게는 상기 정보의 변화/비-변화 분류(change/no-change classification)에 따라 컬러-코딩됨(color-coded).
바람직하게는, 단계 (b)는 상기 단계 (a)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고, 상기 단계 (b)는 다음 서브단계들을 더 포함한다:
(b1) 상기 마지막 스캐너 데이터에 기초하여, 관련된 디스크립터
(b2) 각 잠재적 위치
여기서
(b3)
유리하게는, 단계 (b)는 서브단계들을 더 포함한다
(b4) 상기 이동을 추정하고(상기 제1 측면의 방법의 단계 (c)(i)에 상술된 바와 같은 상기 주행 기록계 모듈을 사용하여) 상기 새로운 포즈에서 상기 질의 결과들에 기초하여 각 초기 후보 포즈에 대한 상기 가중치를 재평가함으로써 상기 센서가 이동하는 동안 상기 후보 위치들의 세트를 업데이트하는 서브단계, 및
(b5) 상기 후보 포즈들이 단일 위치로 수렴할 때까지(즉, 상기 방법이 상기 현재 포즈를 명확하게 할(disambiguate) 수 있을 때까지) 상기 업데이트 서브단계를 반복하는 서브단계.
특히 지상 모션(ground motion)을 위해, 상기 레이저 범위 스캐너는 플로어(floor)를 가로지르는 차량 또는 사람(예를 들어, 백팩을 구비한)에 장착되고, 상기 방법은 다음 단계들을 포함한다
(i) 상기 3D 참조 맵에서 상기 플로어의 넓이(extents)를 식별하는 단계, 여기서 플로어 추출은 상기 환경(3D 참조 맵)
(ii) 셀들의 도달 가능성(reachability)을 결정하는 단계, 도달 가능한 셀(reachable cell)
여기서, (6)에서의
본 발명의 맥락에서 사용 가능한 상기 맵 구조는 저장되고 동기화되는 요소들의 두 개의 다른 리스트들을 바람직하게는 포함한다: 특정 복셀 크기로 구축된, 복셀들의 (조밀) 그리드((dense) grid)
전체 시스템 견고성을 향상시키기 위해, 주행 기록계와 상기 스캐너 추적이 결합되고(예를 들어, 상기 제1 측면의 방법의 단계 (c)(i)에서 상술한 바와 같은 상기 주행 기록계 모듈을 사용하여), 포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들(its associated points)은 kd-트리로 저장되고(따라서 주행 기록계 맵을 창조함), 상기 레이저 범위 스캐너에 의해 새로운 획득(획득된 포인트 클라우드)이 주어지면, (즉, 등록 알고리즘이 상기 포인트들의 세트들(
여기서,
제3 측면에 있어서, 본 발명은 본원에서 설명된 상기 방법들의 하나 이상을 구현하는, 특히 GPS-거부 환경들에서, 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치를 제안한다. 특히, 본 발명은 실시간 레이저 범위 스캐너(real-time laser range scanner), 처리 유닛(processing unit), 전원 유닛(power supply unit) 및 휴대용 시각화 및 제어 유닛(hand-held visualization and control unit)을 포함하는, 특히 GPS-거부 환경들에서 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치에 관한 것이며, 여기서 상기 실시간 레이저 범위 스캐너는 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임, 바람직하게는 적어도 초 당 10 프레임의 속도로 상기 환경을 획득할 수 있고, 상기 처리 유닛은 상기 스캐너 데이터를 분석하고, 상기 처리 결과들을 디스플레이하고 상기 모바일 레이저 스캐닝 장치를 사용자가 제어하도록 허용하는 상기 휴대용 시각화 및 제어 유닛에 3D 맵/모델, 로컬리제이션 및 변화 정보를 포함하는 처리 결과들을 제공하도록 배열된다.
따라서, 본 발명에 따른 장치는 상기 환경의 3D 맵핑/모델링, (생성된 맵 또는 기존 맵/모델에 관한) 상기 사용자의 정확한 로컬리제이션, 이전에 획득된 모델에 관한 변화 검출을 제공하는 온라인, 실시간 처리를 할 수 있고, 주변 조명 및 GPS 신호와 독립적으로 만드는 레이저 신호에 전적으로 의존한다. 또한, GPS 또는 관성 센서들과 같은 추가 센서를 요구하지 않는다. 그럼에도 불구하고, 본 발명은 유용한 것으로 간주되는 경우 추가 센서들을 추가하는 것을 배제하지 않는다. 따라서, 선택적 센서는 생성된 모델(예를 들어, 컬러 카메라들)을 강화하기(enrich) 위해 추가될 수 있다. 또한, 상기 장치가 온라인 및 실시간 결과들을 사용자에게 제공할 수는 있지만, 획득된 데이터를 사용하고 이를 오프라인에서 추가 처리하는 것, 예를 들어 향후 로컬리제이션 및 변화 분석을 위해 획득된 3D 모델의 다듬기가 예견될 수 있다.
본 발명에 따른 장치는, 예를 들어, 3D (실내) 맵핑/모델링(3D (indoor)mapping/modelling), 시설 관리(facility management), 정확한 실시간 실내 로컬리제이션 및 네비게이션(accurate and real-time indoor localization and navigation), 설계 정보 검증(design information verification), 변화 분석(change analysis)(예를 들어, 세이프가드 점검(safeguards inspections)을 위한), 진행 모니터(progress monitoring)링(예를 들어, 토목 건설을 위한), 재난 관리 및 대응(disaster management and response), 등과 같은 수많은 애플리케이션들(numerous applications)에서 유용하고 사용될 수 있다.
상기 모바일 레이저 스캐닝 장치에 있어서, 상기 시각화 및 제어 유닛은 바람직하게는 터치 스크린 컴퓨터(touch screen computer), 더 바람직하게는 태블릿 컴퓨터(tablet computer)이다.
상기 모바일 레이저 스캐닝 장치는 가장 바람직하게는 백팩 또는 차량 장착 장치(backpack or vehicle mounted device)이다.
제4 측면에 있어서, 본 발명은 3D 실외 및 실내, 바람직하게는 실내 맵핑/모델링; 시설 관리; 정확한 실시간 실내 로컬리제이션 및 네비게이션; 장애인 또는 노인들에 대한 지원(assistance to disabled or elderly people); 설계 정보 검증; 세이프가드 점검과 같은, 변화 분석; 토목 건설과 같은, 진행 모니터링; 또는 재난 관리 및 대응을 위해 본원에 설명된 바와 같은 모바일 레이저 스캐닝 장치들 또는 방법들의 사용을 제안한다.
제5 측면은 본 발명의 방법들 중 하나 이상을 실행하기 위해 본원에서 설명된 바와 같은 프로그래밍 가능한 장치, 바람직하게는 모바일 레이저 스캐닝 장치 또는 그것의 처리 유닛을 유발시키는(causing) 컴퓨터 실행 가능 명령들을 갖는 컴퓨터 프로그램 제품에 관한 것이다.
최종 측면에 있어서, 본 발명은 또한 프로그램된 프로세서에 의해 실행 가능한 명령들을 표현하는 데이터를 그에 저장한, 컴퓨터 판독 가능 매체에 관한 것으로, 상기 컴퓨터 판독 가능 매체는, 본 발명의 방법들 중 하나를 실행하기 위해, 프로그램 가능한 장치, 바람직하게는 본 발명의 모바일 레이저 스캐닝 장치 또는 그의 처리 유닛을 유발시키는 명령들을 포함한다.
상기 측면들, 더 많은 변형들, 대안들, 및 특징들의 조합뿐만 아니라 이들의 이점들은 더 상세하게 아래에 설명될 것이다.
본 발명의 바람직한 측면들 및 실시예들은 이제 첨부 도면들을 참조하여 예시에 의해 설명될 것이다.
도 1: 본 발명에 따른 모바일 레이저 스캐닝 장치의 바람직한 실시예의 하드웨어 구성 요소들, 3D 레이저 스캐너(1), 백팩(2), 처리 유닛(3)(단지 그림으로 별로도 도시된, 백팩 내에 포함됨) 및 태블릿(4)을 포함하는 모바일 레이저 스캐닝 플랫폼(Mobile Laser Scanning Platform)(MLSP 시스템 또는 단순하게 MLSP)으로 불림.
도 2: 실시간으로 사용자에게 제공되는 사용자 인터페이스의 스냅샷(Snapshot)(오리지널하게 컬러링된 스냅샷(originally colored snapshot)의 흑백). 그것은 두 시간의 포인트들(two points of time)에서 스캔된 터널 환경을 도시한다. 실제 컬러 디스플레이에서, 초록색은 획득들 사이의 변화를 나타내지 않고 빨간색은 두 획득들 사이의 새로운 구성들을 나타낸다.
도 3: 키티 데이터 세트들(Kitti datasets)의 샘플 트랙(sample track)에 대한 루프 폐쇄의 영향. 궤적은 온라인으로 추정되고 전체적으로 최적화된 궤적으로 도시된다. (실제)맵은 두 맵들에 대한 다른 체계(different scheme)(로컬 맵인 보라색 영역과 같은)를 구비한 포인트들의 법선 벡터들에 따라 컬러링된다.
도 4: 두 로컬 맵(일반적으로 1M 보다 적은 특징들을 포함함) 및 글로벌 맵(일반적으로 1M 보다 많은 특징들을 포함함)에 대한 포인트 선택 시간, 도 4a 다른 서치 반경에 대한 로컬 맵 포인트 선택 시간 및 도 4b 다른 서치 반경에 대한 글로벌 맵 포인트 선택 시간.
도 5: 제안된 맵 표현들의 바람직한 실시예. 풀 셀들은 어두운 회색 박스들로 디스플레이된다. 니어 셀들은 관련된 최근접 이웃과 중심을 연결하는 선을 구비한 밝은 회색 박스들로서 표현된다. 엠프티 셀들은 흰색 박스들로 디스플레이된다.
도 6: 대칭 환경 및 비대칭 환경에 대한 회전 히스토그램.
도 7: 인라이어 선택. 축들은 검출된 변환들의 주요 우세 치수들(main dominant dimensions)을 표현한다. 각 포인트는 아웃라이어들로서 마크된 반복(iteration)에 따라 회색으로 변하는(grayed) 후보 변환을 표현한다(중심으로부터 너무 먼 일부 아웃라이어 변환들은 생략되었음). 중앙 타원들에서의 어두운 회색 포인트들은 인라이어들로서 마크된 변환들을 표현한다. 타원들은 특정 후속 반복들에서 법선 추정들(normal estimations)을 표현한다.
도 8: 플로어 추출 알고리즘의 결과들. 검은색 포인트들은 획득 동안 스캐너 위치를 표현한다. 이 위치들는 초기 활성 셀들의 세트를 자동으로 선택하는데 사용된다.
도 9: 서치 공간 감소를 위한 경험적 파라미터 선택(Empirical parameter selection). (좌측) 여러 번의 보행 동안 관찰된 플로어까지의 평균 높이에 관한 센서의 편차. (우측) 여러 번의 보행 동안 관찰된 수직 축(Z)에 관한 센서의 편차.
도 10: 분류기(classifier)가 멀티 환경들에 관한 데이터를 포함하는 공간 인식(분류에 의해 추적함)만을 사용하는 드리프트 분석. 이러한 실험에 대한 지상 검증은 채택된 오차 측정법의 디스크립션을 위해 정확한 빌딩에서 초기화된 추적 모듈에 의해 생성된 최종 궤적이 간주된다.
도 11a 및 도 11b: 도 10에 도시된 드리프트 분석을 생성하는데 사용된 두 개의 샘플 경로들. 점선 지상 검증 경로(ground truth path)은 전체 시스템을 사용하여 추정됨. 실선 경로는 분류에 의해 추적을 사용하여 추정됨. 검은색 원은 사용자가 특정 빌딩에서 고유하게 식별된 후 프레임을 도시한다.
도 12: 제안된 인라이어 선택 알고리즘의 결과들.
도 13: 센서가 그것의 위치의 트랙 손실 없이 비-맵핑된 방((우측)에 도시된, A)으로 이동한 빌딩 내부의 샘플 보행(sample walk-through) 동안의 주행 기록계 통합의 결과들, 그 다음 빌딩 외부에서 두 루프들을 수행함(C 및 D).
도 14: 아웃라이어들 없는 환경(상부) 및 아웃라이어들을 구비한 환경(하부)에서의 표준 ICP(점선) 및 제안된 견고한 구현(실선) 사이의 추적 정확성 비교.
도 15: 백팩 장착 설정을 추적하는 동안의 시스템 전체 성능: 회색 실선들은 각 프레임을 처리하는데 소비된 시간(초)임. 점선의 수평선은 벨로다인 HDL- 32E 센서(Velodyne HDL-32E sensor)(12Hz)를 사용한 실시간 결과들에 대한 최대 실행 시간을 나타낸다.
본 발명의 추가의 세부 사항들 및 이점들은 첨부된 도면들을 참조하여 여러 비-제한적인 측면들 및 실시예들의 다음의 상세한 설명으로부터 명백해질 것이다. 실제로, 아래의 상세한 설명은 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 오히려 일반적인 설명, 청구항들 및 도면들에 제시된 특정 측면들을 설명하기 위한 것이다.
도 1: 본 발명에 따른 모바일 레이저 스캐닝 장치의 바람직한 실시예의 하드웨어 구성 요소들, 3D 레이저 스캐너(1), 백팩(2), 처리 유닛(3)(단지 그림으로 별로도 도시된, 백팩 내에 포함됨) 및 태블릿(4)을 포함하는 모바일 레이저 스캐닝 플랫폼(Mobile Laser Scanning Platform)(MLSP 시스템 또는 단순하게 MLSP)으로 불림.
도 2: 실시간으로 사용자에게 제공되는 사용자 인터페이스의 스냅샷(Snapshot)(오리지널하게 컬러링된 스냅샷(originally colored snapshot)의 흑백). 그것은 두 시간의 포인트들(two points of time)에서 스캔된 터널 환경을 도시한다. 실제 컬러 디스플레이에서, 초록색은 획득들 사이의 변화를 나타내지 않고 빨간색은 두 획득들 사이의 새로운 구성들을 나타낸다.
도 3: 키티 데이터 세트들(Kitti datasets)의 샘플 트랙(sample track)에 대한 루프 폐쇄의 영향. 궤적은 온라인으로 추정되고 전체적으로 최적화된 궤적으로 도시된다. (실제)맵은 두 맵들에 대한 다른 체계(different scheme)(로컬 맵인 보라색 영역과 같은)를 구비한 포인트들의 법선 벡터들에 따라 컬러링된다.
도 4: 두 로컬 맵(일반적으로 1M 보다 적은 특징들을 포함함) 및 글로벌 맵(일반적으로 1M 보다 많은 특징들을 포함함)에 대한 포인트 선택 시간, 도 4a 다른 서치 반경에 대한 로컬 맵 포인트 선택 시간 및 도 4b 다른 서치 반경에 대한 글로벌 맵 포인트 선택 시간.
도 5: 제안된 맵 표현들의 바람직한 실시예. 풀 셀들은 어두운 회색 박스들로 디스플레이된다. 니어 셀들은 관련된 최근접 이웃과 중심을 연결하는 선을 구비한 밝은 회색 박스들로서 표현된다. 엠프티 셀들은 흰색 박스들로 디스플레이된다.
도 6: 대칭 환경 및 비대칭 환경에 대한 회전 히스토그램.
도 7: 인라이어 선택. 축들은 검출된 변환들의 주요 우세 치수들(main dominant dimensions)을 표현한다. 각 포인트는 아웃라이어들로서 마크된 반복(iteration)에 따라 회색으로 변하는(grayed) 후보 변환을 표현한다(중심으로부터 너무 먼 일부 아웃라이어 변환들은 생략되었음). 중앙 타원들에서의 어두운 회색 포인트들은 인라이어들로서 마크된 변환들을 표현한다. 타원들은 특정 후속 반복들에서 법선 추정들(normal estimations)을 표현한다.
도 8: 플로어 추출 알고리즘의 결과들. 검은색 포인트들은 획득 동안 스캐너 위치를 표현한다. 이 위치들는 초기 활성 셀들의 세트를 자동으로 선택하는데 사용된다.
도 9: 서치 공간 감소를 위한 경험적 파라미터 선택(Empirical parameter selection). (좌측) 여러 번의 보행 동안 관찰된 플로어까지의 평균 높이에 관한 센서의 편차. (우측) 여러 번의 보행 동안 관찰된 수직 축(Z)에 관한 센서의 편차.
도 10: 분류기(classifier)가 멀티 환경들에 관한 데이터를 포함하는 공간 인식(분류에 의해 추적함)만을 사용하는 드리프트 분석. 이러한 실험에 대한 지상 검증은 채택된 오차 측정법의 디스크립션을 위해 정확한 빌딩에서 초기화된 추적 모듈에 의해 생성된 최종 궤적이 간주된다.
도 11a 및 도 11b: 도 10에 도시된 드리프트 분석을 생성하는데 사용된 두 개의 샘플 경로들. 점선 지상 검증 경로(ground truth path)은 전체 시스템을 사용하여 추정됨. 실선 경로는 분류에 의해 추적을 사용하여 추정됨. 검은색 원은 사용자가 특정 빌딩에서 고유하게 식별된 후 프레임을 도시한다.
도 12: 제안된 인라이어 선택 알고리즘의 결과들.
도 13: 센서가 그것의 위치의 트랙 손실 없이 비-맵핑된 방((우측)에 도시된, A)으로 이동한 빌딩 내부의 샘플 보행(sample walk-through) 동안의 주행 기록계 통합의 결과들, 그 다음 빌딩 외부에서 두 루프들을 수행함(C 및 D).
도 14: 아웃라이어들 없는 환경(상부) 및 아웃라이어들을 구비한 환경(하부)에서의 표준 ICP(점선) 및 제안된 견고한 구현(실선) 사이의 추적 정확성 비교.
도 15: 백팩 장착 설정을 추적하는 동안의 시스템 전체 성능: 회색 실선들은 각 프레임을 처리하는데 소비된 시간(초)임. 점선의 수평선은 벨로다인 HDL- 32E 센서(Velodyne HDL-32E sensor)(12Hz)를 사용한 실시간 결과들에 대한 최대 실행 시간을 나타낸다.
본 발명의 추가의 세부 사항들 및 이점들은 첨부된 도면들을 참조하여 여러 비-제한적인 측면들 및 실시예들의 다음의 상세한 설명으로부터 명백해질 것이다. 실제로, 아래의 상세한 설명은 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 오히려 일반적인 설명, 청구항들 및 도면들에 제시된 특정 측면들을 설명하기 위한 것이다.
이전에 언급한 바와 같이, 본 명세서에 기술된 바와 같은 본 발명의 바람직한 실시예들의 주요 장점들 중 하나는 GPS-거부(예: 실내) 환경들에서 실시간 변화 분석 및 모니터링을 제공한다는 개념에 있다. 사용자는 시설을 보행할 때 휴대용 장치(handheld device)에 대한 변화들을 시찰하고(view) 시설을 점검할 수 있다. 바람직한 기본 방법론들과 알고리즘들은 아래에 요약되어 있으며 이후에 더 설명된다.
이전에 알고 있지 않은(스캔되지 않은) 위치에 대한 기본 워크플로우(basic workflow)는 원칙적으로 두 단계들을 요구한다: (A) T0에서의 3D 참조 모델(3D reference model)의 구성 및 (B) T1에서의 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석. 이러한 위치를 다시 방문할 때 또는 적절한 맵이 이미 있는 경우에는, 단계 (B)로 충분할 것 이다.
(A) 3D 참조 맵의 구성
3D 참조 맵은 아래 설명된 바와 같이 모바일 레이저 범위 스캐너(mobile laser range scanner)를 기초로 한 3D SLAM(Simultaneous Localization And Mapping) 구현을 사용하여 만들어진다. 주요 특징들은 바람직하게는 다음과 같다:
1) 큰 영역에 걸친 확장성, 고속 최근접 이웃 서치 및 일정한 시간에 랜덤 샘플 액세스를 허용하는 효율적인 맵 표현(아래 섹션 A.2 참조).
2) SLAM 프레임워크(SLAM framework)(아래 섹션 A.3 참조)는 다음을 포함한다:
a) 로컬 맵 표현(local map representation)에 대한 마지막 클라우드(cloud)의 등록에 기초하여 현재 포즈(current pose)를 추정하는 주행 기록계(odometer).
b) 생성된 맵에서의 드리프트를 최소화하기 위하여 클라우드들의 세트(set of clouds)의 궤적을 다듬는 로컬 궤적 최적화(local trajectory optimization).
c) 루프 폐쇄들(loop closures)을 이용하여 환경의 전체 맵을 재구성 하는 것을 허용하는 글로벌 궤적 최적화(global trajectory optimization).
주행 기록계는 전형적으로 실시간으로 수행된다. 맵 최적화는 후-처리 단계에서 수행될 수 있다.
(B) 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석
실시간 로컬리제이션, 추적 및 변화 분석은 일반적으로 전술한 바와 같이 이전에 생성된 환경의 기존 3D 참조 맵을 요구한다. 주요 구성 요소들은 바람직하게는 다음과 같다
1) 장소 인식 동안 시스템은 센서 포즈의 사전 지식없이 알고 있는 환경 내의 현재 위치를 식별한다. 그것은 장면의 간단 및 컴팩트 디스크립터들(simple and compact descriptors)을 미리-계산하고(pre-computes) 실시간으로 센서를 셀프-로컬라이즈(self-localize)하기 위하여 서치 공간을 감소시키도록 효율적인 전략을 사용한다(아래 섹션B.2 참조).
2) 센서가 알고 있는 환경에서 로컬라이즈되면, 시스템은 표준 반복 최단 포인트(standard Iterative Closest Point)(ICP) 방법을 사용하여 3D 참조 맵 내에 현재 관찰(3D 스캔)을 등록함으로써 센서 포즈를 추적하기 시작한다. 실시간으로 센서 포즈를 정확하게 추적하기 위하여, 시스템은 다수의 개선사항들을 구현하며, 예를 들어 그것은 고속 최근접 이웃 서치들을 위해 특별히 설계된 데이터 구조를 사용한다(아래 섹션 B.3 참조).
3) 데이터 구조에서 최근접-이웃 정보가 주어지면, MLSP는 3D 참조 모델에서 최근접 포인트와 현재 관찰에서의 각 스캔 포인트 사이의 거리를 효율적으로 산출할 수 있다. 변화 분석은 이 거리에 간단한 임계값을 적용함으로써 수행되며, 예를 들어 참조 모델에서 대응하는 이웃을 가지지 않는(또는 참조 모델에서 대응하는 이웃을 가지지만 임계값보다 먼) 현재 스캔에서의 각 포인트는 변화로 간주된다. 실시간 사용자 인터페이스는 변화/비-변화 분류에 따라 컬러-코딩된(color-coded) 현재 관찰들 및 3D 참조 모델을 보여준다.
A. 3D 참조 맵의 구성
외수용성 센서들(exteroceptive sensors)을 이용한 정밀한 3D 맵핑 및 6DOF 궤적 추정은 많은 분야에서 핵심 문제들이다. 실시간 이동 레이저 센서들은 정밀한 깊이 측정들, 높은 프레임 속도 및 넓은 시야(field of view)로 인해 인기를 얻었다.
하나의 바람직한 측면에서, 본 발명은 이동중 스캐닝 시나리오(scanning-while-moving scenario)에서 획득 프로세스(acquisition process)를 적절하게 모델링하는(models) 동시 로컬리제이션 및 맵핑(SLAM; Simultaneous Localization And Mapping)을 위한 최적화 방법 또는 프레임워크를 제안한다. 각 측정은
에서 제어 포즈들의 이산 세트(discrete set of control poses)의 선형 보간으로서 정의되는 연속 시간 궤적을 고려함으로써 맵 참조 프레임에서 정확하게 재투영된다(reprojected). 또한 본 발명은 대규모 맵 관리를 허용하게 하는, 하이브리드 희소 복셀라이즈드 표현(hybrid sparse voxelized representation)을 사용하여 특히 효율적인 데이터 구조를 제안한다. 이 덕분에 발명자들은 또한 루프들이 수행될 때 누적된 드리프트를 재설정하여, 궤적들에 대한 글로벌 최적화를 수행할 수 있었다.
본 발명자들은 그러한 프레임워크가 최적화 단계에서 왜곡 효과들을 포함시키지 않고 그것들을 보상하는 솔루션들에 관해(w.r.t.) 로컬리제이션 및 맵핑을 향상시키는 것을 실험적으로 보여주었다. 또한, 본 발명자들은 실시간 SLAM을 수행하고 매우 큰 맵들을 다루기 위하여 맵 크기에 관해 제안된 데이터 구조가 선형 또는 일정한 연산 시간(operations time)을 제공하는 것을 보여준다.
A.1. 서론
3D맵들의 생성 및 궤적들의 추정은 로봇 공학, 자율적 유도 및 감시의 다양한 애플리케이션들을 위한 기본 빌딩 블록들(fundamental building blocks)이다. 동시 로컬리제이션 및 맵핑(SLAM) 기술들은 알고 있지 않은 환경(unknown environment)의 맵을 공동으로 만들고 동일한 환경에서 센서를 로컬라이즈한다. SLAM 공식들은 표준 카메라들, 깊이 카메라들 및 레이저 스캐너들 용으로 제안되었다. 레이저 스캐너들을 기초로 한 대부분의 SLAM 시스템들은 반복 최단 포인트(ICP; Iterative Closest Point) 알고리즘의 변형들을 사용하여 스캔 정렬들을 수행한다. 실시간 애플리케이션들에 중점을 둔 ICP 알고리즘들의 리뷰는 2001년 3DIM에서의, 에스. 루신키위크즈(S. Rusinkiewicz) 및 엠.레보이(M. Levoy), "ICP 알고리즘의 효율적인 변형들(Efficient variants of the ICP algorithm)"에서 발견될 수 있다. 벨로다인 스캐너들(Velodyne scanners)과 같은, 실시간 이동 3D 라이다 센서들(3D LIDAR sensors)이 최근 인기를 얻었다: 이 장치들은 높은 데이터 속도를 가지며, 종종 완전한 360 ° 수평 필드(complete 360° horizontal field)를 제공하고, 거리 측정들에 대한 좋은 정확성을 갖는다.
이러한 센서들(스캐너들)은 이동하는 동안 측정들을 획득하므로 궤적 경로를 따라 획득된 프레임들을 워프하는(warp) 비-중심 투영 시스템들(non-central projection systems)을 나타낸다. 이러한 생산된 포인트 클라우드들(point clouds)의 정렬은 3D 포인트들에 대한 워핑 효과(warping effect)의 적절한 처리를 요구한다. 2011년 IVS에서의 에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)"에서 제안된 SLAM 프레임워크는 센서의 현재 속도가 주어진 각 클라우드를 비워프하고(unwarps), ICP를 수행하고, 새로운 추정 속도로 포인트들을 비워프한다. LOAM 알고리즘(LOAM algorithm)(제이. 장(J. Zhang) 및 에스. 싱흐(S. Singh), "LOAM: 실시간으로 라이다 주행거리측정 및 맵핑(LOAM: Lidar odometry and mapping in real-time)", RSS, 2014)은 에지들(edges)과 평면 특징에 중점을 두어 각각의 클라우드에서의 워핑 효과를 제거함으로써 모션(motion)의 연속적인 추정을 수행한다. 완전한 프레임(complete frame)이 생성될 때 그것은 예측된 최종 포즈를 사용하여 최종 포인트 클라우드를 비워프한다. 씨. 에이치. 통(C. H. Tong), 에스. 앤더슨(S. Anderson), 에이치. 동(H. Dong) 및 티. 디. 바르풋(T. D. Barfoot), "레이저-기반 시각적 주행거리측정에 대한 포즈 보간법(Pose interpolation for laser-based visual odometry)", 필드 로보틱스의 저널(Journal of Field Robotics), 31권, 731-757, 2014에서는 획득 반사율 이미지들(acquisition reflectance images)에서 매칭된 특징들에 의존하는 연속-시간 가우시안 프로세스 모델(continuous-time Gaussian Process Model)(GPGN)을 사용하여 보간법을 수행한다.
본 발명의 바람직한 측면에서, 마지막 등록된 세트까지 구축된 맵에 대해 포즈들의 세트 및 그와 연관된 포인트 클라우드들에 의해 구성된 궤적 프래그먼트(trajectory fragment)를 최적화하는 로컬 윈도우 메커니즘(local window mechanism)을 사용하는 것이 제안된다. 포인트들은
그룹의 포즈 보간법을 사용하여 세계 좌표(world coordinates)로 변환되며, ICP의 일반화는 모든 포인트들을 맵에 더 잘 정렬하는 궤적을 발견하는데 사용된다. 이 공식에서 비워프 연산(unwarp operation)은 최적화 전략의 일부이다.
SLAM 시스템들에 대한 중요한 측면은 큰 환경들에 대한 확장성 및 최적화 루틴(optimization routine)을 지원하기 위한 맵의 실시간 관리이다. 일반적으로 확장성은 일반 옥트리들(octrees), 볼륨 주기 인덱싱(volume cyclical indexing)을 사용하는 조밀 복셀 맵들(dense voxel maps) 또는 복셀 헤이징(voxel hazing)을 기초로 한 희소 표현들과 같은 희소 구조들(sparse structures)을 사용하여 달성된다. 일 측면에서, 본 발명은 3D 포인트들을 네이티브하게(natively) 다루고, 희소 복셀라이즈드 구조(sparse voxelized structure)에 의해 구성된 하이브리드 구조에 기초하는 데이터 구조에 중점을 두며, 이는 특징들의 컴팩트 조밀 리스트(compact dense list)를 인덱스하기(index) 위해 사용된다. 이것은 탐색된 공간에 대한 확장성을 구비한 데이터의 효율적인 저장소 및 맵 크기로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스를 허용한다. 현재 제안된 구조는 그래프 최적화가 사용되는 경우(예: 루프 폐쇄들을 수행하기 위해) 전체 글로벌 맵을 메모리에 유지하고 로컬 섹션들을 업데이트 할 수 있다.
본 발명의 일부 실시예들의 주요 기여들은 (i) 추정 프로세스에서 비워핑(unwarping)을 포함하는 일반화된 ICP 알고리즘의 사용, (ii) 두 고속 장소 질의들 및 큰 환경 관리를 허용하는 맵 관리를 위한 효율적인 구조의 사용이다. 본 발명자들은 공개적으로 이용 가능한 데이터세트들(datasets) 및 추가로 획득된 실내/실외 환경들을 사용하여 그것들의 접근 방식을 검증하였다.
섹션 A.2. 아래에는 맵 관리 및 사용 가능한 연산들을 위한 데이터 구조를 제시한다(presents); 섹션 A.3. 최적화 프레임 워크를 제시한다; 섹션 A.4. 이 방법으로 획득된 실험 결과를 보여준다; 및 섹션 A.5. 일부 결론들을 이끌어 낸다(draws).
A.2. 맵 표현
실시간 SLAM 애플리케이션들에 적합한 데이터 구조는 (i) 저장된 특징들에 대한 일정한 시간(평균적으로)에서의 랜덤 샘플 액세스, (ii) 저장된 요소들의 수에 관해 선형 시간에서의 철저한 특징 반복 및 (iii) 질의 특징(query feature)이 주어지면 고속 최근접 이웃 서치를 제공해야 한다. 또한, 그것은 (iv) 탐색된 공간에 대한 확장성을 제공해야 하고 (v) 특징 추가 및 제거를 효율적으로 지원해야 한.
속성(i)은 일반적으로 확장성(iv)을 위한 메모리 요건들이 주요 결점이고 철저한 탐색들(ii)이 느린 조밀 복셀 표현들과 관련된다. 반대로 속성(ii)는 메모리 요건들(iv)이 매우 낮지만 랜덤 액세스 시간(i)이 느린(kd-트리(kd-trees)의 경우 대수(logarithmic)), 희소 구조들과 관련된다. 두 조밀 및 희소 구조들의 본질적인 이점들을 이용하면서 요구된 모든 속성들을 보유하기 위해, 제안된 바람직한 맵 구조는 저장된 데이터의 다섯 가지의 다른 표현들을 유지한다. 내부 데이터 표현들 간의 일관성은 각 맵 업데이트 후에 부여되어야 한다.
(i) 특징들의 컴팩트 및 조밀 리스트
및 각 요소 
인, 마지막 요소에 대한 인덱스 
는 맵에서의 특징에 관련된 모든 정보(위치, 법선 및 추가 정보)를 포함한다.
(ii) 각 요소
인, 컴팩트 및 조밀 유효 마스크(compact and dense validity mask) 
는 
을 보장하는, 그것의 대응하는 샘플 
이 유효한지 아닌지를 나타내는 부울 값(boolean value)이다.
(iii) 각 요소
인, 구멍들의 리스트(list of holes) 
는 
이 유효하지 않아서, 
임을 나타낸다.
(iv) 각 셀
에 저장하는, 파라미터화 가능한 셀 크기(parametrizable cell size)로 구축되는, 희소 복셀 표현 
, 
에서의 그것의 대응하는 특징의 인덱스. 
에서의 셀들 및 
에서의 특징들은 
의 셀 크기 및 
의 위치에 기초한, 일대일 방식으로 관련된다. 현재 희소 복셀 표현은 오픈VDB 구조(OpenVDB structure)를 기초로 한다(케이. 뮤세스(K. Museth), "Vdb: 동적 토폴로지를 구비한 고해상도 희소 볼륨들(Vdb: High-resolution sparse volumes with dynamic topology)", 에이씨엠 트랜색션 온 그래픽스(ACM Transaction on Graphics), 32 권, 3 호, 2013).
(v) kd-트리
는 맵에서 최근접 이웃 서치들을 수행하는데 사용된다. 
는 단지 그것의 메모리 풋프린트(memory footprint)를 낮게 유지하기 위해 조밀 리스트에 참조들을 저장한다. Kd-트리는 필요하다면(예를 들어, 마지막 관찰 위치 주변의 영역을 따라) 맵의 로컬 지역에 구축될 수 있다.
특징들의 조밀 리스트를 가짐으로써, 전체 맵을 철저히 조사하는 시간은 포함된 요소들의 수에 선형적이다. 반면, 임의의 질의들은 오픈 VDB 희소 복셀 구조(OpenVDB sparse voxel structure)와 캐싱 시스템(caching system)을 이용하여 일정한 랜덤 액세스 시간(평균)에서 해결된다.
맵에 추가될 새로운 특징
가 주어지면, 제안된 데이터 구조는 다음과 같이 수정된다: 특징의 세계 위치 
고려 및 그것의 대응하는 복셀 셀 
계산. 셀이 이미 채워져 있으면(
), 그것의 관련 정보는 
로부터 검색되고 필요하다면 값은 업데이트된다. 그렇지 않으면( 
), 새로운 특징은 구조에 추가된다. 그렇게하기 위해서, 
에서의 삽입 위치는, 다음과 같이 계산된다:
그 다음, 내부 값들은 다음과 같이 업데이트된다:
및
이러한 방식으로, 구멍들의 세트가 요소들을 포함하는 반면, 특징 추가는 조밀 표현에서의 갭들을 채운다. 구멍들이 없으면, 특징들은 리스트의 끝에 추가된다.
맵의 특징이 삭제되어야 하는 경우, 그것의 대응하는 복셀 셀
은 이전과 동일한 방식으로 계산된다. 
에 저장된 값은 조밀 리스트 
에서의 특징 위치를 나타내고, 값들은 다음과 같이 업데이트된다:
이러한 방식으로, 특징들을 삭제하는 것은
의 값을 업데이트 하지 않고, 조밀 리스트에 새로운 구멍들을 생성한다. 
및 
은 연산 중 정확하게 업데이트 되기 때문에, 내부 데이터 표현은 여전히 일치하지만, 너무 많은 구멍들이 있으면 성능이 저하될 수 있다.
이 문제를 해결하기 위해, 본 발명자들은 특히 바람직한 실시예에서 두
및 
벡터들에서 스왑(swap)을 수행함으로써 리스트들에서의 마지막 요소들로 구멍들을 채우는(populates) 컴팩트 연산을 도입할 것을 제안한다. 
에서의 영향을 받은 값들은 새로운 위치들에 따라 업데이트 되고 
은 컴팩트 리스트의 새로운 마지막 요소로 이동된다. 이 연산의 비용은 구멍들의 수에 관해 선형적이므로, 
경우, 아무 것도 하지 않는다.
마지막으로, 최근접 이웃 서치를 위한 고속 메커니즘을 제공하기 위하여, 중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들(inner features)은
에 저장된 요소들을 루핑(looping)함으로써 선택될 수 있고(맵에서의 샘플들의 수에 대한 선형 비용) kd-트리 
는 재구성된다. 
에서의 요소들은 단지 
에서의 연관된 특징들에 대한 참조를 저장하므로, 
메모리 공간은 작게 유지되며(관심의 영역에 있는 특징들의 수에 선형) 평균적으로 일정하다. 동일한 연산은 복셀 구조를 비짓(visiting)함으로써 전체 리스트를 반복하지 않고 수행될 수 있다. 본 발명자들은 실험 섹션에서 이 두 메커니즘들 사이의 차이들을 조사한다.
트리가 창조되면, 새로운 특징들이 추가되고(이미
에서의 기존 요소들은 변화되지 않음) 또는 기존 특징들이 삭제되더라도(
에서의 요소들은 구멍으로서 마크되지만(marked), 그 값은 교체되지 않음), 두 연산들 모두가 수행되는 경우(
에서의 제거된 요소들은 덮어 쓸 수 있음(overwritten))가 아니라면, 유효하게 유지 될 것이다.
제안된 연산들을 효율적으로 수행하기 위해, 클라우드 추가들은 새로운 kd-트리가 요구될 때까지 연기되는 것이 바람직하다. 이 경우, 관심의 영역 외부의 맵에서의 기존 특징들이 이미 삭제되어, 새로운 구멍들을 창조한다. 그 다음, 관심 영역 내에 있는 특징들만 추가함으로서, 연기된 클라우드들이 추가된다. 이러한 방식으로, 이전에 창조된 구멍들이 일정한 시간 안에 새 샘플들로 채워진다. 모든 추가들 후에도 여전히 구멍들이 있다면(더 많은 특징들이 추가된 것보다 삭제됨), 구멍들의 남아 있는 수와 관련하여 선형 비용(linear cost)으로, 컴팩트 연산이 수행될 수 있다. 마지막으로,
는 
의 요소들을 사용하여 다시 구축되며 새 요소가 요구될 때까지 사용될 수 있다.
A.3. SLAM 프레임워크
본 발명의 바람직한 최적화 프레임워크는 두 개의 연속적인 모듈들에 의해 구성된다: 맵이 주어진 각각의 클라우드의 포즈를 추정하는 주행 기록계 및 클라우드들의 세트의 궤적을 다듬는 로컬 궤적 최적화기(local trajectory optimizer). 두 모듈들은 커지는 맵(growing map)을 다루기 위해 여기에 설명된대로 맵 데이터 구조를 사용한다.
맵
에 저장된 각 특징은 포인트 세계 위치(point world position) 
, 그것의 법선 단위 벡터(normal unit vector) 
및 추가 정보(예를 들어, 반사율)에 의해 구성된다. 후자는 등록 단계들에서 사용되지 않는다. 이 프레임워크는 또한 루프 폐쇄들을 이용하여 환경의 전체 맵을 재구성 할 수 있는 글로벌 궤적 최적화를 수행하도록 확장될 수 있다.
이러한 프레임워크의 입력은 센서에 의해 스트리밍되는(streamed) 데이터로 생산된 3D 포인트 클라우드들의 세트
이다(벨로다인 스캐너의 경우, 포인트 클라우드는 센서의 완전한 공전(revolution) 후에 생성된다). 각 포인트 클라우드 
는 포인트들의 세트 
, 상대 타임스탬프들의 세트(set of relative timestamps) 
및 법선 단위 벡터들의 세트 
에 의해 구성된다. 상대 타임스탬프들은 생산된 제1 포인트가 타임스탬프 0을 갖고 마지막 포인트가 1을 갖도록 할당된다. 법선 단위 벡터들은, 포인트 클라우드 그리드 구조(point cloud grid structure)에서 박스 필터링(box filtering)을 이용하는, 에이치. 바디노(H. Badino), 디. 휴버(D. Huber), 와이. 파크(Y. Park) 및 티. 카나데(T. Kanade), "범위 이미지들로부터 표면 법선들의 고속 및 정확한 계산(Fast and accurate computation of surface normals from range images)", ICRA, 2011에서의 제안된 제약되지 않은 최소 제곱 공식으로 추정될 수 있다.
주행 기록계
처음에는, 그것(one)은 각 포인트 클라우드의 포즈를 복구함으로써 센서의 궤적의 제1 추정치를 생산할 필요하다. 센서가 움직이기 때문에, 그것(one)은 마지막 포인트가 수신될 때 센서 포즈를 클라우드의 대표 포즈로서 간주한다.
그것(One)은 맵 및 마지막으로 수신된 클라우드의 포인트들의 서브세트(subset) 사이에 포인트-평면(point-plane) ICP를 수행한다. 에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)", IVS, 2011에서와 마찬가지로, 클라우드의 선택된 포인트들은 등록을 수행하기 전에 마지막으로 추정된 모션을 고려함으로써 비워프된다(unwarped).
등록될 클라우드
가 주어지면, 그것(one)은 이전에 등록된 두 개의 클라우드들의 포즈 
, 
를 사용하여 추정된 마지막 상대 모션을 고려한다:
여기서
은 역 맵핑 함수 
를 구비한 
대수학(algebra)으로 나타낸다(에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012).
그 다음, 그것(One)은 법선들
및 상대 타임스탬프들 
을 구비하여, 선택된 포인트들 의 서브세트 
를 고려한다. 비워프(unwarp)는 다음을 계산함으로써 선택된 포인트들에 대해 수행된다:
여기서
은 클라우드 
의 예측된 포즈이고, 
및 
은 예측된 클라우드 포즈 
의 로컬 좌표 프레임에서의 선택된 포인트들이다. 
맵들은 대수학 
에 
을 그룹으로 만든다(
maps group 
to the algebra 
).
이 요소들이 주어지면 그것(One)은 비워프된 포인트들 및 법선들
및 
과 맵 
사이에서 포인트-플랜 ICP를 하여 포즈 
를 추정함으로써 등록을 수행하여, 초기 추측으로서 
을 제공한다.
그것과 관련된 포즈
를 구비한 각 등록된 클라우드 
는 클라우드들의 리스트
에 추가된다:
로컬 궤적 최적화기
이 모듈은 관련된 포즈를 구비한 클라우드들의 리스트
를 입력으로서 테이크하고(takes) 로컬 윈도우 접근 방식을 사용함으로써 궤적 다듬기(trajectory refinement)을 수행한다. 리스트에서의 제1 및 마지막 포즈 사이의 거리가 임계값보다 클 때, 클라우드 포즈들은 최적화되고 새로운 리스트 
는 다듬어진 포즈 및 입력 클라우드들을 구비한 새 리스트로 생산된다. 이 단계가 최적화에서 비워핑(unwarping)을 적절하게 통합함을 주목한다(Notice).
이 단계에서 최소화된 목적 함수
는 각 클라우드 
의 개별 정렬 오차들의 합이다:
(1)
이는, 결국, 클라우드의 제1 및 마지막 포인트와 관련된 포즈에 달려 있다. 시퀀스
에서의 제1 클라우드의 초기 포즈는 이전 최적화된 세트의 마지막 클라우드의 마지막 포즈로 가정된다. 
는 두 포즈들 사이의 
에서 선형 보간에 의해 정의된 궤적에 대해 일반화된 포인트-평면 ICP의 총 오차로서 계산된다.
(2)
(3)
(4)
여기서,
은 등록을 위해 선택된 포인트 
와 관련된 시간 
에서 보간된 세계 포즈를 나타낸다. 주어진 
, 현재 포인트의 추정된 세계 좌표들, 
및 
은 각기 맵 및 그것의 관련된 법선으로부터 검색된 그것의 최근접 포인트이다.
수렴 기준이 만족되거나 반복들의 최대 수에 도달할 때까지, 가우스-뉴튼(Gauss-Newton) 단계 및 맵에서 새로운 대응들(correspondences)을 위한 서치를 교대로 반복함으로써 전체 목적 함수는 최소화된다.
본 발명자들은 알. 쿠엠멀레(R. Kuemmerle), 쥐. 그리세티(G. Grisetti), 에이치. 스트라스다트(H. Strasdat), 케이. 코놀리쥐(K. Konolige), 및 더블유. 버가드(W. Burgard), "g2o: 그래프 최적화를 위한 일반적인 프레임워크(g2o: A general framework for graph optimization)", ICRA, 2011에서 제안된 매니폴드 공식(manifold formulation)을 사용할 것을 제안한다:
에서 포즈 
를 통해 
대수학의 요소에 의해 구성된, 섭동 벡터(perturbation vector) 
를 통해 수행된다. 구성 연산(composition operation)은 
로서 정의된다. 목적 함수에서 항목들(terms)의 야코비안(Jacobians)은 다음과 같이 구성 규칙을 적용함으로써 평가되고
와 유사하다. 수학식 1에서의 각 항목 
는 연속적인 포즈들의 쌍을 포함하고, 따라서 근사된 헤시안(approximated Hessian)은 희소 매트릭스들(sparse matrices)에서 콜레스키 인수 분해(Cholesky factorization)를 위한 표준 알고리즘들에 의해 쉽게 취급 가능한(tractable) 블록 삼중 대각 매트릭스(block tridiagonal matrix)를 발생시킨다.
최적화가 종료되면, 리스트
는 최적화된 포즈들을 구비하여 업데이트될 수 있다. 그 다음, 클라우드들의 법선들 및 포인트들의 전체 세트는 수학식 3에 따라 세계 좌표들로 변환된 다음 맵 
에 추가된다. 이 단계에서 그것(one)은 섹션 A.2에서 설명한 로컬 맵을 업데이트하는 효율적인 전략을 이용한다: 포인트들을 추가하기 전에, 그것(one)은 먼저 마지막 궤적 포즈로부터 주어진 반경보다 멀리 있는 모든 점을 맵으로부터 삭제한 다음, 그것(one)은 
로부터 변환된 클라우드들을 추가한다. 맵가 업데이트되면 새로운 kd-트리는 이후의 최근접 이웃 서치들을 허용하기 위해 결과 포인트들에 창조된다. 리스트 
은 지워지고 다음 클라우드 등록에 대한 주행 기록계 추측은 
의 마지막 두 포즈들에 따라 업데이트된다. 제안된 공식은 실제 센서 모델의 애드헤런트 디스크립션(adherent description)을 나타내고, 이는 움직이는 동안 포인트들을 획득한다: 세계 좌표들에서의 포인트 변환들은 두 각 클라우드의 초기 및 마지막 포즈들을 포함한다. 또한, 각 포즈의 추정(제1 및 마지막을 제외하고)은 두 개의 클라우드들에 의해 직접적으로 영향을 받는다.
글로벌 궤적 최적화기
제안된 프레임워크는 궤적의 오프-라인 글로벌 최적화를 수행하도록 확장될 수 있다. 실제로, 제안된 로컬 궤적 최적화기의 한계는 이미 맵에 추가된 포인트들(및 결과적으로 포즈들)을 다듬을 수 없다는 점에 있다. 이 제한은 일반적으로 로컬 규모에서 환경들을 탐색할 때 허용되지만, 매우 큰 환경들에서 이동할 때, 드리프트가 누적될 수 있다. 이러한 경우, 루프 폐쇄들 또는 외부 절대 측정들을 이용하는 글로벌 최적화 기술들을 고려해야 한다.
본 발명자들은 강화된 맵 디스크립션(enriched map description)을 사용하여 글로벌 궤적 최적화를 제안한다: 맵에서의 각 특징에 대해, 그것(one)은 상대 타임스탬프 t 및 그것을 유래한(originate) 클라우드의 인덱스 ID, 로컬 센서 참조 프레임에서의 법선 단위 벡터
및 포인트 
의 오리지널 좌표들(original coordinates), 세계 좌표들(
및 
)에서의 그것의 위치 및 법선에 추가한다. 클라우드 인덱스 및 궤적이 주어지면, 포인트들 및 법선의 로컬 좌표들은 중복 정보이지만, 본 발명자들이 재계산(recomputations)을 회피하기 위해 이것들을 저장하는 것을 선호한다는 것이 주목될 수 있다.
본 발명자들은 또한 두 개의 맵들
및 
을, 각각 로컬 및 글로벌 맵을 이용할 것을 제안한다. 
은 주행 기록계 및 로컬 궤적 최적화기 모듈들에 의해 사용된다. 그것(one)이 
로부터 포인트들을 제거해야 할 때, 대신 그것은 글로벌 맵으로 그것들을 이동한다. 또한, 로컬 최적화기의 각 단계에서, 일반화된 ICP에서 사용된 선택된 대응들이 리스트 
에 추가되며, 여기서 그것의 관련된 법선 
및 타임스탬프 
와 함께 클라우드 
로부터 테이크한(taken) 각 질의 포인트 
에 대해, 그것은 최적화의 마지막 단계에서 사용된 최근접 이웃에 관련된 데이터를 
로부터 검색한다: 그것의 위치 
, 법선 벡터 
, 클라우드 인덱스 
및 타임스탬프 
. 모든 정보는 센서의 로컬 좌표들에 있다.
맵에 로컬 정보를 갖는다는 것은 이 단계에서 필수적이고, 그것은(one) 전체 클라우드들을 저장할 필요가 없지만, 각 단계에서 맵에 추가되는 포인트들만 있음을 고려하면 메모리 요건들은 낮게 유지한다. 새로운 클라우드들의 추가가 맵에서의 오래된 포인트들을 덮어 쓸(overwrite) 수 있으므로, 로컬 최적화기의 각 단계 후에 리스트
가 덧붙여질(populated) 것임이 주목되어야 한다.
유사하게, 그것(one)은 로컬 최적화 단계에 의해 다듬어진 포즈들을 스태킹(stacking)함으로써 클라우드들과 관련된 모든 포즈들
의 리스트를 창조한다. 
클라우드들이 주어지면, 포즈 리스트는 
요소들을 포함한다는 것을 주목한다. 글로벌 궤적 최적화는 다음을 최소화함으로써 수행된다
(5)
여기서
수학식 5에서의 목적 함수는 여전히 일반화된 포인트-평면 ICP를 나타내며, 여기서 두 질의 및 모델 포인트는 로컬 좌표들로 나타내고 그것들의 클라우드들 및 보간 타임스탬프들과 관련된 포즈들을 구비하여 세계 좌표들로 변환된다.
총합의 각 항목은 단지 전체 궤적의 세 개(
일 때) 또는 네 걔의 포즈들을 포함하지만, 매트릭스는 삼중 대각 블록이 아니기 때문에, 동일한 클라우드로부터의 두 개의 포인트들이 다른 클라우드들의 포인트들에 관련될 수 있기 때문에, 가우스-뉴튼으로 수학식 5를 최적화하는 것은 여전히 희소 근사된 헤시안 매트릭스를 발생시킨다. 이런 이유 때문에, 본 발명자들은 알. 쿠엠멀레(R. Kuemmerle), 쥐. 그리세티(G. Grisetti), 에이치. 스트라스다트(H. Strasdat), 케이. 코놀리쥐(K. Konolige), 및 더블유. 버가드(W. Burgard), "g2o: 그래프 최적화를 위한 일반적인 프레임워크(g2o: A general framework for graph optimization)", ICRA, 2011에서 제안된 바와 같은, 그래프 최적화 접근 방식을 이용한다.
계산 시간을 감소시키기 위해 특징들이 로컬 궤적 최적화기에 의해 적절히 매치된다고 가정하고 특징 연관들을 결코 재계산하지 말 것을 제안한다. 최적화가 종료되면 두 글로벌 및 로컬 맵은 모든 특징들의 세계 좌표들을 계산함으로써 업데이트된다.
이 최적화는 전체 궤적을 다듬기 위해 클라우드들의 완전한 시퀀스에 적용될 수 있다. 또한, 루프 탐지들이 존재할 때, 루프를 표현하는 대응들은 전체 포즈들을 다듬는 궤적을 추정하는 것을 허용하여, 루프가 정확하게 폐쇄되도록 제한한다.
그러나, 전체적인 궤적을 따라 수행되는 모든 포즈들 및 모든 연관들을 포함하기 때문에, 이러한 글로벌 최적화는 실시간 계산에 적합하지 않음을 주목한다.
그럼에도 불구하고, 적절한 정보를 보유함으로써, 현재 데이터 구조가 글로벌 최적화 및 루프 폐쇄들에 사용될 수 있음을 나타낸다. 글로벌 궤적 다듬기(Global trajectory refinement)는, 엠. 니에쓰너(M. Nießner), 엠. 졸호퍼(M. Zollh?fer), 에스. 이자디(S. Izadi) 및 엠. 스탐민거(M. Stamminger), "복셀 해싱을 사용하는 규모에서 실시간 3D 재구성(Real-time 3d reconstruction at scale using voxel hashing)", ACM 그래픽스(ACM Graphics), 2013에 제시된 것과 같은, 포즈 그래프 최적화 솔루션으로 더 효율적으로 수행될 수 있지만, 메모리에서 큰 맵들을 유지하는 기능은 루프들을 폐쇄한 후에 맵들을 재창조하는 것이 핵심 요소이다.
A.4. 실험적 결과들
본 발명자들은 벨로다인 HDL-32E를 사용하여 획득된 실제 데이터 세트들(datasets)에 대해 시스템을 테스트했다. 제1 데이터 세트는 약 10 x 35 x 3 미터의 실내 환경을 탐색하면서 센서를 운반하는 작업자에 의해 획득되었다. 유사하게, 제2 데이터 세트는 약 16 x 65 x 10 미터의 실내 산업 빌딩에서 획득되었다. 제3 데이터 세트는 약 500 미터 길이의 각각의 타운 지역에서 네 개의 루프들을 수행하면서 보통의 교통 조건에서 운전하면서 차량의 지붕에 장착된 센서로 획득되었다. 또한, 발명자들은, 다양한 속도들에서 그리고 다양한 도시 환경들에서 테이크된(taken) 벨로다인 HDL-64E 획득들을 장착된 차량에 제공하는, 대중적으로 이용 가능한 키티 데이터세트들(Kitti datasets)(에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012)에 대한 프레임워크를 평가했다. 키티 트레이닝 데이터세트들(Kitti training datasets)은 또한 각 단일 트랙의 GPS 측정된 지상 검증(GPS measured ground truth)를 이용 가능하게 만든다. 그러나 제공된 3D 포인트 클라우드들은 탑재된 주행거리측정 시스템(on-board odometry system)의 추정된 모션을 사용하여 이미 비워프되었다. 이런 이유 때문에, 발명자들은 네이티브 원시 데이터(native raw data)가 이용 가능한 트레이닝 트랙들(those training tracks)만을 사용하였다.
로컬 궤적 최적화는 획득된 환경들의 고화질 로컬 3D 모델들을 생성하는데 이용될 수 있다. 생성된 모델들의 품질을 검증하기 위해, 발명자들은 2m의 로컬 최적화를 트리거(trigger)하도록 임계값을 갖는 1cm의 복셀 해상도를 사용하여 두 개의 실내 데이터세트들을 처리했다. 결과적으로 제1 데이터세트의 경우 대략 800만 포인트들 및 제2 데이터 세트의 경우 대략 2,400 만 포인트를 발생시킨다. 그 다음, 참조 모델은 제이. 야오(J. Yao), 엠. 알. 러게리(M. R. Ruggeri), 피. 타데이(P. Taddei) 및 브이. 세퀘이라(V. Sequeira), "3d 선형 및 평면 특징들을 사용한 자동 스캔 등록(Automatic scan registration using 3d linear and planar features)", 3D 리서치(3D Research), 1권, 3호, 1-18페이지, 2010의 방법을 사용하여 고해상도 ZF 5010C 스캐너로 테이크한 환경의 스캔들을 쌍으로 등록함으로써(pairwise registering) 창조된다. 발명자들은 두 모델들을 정확하게 등록하고 그것들 사이의 포인트-포인트 거리(point-point distances)를 계산하였다. 시각적 왜곡들은 모델에 존재하지 않으며 두 클라우드들 사이의 거리의 히스토그램들(histograms)은 0.02m보다 더 낮은 피크들을 가지며, 이는 사용된 벨로다인 HDL-32E 센서의 공칭 정확성 내에 있다.
추적 품질 및 축적된 드리프트를 추정하기 위해, 본 발명자들은 입력 데이터로서 센서의 원시 판독들(raw readings)(총 10 트랙들(tracks))을 사용하여 모든 키티 트레이닝 데이터세트들에 존재하는 프레임워크를 실행했다. 또한, 최적화 프레임워크에 센서 모션을 통합하는 이점을 입증하기 위해, 그들은 동일한 트랙들에서 현재 시스템을 실행하지만 데이터세트들의 공식 전처리된 클라우드들(탑재된 주행거리측정 시스템의 추정된 모션을 사용하여 비워프됨)을 사용한다. 이 경우에, 본 발명자들은 최적화 동안 임의의 비워프를 수행하지 않았다(즉, 그들은 주행 모듈만을 사용했다). 이 실험들에 대해 그들은 맵들에서 15cm의 복셀 크기를 사용했고 루프 폐쇄들을 수행하지 않았다. 도 2는 100m, 200m, ..., 800m 길이의 궤적 세그먼트를 사용하여 생성된 회전 오차 및 평균 상대 변환에 관한 두 실험 결과들을 도시한다(채택된 오차 측정법의 디스크립션에 대한 에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012 참조). 최적화 프레임워크로 비워프하는 클라우드를 통합함으로써 더 나은 결과를 얻을 수 있고 병진(translational) 및 회전 드리프트 모두를 감소시킨다는 것(특히 평균 0.3 포인트 백분율로 병진 오차(translation error)가 향상됨)이 분명하다. 라이다 데이터(LOAM)만 이용하는 키티 벤치 마크(Kitti benchmark)를 위한 최신 알고리즘은 더 잘 수행함을 주목한다. 그것은 오리지널 비워프된 포인트 클라우드들(original unwarped point clouds)에 직접적으로 검증되었으며 클라우드들을 1Hz에서만 처리한다는 점에 유의해야 한다.
루프 폐쇄들을 통합 한 후에 제안된 글로벌 최적화 전략에 의해 도입된 개선사항들을 평가하기 위해, 본 발명자들은 단일 루프를 포함하는 키티 데이터세트의 샘플 트랙에 대해 이 특징을 가능하게 하였다. 그들의 루프 탐지 메커니즘은 매우 단순하며 실제 애플리케이션에 적합하지 않다: 그것(one)은 현재 포즈와 이전 포즈 사이의 거리가 임계값보다 더 작으면 루프를 탐지한다. 그 다음, 그것(one)은 글로벌 맵에 마지막 클라우드를 등록하고 성공하면, 그것(one)은 발견한 대응들을 글로벌 최적화에 추가한다. 도 3은 고려된 트랙에서 루프 폐쇄의 영향을 도시한다. 또한 실험적 결과들은 두 주행 기록계 및 로컬 최적화된 궤적에 대한 글로벌 최적화의 개선사항을 도시한다.
본 발명자들은 그들의 시스템을, 또한 획득한 포인트 클라우드들에 대해 모션 보정을 수행하는 공개적으로 이용 가능한 벨로다인 SLAM [에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)," IVS, 2011]과 비교했다. 두 시스템들을 비교하기 위해, 본 발명자들은 실외 차량 데이터세트를 사용하여 축적된 드리프트를 측정하였다. 동일한 위치가 여러 번 재검토되기 때문에, 그들은 생성된 초기 로컬 맵을 이후의 각 통로(passage)에서 생성된 것으로 등록함으로써 드리프트를 추정했다. 초기 로컬 맵으로 현재 로컬 맵을 정렬하는 등록 변환의 병진 및 방향 구성 요소들은 얼마나 많은 드리프트가 축적되었는지 나타낸다. [에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)," IVS, 2011의 현저한 특성들 중 하나는 궤적 추정에 긍정적인 영향을 주는 휴리스틱 테스트들(heuristic tests)의 세트에 기초로 하는 맵 다듬기 전략(map refinement strategy)(적응력이라고 함)의 존재이다. 본 시스템은 문제를 적절하게 모델링함으로써 최적화 전략에 중점을 두기 때문에, 본 발명자들은 궤적 추정에 분석을 집중시키기 위해 오리지널 작업(original work)에서 이 특징을 사용하지 않았다. 각 루프 이후의 결과들은 표 1에 도시된다. 그것(one)이 오리지널 작업보다 더 적은 드리프트를 축적하는 것임이 주목될 수 있다. 또한, 본 시스템은 벨로다인 SLAM의 휴리스틱 전략들보다 더 적은 구성 파라미터들을 요구하는 문제의 자연적 공식(natural formulation)이다. 현재 시스템의 성능은 벨로다인 SLAM 시스템보다 실행 시간과 환경의 글로벌 맵을 유지하는 능력 모두에서 뛰어나지만, 오리지널 작업에서는 로컬 맵만 유지된다. 제1 루프에 축적된 드리프트와 다음 루프들에 대한 글로벌 맵의 사용을 정정하기(correct) 위한 글로벌 최적화 기술 및 루프 폐쇄의 사용의 경우, 글로벌 맵을 사용하는 기능이 확인되었다.
제안된 맵 표현의 성능을 평가하기 위하여, 본 발명자들은 인텔 제온(Intel Xeon) E5-2650 CPU를 갖춘 PC에서 실외 차량 데이터세트를 실행하면서 각 연산의 실행 시간을 측정하였다.
예상되는 바와 같이, 가산 연산들은, 특징 당 평균 시간 36.4ns인, 맵에 추가된 특징들의 수에 관해서 선형 시간에서 수행되며, 이는 HDL-32E 센서를 위한 1.81ms의 평균 클라우드 삽입 시간(average cloud insertion time)을 준다.
현재 SLAM 프레임 워크에서의 삭제 연산들은 kd-트리를 업데이트하기 직전에, 로컬 맵을 통해서만 수행된다.
표 1: 드리프트 오차 보고서
삭제될 특징들은 관심의 포인트(예를 들어, 마지막 추정된 센서 포즈) 주위에서 반경 서치를 수행함으로써 선택되고 글로벌 맵에 추가된다. 결과들은 평균 30.84ns 테이크하는 특징 당 일정한 삭제 시간을 보여준다.
로컬 맵으로부터 삭제될 특징들의 선택은 두가지 방식으로 수행될 수 있다: 복셀 구조를 사용하거나 조밀 리스트(dense list)를 반복함으로써. 도 4a는 서치 반경(search radius) 및 맵에 저장된 특징들의 수에 기초한 평균 서치 시간들을 도시한다. 알 수 있듯이, 조밀 리스트를 사용하는 것은 항상 동일한 성능(서치 반경과 관계없이, 저장된 특징들의 수에 선형임)을 제공한다. 반면에, 복셀 서치 시간들은 반경이 증가함에 따라 증가하며, 모든 경우들에서, 최악의 결과를 제시한다.
포인트들이 글로벌 맵으로부터 삭제되지 않으므로, 컴팩트 연산들은 로컬 맵에서만 발생한다. 새로운 kd-트리가 요청될 때까지 새로운 클라우드들의 추가를 연기하는 제안된 전략 덕분에, 창조된 구멍들의 수는 추가된 특징들의 수 보다 더 많으며, 시간의 단지 7.79%가 컴팩트 연산을 수행하는데 필요하다(only 7.79% of the times the number of holes created is greater than the number of features added, being necessary to perform a compact operation). 이러한 경우들에서, 실행 시간은 남아 있는 구멍들의 수에 관해 선형 작동(linear behavior)을 보여주고, 이는 각 연산의 평균 시간 1.81ms이다.
마지막으로, 루프 폐쇄 연산들에 대해, 글로벌 맵은 관심 영역 주위에서 질의되어야 한다. 로컬 맵에서 발생하는 바와 같이, 이 선택은 두 가지 방식들로 수행될 수 있다. 도 4b는 복셀 구조와 조밀 리스트 사용의 결과를 도시한다. 알 수 있듯이, 90m 미만의 서치 반경의 경우, 복셀은 조밀 리스트를 초과-수행한다(over-performs). 그러나, 반경이 커지면, 내부 희소 복셀 구조에서 캐싱이 실패하는 것은 큰 성능 손실을 가져온다.
이 시스템은 로컬 궤적 최적화가 활성화 되지 않을 때 12.93Hz(즉, 벨로다인 획득 속도에 관해 실시간으로)에서 클라우드들을 처리할 수 있고, 반면에 주파수는 로컬 궤적 최적화를 사용하여 7.5Hz로 줄며(decreases), 이는 실시간에 가깝다. 등록 및 로컬 최적화는 멀티-스레드(multi-thread)로 실행되도록 코딩되지 않으므로, 본 발명자들은 두 주행 기록계 및 로컬 최적화에서 성능이 향상될 수 있다고 예상한다는 것이 주목될 수 있다.
주행 기록계 모드에서 클라우드들을 등록하는데 소비된 시간은 전체의 54%이며, 반면 로컬 최적화 모드에서는 30 %의 시간이 주행 기록계 등록에 소비되고 35 %가 로컬 궤적 최적화에 소비된다. 등록은 최근접 이웃 서치 시간을 포함하는 반면, 주행 기록계 모드(제1 행)를 작업할 때 및 로컬 궤도 최적화(제2 행)를 수행할 때, 로컬 및 글로벌 맵들에 대해 수행된 각 작업의 영향은 표 2에 요약된다. 로컬 맵에 대한 추가, 삭제 및 컴팩트 연산들은 각각 추가(add), 삭제(delete) 및 컴팩트(compact) 열들에 각각 도시되며, 삭제 시간들은 글로벌 맵에 대한 추가 및 로컬 맵에 대한 포인트 선택을 포함한다. 전체 로컬 맵에 대한 kd-트리 빌딩의 영향은 kd-트리 열에 도시되고, 마지막으로, 글로벌 맵으로 로컬 맵의 삭제된 포인트들 추가의 영향이 추가 g(add g) 열에 도시된다.
표 2: 시스템 성능
A.5. 결론
본 명세서는 이동하는 레이저들을 사용하여 획득된 포인트 클라우드들의 로컬 최적화를 위한 프레임워크를 제시한다. 특히, 본 발명자들은 획득된 각 포인트 클라우드를 시작 및 끝 위치 사이에서 보간함으로써 획득 모션을 최적화에 통합하였다. 본 발명자들은 공개적으로 이용 가능한 데이터세트들을 사용하여, 센서 운동(sensor movement)을 정확하게 모델링함으로써, 주행거리측정 추정 오차들(odometry estimation errors)을 감소시키는 것이 가능하다는 것을 실험적으로 보여 주었다.
또한, 그들은 희소 특징들에 의해 구성된 큰 복셀라이즈드 3D 맵들을 관리하기 위한 효율적인 데이터 구조를 제시한다. 맵 데이터 구조는 두 로컬 맵 최적화 및 오프라인 글로벌 최적화에 적합하다. 그들의 실험들은, 이전 문제의 경우, 그러한 구조는 실시간 주행거리측정 및 거의 실시간 로컬 다듬기를 제공한다는 것을 보여준다. 이러한 성능들은 로컬 궤적 최적화가 수행될 때(예를 들어, 최근접 이웃 서치, 클라우드 비워프하기(cloud unwarping)), 멀티-스레드 연산들을 이용함으로써 향상될 수도 있다.
B. 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석
옥트리 또는 kd-트리에 기초한 접근 방식들은 최근접 이웃들(전형적으로 맵 크기에 관한 대수(logarithmic)) 및 양호한 확장성을 위한 합리적인 서치 시간을 제공한다. 이러한 접근 방식에서, 본 발명자들은 희소 데이터 구조들에 의해 제공된 확장성 및 조밀 복셀 표현들에 의해 제공된 고속 랜덤 액세스들(fast random accesses)을 결합하는 대안적인 복셀 표현을 도입한다.
정확한 포즈 추적을 보장하기 위하여, 바람직한 시스템은 ICP 알고리즘에 대한 양호한 기하학적 안정성을 보장하는 등록 프로세스에서 사용될 포인트들의 효율적인 선택을 수행한다. 그 다음, 아웃라이어들(outliers)을 효율적으로 폐기하는 전략은 등록이 전세계적으로 일관되는 (인라이어들(inliers)) 대응들을 단지 사용하여 수행되는 것을 보장한다.
본 바람직한 프레임워크는 사용자가 맵을 두고 갈 때에도 또는 관찰된 환경이 초기에 획득한 모델과 너무 많이 다른 경우(예를 들어, 가구가 변화됨) 실시간으로 추적을 할 수 있는 견고한 주행 기록계를 지상 검증 모델(ground truth model)에 관한 등록 프로세스에 융합한다. 알고 있는 맵(known map)을 다시-입력함(re-entering)으로써 시스템은 자동으로 정확한 위치를 복구하므로 드리프트 축적을 회피할 수 있다.
B.1. 아래에 설명된 바람직한 실시예들의 주요 이점들
1) 미리-계산된 디스크립터들의 세트를 사용하여 매우 큰 환경에서 센서를 로컬라이즈하고 지상 검증 맵에 대한 액세스를 회피하는 확장 가능한 장소 인식 전략.
2) 낮은 메모리 풋프린트(low memory footprint) 및 일정한 시간 가까운 이웃 서치를 제공하는 맵을 표현하는 효율적인 데이터 구조.
3) 기하학적으로 안정된 결과들을 보장하는 고속 포인트 선택 전략.
4) 등록 프로세스 동안 아웃라이어들의 간섭을 효율적으로 제거하는 인라이어 선택 기술(inlier selection technique).
5) 사용자가 비-맵핑된 영역들(non-mapped areas)을 네비게이트하는(navigate) 것을 허용하고 정적 아웃라이어들(static outliers)을 이용하는 지상 검증 맵에 대립하는 등록과 로컬 주행 기록계 사이의 융합.
6) 높은 정확성으로 실시간 결과들을 제공하는 완전한 시스템.
아래 설명은 다음과 같이 구조화된다: 섹션 B.2.는 바람직한 온라인 장소 인식 및 리로컬리제이션(relocalization) 전략을 제시하고, 섹션 B.3은 알고 있는 환경에서 사용자 포즈가 식별되면 온라인 추적을 수행하는 방법을 보여준다. 그 다음 섹션 B.4.는 실험적 결과들을 제시하고 마지막으로 섹션 B.5.은 결론을 이끌어 낸다.
B. 2. 장소 인식
장소 인식 구성 요소는 선험적 정보 없이 사용자 위치 및 방향의 초기 추정을 복구하는 것을 다룬다. 현재 센서 관찰이 주어진(given) 후보 위치들을 제공하도록 프레임 속도로 온라인으로 실행할 수 있다. 또한, 확장성 목적들을 위해, 멀리 있는 위치들(따라서 메모리에서 로드되지 않음), 또는 다른 맵들과 관련한 후보 포즈들을 제공할 수 있으므로 실행 동안 맵 모델을 사용해서는 안된다. 이러한 두 가지 요구들을 만족시키기 위하여, 전처리 단계는 (1) 이용 가능한 포즈들의 서치 공간을 감소시키고 (2) 특정 위치에 있을 가능성을 주어진 관찰이 효율적으로 추정하는 견고하고 컴팩트한 분류기를 트레인하기 위하여 바람직하게는 도입된다.
서치 공간 감소
그것(One)은 전체 맵 중에서 네비게이블 영역들(navigable areas)을 처음에 바람직하게는 검출한다. 이 영역들은 환경의 탐색 동안 센서가 배치될 수 있는 볼륨(volume)으로서 정의된다. 또한 그것(one)은 맵 모델 Z 축이 중력 벡터와 대략 정렬된다는 일반성의 손실 없이 일반적으로 가정할 수 있다.
본 발명자들은 지상 모션(ground motion)(백팩 또는 차량 장착 센서)에 중점을 두기 때문에, 네비게이블 영역들은 네비게이블 플로어(navigable floor) 위의 비교적 좁은 공간에 있을 것으로 예상된다. 이런 이유 때문에, 그것(one)은 플로어의 넓이(extents)를 먼저 식별한다. 플로어 추출은 환경
의 희소 복셀 표현을 통해 수행되며, 여기서 각 풀 셀 
은 그것의 중심 
주위의 포인트들에 의해 국부적으로(locally) 정의된 표면에 법선 벡터를 포함한다. 관련된 법선들에서의 수직 구성 요소가 우세한지(dominant), 즉, 
가 일반적으로 0.5와 1 사이의 값인 
를 체크함(checking)으로써, 후보 플로어 셀들 
을 표현하는 복셀들의 서브세트를 추출한다. 그러나, 이 제약만으로도 너무 많은 셀들을 플로어로서 분류할 수 있다(예를 들어, 테이블들 또는 빈 선반들(tables or empty shelves)).
이 문제를 해결하기 위해, 본 발명자들은 도달 가능성(reachability)의 개념을 도입하는 것을 제안한다. 도달 가능한 셀(reachable cell)
이 주어지면, 다음 조건들이 만족되는 경우 모든 주변 셀들 
이 도달 가능한 것으로서 간주된다.
(6)
(7)
(8)
여기서, (6)에서의
는 최대 스텝 거리(maximum step distance)(예를 들어, 보행 모션에 대해 0.5 미터, 또는 차량 모션에 대해 
)이고, (7)에서의 
은 최대 수직 스텝 크기(maximum vertical step size)이고, (8)에서의 
은 플로어 셀(floor cell) 
(본 실시예에서는 바운딩 실린더(bounding cylinder)) 위 중심에 있는, 관찰자의 단순화된 볼륨(simplified volume)이다.
초기 도달 가능한 셀들은 수동으로 제공될 수 있지만, 맵의 생성은 도달 가능한 셀들 위로(over) 스캐너를 위치시킴으로써 수행되는 것이 바람직하기 때문에, 이 초기화는 획득 위치들 아래 플로어 셀들을 도달 가능한 것으로 가정하여 자동으로 수행될 수 있다.
이러한 조건들에 따라, 모든 플로어 셀들
을 검출하는 것은, 초기에 
가 도달 가능한 셀들의 제1 세트를 저장하는 알고리즘을 나타내는 표 3에 도시된 바와 같이, 플루딩-알고리즘 스타일(flooding-algorithm style)로 수행된다.
플로어가 식별되면, 네비게이블 공간(navigable space)
은 플로어 셀들 위의, 셀들의 세트 
로서 정의된다, 여기서 
.
정밀도(precision)의 손실 없이 네비게이블 공간을 더 감소시키기 위하여, 본 발명자들은 또한 효과적 네비게이블 공간
을 제공하는 시스템의 특정 연산성(particular operability)(예를 들어, 특정 센서 장착에 대한 가능한 센서 포즈에 대한 수직 및 각도 제한들)과 관련된 물리적 제약들을 도입하는 것을 제안한다. 이러한 제약들은 샘플 데이터세트들에 대한 실험들의 세트를 실행함으로써 경험적으로 선택된다(섹션 B.4 참조).
포즈 분류기
포즈 분류기를 구축하기 위해서, 그것(one)은 초기에 각각의 단일 관찰의 컴팩트한 표현을 정의할 필요가 있다. 특히 본 발명자들은 타데이, 피.(Taddei, P.), 산체크, 씨.(Sanchez, C.), 로드리구에즈, 에이. 엘.(Rodriguez, A. L.), 세리아니, 에스.(Ceriani, S.), 세퀘이라, 브이.(Sequeira, V.), 2014에 의해 정의된 간단 및 고속-계산 컴팩트 디스크립터(simple and fast-to-compute compact descriptor)를 채택한다. 깊이 센서들을 사용한 로컬리제이션 문제들의 모호성 검출(Detecting ambiguity in localization problems using depth sensors). 인(In): 3DV: 그것(one)은
정기적인 빈들(regular bins)에서의 범위 이미지를 나누고, 각각의 것에 대해(for each one), 그것(one)은 중간 범위 값을 추정한다. 이 모든 값들은 관찰된 프레임 
의 디스크립터에 스택된다(stacked).
그 다음 그것(One)은 알고 있는 효과적 네비게이블 공간
에서 무작위로 트레이닝 포즈들의 세트 
를 생성한다. 각각의 포즈 
에 대해, 그것(one)은 제공된 포즈에 정렬된 센서 이미지 평면에 3D 맵을 광선-캐스팅함(ray-casting)으로써 깊이 이미지를 합성하고, 본 발명자들은 생성된 깊이 이미지로부터 그것의 디스크립터 
를 추출한다. 그것(One)은 생성된 모든 디스크립터들 
을 그것들의 대응하는 포즈 
에 맵핑하는 kd-트리 
를 구축한다. 디스크립터 
가 주어지면, 디스크립터 공간에서 가까운 위치/디스크립터 쌍들의 세트는 디스크립터 공간에서 대수 복잡성(logarithmic complexity)을 구비하여, 
에 대해 효율적인 서치들을 수행함으로써 검색될 수 있다. 트레이닝 샘플들의 세트 
가 주어지면, 그것은 글로커, 비.(Glocker, B.), 이자디, 에스.(Izadi, S.), 쇼튼, 제이.(Shotton, J.), 크리미니시, 에이.(Criminisi, A.), 2013에 설명된 바와 같이, 더 컴팩트한 분류기들를 구축하는 것이 가능하다는 것을 주목한다. 실시간 rgb-d 카메라 로컬리제이션(Real-time rgb-d camera relocalization). 인(In): ISMAR. 그럼에도 불구하고, 본 발명자들은 메모리에서 풀 트레이닝 세트(full training set)를 보유하고 kd-트리의 디스크립터 공간에서 방사상의 최근접 이웃 서치들(radial nearest neighbor searches)에 의한 분류를 수행하기에 
이 충분히 작았다는 것을 실험적으로 관찰하였다.
실행 동안 포즈 분류기는 현재 관찰이 주어진 가장 가능한 위치들을 복구하는데 사용된다. 특히, 본 발명자들은 두 가지 상이한 단계들에서 프로세스를 나눈다: 선험적 정보가 이용 가능하지 않을 때 가능한 위치들의 추정을 다루는, 초기화(initialization) 및 후보 위치들의 평가 및 이것들의 리샘플링(resampling)을 다루는, 업데이트(update).
초기화 단계에서, 그것(one)은 단일 센서 관찰이 주어지는 센서의 가능한 위치의 세트를 이끌어 낼 필요가 있다. 본 발명자들은 다음과 같이 진행할 것을 제안한다:
1. 마지막 센서 관찰이 주어지면, 그것(one)은 그것의 관련된 디스크립터
를 계산하고 디스크립터 공간에서 임계값 
이 주어진 
에 대한 방사상의 서치를 수행하는 후보 위치들의 세트 
를 복구한다. 360 수평 시야(360 horizontal field of view)를 제공하는 센서들의 경우, 그것(one)은 범위 값들을 수평으로 시프트함(shifting)으로써 추가 입력 디스크립터들을 계산함으로써 후보 위치들을 증가시킬 수 있다. 각 디스크립터는 그것의 로컬 축 상에 의해 회전될 경우 센서가 생산하는 판독들(readings)에 대응한다. 그 다음 후보 위치들의 각 결과 세트(Each resulting set of candidate locations)는 
에 따라 회전된다.
2. 그것(One)은 각 잠재적 위치
에 가중치(weight) 
를 관련시킨다:
여기서
는 
로부터 검색된 위치 
에 관련된 디스크립터이다. 
은 완벽하게 매칭하는 디스크립터들에 대해 1이고 서치 스피어 경계(search sphere boundary)에 대한 디스크립터들에 대해 0이다.
3. 마지막으로, 가중치들은
에서 수집되고 
갖도록 정규화된다.
업데이트 단계는 센서가 주어진 그것들의 관련된 가중치들
을 이동하는 동안 가능한 위치들 
의 업데이트를 다룬다. 이 단계에서는 다음 섹션에서 설명하는 기술에 따라 이전 것(predecessor)에 하나의 클라우드를 등록하는(registers one cloud to its predecessor) 주행 기록계의 사용을 만든다는 것을 주목한다. 특히, 본 발명자들은 다음과 같이 진행한다:
1. 그것(One)은 주행 기록계 및 현재 관찰을 사용하여
에서의 모든 위치들을 업데이트한다.
2. 마지막 잠재적 위치들이 창조된 후 주어진 거리를 다닐(travelled) 때, 새로운 디스크립터
는 마지막 관찰로부터 계산된다. 이것은 초기화 단계에서의 단계1과 유사하게, 가능한 위치들의 세트 
를 
로부터 검색하는데 사용된다.
3. 각 가능한 위치
와 관련된 가중치는 다음과 같이 계산되고:
(9)
일단 모든 가중치들이 계산되면, 그것들은 최대 값 1을 갖도록 정규화된다.
4. 그것(One)은
및 
를 업데이트하고 업데이트 단계의 반복을 되풀이한다.
수학식 (9)는 두보이스, 디.(Dubois, D.), 2006에 비슷한 가능성 이론으로 나타낸 베이스 정리(Bayes theorem)를 사용하여 각 가능한 위치에 관련된 가중치를 계산한다. 가능성 이론 및 통계적 추론(Possibility theory and statistical reasoning). 전산 통계 및 데이터 분석 (Computational Statistics and Data Analysis)51 (1), 47 - 69, 통계 분석에 대한 퍼지 접근 방식(Fuzzy Approach to Statistical Analysis). (9)의 개별 항목들은 다음과 같다:
(10)
(11)
(12)
(13)
수학식(10)은 초기화 단계의 단계 2에서와 같은 방식으로 포즈
가 주어지면, 디스크립터 
의 가능성을 추정한다(멀티 입력 디스크립터들의 경우, 각각은 개별적으로 고려되어야 함). 수학식(11)은 잠재적 위치들의 세트 
에서 가장 호환 가능한 위치(most compatible location)를 발견함으로써 포즈 
에 있을 가능성을 평가한다. 이 호환 가능성(compatibility)은 이전의 잠재적 포즈 
와 포즈 
사이의 가중된 상대 거리(수학식 (12))로서 정의된다. 수학식(13)은 트레이닝 세트의 크기에 관해 검색된 이웃들의 수를 비교함으로써 현재 관찰의 특수성(distinctiveness)을 추정하며, 예를 들어, 통로들(corridors)에서와 같이 매우 모호한 포즈들는 많은 결과를 생산할 것이고, 높은 모호성을 초래한다.
잠재적 포즈들이 단일 위치에 수렴할 때까지, 즉 가중치들
에 따른 계산된 
의 중심의 공분산(covariance)이 작아질 때까지 업데이트 단계는 반복된다. 이 포인트에서 그것(one)은 문제가 해결되고 포즈 추적 구성 요소가 시작된 것으로 간주한다.
전술한 바람직한 시스템은 단일 센서 관찰을 사용하는 고속 부트스트래핑(fast bootstrapping)으로 가능한 위치들(possible locations)의 반복적 재-가중치두기(re-weighting)에 기초한다. 큰 맵들에 대한 확장성을 위한 핵심 요소는 참조 맵들로부터 경량 디스크립터들(lightweight descriptors)의 미리-계산 및 관련된 포즈들을 구비한 kd-트리 구조에서의 그것들의 구성(organization)이다. 이 방식으로, 디스크립터 공간에서의 질의는 시스템을 제1 관찰이 주어진 후보 위치들로 효율적으로 채우는데 사용된다. 그 다음, 이후의 업데이트 단계들에서, 디스크립터 공간에서의 추정된 모션 및 질의들은 가능한 위치들의 새로운 세트 및 그것들의 관련 가중치들을 이끌어 내는데 사용된다.
이 접근 방식은 입자 필터들을 이용하는 [쓰런(Thrun) 외. (2005) 쓰런(Thrun), 버가드(Burgard), 및 폭스(Fox)] 및 [쓰런, 에스.(Thrun, S.), 폭스, 디.(Fox, D.), 버가드, 더블유.(Burgard, W.), 델라어트, 에프.(Dellaert, F.), 2001. 모바일 로봇을 위한 견고한 몬테 카를로 로컬리제이션(Robust monte carlo localization for mobile robots), 인공 지능(Artificial intelligence) 128 (1), 99-141]에 제시된 일반적인 몬테 카를로 로컬리제이션 기술들(general Monte Carlo Localization techniques)과 비슷하다(comparable). 그러나 그들의 기술들은 로컬리제이션 문제의 모든 단계들을 해결하기 위하여 가중화된 입자들의 세트(set of weighted particles)로 그것을 근사함으로써(approximating) 센서 확률 분포를 정밀하게 추정하는 것을 목표로 한다[런, 에스.(Thrun, S.), 버가드, 더블유.(Burgard, W.), 폭스, 디.(Fox, D.), 2005. 확률적 로보틱스(Probabilistic Robotics) (지능형 로보틱스 및 자율 에이전트(Intelligent Robotics and Autonomous Agents)). MIT 프레스(MIT Press)].
대신, 본 장소 인식 구성 요소는, 고유한 위치가 식별되면 정밀한 포즈 추적이 이후의 추적 구성 요소(섹션 B.3.)에 의해 수행되기 때문에, 고속(fast) 및 러프한(rough) 포즈 추정만 필요로 한다. 또한, 본 시스템은 가능한 위치들이 폐기되지 않도록 보장해야만 하고, 따라서 정밀한 센서 포즈 확률 밀도 추정을 요구하지 않는다. 이런 이유 때문에, 그것(one)은 섹션 B.4에 도시된 바와 같이, 네비게이블 공간의 조밀 샘플링을 요구하지 않는다. 그러나 낮은 샘플링 밀도는 잘못된 입자 초기화로 인해 특정 경우들에서 추적 손실이 발생될 수 있다. 이 문제는 업데이트 단계가 수행될 때마다 입자들의 새로운 세트를 이끌어 냄으로써 극복된다.
B.3. 포즈 추적
포즈 추적 구성 요소는 센서가 환경 주위를 이동할 때 센서의 로컬 모션을 계산하는 것을 다룬다. 이전의 추정된 포즈를 알면, 새로운 획득이 수신될 때, 본 발명자들은 맵과 관찰된 포인트들 사이의 로컬 등록을 수행한다. 결과 변환(resulting transformation)으로부터, 암시된 모션(implicit motion)이 유추되고 이전에 추정된 포즈에 적용된다.
실시간으로 센서 포즈를 정확하게 추적하기 위해서, (1) 최근접 이웃 서치들을 위해 특별히 설계된 데이터 구조를 이용하는 것 및 (2) 입력 포인트들의 안정적이고 대표적인 서브세트를 정확하게 선택하여 등록을 수행하는 것이 중요하다. 그럼에도 불구하고, 정확한 추정들을 보장하기 위하여, (3) 아웃라이어들은 적절하게 검출되어야 한다. 이것은 특히 몇몇의 큰 지배적인 방향들을 포함하는(contains few large dominant directions) 퇴화한 환경들(degenerate environments), 예를 들어 긴 통로들, 터널들 또는 잘못된 등록들을 방해하는 적절한 포인트들이 많지 않은 대칭 환경에서 중요하다.
맵 표현
현재 제안된 맵 구조에서, 요소들의 두 개의 다른 리스트들은 저장되고 동기화된다: 특정 복셀 크기로 구축된, 복셀들의 조밀 그리드(dense grid)
, 및 평면들의 컴팩트 리스트 
. 각 평면 
은 단위 법선 
및 세계 좌표들에서의 위치 
를 저장한다. 각 복셀 
은 풀(full), 엠프티(empty) 또는 니어(near)일 수 있는 현재 상태를 저장한다. 풀 복셀들은 관련된 위치가 속한, 평면 
에 인덱스를 저장한다. 특히 복셀에 속하는 참조 맵 포인트들은 평면 파라미터들을 추정하는데 사용된다. 엠프티 셀들(Empty cells)은 눌 참조(null reference)를 저장하고 니어 셀들은 복셀 중심에 대한 관련된 위치 거리 
가 가장 작은 평면 
에 인덱스를 저장한다. 본 발명자들은 바람직하게는 거리 
가 주어진 임계값 
아래(under)인 경우에만 니어 복셀(near voxel)을 고려하고, 그렇지 않은 경우 복셀은 엠프티로 간주됨을 주목한다. 도 5는 제안된 표현을 도시한다.
이 맵 표현으로, 모든 최근접 이웃 서치들은 오프라인으로 미리-계산되고 조밀 그리드 내에 저장된다. 실행 시, 세계 좌표들에서의 질의 포인트가 주어지면, 본 발명가들은 그것을 포함하는 복셀을 계산함으로써 맵에서 그것의 최근접 이웃의 계산을 근사한다. 그 다음, 셀 상태가 풀 또는 니어(full or near)인 경우, 그것(one)은 관련된 평면을 반환한다(returns). 그렇지 않으면, 그것(one)은 이웃이 없다는 것을 알려준다.
제안된 접근 방식에 있어서, (1) 단일 서치 동안 수행된 모든 연산들은 맵의 크기에 관계없이 일정한 실행 시간을 제시한다는 것을 주목한다. 비교하여, kd-트리 구조들은 평균적으로 맵의 크기에 관해 대수 시간을 제공한다. 또한, 적절하게
를 설정함으로써 그것(one)은 ICP에서 최근접 이웃을 찾을 때 너무 분리된 대응들의 초기 아웃라이어 거부(initial outlier rejection)를 암시적으로(implicitly) 수행한다.
큰 환경들을 표현하기 위해 조밀 복셀 구조들을 사용하는 것의 주요 단점은 그것들의 메모리 풋프린트에 있다. 본 발명자들은 중간 노드들이
노드들의 블록인 3-레벨 계층 구조(three-level hierarchical structure)를 사용하여 이 문제를 해결한다. 이 방식으로, 노드가 완전히 엠프티(empty)일 때, 저장될 필요가 없으며 제안된 리프 크기(proposed leaf size) 
가 주어지면, 그것(one)은 2 바이트만 사용하는 각 단일 내부 셀들에, 비어 있는 것들을 마크하는(mark) 추가 비트를 플러스(plus)하여 해결할 수 있다(15+1 비트). 추가적으로, 본 구현들은 스트리밍(streaming)을 허용하여 센서의 범위 내의 파트(part) 만이 메모리 내에 있어야 한다. 센서 이동 속도는 관련된 로드 연산들 아래의 자릿수(orders of magnitude)이기 때문에, 온라인 실행 메모리 요건들은 항상 경계가 있으며 맵은 항상 센서 포즈 주위에서 업데이트된다.
포인트 선택 전략
그것(One)은 현재 획득의 포인트들의 선택된 서브세트가 등록 동안 덜 정의된 자유도를 정확하게 락하는데(to correctly lock the less defined degrees of freedom) 충분히 대표적인지 보장해야 한다. [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz) 및 레보이(Levoy)]에서 설명된 작업과 유사하게, 본 발명자들은, 포인트-평면 거리(point-plane distance)에서 변환 벡터
에 의해, 포인트 
, 및 그것의 관련된 법선 
을 이동시키는 기여를 고려한다. 이것은 다음과 같이 나타낼 수 있다:
(14)
작은 각도 근사(small angles approximation)를 사용하여 회전들을 선형화함으로써.
수학식(14)에서의 회전만을 고려하면, 포인트-평면 거리에 도입된 오차는 시찰 광선(viewing ray) 및 그의 법선 사이의 각도 및 센서에 관한 포인트 거리에 비례한다. 이것은 먼 포인트들과 시찰 광선에 관해 가능한 한 수직인 법선을 선택하게 한다. 불행하게도 이동하는 레이저는 균일하게 분산되지 않은 포인트들을 생산하고, 특히 멀리 있는 영역들은 더 낮은 포인트 밀도로 획득되어 제대로 추정된 법선들을 제공하지 못한다. 또한, 센서가 대칭 축에 접근할 때, 원형 환경들에서 시찰 광선과 법선 사이의 각도는 사라진다.
본 발명자들은 바람직하게는 병진들 및 회전들 사이를 명시적으로 구별하여 이 문제들을 해결한다. 병진들을 적절하게 제약하기(constrain) 위하여, 그들은 포인트 법선들만을 고려한다. 그들은 병진
을 위한 공분산 매트릭스를 다음과 같이 계산하고:
그것의 관련된 고유 벡터들
, 
, 
, 및 고유 값들 
을 추출한다. 획득 포인트들은 다음과 같이 세 개의 빈들 
로 분류된다.
세 개의 빈들이 균형을 이루었을 때, 병진 자유도(translation degrees of freedom)는 동등하게 제약된다. 반면, 퇴화의 경우, 예를 들어 긴 복도, 하나의 빈은 다른 것보다 상당히 적게 채워질 것이며, 예를 들어 관련된 법선들이 종축에 평행한 포인트들을 포함하는 것이다.
방향에 관해, 그것(one)은 위치들과 법선들 사이의 교차 곱(cross products)을 사용하여 주 회전 축(principal rotation axes)을 계산한다. 결과 공분산 매트릭스는 다음과 같이 정의된다:
병진들과 유사하게, 그것(one)은 관련된 고유 벡터들
, 
, 
, 및 고유 값들 
을 계산한다. 그 다음, 입력 클라우드로부터의 포인트들은 다음과 같이 세 개의 빈들 
로 분류된다.
각 빈에 대해, 그것(one)은 센서에 대한 그것들의 거리에 따라, 포함된 위치들의 가중된 평균으로서 회전 중심을 근사하고(이 근사는 센서들에 대해 유효하다. 다른 시야에 대해서(For other fields of view) 대안적 근사가 요구될 수 있다):
그 다음, 빈에서의 각 포인트에 대해, 그것(one)은 대응하는 고유 벡터
에 대한 회전들을 락하는데 기여하는 정도를 추정한다:
(15)
수학식(15)에서의 제1 항목은 회전 축에 직각도에 따른 주어진 포인트 법선의 영향을 가중한다(더 수직할수록 더 높은 가중). 제2 항목 분자는 회전의 중심을 포인트에 연결하는 벡터와, 회전 축 및 법선에 의해 정의된 평면에 수직인 벡터 사이의 각도를 계산함으로써
에 대한 락 회전(locking rotations)에 대한 품질을 추정한다. 마지막으로, 분모는 범위 
에서의 결과를 정규화하므로, 포인트 선택은 센서까지의 거리로부터 독립적이다.
작은
값들과 관련된 빈들이 너무 많은 포인트들을 포함할 때, 고려된 축 주위의 회전은 열악한 제약을 받는다: 그것(one)은 가장 높은 값들을 구비한 포인트들만을 선택할 필요가 있다. 도 6은 높은 대칭을 구비한 환경 및 회전이 적절하게 정의된 다른 환경으로부터 복구된 
값들의 샘플 히스토그램(sample histograms)을 보여주는 이 개념을 도시한다.
등록 및 인라이어 선택
등록 목적들을 위해, 본 발명자들은 대응들의 나머지와 일치하지 않는, 맵 포인트들
과 (세계 좌표에서의) 센서 포인트들 
사이의 것을 잘못된 대응들로서 고려한다. 이것은 다음과 같은 경우에 발생한다: (a) 센서에 의해 보여진 포인트가 맵에 존재하지 않는 물체(즉, 오리지널 획득 후에 제거되거나 추가된 무언가)에 대응하는 경우 또는 (b) 추정된 
가 맵에서 그것의 대응하는 포인트로부터 멀리 있는 경우. 두 경우들에서, 최근접 이웃은 다른 대응들에 관해 기하학적 센스(geometrical sense)를 만들지 않는다. 이 아웃라이어들을 식별하는 고전적인 방식은 대응하는 포인트들 사이의 상대 위치들과 법선들을 기반으로 휴리스틱을 이용한다: 거리가 주어진 임계값보다 크거나 매우 다른 법선 방향들을 구비한 이웃들은 아웃라이어들로 간주된다. 예시들은 [루신키위크즈(Rusinkiewicz) 및 레보이(Levoy) (2001)]에서 찾을 수 있다. 이러한 근사들은 높은 허용 오차 값들을 사용할 때 유용하지만(예를 들어, 5보다 큰 대응하는 포인트들은 대부분의 경우들에 잘못될 수 있음), 이 경우들에는 식별력(discriminative power)이 낮다.
본 발명자들은 초기에 전술한 병진들과 관련된 빈들을 고려한다. 그 다음 그들은 회전이 모든 축들에 대해 적절하게 정의되었는지 평가한다. 주어진 축에 해당하지 않는 경우, 회전을 더 잘 제약하는 포인트들, 즉 가장 큰
값을 구비한 포인트들을 포함하는 빈을 추가한다.
그 다음, 그들은 새로운 센서 포즈에 초기 추측을 수행하기 위해 (두 개의 이전에 등록된 포즈들을 사용하여) 마지막 추정된 모션(last estimated motion)을 고려한다:
이 추측으로부터 시작하여, ICP 알고리즘의 각 반복은 포인트들의
랜덤 세트들 
를 창조하며, 여기서 각 세트 
는 각 빈(일반적으로 
)으로부터 
랜덤하게 선택된 포인트들을 포함한다. 이 포인트들의 각각의 하나에 대해, 그것(one)은 
을 사용하여, 세계 좌표들에서 관련된 위치 
를 계산하고, 맵에서 그것의 대응하는 최근접 평면(its corresponding nearest plane) 
은 서치되어, 대응 
을 창조한다 각 세트에서의 모든 대응들이 해결되면, 수식(expression)
을 최소화하는 강체 변환(rigid transformation)
은 그것들의 각각에 대해 독립적으로 계산된다.
각 세트의 대응들이 6 자유도 모두에 적절히 락시키는(properly lock on all six degrees of freedom) 관찰된 포인트들에 대해 정의됨을 고려하면, 이것들의 관련된 강체 변환들은 유사할 것으로 예상된다. 그러나, 아웃라이어들의 존재 및 각 세트에 대한 포인트들의 감소된 수를 고려할 때, 결과 변환들은 랜덤하게 달라질 것이다. 그것(One)은 이러한 분포로부터 벗어나는 세트들을 제거함으로써 가우시안 분포 및 식별 아웃라이어 대응들과의 추정 오차를 근사할 수 있다. 초기에 모든 변환들을 고려하고 관련된 정규 분포(associated normal distribution)
를 계산함으로써, 반복적으로 진행하고:
여기서, 회전들이 요(yaw), 피치(pitch), 롤 각도(roll angle)로 이루어진, 벡터로서 나타낸 각 세트와 관련된
강체 변환들이다. 그 다음, 각 세트에 대한 
마할라노비스 거리(mahalanobis distances)에 따라 다음과 같이 계산되며:
1% 보다 더 작은 관련된 확률을 구비한 변환들은 폐기된다. 이 프로세스는 변환들이 폐기되거나 인라이어 변환들의 최소 수에 도달할 때까지, 반복적으로 되풀이된다(각 단계에서 남아 있는 변환들로
업데이트함). 최종 등록은 남아 있는 변환들과 관련된 세트들에 존재하는 대응들만을 고려하여 추정된다.
도 7은 제안된 인라이어 선택 전략 이후의 결과들을 도시한다. 모든 독립적으로 계산된 변환들이 잘 정의된 중심 위치 주위에 분포된 것을 주목한다. 또한 아웃라이어 제거의 각 반복 이후, 분포들은 인라이어들로서 마크된 모든 대응들을 고려할 때, 최종 추정 변환으로 빠르게 수렴된다는 것을 주목한다.
주행 기록계 통합
전반적인 시스템의 견고성을 향상시키기 위해, 본 발명자들은 제안된 센서 추적 구성 요소를 주행 기록계와 바람직하게는 결합한다.
포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들은 kd-트리로 저장된다. 새로운 획득이 주어지면, 등록 알고리즘이 포인트들의 세트들(
)을 창조할 때, 그것은 두 참조 맵(
) 및 이전에 고정된 클라우드(
)에서 최근접 이웃들을 찾는다. 그 다음, 대응들은 다음과 같이 정의되고:
여기서,
는 복셀 셀 크기에 대응하고, 이전에 고정된 클라우드의 비-이산화된 kd-트리(non-discretized kd-tree)와 복셀라이즈된 지상 검증 맵(voxelized ground truth map) 사이의 다른 해상도를 보상한다.
주요 이점들은 (a) 참조 맵에서 누락된 표면들이 등록 프로세스 동안 이용될 수 있고, (b) 시스템이 사용자를 연속적으로 추적함으로써 비-맵핑된 영역들을 탐색하는 것을 허용한다는 것이다.
B.4. 결과들
제안된 로컬리제이션 및 추적 시스템을 평가하기 위해, 본 발명자들은 LIDAR 스캐너로 획득된 네 개의 다른 데이터세트들을 사용하여 몇 가지 테스트들을 실행했다: (a) 아래층에 큰 실험실이 있고 1 층에 여러 사무실들이 있으며, 1400의 근사된 표면을 구비한 두 개의 플로어 빌딩; (b) 1800의 근사된 표면 및 단일 플로어를 구비한 컨퍼런스 빌딩(conference building); (c) 천장이 매우 높고 3000의 근사된 표면을 구비한 산업 워크숍(industrial workshop); (d) 2.2의 총 길이를 구비하고, 차량에 의해 탐색될 수 있는 큰 지하 터널(large underground tunnel). 모든 모델들은 야오, 제이.(Yao, J.), 러게리, 엠.알.(Ruggeri, M.R.), 타데이, 피.(Taddei, P.), 세퀘이라, 브이.(Sequeira, V.), 2010, 3D 선형 및 평면 특징들을 사용한 자동 스캔 등록, 1 (3), 1-18의 방법을 사용하여 공통 참조 프레임에 획득들을 등록함으로써 얻는다. 최종 맵은 크기 1 또는 10의 복셀 서브샘플링 단계(voxel subsampling step) 후에 포인트들 및 관련된 법선들(및, 존재하는 경우, 컬러들)을 저장함으로써 생성된다.
이 데이터세트들에 대해, 본 발명자들은 세 개의 다른 구성들로 장착된 벨로다인 HDL-32E 센서(Velodyne HDL-32E sensor)를 사용하여 시스템을 평가하였다: 보행용 백팩(backpack for walkthroughs), 세그웨이(Segway) 및 차량의 상부에. 결과들은64 비트 운영 시스템 및 RAM 8GB을 구비한 인텔 제온(Intel Xeon) CPU @ 2.80GHz를 구비한 컴퓨터를 사용하여 생성되었다.
장소 인식
장소 인식기에 대한 서치 공간을 감소시키기 위하여, 모든 맵들에 대한 플로어들은 제안된 플루딩 알고리즘(proposed flooding algorithm)을 사용하여 계산되었다. 이 단계에서, 본 발명자들은 플로어 제한들의 매우 상세한 표현이 필요 없기 때문에, 큰 복셀 셀들(20)을 사용하여 계산을 수행하였다. 세 개의 빌딩들에 대한 평균 플로어 계산 시간은 터널 데이터세트가 3.91을 테이크하는 동안 단지 0.14이었다. 도 8은 사무실 빌딩에 대한 결과들을 도시한다.
일단 플로어들이 계산되면, 본 발명자들은 유효 네비게이블 공간
을 추정했다. 특히, 백팩 장착 애플리케이션(backpack mounted application)에 대해, 본 발명자들은 평평한 표면들 위에서의 정상적인 보행, 달리기, 계단 위를 보행 및 고속 회전을 수행하는 것을 포함하는 여러 테스트들을 실행했다. 이 테스트들 동안, 관찰자의 위치는 연속적으로 추적되고 로그되었다(logged). 달성된 결과들 중 일부는 도 8에 제시된다.
도 9(좌측)는 플로어 위의 평균 높이에 대한 편차의 히스토그램을 도시한다. 결과는
의 표준 편차를 구비한 분포를 도시한다. 이러한 방식으로, [맥도웰 엠에이(McDowell MA) 및 씨엘(CL) (2008)]에 따라, 백팩에 장착된 센서가 캐리어의 머리(carrier's head) 위에 
서고(stands), 
및 
백분위 수(percentiles) 사이의 사람 높이가 이 범위 
안에 있다는 것을 고려하면, 플로어 위의 유효 높이 범위는 
로서 추정되었다.
방향에 관해, 그것(one)은
축 위의 자유 모션을 고려한다. 보행 동안 사람들은 일반적으로 어느 정도만 구부리기 때문에 다른 두 자유도는 제한된다. 도 9(우측)는 평가 테스트들 동안 관찰된 절대 
축에 대한 편차들의 히스토그램을 도시한다(값들은 표준 편차 
를 구비한 
에서의 중심에 있음). 이에 따르면, 현재 트레이닝 프로세스는 수직축(
)에 대한 
의 편차를 단지 고려한다.
이 파라미터들이 주어지면, 서치 공간에 대한 전체 볼륨 감소(위치만을 고려함)는 표 4에 도시된다. 일반 빌딩들(사무실 (a) 및 회의 (b) 빌딩)에 대해, 결과 서치 공간은 맵의 전체 볼륨의 약
인 반면, 워크샵 (c) 및 터널 (d)에서는 이 비율이 첫 번째의 높은 천장과 두 번째에서의 네비게이블 영역들의 낮은 밀도 때문에 상당히 더 낮다는 것을 주목한다.
표 4: 네비게이블 공간 감소(Navigable space reduction)
장소 인식 성능만을 측정하기 위해, 본 발명자들은 수동으로 초기화된 센서 위치를 구비한 추적 구성 요소를 이용함으로써 지상 검증 트랙들을 추정하였고 다섯 개의 획득 시퀀스들을 사용하였다. 그 다음 그들은 세 개의 다른 빌딩들을 공동으로 사용하여 장소 인식 분류기를 트레이닝했다. 각 단일 트랙은 장소 인식 구성 요소만을 사용하여 처리되었다(분류에 기초하여 추적함). 그들은 사용자가 이동하는 특정 빌딩에 대한 정보를 제공하지 않았으므로, 제1 후보 솔루션들은 세 가지 환경들 모두에 걸쳐 균일하게 배포되었다(spread). 실험들 동안, 센서가 2 보다 많이 이동될 때마다 장소 인식기는 질의되었다(queried). 사용된 디스크립터의 빈들의 총 수는
이고, 질의들은 디스크립터 공간에서 반경 6으로 수행되었다. 잠재 포즈들에 대한 선험적 가능성들은 
을 고려하여 계산되었으며, 위치들은 그것들의 상대 방향이 45보다 더 작 으면 단지 비교 가능하였다. 세 개의 빌딩들에 사용된 트레이닝 세트의 총 크기는 
KB였다.
그들은 시작 위치로부터 대략
내에서, 2회 또는 3 회 반복 후에, 후보 솔루션들이 고유한(unique) 정확한 환경에서 클러스터링되고(clustered), 그 다음 정확한 센서 위치를 밀접하게 따랐다는 것을 관찰했다. 도 10은 이용된 모든 시퀀스들의 드리프트 분석 결과를 도시한다. 각 트랙에 대해 본 발명자들은 시스템이 아직 환경을 고유하게(uniquely) 식별하기에 충분한 정보를 가지고 있지 않은 프레임들과 관련된 초기 포즈 추정들을 제거했다는 것을 주목한다. 게이거, 에이.(Geiger, A.), 렌즈, 피.(Lenz, P.), 스틸러, 씨.(Stiller, C.), 우르타선, 알.(Urtasun, R.), 2013, 비전 밋츠 로보틱스: 키티 데이터세트(Vision meets robotics: The kitti dataset), 인터내셔널 저널 오브 로보틱스 리서치(International Journal of Robotics Research)에 의해 설명된 바와 같이, 그래프들은 특정 트랙 길이 이후에 트랙들 상의 임의의 포인트가 주어진 병진 및 회전 평균 드리프트 오차들을 도시한다.
포즈 추적
포즈 추적 구성 요소는 그것의 구성 요소의 각각을 격리하고 개별 결과들(맵 표현, 포인트 선택, 인라이어 선택 및 주행 기록계 통합)을 생성함으로써 및 완전한 시스템의 전체 정확성 및 성능을 측정함으로써 평가된다.
맵 표현
제안된 맵 표현의 확장성을 평가하기 위해 그리고 표준 kd-트리들에 관해 그것이 어떻게 수행되는지 비교하기 위해, 본 발명자들은 메모리 내의 각 데이터세트의 전체 복셀 구조 로딩(loading)의 공간 요건들을 측정하였고, 등록 프로세스에서 최근접 이웃 서치들을 격리하여 질의 당 평균 계산 시간을 추정하였다.
표 5는 복셀 크기(제2 열) 및 완전한 복셀 구조(complete voxel structure)의 치수(dimensions)(제3 열)를 고려하여 각 데이터세트의 메모리 풋프린트(제4 열)를 도시한다. 산업 빌딩(c)에 대해, 두 가지 경우들은 고려된다는 것을 주목한다: 내부만 저장된 오리지널 맵(c)-i, 및 외부에 대한 정보를 추가함으로써 오리지널 맵(c)-o을 확장하는 것.
또한, 모든 경우들에서, 복셀 데이터 구조 메모리 크기가 그것들을 생성한 포인트 클라우드 보다 더 작다는 것을 주목하는 것이 중요하다.
표 5: 다른 데이터세트들에 대한 맵 크기들.
표 6은 표준 kd-트리에 관해 제안된 맵 표현의 최근접 이웃 서치 시간을 비교한다. 이 테스트에 대해, 두 구조들은 동일한 수의 포인트들을 포함하였고, 질의들은 동일한 데이터를 사용하여 수행되었다. 2열 및 3열에서의 결과들은 포인트 당 나노세컨즈(nanoseconds per point)로 나타내고 모든 질의들을 고려한 평균 시간을 표현한다. 4열은, 공간의 이산화(discretization)로 인해, 제안된 맵 표현의 평균 최근접 이웃 오차를 도시한다. 5열은 맵에서의 총 포인트 수를 도시한다.
표 6: 표준 kd-트리 구현과 비교된 제안된 맵 표현에 대한 맵 평균 최근접 이웃 계산 시간들 및 오차들.
평균 서치 시간은 kd-트리들을 사용하는 것 보다 항상 약 10 배 더 빠르다는 것을 주목한다. 또한, 10의 복셀 셀 크기가 사용되었던, (a), (b) 및 (d)의 경우들에서 전체 오차는 약 0.2이라는 것을 주목한다. 이것이 (c)의 경우와 같이, 5로 감소되면, 오류는 0.08로 떨어진다.
포인트 선택
실험들에서, 본 발명자들은 기하학적 안정성을 보장하기 위한 포인트 선택 기술이 항상 견고한 결과들을 제공한다는 것을 관찰했다. 또한, 그들은 이 특징을 사용하지 않으면, 통로들을 네비게이트 할 때 추적하는 것이 손실되는 것을 관찰했다. 그러나, [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz), 및 레보이(Levoy)]에 의해 제안된 기술에 관한 결과들의 안정성을 비교할 때 상당한 차이들은 검출되지 않았다. 반면에, 사용된 비닝 전략(binning strategy)은 그것들의 락 기능들(locking capabilities)에 따라 구분한 포인트들(sorting points)을 회피하기 때문에, 실행 시간은 본 기술을 구비하는 것이 항상 더 작았다.
대칭 환경들에 대한 포인트 선택 전략을 평가하기 위한 추가 테스트가 수행되었다. 이 경우에, 본 기술은 정확한 포인트들을 선택함으로써 방향을 적절하게 락(locked)했지만 [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz), 및 레보이(Levoy)]에 제안된 것은 실패했다. 이 경우, 현재 포인트 선택 전략(present point selection strategy)은 포인트들과 센서 사이의 거리에 영향을 받지 않는다. 이 방식으로, A 및 C 경우들에 도시된 것과 같은 중요한 포인트들은 선택될 수 있다. 이 사실은 B 경우에 대한 결과들을 비교할 때 분명하다. 현재 선택(present selection)이 거리에 따라 정규화되었으므로, 가장 먼 포인트들의 효과는 가장 가까운 것들의 선택을 손상시키지(compromise) 않는다.
인라이어 선택
제안된 인라이어 선택 전략을 평가하기 위하여, 본 발명자들은 다음과 같이 진행했다: 본 발명자들은 벨로다인 HDL-32E 센서를 이동하지 않고 삼각대에 장착하였다. 제1 프레임은 참조 모델로서 사용되었고, 실험의 나머지 동안, 아웃라이어들이 점진적으로 추가되었다(예를 들어, 사람들은 주위를 이동하였고 물체들은 이동하였음). 이 방식으로, 그들은 참조 프레임에서 각 포인트와 그것의 최근접 이웃 사이의 거리를 평가함으로써 인라이어들 대응들을 분류할 수 있었다.
도 4는 입력 클라우드에서의 아웃라이어들의 수에 관한 현재 인라이어 전략의 최종 정밀도를 도시한다. 아웃라이어들의 총 수가
아래일 때, 현재 정밀도는 거의 항상 
인(잘못된 대응들이 등록을 위해 선택되지 않음) 것을 주목한다. 아웃라이어들의 전체 수가 증가함에 따라, 정밀도는 준다(decreases). 평균적으로, 제안된 실험은 
잘못된 대응들을 가졌으며, 이는 
의 정밀도를 이끌어낸다.
주행 기록계 통합
포즈 업데이트 구성 요소에서 제안된 주행 기록계 통합의 이점들을 설명하기 위해, 본 발명자들은 빌딩 (a)의 내부로부터 시작하여, 비 스캔된 방으로 이동하고, 빌딩의 바깥으로 나가고 다른 문으로부터 들어감으로써 일부 루프들을 수행한 추적을 기록하였다. 도 13은 달성된 결과들을 도시한다.
알고 있는 환경(A, C 및 D 경우들)을 센서가 벗어날 때, 추적은 주행 기록계에만 의존하는 것을 주목한다. 또한, 알고 있는 맵과 비-맵핑된 영역들 사이의 전이들(transitions) 동안, 제안된 포인트 선택 전략은 이러한 상황들을 다루기 위한 임의의 특별한 로직(any specific logic) 없이 점차적으로 가장 편리한 맵으로부터 더 많은 정보를 테이크한다(예를 들어, C 경우에 도시된 전이를 테이크함, 바로(right)). 관찰될 수 있듯이, 제안된 등록 알고리즘의 정확성은, 비-맵핑된 영역들을 탐색한 후 사용자가 맵에 다시 진입할(reenters) 때, 주행 기록계 드리프트가 충분히 낮아서 참조 맵을 사용한 추적이 계속될 수 있음을 보장한다. 마지막으로, 센서가 알고 있는 공간(known space) 안에서 이동할 때, 등록에 사용된 포인트들 중 일부가 주행 기록계로부터 테이크된다는 것을 주목한다. 이것은 일반적으로 참조 맵에 유효한 대응이 없는 포인트들의 존재 때문이지만, 그것들은 주행 기록계의 로컬 맵에서 수행된다. 예를 들어, B 경우에서의 환경은 센서가 외부로부터 포인트들을 획득하는 것을 허용하는 큰 윈도우들(big windows)을 갖고 있으며, 이는 오리지널 맵에서 존재하지 않는다.
전체 정확성 및 성능
제안된 포즈 추적 기술의 전체적인 정확성을 측정하기 위해, 본 발명자들은 각각의 클라우드 등록 후에 ICP 잔류들(ICP residuals)의 분석을 수행하였다. 이는 커버(cover)할 영역이 정확한 외부 참조 시스템들을 사용하기에는 너무 크기 때문에, 큰 실내 시나리오에 걸쳐 자유 모션에 대한 지상 검증 궤적의 결핍에 의해 도입된다(imposed).
도 14(상부)는 두 고전적인 포인트-평면 ICP 알고리즘 및 현재의 견고한 ICP에 대한 아웃라이어-자유 시나리오(outlier-free scenario) 내부에서 이동할 때의 평균 포인트-평면 거리들을 도시한다. 아웃라이어들의 부재는 10의 복셀 셀 크기를 사용하여 표현된, 지상 검증 모델을 스캔한 직후에 획득들을 수행함으로써 보장되었다. 두 접근 방식들에 대한 잔류들은, 2를 정점으로, 거의 동일하며, 이는 벨로다인HDL- 32E 센서(Velodyne HDL-32E sensor)의 공칭 정확성 내에 있다.
반면, 도 14(하부)는 변화들이 환경에 도입될 때의 중요한 차이들을 도시한다. 이 경우, 환경을 재구성한 후 트랙이 기록되었다. 현재 견고한 ICP 구현은, 인라이어 대응들의 효율적 선택 때문에, 고전적인 포인트-평면 ICP를 사용하는 것보다 훨씬 나은 결과들을 제공한다. 이 경우, 잔류들은 도시된 히스토그램을 계산하기 위해 포인ㅌ-평면 거리 추정에서의 아웃라이어들의 간섭으로 인해 3에서 피크한다(peak).
시스템이 실시간으로 결과들을 제공해야 한다는 것을 감안하면, 본 발명자들은 모든 데이터세트들에서 모션의 다른 종류에 대한 포즈 추적 동안 전체 성능을 측정했다. 도 15는 각 클라우드를 등록하고 보행 설정 시나리오를 위해 센서의 새로운 포즈를 계산하는데 소요된 실행 시간을 도시한다. 이 프로세스는 일반적으로 20 내지 30ms 사이가 테이크되지만, 일부 프레임들에서는, 약 100ms 피크가 관찰된다. 이 피크들은 주행 기록계를 위한 kd-트리 생성과 관련이 있으며, 이는 트리의 마지막 업데이트의 시간 이후 고정된 거리를 다녔을 때 트리거된다(triggered). 센서 이동 속도가 빠를수록, 이 이벤트(event)가 전반적인 성능에 영향을 미칠 것이다. 프레임 드롭(frame dropping)을 회피하기 위해, kd-트리 생성 및 주행 기록계는 다른 스레드들에서 실행되며 후자는 새 것이 준비될 때까지 마지막 이용 가능한 kd-트리(last available kd-tree)를 사용한다.
표 7에서, 시스템의 평균 성능은 세 가지 상이한 설정(보행, 세그웨이 장착 및 차량 장착)에 대해 도시된다. 센서 이동 속도가 빠를수록, 주행 기록계 kd-트리 업데이트들로 인해 성능이 가장 낮다는 것을 주목한다. 벨로다인 HDL-32E 센서가 12Hz에서 판독들을 제공하기 때문에, 모든 경우들이, 추가 연산을 수행하는 데 프로세서 시간을 남겨두는(leaving), 실시간 결과들을 보장한다. 마지막으로, 현재 구현에서 모든 추적 계산들이 단일 CPU 코어(single CPU core)를 사용하여 수행되었음을 주목한다.
표 7: 다른 설정들에 대한 시스템 실행 성능.
5 결론
본 발명은, 매우 큰 환경들의 탐색을 허용하면서, 맵 크기에 실시간 결과들 및 스케일들을 제공하는 실내 로컬리제이션 애플리케이션들을 지원하기 위한 바람직한 실시예들을 구비한 완전한 시스템을 제시한다.
전처리 단계를 추가함으로써, 주행 기록계를 사용하여 측정된, 센서의 로컬 모션 및 컴팩트 및 고속-계산 디스크립터(compact and fast-to-compute descriptor)를 이용하는 효율적인 장소 인식기가 제안된다. 장소 인식기의 트레이닝 동안 시스템의 특정 연산 모드(particular operation mode)와 관련된 물리적 제약들을 고려한 서치 공간 감소 전략이 제안된다.
포즈 추적은 일정한 최근접 이웃 서치 시간을 제공하고, 메모리 요건들을 낮게 유지하는 효율적인 맵 표현을 사용하여 수행된다. 현재 등록 알고리즘은 (1) 기하학적 안정성을 보장하는 포인트들을 선택하고, (2) 아웃라이어들을 효과적으로 폐기하며, (3) 등록을 위해 참조 맵에 존재하지 않는 포인트들을 사용하고 비-맵핑된 영역들을 통해 네비게이트 할 수 있는 로컬 주행 기록계와 융합됨으로써 견고한 결과들을 제공한다.
실험 결과들은, 매우 확장성이 있는 시스템이, 많은 아웃라이어들이 도입될 때에도, (사용된 센서의 공칭 정확성 내에서) 매우 정확한 결과들을 생산하고 추가 연산들을 실행하기 위해, 많은 CPU 시간을 남기는 프레임 속도로 추적을 수행함을 입증했다.
이전에 알고 있지 않은(스캔되지 않은) 위치에 대한 기본 워크플로우(basic workflow)는 원칙적으로 두 단계들을 요구한다: (A) T0에서의 3D 참조 모델(3D reference model)의 구성 및 (B) T1에서의 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석. 이러한 위치를 다시 방문할 때 또는 적절한 맵이 이미 있는 경우에는, 단계 (B)로 충분할 것 이다.
(A) 3D 참조 맵의 구성
3D 참조 맵은 아래 설명된 바와 같이 모바일 레이저 범위 스캐너(mobile laser range scanner)를 기초로 한 3D SLAM(Simultaneous Localization And Mapping) 구현을 사용하여 만들어진다. 주요 특징들은 바람직하게는 다음과 같다:
1) 큰 영역에 걸친 확장성, 고속 최근접 이웃 서치 및 일정한 시간에 랜덤 샘플 액세스를 허용하는 효율적인 맵 표현(아래 섹션 A.2 참조).
2) SLAM 프레임워크(SLAM framework)(아래 섹션 A.3 참조)는 다음을 포함한다:
a) 로컬 맵 표현(local map representation)에 대한 마지막 클라우드(cloud)의 등록에 기초하여 현재 포즈(current pose)를 추정하는 주행 기록계(odometer).
b) 생성된 맵에서의 드리프트를 최소화하기 위하여 클라우드들의 세트(set of clouds)의 궤적을 다듬는 로컬 궤적 최적화(local trajectory optimization).
c) 루프 폐쇄들(loop closures)을 이용하여 환경의 전체 맵을 재구성 하는 것을 허용하는 글로벌 궤적 최적화(global trajectory optimization).
주행 기록계는 전형적으로 실시간으로 수행된다. 맵 최적화는 후-처리 단계에서 수행될 수 있다.
(B) 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석
실시간 로컬리제이션, 추적 및 변화 분석은 일반적으로 전술한 바와 같이 이전에 생성된 환경의 기존 3D 참조 맵을 요구한다. 주요 구성 요소들은 바람직하게는 다음과 같다
1) 장소 인식 동안 시스템은 센서 포즈의 사전 지식없이 알고 있는 환경 내의 현재 위치를 식별한다. 그것은 장면의 간단 및 컴팩트 디스크립터들(simple and compact descriptors)을 미리-계산하고(pre-computes) 실시간으로 센서를 셀프-로컬라이즈(self-localize)하기 위하여 서치 공간을 감소시키도록 효율적인 전략을 사용한다(아래 섹션B.2 참조).
2) 센서가 알고 있는 환경에서 로컬라이즈되면, 시스템은 표준 반복 최단 포인트(standard Iterative Closest Point)(ICP) 방법을 사용하여 3D 참조 맵 내에 현재 관찰(3D 스캔)을 등록함으로써 센서 포즈를 추적하기 시작한다. 실시간으로 센서 포즈를 정확하게 추적하기 위하여, 시스템은 다수의 개선사항들을 구현하며, 예를 들어 그것은 고속 최근접 이웃 서치들을 위해 특별히 설계된 데이터 구조를 사용한다(아래 섹션 B.3 참조).
3) 데이터 구조에서 최근접-이웃 정보가 주어지면, MLSP는 3D 참조 모델에서 최근접 포인트와 현재 관찰에서의 각 스캔 포인트 사이의 거리를 효율적으로 산출할 수 있다. 변화 분석은 이 거리에 간단한 임계값을 적용함으로써 수행되며, 예를 들어 참조 모델에서 대응하는 이웃을 가지지 않는(또는 참조 모델에서 대응하는 이웃을 가지지만 임계값보다 먼) 현재 스캔에서의 각 포인트는 변화로 간주된다. 실시간 사용자 인터페이스는 변화/비-변화 분류에 따라 컬러-코딩된(color-coded) 현재 관찰들 및 3D 참조 모델을 보여준다.
A. 3D 참조 맵의 구성
외수용성 센서들(exteroceptive sensors)을 이용한 정밀한 3D 맵핑 및 6DOF 궤적 추정은 많은 분야에서 핵심 문제들이다. 실시간 이동 레이저 센서들은 정밀한 깊이 측정들, 높은 프레임 속도 및 넓은 시야(field of view)로 인해 인기를 얻었다.
하나의 바람직한 측면에서, 본 발명은 이동중 스캐닝 시나리오(scanning-while-moving scenario)에서 획득 프로세스(acquisition process)를 적절하게 모델링하는(models) 동시 로컬리제이션 및 맵핑(SLAM; Simultaneous Localization And Mapping)을 위한 최적화 방법 또는 프레임워크를 제안한다. 각 측정은
본 발명자들은 그러한 프레임워크가 최적화 단계에서 왜곡 효과들을 포함시키지 않고 그것들을 보상하는 솔루션들에 관해(w.r.t.) 로컬리제이션 및 맵핑을 향상시키는 것을 실험적으로 보여주었다. 또한, 본 발명자들은 실시간 SLAM을 수행하고 매우 큰 맵들을 다루기 위하여 맵 크기에 관해 제안된 데이터 구조가 선형 또는 일정한 연산 시간(operations time)을 제공하는 것을 보여준다.
A.1. 서론
3D맵들의 생성 및 궤적들의 추정은 로봇 공학, 자율적 유도 및 감시의 다양한 애플리케이션들을 위한 기본 빌딩 블록들(fundamental building blocks)이다. 동시 로컬리제이션 및 맵핑(SLAM) 기술들은 알고 있지 않은 환경(unknown environment)의 맵을 공동으로 만들고 동일한 환경에서 센서를 로컬라이즈한다. SLAM 공식들은 표준 카메라들, 깊이 카메라들 및 레이저 스캐너들 용으로 제안되었다. 레이저 스캐너들을 기초로 한 대부분의 SLAM 시스템들은 반복 최단 포인트(ICP; Iterative Closest Point) 알고리즘의 변형들을 사용하여 스캔 정렬들을 수행한다. 실시간 애플리케이션들에 중점을 둔 ICP 알고리즘들의 리뷰는 2001년 3DIM에서의, 에스. 루신키위크즈(S. Rusinkiewicz) 및 엠.레보이(M. Levoy), "ICP 알고리즘의 효율적인 변형들(Efficient variants of the ICP algorithm)"에서 발견될 수 있다. 벨로다인 스캐너들(Velodyne scanners)과 같은, 실시간 이동 3D 라이다 센서들(3D LIDAR sensors)이 최근 인기를 얻었다: 이 장치들은 높은 데이터 속도를 가지며, 종종 완전한 360 ° 수평 필드(complete 360° horizontal field)를 제공하고, 거리 측정들에 대한 좋은 정확성을 갖는다.
이러한 센서들(스캐너들)은 이동하는 동안 측정들을 획득하므로 궤적 경로를 따라 획득된 프레임들을 워프하는(warp) 비-중심 투영 시스템들(non-central projection systems)을 나타낸다. 이러한 생산된 포인트 클라우드들(point clouds)의 정렬은 3D 포인트들에 대한 워핑 효과(warping effect)의 적절한 처리를 요구한다. 2011년 IVS에서의 에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)"에서 제안된 SLAM 프레임워크는 센서의 현재 속도가 주어진 각 클라우드를 비워프하고(unwarps), ICP를 수행하고, 새로운 추정 속도로 포인트들을 비워프한다. LOAM 알고리즘(LOAM algorithm)(제이. 장(J. Zhang) 및 에스. 싱흐(S. Singh), "LOAM: 실시간으로 라이다 주행거리측정 및 맵핑(LOAM: Lidar odometry and mapping in real-time)", RSS, 2014)은 에지들(edges)과 평면 특징에 중점을 두어 각각의 클라우드에서의 워핑 효과를 제거함으로써 모션(motion)의 연속적인 추정을 수행한다. 완전한 프레임(complete frame)이 생성될 때 그것은 예측된 최종 포즈를 사용하여 최종 포인트 클라우드를 비워프한다. 씨. 에이치. 통(C. H. Tong), 에스. 앤더슨(S. Anderson), 에이치. 동(H. Dong) 및 티. 디. 바르풋(T. D. Barfoot), "레이저-기반 시각적 주행거리측정에 대한 포즈 보간법(Pose interpolation for laser-based visual odometry)", 필드 로보틱스의 저널(Journal of Field Robotics), 31권, 731-757, 2014에서는 획득 반사율 이미지들(acquisition reflectance images)에서 매칭된 특징들에 의존하는 연속-시간 가우시안 프로세스 모델(continuous-time Gaussian Process Model)(GPGN)을 사용하여 보간법을 수행한다.
본 발명의 바람직한 측면에서, 마지막 등록된 세트까지 구축된 맵에 대해 포즈들의 세트 및 그와 연관된 포인트 클라우드들에 의해 구성된 궤적 프래그먼트(trajectory fragment)를 최적화하는 로컬 윈도우 메커니즘(local window mechanism)을 사용하는 것이 제안된다. 포인트들은
SLAM 시스템들에 대한 중요한 측면은 큰 환경들에 대한 확장성 및 최적화 루틴(optimization routine)을 지원하기 위한 맵의 실시간 관리이다. 일반적으로 확장성은 일반 옥트리들(octrees), 볼륨 주기 인덱싱(volume cyclical indexing)을 사용하는 조밀 복셀 맵들(dense voxel maps) 또는 복셀 헤이징(voxel hazing)을 기초로 한 희소 표현들과 같은 희소 구조들(sparse structures)을 사용하여 달성된다. 일 측면에서, 본 발명은 3D 포인트들을 네이티브하게(natively) 다루고, 희소 복셀라이즈드 구조(sparse voxelized structure)에 의해 구성된 하이브리드 구조에 기초하는 데이터 구조에 중점을 두며, 이는 특징들의 컴팩트 조밀 리스트(compact dense list)를 인덱스하기(index) 위해 사용된다. 이것은 탐색된 공간에 대한 확장성을 구비한 데이터의 효율적인 저장소 및 맵 크기로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스를 허용한다. 현재 제안된 구조는 그래프 최적화가 사용되는 경우(예: 루프 폐쇄들을 수행하기 위해) 전체 글로벌 맵을 메모리에 유지하고 로컬 섹션들을 업데이트 할 수 있다.
본 발명의 일부 실시예들의 주요 기여들은 (i) 추정 프로세스에서 비워핑(unwarping)을 포함하는 일반화된 ICP 알고리즘의 사용, (ii) 두 고속 장소 질의들 및 큰 환경 관리를 허용하는 맵 관리를 위한 효율적인 구조의 사용이다. 본 발명자들은 공개적으로 이용 가능한 데이터세트들(datasets) 및 추가로 획득된 실내/실외 환경들을 사용하여 그것들의 접근 방식을 검증하였다.
섹션 A.2. 아래에는 맵 관리 및 사용 가능한 연산들을 위한 데이터 구조를 제시한다(presents); 섹션 A.3. 최적화 프레임 워크를 제시한다; 섹션 A.4. 이 방법으로 획득된 실험 결과를 보여준다; 및 섹션 A.5. 일부 결론들을 이끌어 낸다(draws).
A.2. 맵 표현
실시간 SLAM 애플리케이션들에 적합한 데이터 구조는 (i) 저장된 특징들에 대한 일정한 시간(평균적으로)에서의 랜덤 샘플 액세스, (ii) 저장된 요소들의 수에 관해 선형 시간에서의 철저한 특징 반복 및 (iii) 질의 특징(query feature)이 주어지면 고속 최근접 이웃 서치를 제공해야 한다. 또한, 그것은 (iv) 탐색된 공간에 대한 확장성을 제공해야 하고 (v) 특징 추가 및 제거를 효율적으로 지원해야 한.
속성(i)은 일반적으로 확장성(iv)을 위한 메모리 요건들이 주요 결점이고 철저한 탐색들(ii)이 느린 조밀 복셀 표현들과 관련된다. 반대로 속성(ii)는 메모리 요건들(iv)이 매우 낮지만 랜덤 액세스 시간(i)이 느린(kd-트리(kd-trees)의 경우 대수(logarithmic)), 희소 구조들과 관련된다. 두 조밀 및 희소 구조들의 본질적인 이점들을 이용하면서 요구된 모든 속성들을 보유하기 위해, 제안된 바람직한 맵 구조는 저장된 데이터의 다섯 가지의 다른 표현들을 유지한다. 내부 데이터 표현들 간의 일관성은 각 맵 업데이트 후에 부여되어야 한다.
(i) 특징들의 컴팩트 및 조밀 리스트
(ii) 각 요소
(iii) 각 요소
(iv) 각 셀
(v) kd-트리
특징들의 조밀 리스트를 가짐으로써, 전체 맵을 철저히 조사하는 시간은 포함된 요소들의 수에 선형적이다. 반면, 임의의 질의들은 오픈 VDB 희소 복셀 구조(OpenVDB sparse voxel structure)와 캐싱 시스템(caching system)을 이용하여 일정한 랜덤 액세스 시간(평균)에서 해결된다.
맵에 추가될 새로운 특징
그 다음, 내부 값들은 다음과 같이 업데이트된다:
및
이러한 방식으로, 구멍들의 세트가 요소들을 포함하는 반면, 특징 추가는 조밀 표현에서의 갭들을 채운다. 구멍들이 없으면, 특징들은 리스트의 끝에 추가된다.
맵의 특징이 삭제되어야 하는 경우, 그것의 대응하는 복셀 셀
이러한 방식으로, 특징들을 삭제하는 것은
이 문제를 해결하기 위해, 본 발명자들은 특히 바람직한 실시예에서 두
마지막으로, 최근접 이웃 서치를 위한 고속 메커니즘을 제공하기 위하여, 중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들(inner features)은
트리가 창조되면, 새로운 특징들이 추가되고(이미
제안된 연산들을 효율적으로 수행하기 위해, 클라우드 추가들은 새로운 kd-트리가 요구될 때까지 연기되는 것이 바람직하다. 이 경우, 관심의 영역 외부의 맵에서의 기존 특징들이 이미 삭제되어, 새로운 구멍들을 창조한다. 그 다음, 관심 영역 내에 있는 특징들만 추가함으로서, 연기된 클라우드들이 추가된다. 이러한 방식으로, 이전에 창조된 구멍들이 일정한 시간 안에 새 샘플들로 채워진다. 모든 추가들 후에도 여전히 구멍들이 있다면(더 많은 특징들이 추가된 것보다 삭제됨), 구멍들의 남아 있는 수와 관련하여 선형 비용(linear cost)으로, 컴팩트 연산이 수행될 수 있다. 마지막으로,
A.3. SLAM 프레임워크
본 발명의 바람직한 최적화 프레임워크는 두 개의 연속적인 모듈들에 의해 구성된다: 맵이 주어진 각각의 클라우드의 포즈를 추정하는 주행 기록계 및 클라우드들의 세트의 궤적을 다듬는 로컬 궤적 최적화기(local trajectory optimizer). 두 모듈들은 커지는 맵(growing map)을 다루기 위해 여기에 설명된대로 맵 데이터 구조를 사용한다.
맵
이러한 프레임워크의 입력은 센서에 의해 스트리밍되는(streamed) 데이터로 생산된 3D 포인트 클라우드들의 세트
주행 기록계
처음에는, 그것(one)은 각 포인트 클라우드의 포즈를 복구함으로써 센서의 궤적의 제1 추정치를 생산할 필요하다. 센서가 움직이기 때문에, 그것(one)은 마지막 포인트가 수신될 때 센서 포즈를 클라우드의 대표 포즈로서 간주한다.
그것(One)은 맵 및 마지막으로 수신된 클라우드의 포인트들의 서브세트(subset) 사이에 포인트-평면(point-plane) ICP를 수행한다. 에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)", IVS, 2011에서와 마찬가지로, 클라우드의 선택된 포인트들은 등록을 수행하기 전에 마지막으로 추정된 모션을 고려함으로써 비워프된다(unwarped).
등록될 클라우드
여기서
그 다음, 그것(One)은 법선들
여기서
이 요소들이 주어지면 그것(One)은 비워프된 포인트들 및 법선들
그것과 관련된 포즈
로컬 궤적 최적화기
이 모듈은 관련된 포즈를 구비한 클라우드들의 리스트
이 단계에서 최소화된 목적 함수
이는, 결국, 클라우드의 제1 및 마지막 포인트와 관련된 포즈에 달려 있다. 시퀀스
여기서,
수렴 기준이 만족되거나 반복들의 최대 수에 도달할 때까지, 가우스-뉴튼(Gauss-Newton) 단계 및 맵에서 새로운 대응들(correspondences)을 위한 서치를 교대로 반복함으로써 전체 목적 함수는 최소화된다.
본 발명자들은 알. 쿠엠멀레(R. Kuemmerle), 쥐. 그리세티(G. Grisetti), 에이치. 스트라스다트(H. Strasdat), 케이. 코놀리쥐(K. Konolige), 및 더블유. 버가드(W. Burgard), "g2o: 그래프 최적화를 위한 일반적인 프레임워크(g2o: A general framework for graph optimization)", ICRA, 2011에서 제안된 매니폴드 공식(manifold formulation)을 사용할 것을 제안한다:
최적화가 종료되면, 리스트
글로벌 궤적 최적화기
제안된 프레임워크는 궤적의 오프-라인 글로벌 최적화를 수행하도록 확장될 수 있다. 실제로, 제안된 로컬 궤적 최적화기의 한계는 이미 맵에 추가된 포인트들(및 결과적으로 포즈들)을 다듬을 수 없다는 점에 있다. 이 제한은 일반적으로 로컬 규모에서 환경들을 탐색할 때 허용되지만, 매우 큰 환경들에서 이동할 때, 드리프트가 누적될 수 있다. 이러한 경우, 루프 폐쇄들 또는 외부 절대 측정들을 이용하는 글로벌 최적화 기술들을 고려해야 한다.
본 발명자들은 강화된 맵 디스크립션(enriched map description)을 사용하여 글로벌 궤적 최적화를 제안한다: 맵에서의 각 특징에 대해, 그것(one)은 상대 타임스탬프 t 및 그것을 유래한(originate) 클라우드의 인덱스 ID, 로컬 센서 참조 프레임에서의 법선 단위 벡터
본 발명자들은 또한 두 개의 맵들
맵에 로컬 정보를 갖는다는 것은 이 단계에서 필수적이고, 그것은(one) 전체 클라우드들을 저장할 필요가 없지만, 각 단계에서 맵에 추가되는 포인트들만 있음을 고려하면 메모리 요건들은 낮게 유지한다. 새로운 클라우드들의 추가가 맵에서의 오래된 포인트들을 덮어 쓸(overwrite) 수 있으므로, 로컬 최적화기의 각 단계 후에 리스트
유사하게, 그것(one)은 로컬 최적화 단계에 의해 다듬어진 포즈들을 스태킹(stacking)함으로써 클라우드들과 관련된 모든 포즈들
여기서
수학식 5에서의 목적 함수는 여전히 일반화된 포인트-평면 ICP를 나타내며, 여기서 두 질의 및 모델 포인트는 로컬 좌표들로 나타내고 그것들의 클라우드들 및 보간 타임스탬프들과 관련된 포즈들을 구비하여 세계 좌표들로 변환된다.
총합의 각 항목은 단지 전체 궤적의 세 개(
계산 시간을 감소시키기 위해 특징들이 로컬 궤적 최적화기에 의해 적절히 매치된다고 가정하고 특징 연관들을 결코 재계산하지 말 것을 제안한다. 최적화가 종료되면 두 글로벌 및 로컬 맵은 모든 특징들의 세계 좌표들을 계산함으로써 업데이트된다.
이 최적화는 전체 궤적을 다듬기 위해 클라우드들의 완전한 시퀀스에 적용될 수 있다. 또한, 루프 탐지들이 존재할 때, 루프를 표현하는 대응들은 전체 포즈들을 다듬는 궤적을 추정하는 것을 허용하여, 루프가 정확하게 폐쇄되도록 제한한다.
그러나, 전체적인 궤적을 따라 수행되는 모든 포즈들 및 모든 연관들을 포함하기 때문에, 이러한 글로벌 최적화는 실시간 계산에 적합하지 않음을 주목한다.
그럼에도 불구하고, 적절한 정보를 보유함으로써, 현재 데이터 구조가 글로벌 최적화 및 루프 폐쇄들에 사용될 수 있음을 나타낸다. 글로벌 궤적 다듬기(Global trajectory refinement)는, 엠. 니에쓰너(M. Nießner), 엠. 졸호퍼(M. Zollh?fer), 에스. 이자디(S. Izadi) 및 엠. 스탐민거(M. Stamminger), "복셀 해싱을 사용하는 규모에서 실시간 3D 재구성(Real-time 3d reconstruction at scale using voxel hashing)", ACM 그래픽스(ACM Graphics), 2013에 제시된 것과 같은, 포즈 그래프 최적화 솔루션으로 더 효율적으로 수행될 수 있지만, 메모리에서 큰 맵들을 유지하는 기능은 루프들을 폐쇄한 후에 맵들을 재창조하는 것이 핵심 요소이다.
A.4. 실험적 결과들
본 발명자들은 벨로다인 HDL-32E를 사용하여 획득된 실제 데이터 세트들(datasets)에 대해 시스템을 테스트했다. 제1 데이터 세트는 약 10 x 35 x 3 미터의 실내 환경을 탐색하면서 센서를 운반하는 작업자에 의해 획득되었다. 유사하게, 제2 데이터 세트는 약 16 x 65 x 10 미터의 실내 산업 빌딩에서 획득되었다. 제3 데이터 세트는 약 500 미터 길이의 각각의 타운 지역에서 네 개의 루프들을 수행하면서 보통의 교통 조건에서 운전하면서 차량의 지붕에 장착된 센서로 획득되었다. 또한, 발명자들은, 다양한 속도들에서 그리고 다양한 도시 환경들에서 테이크된(taken) 벨로다인 HDL-64E 획득들을 장착된 차량에 제공하는, 대중적으로 이용 가능한 키티 데이터세트들(Kitti datasets)(에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012)에 대한 프레임워크를 평가했다. 키티 트레이닝 데이터세트들(Kitti training datasets)은 또한 각 단일 트랙의 GPS 측정된 지상 검증(GPS measured ground truth)를 이용 가능하게 만든다. 그러나 제공된 3D 포인트 클라우드들은 탑재된 주행거리측정 시스템(on-board odometry system)의 추정된 모션을 사용하여 이미 비워프되었다. 이런 이유 때문에, 발명자들은 네이티브 원시 데이터(native raw data)가 이용 가능한 트레이닝 트랙들(those training tracks)만을 사용하였다.
로컬 궤적 최적화는 획득된 환경들의 고화질 로컬 3D 모델들을 생성하는데 이용될 수 있다. 생성된 모델들의 품질을 검증하기 위해, 발명자들은 2m의 로컬 최적화를 트리거(trigger)하도록 임계값을 갖는 1cm의 복셀 해상도를 사용하여 두 개의 실내 데이터세트들을 처리했다. 결과적으로 제1 데이터세트의 경우 대략 800만 포인트들 및 제2 데이터 세트의 경우 대략 2,400 만 포인트를 발생시킨다. 그 다음, 참조 모델은 제이. 야오(J. Yao), 엠. 알. 러게리(M. R. Ruggeri), 피. 타데이(P. Taddei) 및 브이. 세퀘이라(V. Sequeira), "3d 선형 및 평면 특징들을 사용한 자동 스캔 등록(Automatic scan registration using 3d linear and planar features)", 3D 리서치(3D Research), 1권, 3호, 1-18페이지, 2010의 방법을 사용하여 고해상도 ZF 5010C 스캐너로 테이크한 환경의 스캔들을 쌍으로 등록함으로써(pairwise registering) 창조된다. 발명자들은 두 모델들을 정확하게 등록하고 그것들 사이의 포인트-포인트 거리(point-point distances)를 계산하였다. 시각적 왜곡들은 모델에 존재하지 않으며 두 클라우드들 사이의 거리의 히스토그램들(histograms)은 0.02m보다 더 낮은 피크들을 가지며, 이는 사용된 벨로다인 HDL-32E 센서의 공칭 정확성 내에 있다.
추적 품질 및 축적된 드리프트를 추정하기 위해, 본 발명자들은 입력 데이터로서 센서의 원시 판독들(raw readings)(총 10 트랙들(tracks))을 사용하여 모든 키티 트레이닝 데이터세트들에 존재하는 프레임워크를 실행했다. 또한, 최적화 프레임워크에 센서 모션을 통합하는 이점을 입증하기 위해, 그들은 동일한 트랙들에서 현재 시스템을 실행하지만 데이터세트들의 공식 전처리된 클라우드들(탑재된 주행거리측정 시스템의 추정된 모션을 사용하여 비워프됨)을 사용한다. 이 경우에, 본 발명자들은 최적화 동안 임의의 비워프를 수행하지 않았다(즉, 그들은 주행 모듈만을 사용했다). 이 실험들에 대해 그들은 맵들에서 15cm의 복셀 크기를 사용했고 루프 폐쇄들을 수행하지 않았다. 도 2는 100m, 200m, ..., 800m 길이의 궤적 세그먼트를 사용하여 생성된 회전 오차 및 평균 상대 변환에 관한 두 실험 결과들을 도시한다(채택된 오차 측정법의 디스크립션에 대한 에이치. 스트라스다트(H. Strasdat), "효율적인 SLAM을 위한 로컬 정확성 및 글로벌 일관성(Local accuracy and global consistency for efficient slam)", 박사학위 논문, 임페리얼 컬리지 런던(Imperial College London), 2012 참조). 최적화 프레임워크로 비워프하는 클라우드를 통합함으로써 더 나은 결과를 얻을 수 있고 병진(translational) 및 회전 드리프트 모두를 감소시킨다는 것(특히 평균 0.3 포인트 백분율로 병진 오차(translation error)가 향상됨)이 분명하다. 라이다 데이터(LOAM)만 이용하는 키티 벤치 마크(Kitti benchmark)를 위한 최신 알고리즘은 더 잘 수행함을 주목한다. 그것은 오리지널 비워프된 포인트 클라우드들(original unwarped point clouds)에 직접적으로 검증되었으며 클라우드들을 1Hz에서만 처리한다는 점에 유의해야 한다.
루프 폐쇄들을 통합 한 후에 제안된 글로벌 최적화 전략에 의해 도입된 개선사항들을 평가하기 위해, 본 발명자들은 단일 루프를 포함하는 키티 데이터세트의 샘플 트랙에 대해 이 특징을 가능하게 하였다. 그들의 루프 탐지 메커니즘은 매우 단순하며 실제 애플리케이션에 적합하지 않다: 그것(one)은 현재 포즈와 이전 포즈 사이의 거리가 임계값보다 더 작으면 루프를 탐지한다. 그 다음, 그것(one)은 글로벌 맵에 마지막 클라우드를 등록하고 성공하면, 그것(one)은 발견한 대응들을 글로벌 최적화에 추가한다. 도 3은 고려된 트랙에서 루프 폐쇄의 영향을 도시한다. 또한 실험적 결과들은 두 주행 기록계 및 로컬 최적화된 궤적에 대한 글로벌 최적화의 개선사항을 도시한다.
본 발명자들은 그들의 시스템을, 또한 획득한 포인트 클라우드들에 대해 모션 보정을 수행하는 공개적으로 이용 가능한 벨로다인 SLAM [에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)," IVS, 2011]과 비교했다. 두 시스템들을 비교하기 위해, 본 발명자들은 실외 차량 데이터세트를 사용하여 축적된 드리프트를 측정하였다. 동일한 위치가 여러 번 재검토되기 때문에, 그들은 생성된 초기 로컬 맵을 이후의 각 통로(passage)에서 생성된 것으로 등록함으로써 드리프트를 추정했다. 초기 로컬 맵으로 현재 로컬 맵을 정렬하는 등록 변환의 병진 및 방향 구성 요소들은 얼마나 많은 드리프트가 축적되었는지 나타낸다. [에프. 무스만(F. Moosmann) 및 씨. 스틸러(C. Stiller), "벨로다인 SLAM(Velodyne SLAM)," IVS, 2011의 현저한 특성들 중 하나는 궤적 추정에 긍정적인 영향을 주는 휴리스틱 테스트들(heuristic tests)의 세트에 기초로 하는 맵 다듬기 전략(map refinement strategy)(적응력이라고 함)의 존재이다. 본 시스템은 문제를 적절하게 모델링함으로써 최적화 전략에 중점을 두기 때문에, 본 발명자들은 궤적 추정에 분석을 집중시키기 위해 오리지널 작업(original work)에서 이 특징을 사용하지 않았다. 각 루프 이후의 결과들은 표 1에 도시된다. 그것(one)이 오리지널 작업보다 더 적은 드리프트를 축적하는 것임이 주목될 수 있다. 또한, 본 시스템은 벨로다인 SLAM의 휴리스틱 전략들보다 더 적은 구성 파라미터들을 요구하는 문제의 자연적 공식(natural formulation)이다. 현재 시스템의 성능은 벨로다인 SLAM 시스템보다 실행 시간과 환경의 글로벌 맵을 유지하는 능력 모두에서 뛰어나지만, 오리지널 작업에서는 로컬 맵만 유지된다. 제1 루프에 축적된 드리프트와 다음 루프들에 대한 글로벌 맵의 사용을 정정하기(correct) 위한 글로벌 최적화 기술 및 루프 폐쇄의 사용의 경우, 글로벌 맵을 사용하는 기능이 확인되었다.
제안된 맵 표현의 성능을 평가하기 위하여, 본 발명자들은 인텔 제온(Intel Xeon) E5-2650 CPU를 갖춘 PC에서 실외 차량 데이터세트를 실행하면서 각 연산의 실행 시간을 측정하였다.
예상되는 바와 같이, 가산 연산들은, 특징 당 평균 시간 36.4ns인, 맵에 추가된 특징들의 수에 관해서 선형 시간에서 수행되며, 이는 HDL-32E 센서를 위한 1.81ms의 평균 클라우드 삽입 시간(average cloud insertion time)을 준다.
현재 SLAM 프레임 워크에서의 삭제 연산들은 kd-트리를 업데이트하기 직전에, 로컬 맵을 통해서만 수행된다.
표 1: 드리프트 오차 보고서
삭제될 특징들은 관심의 포인트(예를 들어, 마지막 추정된 센서 포즈) 주위에서 반경 서치를 수행함으로써 선택되고 글로벌 맵에 추가된다. 결과들은 평균 30.84ns 테이크하는 특징 당 일정한 삭제 시간을 보여준다.
로컬 맵으로부터 삭제될 특징들의 선택은 두가지 방식으로 수행될 수 있다: 복셀 구조를 사용하거나 조밀 리스트(dense list)를 반복함으로써. 도 4a는 서치 반경(search radius) 및 맵에 저장된 특징들의 수에 기초한 평균 서치 시간들을 도시한다. 알 수 있듯이, 조밀 리스트를 사용하는 것은 항상 동일한 성능(서치 반경과 관계없이, 저장된 특징들의 수에 선형임)을 제공한다. 반면에, 복셀 서치 시간들은 반경이 증가함에 따라 증가하며, 모든 경우들에서, 최악의 결과를 제시한다.
포인트들이 글로벌 맵으로부터 삭제되지 않으므로, 컴팩트 연산들은 로컬 맵에서만 발생한다. 새로운 kd-트리가 요청될 때까지 새로운 클라우드들의 추가를 연기하는 제안된 전략 덕분에, 창조된 구멍들의 수는 추가된 특징들의 수 보다 더 많으며, 시간의 단지 7.79%가 컴팩트 연산을 수행하는데 필요하다(only 7.79% of the times the number of holes created is greater than the number of features added, being necessary to perform a compact operation). 이러한 경우들에서, 실행 시간은 남아 있는 구멍들의 수에 관해 선형 작동(linear behavior)을 보여주고, 이는 각 연산의 평균 시간 1.81ms이다.
마지막으로, 루프 폐쇄 연산들에 대해, 글로벌 맵은 관심 영역 주위에서 질의되어야 한다. 로컬 맵에서 발생하는 바와 같이, 이 선택은 두 가지 방식들로 수행될 수 있다. 도 4b는 복셀 구조와 조밀 리스트 사용의 결과를 도시한다. 알 수 있듯이, 90m 미만의 서치 반경의 경우, 복셀은 조밀 리스트를 초과-수행한다(over-performs). 그러나, 반경이 커지면, 내부 희소 복셀 구조에서 캐싱이 실패하는 것은 큰 성능 손실을 가져온다.
이 시스템은 로컬 궤적 최적화가 활성화 되지 않을 때 12.93Hz(즉, 벨로다인 획득 속도에 관해 실시간으로)에서 클라우드들을 처리할 수 있고, 반면에 주파수는 로컬 궤적 최적화를 사용하여 7.5Hz로 줄며(decreases), 이는 실시간에 가깝다. 등록 및 로컬 최적화는 멀티-스레드(multi-thread)로 실행되도록 코딩되지 않으므로, 본 발명자들은 두 주행 기록계 및 로컬 최적화에서 성능이 향상될 수 있다고 예상한다는 것이 주목될 수 있다.
주행 기록계 모드에서 클라우드들을 등록하는데 소비된 시간은 전체의 54%이며, 반면 로컬 최적화 모드에서는 30 %의 시간이 주행 기록계 등록에 소비되고 35 %가 로컬 궤적 최적화에 소비된다. 등록은 최근접 이웃 서치 시간을 포함하는 반면, 주행 기록계 모드(제1 행)를 작업할 때 및 로컬 궤도 최적화(제2 행)를 수행할 때, 로컬 및 글로벌 맵들에 대해 수행된 각 작업의 영향은 표 2에 요약된다. 로컬 맵에 대한 추가, 삭제 및 컴팩트 연산들은 각각 추가(add), 삭제(delete) 및 컴팩트(compact) 열들에 각각 도시되며, 삭제 시간들은 글로벌 맵에 대한 추가 및 로컬 맵에 대한 포인트 선택을 포함한다. 전체 로컬 맵에 대한 kd-트리 빌딩의 영향은 kd-트리 열에 도시되고, 마지막으로, 글로벌 맵으로 로컬 맵의 삭제된 포인트들 추가의 영향이 추가 g(add g) 열에 도시된다.
표 2: 시스템 성능
| 주파수 | 추가 | 삭제 | 컴팩트 | kd-트리 | 추가 g. | |
| 주행. | 12.93Hz | 2.1% | 0.9% | 0.2% | 25.0% | 0.3% |
| 로컬. | 7.54Hz | 1.2% | 0.5% | 0.1% | 13.7% | 0.2% |
A.5. 결론
본 명세서는 이동하는 레이저들을 사용하여 획득된 포인트 클라우드들의 로컬 최적화를 위한 프레임워크를 제시한다. 특히, 본 발명자들은 획득된 각 포인트 클라우드를 시작 및 끝 위치 사이에서 보간함으로써 획득 모션을 최적화에 통합하였다. 본 발명자들은 공개적으로 이용 가능한 데이터세트들을 사용하여, 센서 운동(sensor movement)을 정확하게 모델링함으로써, 주행거리측정 추정 오차들(odometry estimation errors)을 감소시키는 것이 가능하다는 것을 실험적으로 보여 주었다.
또한, 그들은 희소 특징들에 의해 구성된 큰 복셀라이즈드 3D 맵들을 관리하기 위한 효율적인 데이터 구조를 제시한다. 맵 데이터 구조는 두 로컬 맵 최적화 및 오프라인 글로벌 최적화에 적합하다. 그들의 실험들은, 이전 문제의 경우, 그러한 구조는 실시간 주행거리측정 및 거의 실시간 로컬 다듬기를 제공한다는 것을 보여준다. 이러한 성능들은 로컬 궤적 최적화가 수행될 때(예를 들어, 최근접 이웃 서치, 클라우드 비워프하기(cloud unwarping)), 멀티-스레드 연산들을 이용함으로써 향상될 수도 있다.
B. 3D 참조 모델에 기초한 로컬리제이션, 추적 및 변화 분석
옥트리 또는 kd-트리에 기초한 접근 방식들은 최근접 이웃들(전형적으로 맵 크기에 관한 대수(logarithmic)) 및 양호한 확장성을 위한 합리적인 서치 시간을 제공한다. 이러한 접근 방식에서, 본 발명자들은 희소 데이터 구조들에 의해 제공된 확장성 및 조밀 복셀 표현들에 의해 제공된 고속 랜덤 액세스들(fast random accesses)을 결합하는 대안적인 복셀 표현을 도입한다.
정확한 포즈 추적을 보장하기 위하여, 바람직한 시스템은 ICP 알고리즘에 대한 양호한 기하학적 안정성을 보장하는 등록 프로세스에서 사용될 포인트들의 효율적인 선택을 수행한다. 그 다음, 아웃라이어들(outliers)을 효율적으로 폐기하는 전략은 등록이 전세계적으로 일관되는 (인라이어들(inliers)) 대응들을 단지 사용하여 수행되는 것을 보장한다.
본 바람직한 프레임워크는 사용자가 맵을 두고 갈 때에도 또는 관찰된 환경이 초기에 획득한 모델과 너무 많이 다른 경우(예를 들어, 가구가 변화됨) 실시간으로 추적을 할 수 있는 견고한 주행 기록계를 지상 검증 모델(ground truth model)에 관한 등록 프로세스에 융합한다. 알고 있는 맵(known map)을 다시-입력함(re-entering)으로써 시스템은 자동으로 정확한 위치를 복구하므로 드리프트 축적을 회피할 수 있다.
B.1. 아래에 설명된 바람직한 실시예들의 주요 이점들
1) 미리-계산된 디스크립터들의 세트를 사용하여 매우 큰 환경에서 센서를 로컬라이즈하고 지상 검증 맵에 대한 액세스를 회피하는 확장 가능한 장소 인식 전략.
2) 낮은 메모리 풋프린트(low memory footprint) 및 일정한 시간 가까운 이웃 서치를 제공하는 맵을 표현하는 효율적인 데이터 구조.
3) 기하학적으로 안정된 결과들을 보장하는 고속 포인트 선택 전략.
4) 등록 프로세스 동안 아웃라이어들의 간섭을 효율적으로 제거하는 인라이어 선택 기술(inlier selection technique).
5) 사용자가 비-맵핑된 영역들(non-mapped areas)을 네비게이트하는(navigate) 것을 허용하고 정적 아웃라이어들(static outliers)을 이용하는 지상 검증 맵에 대립하는 등록과 로컬 주행 기록계 사이의 융합.
6) 높은 정확성으로 실시간 결과들을 제공하는 완전한 시스템.
아래 설명은 다음과 같이 구조화된다: 섹션 B.2.는 바람직한 온라인 장소 인식 및 리로컬리제이션(relocalization) 전략을 제시하고, 섹션 B.3은 알고 있는 환경에서 사용자 포즈가 식별되면 온라인 추적을 수행하는 방법을 보여준다. 그 다음 섹션 B.4.는 실험적 결과들을 제시하고 마지막으로 섹션 B.5.은 결론을 이끌어 낸다.
B. 2. 장소 인식
장소 인식 구성 요소는 선험적 정보 없이 사용자 위치 및 방향의 초기 추정을 복구하는 것을 다룬다. 현재 센서 관찰이 주어진(given) 후보 위치들을 제공하도록 프레임 속도로 온라인으로 실행할 수 있다. 또한, 확장성 목적들을 위해, 멀리 있는 위치들(따라서 메모리에서 로드되지 않음), 또는 다른 맵들과 관련한 후보 포즈들을 제공할 수 있으므로 실행 동안 맵 모델을 사용해서는 안된다. 이러한 두 가지 요구들을 만족시키기 위하여, 전처리 단계는 (1) 이용 가능한 포즈들의 서치 공간을 감소시키고 (2) 특정 위치에 있을 가능성을 주어진 관찰이 효율적으로 추정하는 견고하고 컴팩트한 분류기를 트레인하기 위하여 바람직하게는 도입된다.
서치 공간 감소
그것(One)은 전체 맵 중에서 네비게이블 영역들(navigable areas)을 처음에 바람직하게는 검출한다. 이 영역들은 환경의 탐색 동안 센서가 배치될 수 있는 볼륨(volume)으로서 정의된다. 또한 그것(one)은 맵 모델 Z 축이 중력 벡터와 대략 정렬된다는 일반성의 손실 없이 일반적으로 가정할 수 있다.
본 발명자들은 지상 모션(ground motion)(백팩 또는 차량 장착 센서)에 중점을 두기 때문에, 네비게이블 영역들은 네비게이블 플로어(navigable floor) 위의 비교적 좁은 공간에 있을 것으로 예상된다. 이런 이유 때문에, 그것(one)은 플로어의 넓이(extents)를 먼저 식별한다. 플로어 추출은 환경
이 문제를 해결하기 위해, 본 발명자들은 도달 가능성(reachability)의 개념을 도입하는 것을 제안한다. 도달 가능한 셀(reachable cell)
여기서, (6)에서의
초기 도달 가능한 셀들은 수동으로 제공될 수 있지만, 맵의 생성은 도달 가능한 셀들 위로(over) 스캐너를 위치시킴으로써 수행되는 것이 바람직하기 때문에, 이 초기화는 획득 위치들 아래 플로어 셀들을 도달 가능한 것으로 가정하여 자동으로 수행될 수 있다.
이러한 조건들에 따라, 모든 플로어 셀들
플로어가 식별되면, 네비게이블 공간(navigable space)
정밀도(precision)의 손실 없이 네비게이블 공간을 더 감소시키기 위하여, 본 발명자들은 또한 효과적 네비게이블 공간
포즈 분류기
포즈 분류기를 구축하기 위해서, 그것(one)은 초기에 각각의 단일 관찰의 컴팩트한 표현을 정의할 필요가 있다. 특히 본 발명자들은 타데이, 피.(Taddei, P.), 산체크, 씨.(Sanchez, C.), 로드리구에즈, 에이. 엘.(Rodriguez, A. L.), 세리아니, 에스.(Ceriani, S.), 세퀘이라, 브이.(Sequeira, V.), 2014에 의해 정의된 간단 및 고속-계산 컴팩트 디스크립터(simple and fast-to-compute compact descriptor)를 채택한다. 깊이 센서들을 사용한 로컬리제이션 문제들의 모호성 검출(Detecting ambiguity in localization problems using depth sensors). 인(In): 3DV: 그것(one)은
그 다음 그것(One)은 알고 있는 효과적 네비게이블 공간
실행 동안 포즈 분류기는 현재 관찰이 주어진 가장 가능한 위치들을 복구하는데 사용된다. 특히, 본 발명자들은 두 가지 상이한 단계들에서 프로세스를 나눈다: 선험적 정보가 이용 가능하지 않을 때 가능한 위치들의 추정을 다루는, 초기화(initialization) 및 후보 위치들의 평가 및 이것들의 리샘플링(resampling)을 다루는, 업데이트(update).
초기화 단계에서, 그것(one)은 단일 센서 관찰이 주어지는 센서의 가능한 위치의 세트를 이끌어 낼 필요가 있다. 본 발명자들은 다음과 같이 진행할 것을 제안한다:
1. 마지막 센서 관찰이 주어지면, 그것(one)은 그것의 관련된 디스크립터
2. 그것(One)은 각 잠재적 위치
여기서
3. 마지막으로, 가중치들은
업데이트 단계는 센서가 주어진 그것들의 관련된 가중치들
1. 그것(One)은 주행 기록계 및 현재 관찰을 사용하여
2. 마지막 잠재적 위치들이 창조된 후 주어진 거리를 다닐(travelled) 때, 새로운 디스크립터
3. 각 가능한 위치
일단 모든 가중치들이 계산되면, 그것들은 최대 값 1을 갖도록 정규화된다.
4. 그것(One)은
수학식 (9)는 두보이스, 디.(Dubois, D.), 2006에 비슷한 가능성 이론으로 나타낸 베이스 정리(Bayes theorem)를 사용하여 각 가능한 위치에 관련된 가중치를 계산한다. 가능성 이론 및 통계적 추론(Possibility theory and statistical reasoning). 전산 통계 및 데이터 분석 (Computational Statistics and Data Analysis)51 (1), 47 - 69, 통계 분석에 대한 퍼지 접근 방식(Fuzzy Approach to Statistical Analysis). (9)의 개별 항목들은 다음과 같다:
수학식(10)은 초기화 단계의 단계 2에서와 같은 방식으로 포즈
잠재적 포즈들이 단일 위치에 수렴할 때까지, 즉 가중치들
전술한 바람직한 시스템은 단일 센서 관찰을 사용하는 고속 부트스트래핑(fast bootstrapping)으로 가능한 위치들(possible locations)의 반복적 재-가중치두기(re-weighting)에 기초한다. 큰 맵들에 대한 확장성을 위한 핵심 요소는 참조 맵들로부터 경량 디스크립터들(lightweight descriptors)의 미리-계산 및 관련된 포즈들을 구비한 kd-트리 구조에서의 그것들의 구성(organization)이다. 이 방식으로, 디스크립터 공간에서의 질의는 시스템을 제1 관찰이 주어진 후보 위치들로 효율적으로 채우는데 사용된다. 그 다음, 이후의 업데이트 단계들에서, 디스크립터 공간에서의 추정된 모션 및 질의들은 가능한 위치들의 새로운 세트 및 그것들의 관련 가중치들을 이끌어 내는데 사용된다.
이 접근 방식은 입자 필터들을 이용하는 [쓰런(Thrun) 외. (2005) 쓰런(Thrun), 버가드(Burgard), 및 폭스(Fox)] 및 [쓰런, 에스.(Thrun, S.), 폭스, 디.(Fox, D.), 버가드, 더블유.(Burgard, W.), 델라어트, 에프.(Dellaert, F.), 2001. 모바일 로봇을 위한 견고한 몬테 카를로 로컬리제이션(Robust monte carlo localization for mobile robots), 인공 지능(Artificial intelligence) 128 (1), 99-141]에 제시된 일반적인 몬테 카를로 로컬리제이션 기술들(general Monte Carlo Localization techniques)과 비슷하다(comparable). 그러나 그들의 기술들은 로컬리제이션 문제의 모든 단계들을 해결하기 위하여 가중화된 입자들의 세트(set of weighted particles)로 그것을 근사함으로써(approximating) 센서 확률 분포를 정밀하게 추정하는 것을 목표로 한다[런, 에스.(Thrun, S.), 버가드, 더블유.(Burgard, W.), 폭스, 디.(Fox, D.), 2005. 확률적 로보틱스(Probabilistic Robotics) (지능형 로보틱스 및 자율 에이전트(Intelligent Robotics and Autonomous Agents)). MIT 프레스(MIT Press)].
대신, 본 장소 인식 구성 요소는, 고유한 위치가 식별되면 정밀한 포즈 추적이 이후의 추적 구성 요소(섹션 B.3.)에 의해 수행되기 때문에, 고속(fast) 및 러프한(rough) 포즈 추정만 필요로 한다. 또한, 본 시스템은 가능한 위치들이 폐기되지 않도록 보장해야만 하고, 따라서 정밀한 센서 포즈 확률 밀도 추정을 요구하지 않는다. 이런 이유 때문에, 그것(one)은 섹션 B.4에 도시된 바와 같이, 네비게이블 공간의 조밀 샘플링을 요구하지 않는다. 그러나 낮은 샘플링 밀도는 잘못된 입자 초기화로 인해 특정 경우들에서 추적 손실이 발생될 수 있다. 이 문제는 업데이트 단계가 수행될 때마다 입자들의 새로운 세트를 이끌어 냄으로써 극복된다.
B.3. 포즈 추적
포즈 추적 구성 요소는 센서가 환경 주위를 이동할 때 센서의 로컬 모션을 계산하는 것을 다룬다. 이전의 추정된 포즈를 알면, 새로운 획득이 수신될 때, 본 발명자들은 맵과 관찰된 포인트들 사이의 로컬 등록을 수행한다. 결과 변환(resulting transformation)으로부터, 암시된 모션(implicit motion)이 유추되고 이전에 추정된 포즈에 적용된다.
실시간으로 센서 포즈를 정확하게 추적하기 위해서, (1) 최근접 이웃 서치들을 위해 특별히 설계된 데이터 구조를 이용하는 것 및 (2) 입력 포인트들의 안정적이고 대표적인 서브세트를 정확하게 선택하여 등록을 수행하는 것이 중요하다. 그럼에도 불구하고, 정확한 추정들을 보장하기 위하여, (3) 아웃라이어들은 적절하게 검출되어야 한다. 이것은 특히 몇몇의 큰 지배적인 방향들을 포함하는(contains few large dominant directions) 퇴화한 환경들(degenerate environments), 예를 들어 긴 통로들, 터널들 또는 잘못된 등록들을 방해하는 적절한 포인트들이 많지 않은 대칭 환경에서 중요하다.
맵 표현
현재 제안된 맵 구조에서, 요소들의 두 개의 다른 리스트들은 저장되고 동기화된다: 특정 복셀 크기로 구축된, 복셀들의 조밀 그리드(dense grid)
이 맵 표현으로, 모든 최근접 이웃 서치들은 오프라인으로 미리-계산되고 조밀 그리드 내에 저장된다. 실행 시, 세계 좌표들에서의 질의 포인트가 주어지면, 본 발명가들은 그것을 포함하는 복셀을 계산함으로써 맵에서 그것의 최근접 이웃의 계산을 근사한다. 그 다음, 셀 상태가 풀 또는 니어(full or near)인 경우, 그것(one)은 관련된 평면을 반환한다(returns). 그렇지 않으면, 그것(one)은 이웃이 없다는 것을 알려준다.
제안된 접근 방식에 있어서, (1) 단일 서치 동안 수행된 모든 연산들은 맵의 크기에 관계없이 일정한 실행 시간을 제시한다는 것을 주목한다. 비교하여, kd-트리 구조들은 평균적으로 맵의 크기에 관해 대수 시간을 제공한다. 또한, 적절하게
큰 환경들을 표현하기 위해 조밀 복셀 구조들을 사용하는 것의 주요 단점은 그것들의 메모리 풋프린트에 있다. 본 발명자들은 중간 노드들이
포인트 선택 전략
그것(One)은 현재 획득의 포인트들의 선택된 서브세트가 등록 동안 덜 정의된 자유도를 정확하게 락하는데(to correctly lock the less defined degrees of freedom) 충분히 대표적인지 보장해야 한다. [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz) 및 레보이(Levoy)]에서 설명된 작업과 유사하게, 본 발명자들은, 포인트-평면 거리(point-plane distance)에서 변환 벡터
작은 각도 근사(small angles approximation)를 사용하여 회전들을 선형화함으로써.
수학식(14)에서의 회전만을 고려하면, 포인트-평면 거리에 도입된 오차는 시찰 광선(viewing ray) 및 그의 법선 사이의 각도 및 센서에 관한 포인트 거리에 비례한다. 이것은 먼 포인트들과 시찰 광선에 관해 가능한 한 수직인 법선을 선택하게 한다. 불행하게도 이동하는 레이저는 균일하게 분산되지 않은 포인트들을 생산하고, 특히 멀리 있는 영역들은 더 낮은 포인트 밀도로 획득되어 제대로 추정된 법선들을 제공하지 못한다. 또한, 센서가 대칭 축에 접근할 때, 원형 환경들에서 시찰 광선과 법선 사이의 각도는 사라진다.
본 발명자들은 바람직하게는 병진들 및 회전들 사이를 명시적으로 구별하여 이 문제들을 해결한다. 병진들을 적절하게 제약하기(constrain) 위하여, 그들은 포인트 법선들만을 고려한다. 그들은 병진
그것의 관련된 고유 벡터들
세 개의 빈들이 균형을 이루었을 때, 병진 자유도(translation degrees of freedom)는 동등하게 제약된다. 반면, 퇴화의 경우, 예를 들어 긴 복도, 하나의 빈은 다른 것보다 상당히 적게 채워질 것이며, 예를 들어 관련된 법선들이 종축에 평행한 포인트들을 포함하는 것이다.
방향에 관해, 그것(one)은 위치들과 법선들 사이의 교차 곱(cross products)을 사용하여 주 회전 축(principal rotation axes)을 계산한다. 결과 공분산 매트릭스는 다음과 같이 정의된다:
병진들과 유사하게, 그것(one)은 관련된 고유 벡터들
각 빈에 대해, 그것(one)은 센서에 대한 그것들의 거리에 따라, 포함된 위치들의 가중된 평균으로서 회전 중심을 근사하고(이 근사는 센서들에 대해 유효하다. 다른 시야에 대해서(For other fields of view) 대안적 근사가 요구될 수 있다):
그 다음, 빈에서의 각 포인트에 대해, 그것(one)은 대응하는 고유 벡터
수학식(15)에서의 제1 항목은 회전 축에 직각도에 따른 주어진 포인트 법선의 영향을 가중한다(더 수직할수록 더 높은 가중). 제2 항목 분자는 회전의 중심을 포인트에 연결하는 벡터와, 회전 축 및 법선에 의해 정의된 평면에 수직인 벡터 사이의 각도를 계산함으로써
작은
등록 및 인라이어 선택
등록 목적들을 위해, 본 발명자들은 대응들의 나머지와 일치하지 않는, 맵 포인트들
본 발명자들은 초기에 전술한 병진들과 관련된 빈들을 고려한다. 그 다음 그들은 회전이 모든 축들에 대해 적절하게 정의되었는지 평가한다. 주어진 축에 해당하지 않는 경우, 회전을 더 잘 제약하는 포인트들, 즉 가장 큰
그 다음, 그들은 새로운 센서 포즈에 초기 추측을 수행하기 위해 (두 개의 이전에 등록된 포즈들을 사용하여) 마지막 추정된 모션(last estimated motion)을 고려한다:
이 추측으로부터 시작하여, ICP 알고리즘의 각 반복은 포인트들의
을 최소화하는 강체 변환(rigid transformation)
각 세트의 대응들이 6 자유도 모두에 적절히 락시키는(properly lock on all six degrees of freedom) 관찰된 포인트들에 대해 정의됨을 고려하면, 이것들의 관련된 강체 변환들은 유사할 것으로 예상된다. 그러나, 아웃라이어들의 존재 및 각 세트에 대한 포인트들의 감소된 수를 고려할 때, 결과 변환들은 랜덤하게 달라질 것이다. 그것(One)은 이러한 분포로부터 벗어나는 세트들을 제거함으로써 가우시안 분포 및 식별 아웃라이어 대응들과의 추정 오차를 근사할 수 있다. 초기에 모든 변환들을 고려하고 관련된 정규 분포(associated normal distribution)
여기서, 회전들이 요(yaw), 피치(pitch), 롤 각도(roll angle)로 이루어진, 벡터로서 나타낸 각 세트와 관련된
1% 보다 더 작은 관련된 확률을 구비한 변환들은 폐기된다. 이 프로세스는 변환들이 폐기되거나 인라이어 변환들의 최소 수에 도달할 때까지, 반복적으로 되풀이된다(각 단계에서 남아 있는 변환들로
도 7은 제안된 인라이어 선택 전략 이후의 결과들을 도시한다. 모든 독립적으로 계산된 변환들이 잘 정의된 중심 위치 주위에 분포된 것을 주목한다. 또한 아웃라이어 제거의 각 반복 이후, 분포들은 인라이어들로서 마크된 모든 대응들을 고려할 때, 최종 추정 변환으로 빠르게 수렴된다는 것을 주목한다.
주행 기록계 통합
전반적인 시스템의 견고성을 향상시키기 위해, 본 발명자들은 제안된 센서 추적 구성 요소를 주행 기록계와 바람직하게는 결합한다.
포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들은 kd-트리로 저장된다. 새로운 획득이 주어지면, 등록 알고리즘이 포인트들의 세트들(
여기서,
주요 이점들은 (a) 참조 맵에서 누락된 표면들이 등록 프로세스 동안 이용될 수 있고, (b) 시스템이 사용자를 연속적으로 추적함으로써 비-맵핑된 영역들을 탐색하는 것을 허용한다는 것이다.
B.4. 결과들
제안된 로컬리제이션 및 추적 시스템을 평가하기 위해, 본 발명자들은 LIDAR 스캐너로 획득된 네 개의 다른 데이터세트들을 사용하여 몇 가지 테스트들을 실행했다: (a) 아래층에 큰 실험실이 있고 1 층에 여러 사무실들이 있으며, 1400의 근사된 표면을 구비한 두 개의 플로어 빌딩; (b) 1800의 근사된 표면 및 단일 플로어를 구비한 컨퍼런스 빌딩(conference building); (c) 천장이 매우 높고 3000의 근사된 표면을 구비한 산업 워크숍(industrial workshop); (d) 2.2의 총 길이를 구비하고, 차량에 의해 탐색될 수 있는 큰 지하 터널(large underground tunnel). 모든 모델들은 야오, 제이.(Yao, J.), 러게리, 엠.알.(Ruggeri, M.R.), 타데이, 피.(Taddei, P.), 세퀘이라, 브이.(Sequeira, V.), 2010, 3D 선형 및 평면 특징들을 사용한 자동 스캔 등록, 1 (3), 1-18의 방법을 사용하여 공통 참조 프레임에 획득들을 등록함으로써 얻는다. 최종 맵은 크기 1 또는 10의 복셀 서브샘플링 단계(voxel subsampling step) 후에 포인트들 및 관련된 법선들(및, 존재하는 경우, 컬러들)을 저장함으로써 생성된다.
이 데이터세트들에 대해, 본 발명자들은 세 개의 다른 구성들로 장착된 벨로다인 HDL-32E 센서(Velodyne HDL-32E sensor)를 사용하여 시스템을 평가하였다: 보행용 백팩(backpack for walkthroughs), 세그웨이(Segway) 및 차량의 상부에. 결과들은64 비트 운영 시스템 및 RAM 8GB을 구비한 인텔 제온(Intel Xeon) CPU @ 2.80GHz를 구비한 컴퓨터를 사용하여 생성되었다.
장소 인식
장소 인식기에 대한 서치 공간을 감소시키기 위하여, 모든 맵들에 대한 플로어들은 제안된 플루딩 알고리즘(proposed flooding algorithm)을 사용하여 계산되었다. 이 단계에서, 본 발명자들은 플로어 제한들의 매우 상세한 표현이 필요 없기 때문에, 큰 복셀 셀들(20)을 사용하여 계산을 수행하였다. 세 개의 빌딩들에 대한 평균 플로어 계산 시간은 터널 데이터세트가 3.91을 테이크하는 동안 단지 0.14이었다. 도 8은 사무실 빌딩에 대한 결과들을 도시한다.
일단 플로어들이 계산되면, 본 발명자들은 유효 네비게이블 공간
도 9(좌측)는 플로어 위의 평균 높이에 대한 편차의 히스토그램을 도시한다. 결과는
방향에 관해, 그것(one)은
이 파라미터들이 주어지면, 서치 공간에 대한 전체 볼륨 감소(위치만을 고려함)는 표 4에 도시된다. 일반 빌딩들(사무실 (a) 및 회의 (b) 빌딩)에 대해, 결과 서치 공간은 맵의 전체 볼륨의 약
표 4: 네비게이블 공간 감소(Navigable space reduction)
| 맵 | 볼륨 ( | 네비게이블 ( | 비율 |
| (a) | 26214.4 | 677.6 | 2.58% |
| (b) | 19660.8 | 564.3 | 2.87% |
| (c) | 1101000.5 | 669.9 | 0.06% |
| (d) | 72170864.6 | 11329.6 | 0.02% |
장소 인식 성능만을 측정하기 위해, 본 발명자들은 수동으로 초기화된 센서 위치를 구비한 추적 구성 요소를 이용함으로써 지상 검증 트랙들을 추정하였고 다섯 개의 획득 시퀀스들을 사용하였다. 그 다음 그들은 세 개의 다른 빌딩들을 공동으로 사용하여 장소 인식 분류기를 트레이닝했다. 각 단일 트랙은 장소 인식 구성 요소만을 사용하여 처리되었다(분류에 기초하여 추적함). 그들은 사용자가 이동하는 특정 빌딩에 대한 정보를 제공하지 않았으므로, 제1 후보 솔루션들은 세 가지 환경들 모두에 걸쳐 균일하게 배포되었다(spread). 실험들 동안, 센서가 2 보다 많이 이동될 때마다 장소 인식기는 질의되었다(queried). 사용된 디스크립터의 빈들의 총 수는
그들은 시작 위치로부터 대략
포즈 추적
포즈 추적 구성 요소는 그것의 구성 요소의 각각을 격리하고 개별 결과들(맵 표현, 포인트 선택, 인라이어 선택 및 주행 기록계 통합)을 생성함으로써 및 완전한 시스템의 전체 정확성 및 성능을 측정함으로써 평가된다.
맵 표현
제안된 맵 표현의 확장성을 평가하기 위해 그리고 표준 kd-트리들에 관해 그것이 어떻게 수행되는지 비교하기 위해, 본 발명자들은 메모리 내의 각 데이터세트의 전체 복셀 구조 로딩(loading)의 공간 요건들을 측정하였고, 등록 프로세스에서 최근접 이웃 서치들을 격리하여 질의 당 평균 계산 시간을 추정하였다.
표 5는 복셀 크기(제2 열) 및 완전한 복셀 구조(complete voxel structure)의 치수(dimensions)(제3 열)를 고려하여 각 데이터세트의 메모리 풋프린트(제4 열)를 도시한다. 산업 빌딩(c)에 대해, 두 가지 경우들은 고려된다는 것을 주목한다: 내부만 저장된 오리지널 맵(c)-i, 및 외부에 대한 정보를 추가함으로써 오리지널 맵(c)-o을 확장하는 것.
또한, 모든 경우들에서, 복셀 데이터 구조 메모리 크기가 그것들을 생성한 포인트 클라우드 보다 더 작다는 것을 주목하는 것이 중요하다.
표 5: 다른 데이터세트들에 대한 맵 크기들.
표 6은 표준 kd-트리에 관해 제안된 맵 표현의 최근접 이웃 서치 시간을 비교한다. 이 테스트에 대해, 두 구조들은 동일한 수의 포인트들을 포함하였고, 질의들은 동일한 데이터를 사용하여 수행되었다. 2열 및 3열에서의 결과들은 포인트 당 나노세컨즈(nanoseconds per point)로 나타내고 모든 질의들을 고려한 평균 시간을 표현한다. 4열은, 공간의 이산화(discretization)로 인해, 제안된 맵 표현의 평균 최근접 이웃 오차를 도시한다. 5열은 맵에서의 총 포인트 수를 도시한다.
표 6: 표준 kd-트리 구현과 비교된 제안된 맵 표현에 대한 맵 평균 최근접 이웃 계산 시간들 및 오차들.
| 맵 | 복셀 | kd-트리 | 오차 | 크기 |
| (ns) | (ns) | (mm) | (# 포인트들) | |
| (a) | 53.7 | 573.3 | 0.220 | 184570 |
| (b) | 54.99 | 687.61 | 0.244 | 149030 |
| (c) | 77.32 | 744.46 | 0.083 | 1308380 |
| (d) | 69.23 | 876.26 | 0.185 | 9049443 |
평균 서치 시간은 kd-트리들을 사용하는 것 보다 항상 약 10 배 더 빠르다는 것을 주목한다. 또한, 10의 복셀 셀 크기가 사용되었던, (a), (b) 및 (d)의 경우들에서 전체 오차는 약 0.2이라는 것을 주목한다. 이것이 (c)의 경우와 같이, 5로 감소되면, 오류는 0.08로 떨어진다.
포인트 선택
실험들에서, 본 발명자들은 기하학적 안정성을 보장하기 위한 포인트 선택 기술이 항상 견고한 결과들을 제공한다는 것을 관찰했다. 또한, 그들은 이 특징을 사용하지 않으면, 통로들을 네비게이트 할 때 추적하는 것이 손실되는 것을 관찰했다. 그러나, [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz), 및 레보이(Levoy)]에 의해 제안된 기술에 관한 결과들의 안정성을 비교할 때 상당한 차이들은 검출되지 않았다. 반면에, 사용된 비닝 전략(binning strategy)은 그것들의 락 기능들(locking capabilities)에 따라 구분한 포인트들(sorting points)을 회피하기 때문에, 실행 시간은 본 기술을 구비하는 것이 항상 더 작았다.
대칭 환경들에 대한 포인트 선택 전략을 평가하기 위한 추가 테스트가 수행되었다. 이 경우에, 본 기술은 정확한 포인트들을 선택함으로써 방향을 적절하게 락(locked)했지만 [젤판드(Gelfand) 외. (2003) 젤판드(Gelfand), 이케모토(Ikemoto), 러신키에위크즈(Rusinkiewicz), 및 레보이(Levoy)]에 제안된 것은 실패했다. 이 경우, 현재 포인트 선택 전략(present point selection strategy)은 포인트들과 센서 사이의 거리에 영향을 받지 않는다. 이 방식으로, A 및 C 경우들에 도시된 것과 같은 중요한 포인트들은 선택될 수 있다. 이 사실은 B 경우에 대한 결과들을 비교할 때 분명하다. 현재 선택(present selection)이 거리에 따라 정규화되었으므로, 가장 먼 포인트들의 효과는 가장 가까운 것들의 선택을 손상시키지(compromise) 않는다.
인라이어 선택
제안된 인라이어 선택 전략을 평가하기 위하여, 본 발명자들은 다음과 같이 진행했다: 본 발명자들은 벨로다인 HDL-32E 센서를 이동하지 않고 삼각대에 장착하였다. 제1 프레임은 참조 모델로서 사용되었고, 실험의 나머지 동안, 아웃라이어들이 점진적으로 추가되었다(예를 들어, 사람들은 주위를 이동하였고 물체들은 이동하였음). 이 방식으로, 그들은 참조 프레임에서 각 포인트와 그것의 최근접 이웃 사이의 거리를 평가함으로써 인라이어들 대응들을 분류할 수 있었다.
도 4는 입력 클라우드에서의 아웃라이어들의 수에 관한 현재 인라이어 전략의 최종 정밀도를 도시한다. 아웃라이어들의 총 수가
주행 기록계 통합
포즈 업데이트 구성 요소에서 제안된 주행 기록계 통합의 이점들을 설명하기 위해, 본 발명자들은 빌딩 (a)의 내부로부터 시작하여, 비 스캔된 방으로 이동하고, 빌딩의 바깥으로 나가고 다른 문으로부터 들어감으로써 일부 루프들을 수행한 추적을 기록하였다. 도 13은 달성된 결과들을 도시한다.
알고 있는 환경(A, C 및 D 경우들)을 센서가 벗어날 때, 추적은 주행 기록계에만 의존하는 것을 주목한다. 또한, 알고 있는 맵과 비-맵핑된 영역들 사이의 전이들(transitions) 동안, 제안된 포인트 선택 전략은 이러한 상황들을 다루기 위한 임의의 특별한 로직(any specific logic) 없이 점차적으로 가장 편리한 맵으로부터 더 많은 정보를 테이크한다(예를 들어, C 경우에 도시된 전이를 테이크함, 바로(right)). 관찰될 수 있듯이, 제안된 등록 알고리즘의 정확성은, 비-맵핑된 영역들을 탐색한 후 사용자가 맵에 다시 진입할(reenters) 때, 주행 기록계 드리프트가 충분히 낮아서 참조 맵을 사용한 추적이 계속될 수 있음을 보장한다. 마지막으로, 센서가 알고 있는 공간(known space) 안에서 이동할 때, 등록에 사용된 포인트들 중 일부가 주행 기록계로부터 테이크된다는 것을 주목한다. 이것은 일반적으로 참조 맵에 유효한 대응이 없는 포인트들의 존재 때문이지만, 그것들은 주행 기록계의 로컬 맵에서 수행된다. 예를 들어, B 경우에서의 환경은 센서가 외부로부터 포인트들을 획득하는 것을 허용하는 큰 윈도우들(big windows)을 갖고 있으며, 이는 오리지널 맵에서 존재하지 않는다.
전체 정확성 및 성능
제안된 포즈 추적 기술의 전체적인 정확성을 측정하기 위해, 본 발명자들은 각각의 클라우드 등록 후에 ICP 잔류들(ICP residuals)의 분석을 수행하였다. 이는 커버(cover)할 영역이 정확한 외부 참조 시스템들을 사용하기에는 너무 크기 때문에, 큰 실내 시나리오에 걸쳐 자유 모션에 대한 지상 검증 궤적의 결핍에 의해 도입된다(imposed).
도 14(상부)는 두 고전적인 포인트-평면 ICP 알고리즘 및 현재의 견고한 ICP에 대한 아웃라이어-자유 시나리오(outlier-free scenario) 내부에서 이동할 때의 평균 포인트-평면 거리들을 도시한다. 아웃라이어들의 부재는 10의 복셀 셀 크기를 사용하여 표현된, 지상 검증 모델을 스캔한 직후에 획득들을 수행함으로써 보장되었다. 두 접근 방식들에 대한 잔류들은, 2를 정점으로, 거의 동일하며, 이는 벨로다인HDL- 32E 센서(Velodyne HDL-32E sensor)의 공칭 정확성 내에 있다.
반면, 도 14(하부)는 변화들이 환경에 도입될 때의 중요한 차이들을 도시한다. 이 경우, 환경을 재구성한 후 트랙이 기록되었다. 현재 견고한 ICP 구현은, 인라이어 대응들의 효율적 선택 때문에, 고전적인 포인트-평면 ICP를 사용하는 것보다 훨씬 나은 결과들을 제공한다. 이 경우, 잔류들은 도시된 히스토그램을 계산하기 위해 포인ㅌ-평면 거리 추정에서의 아웃라이어들의 간섭으로 인해 3에서 피크한다(peak).
시스템이 실시간으로 결과들을 제공해야 한다는 것을 감안하면, 본 발명자들은 모든 데이터세트들에서 모션의 다른 종류에 대한 포즈 추적 동안 전체 성능을 측정했다. 도 15는 각 클라우드를 등록하고 보행 설정 시나리오를 위해 센서의 새로운 포즈를 계산하는데 소요된 실행 시간을 도시한다. 이 프로세스는 일반적으로 20 내지 30ms 사이가 테이크되지만, 일부 프레임들에서는, 약 100ms 피크가 관찰된다. 이 피크들은 주행 기록계를 위한 kd-트리 생성과 관련이 있으며, 이는 트리의 마지막 업데이트의 시간 이후 고정된 거리를 다녔을 때 트리거된다(triggered). 센서 이동 속도가 빠를수록, 이 이벤트(event)가 전반적인 성능에 영향을 미칠 것이다. 프레임 드롭(frame dropping)을 회피하기 위해, kd-트리 생성 및 주행 기록계는 다른 스레드들에서 실행되며 후자는 새 것이 준비될 때까지 마지막 이용 가능한 kd-트리(last available kd-tree)를 사용한다.
표 7에서, 시스템의 평균 성능은 세 가지 상이한 설정(보행, 세그웨이 장착 및 차량 장착)에 대해 도시된다. 센서 이동 속도가 빠를수록, 주행 기록계 kd-트리 업데이트들로 인해 성능이 가장 낮다는 것을 주목한다. 벨로다인 HDL-32E 센서가 12Hz에서 판독들을 제공하기 때문에, 모든 경우들이, 추가 연산을 수행하는 데 프로세서 시간을 남겨두는(leaving), 실시간 결과들을 보장한다. 마지막으로, 현재 구현에서 모든 추적 계산들이 단일 CPU 코어(single CPU core)를 사용하여 수행되었음을 주목한다.
표 7: 다른 설정들에 대한 시스템 실행 성능.
| 설정 | 성능 |
| 백팩 장착 | 39.98 |
| 세그웨이 장착 | 27.36 |
| 차량 장착 | 23.34 |
5 결론
본 발명은, 매우 큰 환경들의 탐색을 허용하면서, 맵 크기에 실시간 결과들 및 스케일들을 제공하는 실내 로컬리제이션 애플리케이션들을 지원하기 위한 바람직한 실시예들을 구비한 완전한 시스템을 제시한다.
전처리 단계를 추가함으로써, 주행 기록계를 사용하여 측정된, 센서의 로컬 모션 및 컴팩트 및 고속-계산 디스크립터(compact and fast-to-compute descriptor)를 이용하는 효율적인 장소 인식기가 제안된다. 장소 인식기의 트레이닝 동안 시스템의 특정 연산 모드(particular operation mode)와 관련된 물리적 제약들을 고려한 서치 공간 감소 전략이 제안된다.
포즈 추적은 일정한 최근접 이웃 서치 시간을 제공하고, 메모리 요건들을 낮게 유지하는 효율적인 맵 표현을 사용하여 수행된다. 현재 등록 알고리즘은 (1) 기하학적 안정성을 보장하는 포인트들을 선택하고, (2) 아웃라이어들을 효과적으로 폐기하며, (3) 등록을 위해 참조 맵에 존재하지 않는 포인트들을 사용하고 비-맵핑된 영역들을 통해 네비게이트 할 수 있는 로컬 주행 기록계와 융합됨으로써 견고한 결과들을 제공한다.
실험 결과들은, 매우 확장성이 있는 시스템이, 많은 아웃라이어들이 도입될 때에도, (사용된 센서의 공칭 정확성 내에서) 매우 정확한 결과들을 생산하고 추가 연산들을 실행하기 위해, 많은 CPU 시간을 남기는 프레임 속도로 추적을 수행함을 입증했다.
Claims (16)
- 환경, 특히 GPS-거부 환경에서의 실시간 맵핑, 로컬리제이션 및 변화 분석을 위한 방법에 있어서,
(A) 상기 환경의 3D 참조 맵이 존재하지 않는 경우, 다음의 단계들에 의해 상기 환경의 3D 참조 맵을 구성하는 단계,
(a) 3D 스캐너 데이터를 제공하기 위해, 적어도 초 당 5 프레임의 속도로 모바일 실시간 레이저 범위 스캐너(1)를 가지고 상기 환경을 획득하는 단계,
(b) 상기 레이저 범위 스캐너(1)의 복수의 포즈들의 각각에 대한 상기 3D 스캐너 데이터를 사용하여 맵 표현을 구성하는 단계 - 각 포즈는 상기 3D 스캐너 데이터에 의해 정의된 관련된 포인트 클라우드를 갖고, 상기 맵 표현은 큰 영역들에 걸친 확장성, 고속 최근접 이웃 서치 및 일정한 시간 내에 랜덤 샘플 액세스를 위해 구성되는 데이터 구조를 갖음 -, 및
(c) 3D 동시 로컬리제이션 및 맵핑(3D SLAM) 프레임워크를 사용하여 상기 환경에 대한 상기 3D 참조 맵을, 상기 맵 표현을 사용하여 구축하는 단계
를 포함하고,
상기 구축하는 단계는,
(i) 주행 기록계 모듈을 사용하여, 로컬 맵 표현에 마지막 포인트 클라우드의 등록에 기초하여 상기 레이저 범위 스캐너(1)의 현재 포즈를 추정하는 단계,
(ii) 로컬 궤적 최적화 모듈을 사용하여, 상기 로컬 맵 표현에서의 드리프트를 최소화하기 위하여 포인트 클라우드들의 세트의 상기 궤적을 다듬는 단계, 및
(iii) 상기 3D 참조 맵을 형성함으로써, 궤적들의 루프 폐쇄들을 고려하여 상기 환경의 전체 맵을 재구성함으로써 글로벌 궤적 최적화를 오프라인 수행하는 단계
를 포함하고:
및
(B) 상기 환경의 기존 3D 참조 맵에 기초하여, 다음의 단계들에 의해 상기 환경의 실시간 맵핑, 로컬리제이션 및 변화 분석을 수행하는 단계
(d) 3D 스캐너 데이터를 제공하기 위해 적어도 초 당 5 프레임의 속도로 실시간 레이저 범위 스캐너(1)를 가지고 상기 환경을 획득하는 단계,
(e) 장소 인식 동안, 장소 인식 동안 상기 레이저 범위 스캐너 포즈의 사전 지식없이 상기 환경 내의 상기 레이저 범위 스캐너(1)의 현재 위치를 식별하고, 실시간으로 상기 스캐너를 셀프-로컬라이즈하기 위하여 장면 내의 감소된 서치 공간을 사용하여 상기 레이저 범위 스캐너(1)에 의해 획득된 상기 장면의 간단 및 컴팩트 디스크립터들을 미리-계산하는 단계,
(f) 상기 환경에서 상기 스캐너의 로컬리제이션의 결정 후, 최근접 이웃 정보를 포함하는 데이터를 이용하는 표준 반복 최단 포인트 방법을 사용하여 상기 환경의 기존 3D 참조 맵 내에 현재 스캐너 데이터를 등록함으로써 상기 스캐너 포즈를 추적하는 단계,
(g) 상기 3D 참조 맵에서의 최근접 포인트 및 상기 현재 스캐너 데이터에서의 각 스캔 포인트 사이의 거리를 산출하는 단계 - 변화 분석은 임계값을 이 거리에 적용하고, 참조 모델에서 대응하는 이웃을 가지지 않는 상기 현재 스캐너 데이터에서의 각 포인트가 변화로 간주됨으로써 수행됨 -,
(h) 상기 3D 참조 맵 및 상기 현재 스캐너 데이터에 관한 정보를 실시간 사용자 인터페이스에 디스플레이하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 로컬 궤적 최적화 모듈은 마지막 등록된 세트까지 구축된 맵에 대하여 포즈들의 세트 및 그것의 관련된 포인트 클라우드들에 의해 구성된 궤적 프레그먼트를 최적화하는 로컬 윈도우 메커니즘을 포함하고,
상기 로컬 윈도우 메커니즘은, 리스트에서의 첫번째 및 마지막 포즈 사이의 상기 거리가 임계값보다 더 클 때, 클라우드 포즈들이 최적화되고 새로운 리스트가 다듬어진 포즈 및 입력 클라우드들과 함께 생산되도록, 동작하는
방법. - 제1항에 있어서,
상기 데이터 구조는 3D 포인트들을 네이티브하게 다루도록 설정되고, 상기 맵 표현에서 특징들의 컴팩트 조밀 리스트를 인덱스하는데 사용되는 희소 복셀라이즈드 구조에 의해 구성된 하이브리드 구조에 기초하며, 탐색된 공간에 대한 확장성으로 상기 데이터의 맵 크기 및 효율적인 저장으로부터 독립적으로 복셀 좌표들에서의 일정한 시간 랜덤 액세스를 허용하는
방법. - 제1항에 있어서,
상기 데이터 구조는 저장된 상기 데이터의 다섯 가지의 다른 표현들을 유지하여, 각각의 맵 업데이트 후에 내부 데이터 표현들 사이의 일관성을 부여하며,
상기 다섯 가지의 표현들은,
(i) 특징들의 컴팩트 및 조밀 리스트및 각 요소
인, 마지막 요소에 대한 인덱스
는, 상기 맵에서의 특징에 관련된 모든 상기 정보를 포함하고,
(ii) 각 요소인, 컴팩트 및 조밀 유효 마스크
는,
을 보장하는, 그것의 대응하는 샘플
이 유효한지 아닌지를 나타내는 부울 값이고,
(iii) 각 요소인, 구멍들의 리스트
는
이 유효하지 않아서,
임을 나타내고,
(iv) 각 셀에 저장하는, 파라미터화 가능한 셀 크기로 구축되는, 희소 복셀 표현
,
에서의 그것의 대응하는 특징의 인덱스, 여기서,
에서의 셀들 및
에서의 특징들은 상기
의 셀 크기 및 상기
의 위치에 기초한, 일대일 방식으로 관련되며, 및
(v) kd-트리는 상기 맵에서 최근접 이웃 서치들을 수행하는데 사용되고, 그것의 메모리 풋프린트를 낮게 유지하기 위해 상기 조밀 리스트
에 참조들을 단지 저장하는
방법. - 제4항에 있어서,
중심 위치 및 반경에 의해 나타낸 관심의 영역이 주어지면, 이너 특징들은에 저장된 요소들을 루핑함으로써 선택되고, 상기 kd-트리
는 최근접 이웃 서치들에 대한 고속 메커니즘으로서 재구축되는
방법. - 제1항에 있어서,
단계 (e)는 상기 단계 (d)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고,
상기 단계 (e)는,
(e1) 마지막 3D 데이터에 기초하여, 디스크립터 공간에서 임계 반경이 주어진
에 대한 방사상의 서치를 수행함으로써, 관련된 디스크립터
을 계산하고 후보 위치들의 세트
를 복구하는 서브단계, 범위 값들을 수평으로 시프트함으로써 추가 입력 디스크립터들을 계산함으로써 상기 후보 위치들을 증가시키며, 각 디스크립터는 그것의 로컬 축에서 회전하는 경우 상기 스캐너가 생산할 판독들에 대응하고 후보 위치들의 각 결과 세트가
에 따라 회전함,
(e2) 각 잠재적 위치에 가중치
를 관련시키는 서브단계:
여기서는
로부터 검색된 상기 위치
에 관련된 디스크립터이고,
은 완벽하게 매칭하는 디스크립터들에 대해 1이고 서치 스피어 경계에 대한 디스크립터들에 대해 0임, 및
(e3)에서 가중치들을 수집하고
갖도록 이 가중치들을 정규화하는 서브단계
를 더 포함하는 방법. - 제1항에 있어서,
단계 (e)는 상기 단계 (d)의 스캐너 데이터에 기초하여 상기 스캐너의 가능한 위치들의 세트의 상기 식별을 포함하고,
상기 단계 (e)는,
(e1) 마지막 3D 스캐너 데이터에 기초하여, 관련된 디스크립터를 계산하고 후보 위치들의 세트
를 복구하는 서브단계, 상기 후보 위치들은
와 유사한 디스크립터를 갖음,
(e2) 각 잠재적 위치에 가중치
를 관련시키는 서브단계:
여기서,는
로부터 검색된 상기 위치
에 관련된 디스크립터이고,
은 완벽하게 매칭하는 디스크립터들에 대해 1이고 서치 스피어 경계에 대한 디스크립터들에 대해 0임.
(e3)에서의 가중치들을 수집하고
갖도록 이 가중치들을 정규화하는 서브단계,
(e4) 이동을 추정하고 새로운 포즈에서 질의 결과들에 기초하여 각 초기 후보 포즈에 대한 상기 가중치를 재평가함으로써 센서가 이동하는 동안 상기 후보 위치들의 세트를 업데이트하는 서브단계, 및
(e5) 상기 후보 포즈들이 단일 위치로 수렴할 때까지 상기 업데이트 서브단계를 반복하는 서브단계
를 더 포함하는 방법. - 제1항에 있어서,
특히 지상 모션을 위해, 상기 레이저 범위 스캐너(1)는 플로어를 가로지르는 차량 또는 사람에 장착되고,
(i) 상기 3D 참조 맵에서 상기 플로어의 넓이를 식별하는 단계 - 플로어 추출은 상기 환경의 희소 복셀 표현을 통해 수행되며, 여기서 상기 희소 복셀 표현의 각 풀 셀
은 그것의 중심
주위의 포인트들에 의해 국부적으로 정의된 표면에 법선 벡터를 포함하며, 그것의 관련된 법선들에서의 수직 구성 요소가 우세한지, 즉,
가 일반적으로 0.5와 1 사이의 값인
를 체크함으로써, 후보 플로어 셀들
을 표현하는 복셀들의 서브세트를 추출함 -,
(ii) 셀들의 도달 가능성을 결정하는 단계
를 포함하고,
(ii) 셀들의 도달 가능성을 결정하는 단계에서,
도달 가능한 셀이 주어지면, 모든 주변 셀들
은 다음 조건들이 만족되는 경우 도달 가능한 것으로서 간주되고:
(6)
(7)
(8)
여기서, (6)에서의는 최대 스텝 거리이고, (7)에서의
은 최대 수직 스텝 크기이고, (8)에서의
은 플로어 셀
위 중심에 있는, 관찰자의 단순화된 볼륨인
방법. - 제1항에 있어서,
맵 구조는 저장되고 동기화되는 요소들의 두 개의 다른 리스트들을 포함하고: 특정 복셀 크기로 구축된, 복셀들의 조밀 그리드, 및 평면들의 컴팩트 리스트
, 각 평면
은 단위 법선
및 세계 좌표들 에서의 위치
를 저장하고; 각 복셀
은 풀, 엠프티(empty) 또는 니어(near)일 수 있는 현재 상태를 저장하고, 풀 복셀들은 관련된 위치가 속한, 상기 평면
에 인덱스를 저장하고, 엠프티 셀들(empty cells)은 눌 참조(null reference)를 저장하고 니어 셀들(near cells)은 상기 복셀 중심(voxel centre)에 대한 관련된 위치 거리
가 가장 작은 상기 평면
에 대한 인덱스를 저장하는
방법. - 제1항에 있어서,
전체 시스템 견고성을 향상시키기 위해, 스캐너 추적은 주행 기록계와 결합되고,
포즈가 추정된 후에, 세계 좌표들에서의 그것의 관련된 포인트들은 kd-트리로 저장되고,
상기 레이저 범위 스캐너(1)에 의해 새로운 획득이 주어지면, 등록 알고리즘이 상기 포인트들의 세트들()을 창조할 때, 그것이 두 참조 맵(
) 및 이전에 고정된 포인트 클라우드(
)에서 최근접 이웃들을 찾고, 대응들은 다음과 같이 정의되고:
여기서,는 복셀 셀 크기(voxel cell size)에 대응하고, 상기 이전에 고정된 클라우드의 비-이산화된 kd-트리와 복셀라이즈된 지상 검증 맵(voxelized ground truth map) 사이의 다른 해상도를 보상하는
방법. - 제1항에 있어서,
3D 실내 매핑/모델링, 시설 관리, 정확한 실시간 실내 로컬리제이션 및 네비게이션, 장애인 또는 노인들에 대한 지원, 설계 정보 검증, 변화 분석, 진행 모니터링, 또는 재난 관리를 위한,
방법. - 특히 GPS-거부 환경들에서, 실시간 매핑, 로컬리제이션 및 변화 분석을 위한 모바일 레이저 스캐닝 장치에 있어서,
제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하도록 구성된 처리 유닛(3)
을 포함하는 모바일 레이저 스캐닝 장치. - 제12항에 있어서,
실시간 레이저 범위 스캐너(1),
전원 유닛, 및
휴대용 시각화 및 제어 유닛(4)
을 더 포함하고,
상기 실시간 레이저 범위 스캐너(1)는,
스캐너 데이터를 제공하기 위해, 적어도 초 당 5 프레임의 속도로 상기 환경을 획득할 수 있고,
상기 처리 유닛(3)은,
상기 스캐너 데이터를 분석하고,
3D 맵/모델, 로컬리제이션 및 변화 정보를 포함하는 처리 결과들을 상기 휴대용 시각화 및 제어 유닛(4)에 제공하도록 구성되고,
상기 휴대용 시각화 및 제어 유닛(4)은,
상기 처리 결과들을 디스플레이하고,
상기 모바일 레이저 스캐닝 장치를 사용자가 제어하도록 허용하도록 구성되는
모바일 레이저 스캐닝 장치. - 제13항에 있어서,
상기 휴대용 시각화 및 제어 유닛(4)은 태블릿 컴퓨터인
모바일 레이저 스캐닝 장치. - 제12항에 있어서,
상기 모바일 레이저 스캐닝 장치는 백팩(2) 또는 차량 장착 장치인
모바일 레이저 스캐닝 장치. - 제12항에 있어서,
상기 모바일 레이저 스캐닝 장치는,
3D 실내 맵핑/모델링, 시설 관리, 정확한 실시간 실내 로컬리제이션 및 네비게이션, 장애인 또는 노인들에 대한 지원, 설계 정보 검증, 변화 분석, 진행 모니터링, 또는 재난 관리 및 대응을 위하여 사용되는
모바일 레이저 스캐닝 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15163231.2 | 2015-04-10 | ||
| EP15163231.2A EP3078935A1 (en) | 2015-04-10 | 2015-04-10 | Method and device for real-time mapping and localization |
| PCT/EP2016/057935 WO2016162568A1 (en) | 2015-04-10 | 2016-04-11 | Method and device for real-time mapping and localization |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180004151A KR20180004151A (ko) | 2018-01-10 |
| KR102427921B1 true KR102427921B1 (ko) | 2022-08-02 |
Family
ID=52823552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177032418A KR102427921B1 (ko) | 2015-04-10 | 2016-04-11 | 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10304237B2 (ko) |
| EP (2) | EP3078935A1 (ko) |
| JP (2) | JP7270338B2 (ko) |
| KR (1) | KR102427921B1 (ko) |
| CN (1) | CN107709928B (ko) |
| AU (1) | AU2016246024B2 (ko) |
| CA (1) | CA2982044C (ko) |
| ES (1) | ES2855119T3 (ko) |
| HK (1) | HK1251294A1 (ko) |
| WO (1) | WO2016162568A1 (ko) |
Families Citing this family (253)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11835343B1 (en) | 2004-08-06 | 2023-12-05 | AI Incorporated | Method for constructing a map while performing work |
| USRE46672E1 (en) | 2006-07-13 | 2018-01-16 | Velodyne Lidar, Inc. | High definition LiDAR system |
| CN105511742B (zh) * | 2016-01-07 | 2021-10-01 | 美国西北仪器公司 | 一种智能交互界面 |
| US11243309B2 (en) | 2015-02-16 | 2022-02-08 | Northwest Instrument Inc. | Ranging system and ranging method |
| EP3078935A1 (en) | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
| US9652896B1 (en) * | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
| US9984499B1 (en) | 2015-11-30 | 2018-05-29 | Snap Inc. | Image and point cloud based tracking and in augmented reality systems |
| US11556170B2 (en) | 2016-01-07 | 2023-01-17 | Northwest Instrument Inc. | Intelligent interface based on augmented reality |
| US10627490B2 (en) | 2016-01-31 | 2020-04-21 | Velodyne Lidar, Inc. | Multiple pulse, LIDAR based 3-D imaging |
| EP3430428A4 (en) | 2016-03-19 | 2019-11-20 | Velodyne Lidar, Inc. | INTEGRATED LIGHTING AND DETECTION FOR 3D IMAGING BASED ON LIDAR |
| AT517701B1 (de) * | 2016-04-15 | 2017-04-15 | Riegl Laser Measurement Systems Gmbh | Laserscanner |
| US11017610B2 (en) * | 2016-05-18 | 2021-05-25 | Google Llc | System and method for fault detection and recovery for concurrent odometry and mapping |
| US10802147B2 (en) | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
| US10890600B2 (en) | 2016-05-18 | 2021-01-12 | Google Llc | Real-time visual-inertial motion tracking fault detection |
| WO2017210418A1 (en) | 2016-06-01 | 2017-12-07 | Velodyne Lidar, Inc. | Multiple pixel scanning lidar |
| US10565786B1 (en) * | 2016-06-30 | 2020-02-18 | Google Llc | Sensor placement interface |
| JP2018004401A (ja) * | 2016-06-30 | 2018-01-11 | 株式会社トプコン | レーザスキャナ及びレーザスキャナシステム及び点群データのレジストレーション方法 |
| US20180100927A1 (en) * | 2016-10-12 | 2018-04-12 | Faro Technologies, Inc. | Two-dimensional mapping system and method of operation |
| US10282854B2 (en) * | 2016-10-12 | 2019-05-07 | Faro Technologies, Inc. | Two-dimensional mapping system and method of operation |
| CN106548486B (zh) * | 2016-11-01 | 2024-02-27 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
| CN108122216B (zh) * | 2016-11-29 | 2019-12-10 | 京东方科技集团股份有限公司 | 用于数字图像的动态范围扩展的系统和方法 |
| US10309777B2 (en) * | 2016-12-30 | 2019-06-04 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
| US10319149B1 (en) | 2017-02-17 | 2019-06-11 | Snap Inc. | Augmented reality anamorphosis system |
| US10074381B1 (en) | 2017-02-20 | 2018-09-11 | Snap Inc. | Augmented reality speech balloon system |
| WO2018158712A1 (en) | 2017-02-28 | 2018-09-07 | Thales Canada Inc. | Guideway mounted vehicle localization system |
| US10397739B2 (en) | 2017-03-03 | 2019-08-27 | Here Global B.V. | Supporting the creation of a radio map |
| US11151447B1 (en) * | 2017-03-13 | 2021-10-19 | Zoox, Inc. | Network training process for hardware definition |
| CA3057988A1 (en) | 2017-03-31 | 2018-10-04 | Velodyne Lidar, Inc. | Integrated lidar illumination power control |
| CA3062701A1 (en) | 2017-05-08 | 2018-11-15 | Velodyne Lidar, Inc. | Lidar data acquisition and control |
| US10444759B2 (en) | 2017-06-14 | 2019-10-15 | Zoox, Inc. | Voxel based ground plane estimation and object segmentation |
| GB201718507D0 (en) * | 2017-07-31 | 2017-12-27 | Univ Oxford Innovation Ltd | A method of constructing a model of the motion of a mobile device and related systems |
| US11175132B2 (en) | 2017-08-11 | 2021-11-16 | Zoox, Inc. | Sensor perturbation |
| US10983199B2 (en) | 2017-08-11 | 2021-04-20 | Zoox, Inc. | Vehicle sensor calibration and localization |
| CN111183370B (zh) * | 2017-08-11 | 2023-12-15 | 祖克斯有限公司 | 车辆传感器的校准和定位 |
| US10484659B2 (en) * | 2017-08-31 | 2019-11-19 | Disney Enterprises, Inc. | Large-scale environmental mapping in real-time by a robotic system |
| KR20200098480A (ko) * | 2017-09-13 | 2020-08-20 | 벨로다인 라이더, 인크. | 3-d lidar 측정들에 기반한 다중 해상도, 동시 위치 측정 및 매핑 |
| DE102017122440A1 (de) * | 2017-09-27 | 2019-03-28 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung |
| WO2019065546A1 (ja) * | 2017-09-29 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ作成方法、クライアント装置及びサーバ |
| FR3072181B1 (fr) * | 2017-10-06 | 2019-11-01 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de localisation de dispositifs mobiles dans un repere commun |
| US11274929B1 (en) * | 2017-10-17 | 2022-03-15 | AI Incorporated | Method for constructing a map while performing work |
| US10612929B2 (en) * | 2017-10-17 | 2020-04-07 | AI Incorporated | Discovering and plotting the boundary of an enclosure |
| WO2019099802A1 (en) | 2017-11-17 | 2019-05-23 | DeepMap Inc. | Iterative closest point process based on lidar with integrated motion estimation for high definitions maps |
| US10535138B2 (en) | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
| US10365656B2 (en) * | 2017-11-22 | 2019-07-30 | Locus Robotics Corp. | Robot charger docking localization |
| CN107943038A (zh) * | 2017-11-28 | 2018-04-20 | 广东工业大学 | 一种移动机器人嵌入式激光slam方法及系统 |
| US11360216B2 (en) * | 2017-11-29 | 2022-06-14 | VoxelMaps Inc. | Method and system for positioning of autonomously operating entities |
| FR3075834B1 (fr) * | 2017-12-21 | 2021-09-24 | Soletanche Freyssinet | Procede de compactage de sol utilisant un scanner laser |
| CN108242079B (zh) * | 2017-12-30 | 2021-06-25 | 北京工业大学 | 一种基于多特征视觉里程计和图优化模型的vslam方法 |
| WO2019136714A1 (zh) * | 2018-01-12 | 2019-07-18 | 浙江国自机器人技术有限公司 | 一种基于3d激光的地图构建方法及系统 |
| US11157527B2 (en) | 2018-02-20 | 2021-10-26 | Zoox, Inc. | Creating clean maps including semantic information |
| US10586344B2 (en) * | 2018-02-21 | 2020-03-10 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for feature screening in SLAM |
| CN110363834B (zh) * | 2018-04-10 | 2023-05-30 | 北京京东尚科信息技术有限公司 | 一种点云数据的分割方法和装置 |
| CN108828643B (zh) * | 2018-04-25 | 2022-04-29 | 长安大学 | 一种基于灰色预测模型的室内外无缝定位系统及方法 |
| CN108801265A (zh) * | 2018-06-08 | 2018-11-13 | 武汉大学 | 多维信息同步采集、定位与位置服务装置及系统和方法 |
| AU2018278993A1 (en) * | 2018-06-22 | 2020-01-16 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating highly automated driving maps |
| US20190392594A1 (en) * | 2018-06-25 | 2019-12-26 | Walmart Apollo, Llc | System and method for map localization with camera perspectives |
| JP6880080B2 (ja) | 2018-07-02 | 2021-06-02 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | ポイントクラウドに基づく姿勢推定を用いた車両ナビゲーションシステム |
| US11995763B2 (en) | 2018-07-02 | 2024-05-28 | Vayyar Imaging Ltd. | System and methods for environment mapping |
| CN109060820B (zh) * | 2018-07-10 | 2021-04-13 | 深圳大学 | 基于激光检测的隧道病害检测方法及隧道病害检测装置 |
| WO2020014951A1 (zh) * | 2018-07-20 | 2020-01-23 | 深圳市道通智能航空技术有限公司 | 建立局部障碍物地图的方法、装置及无人机 |
| CN110763243B (zh) * | 2018-07-27 | 2021-08-24 | 杭州海康威视数字技术股份有限公司 | 一种滑动地图更新方法和装置 |
| CN109146976B (zh) * | 2018-08-23 | 2020-06-02 | 百度在线网络技术（北京）有限公司 | 用于定位无人车的方法和装置 |
| US11037368B2 (en) | 2018-09-11 | 2021-06-15 | Samsung Electronics Co., Ltd. | Localization method and apparatus of displaying virtual object in augmented reality |
| KR101925862B1 (ko) * | 2018-09-13 | 2018-12-06 | 주식회사 에이엠오토노미 | 3차원 라이다를 이용한 실시간 3차원 지도 생성 방법 및 장치 |
| US10712434B2 (en) | 2018-09-18 | 2020-07-14 | Velodyne Lidar, Inc. | Multi-channel LIDAR illumination driver |
| EP3629290B1 (en) * | 2018-09-26 | 2023-01-04 | Apple Inc. | Localization for mobile devices |
| EP3633404B1 (en) * | 2018-10-02 | 2022-09-07 | Ibeo Automotive Systems GmbH | Method and apparatus for optical distance measurements |
| CN109544636B (zh) * | 2018-10-10 | 2022-03-15 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
| CN109358342B (zh) * | 2018-10-12 | 2022-12-09 | 东北大学 | 基于2d激光雷达的三维激光slam系统及控制方法 |
| CN109243207A (zh) * | 2018-10-17 | 2019-01-18 | 安徽工程大学 | 一种用于slam演示教学使用的移动装置 |
| KR102627453B1 (ko) | 2018-10-17 | 2024-01-19 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
| US11704621B2 (en) * | 2018-10-18 | 2023-07-18 | Lg Electronics Inc. | Method of sensing loaded state and robot implementing thereof |
| KR20200046437A (ko) | 2018-10-24 | 2020-05-07 | 삼성전자주식회사 | 영상 및 맵 데이터 기반 측위 방법 및 장치 |
| SE542376C2 (en) * | 2018-10-25 | 2020-04-21 | Ireality Ab | Method and controller for tracking moving objects |
| EP3793899A4 (en) | 2018-10-29 | 2021-07-07 | DJI Technology, Inc. | MOVABLE OBJECT TO PERFORM A REAL-TIME IMAGE |
| CN109459734B (zh) * | 2018-10-30 | 2020-09-11 | 百度在线网络技术（北京）有限公司 | 一种激光雷达定位效果评估方法、装置、设备及存储介质 |
| CN109507677B (zh) * | 2018-11-05 | 2020-08-18 | 浙江工业大学 | 一种结合gps和雷达里程计的slam方法 |
| US11082010B2 (en) | 2018-11-06 | 2021-08-03 | Velodyne Lidar Usa, Inc. | Systems and methods for TIA base current detection and compensation |
| CA3028286A1 (en) | 2018-11-09 | 2020-05-09 | Beijing Didi Infinity Technology And Development Co., Ltd. | Vehicle positioning system using lidar |
| CN109523595B (zh) * | 2018-11-21 | 2023-07-18 | 南京链和科技有限公司 | 一种建筑工程直线棱角间距视觉测量方法 |
| CN109541630A (zh) * | 2018-11-22 | 2019-03-29 | 武汉科技大学 | 一种适用于建筑物室内平面2d slam测绘的方法 |
| CN111238465B (zh) * | 2018-11-28 | 2022-02-18 | 台达电子工业股份有限公司 | 地图建置设备及其地图建置方法 |
| EP3660453B1 (en) * | 2018-11-30 | 2023-11-29 | Sandvik Mining and Construction Oy | Positioning of mobile object in underground worksite |
| US10970547B2 (en) * | 2018-12-07 | 2021-04-06 | Microsoft Technology Licensing, Llc | Intelligent agents for managing data associated with three-dimensional objects |
| JP7129894B2 (ja) * | 2018-12-10 | 2022-09-02 | 株式会社タダノ | 地表面推定方法、計測領域表示システムおよびクレーン |
| CN109541634B (zh) * | 2018-12-28 | 2023-01-17 | 歌尔股份有限公司 | 一种路径规划方法、装置和移动设备 |
| US11885958B2 (en) | 2019-01-07 | 2024-01-30 | Velodyne Lidar Usa, Inc. | Systems and methods for a dual axis resonant scanning mirror |
| CN109887028B (zh) * | 2019-01-09 | 2023-02-03 | 天津大学 | 一种基于点云数据配准的无人车辅助定位方法 |
| CN111488412B (zh) * | 2019-01-28 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 一种poi采集区域的价值确定方法及装置 |
| DK180562B1 (en) * | 2019-01-31 | 2021-06-28 | Motional Ad Llc | Merging data from multiple lidar devices |
| US11486701B2 (en) | 2019-02-06 | 2022-11-01 | Faro Technologies, Inc. | System and method for performing a real-time wall detection |
| WO2020166612A1 (ja) * | 2019-02-12 | 2020-08-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 |
| CN111568305B (zh) * | 2019-02-18 | 2023-02-17 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
| CN109814572B (zh) * | 2019-02-20 | 2022-02-01 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
| CN109696168A (zh) * | 2019-02-27 | 2019-04-30 | 沈阳建筑大学 | 一种基于激光传感器的移动机器人几何地图创建方法 |
| CN109614459B (zh) * | 2019-03-06 | 2019-05-28 | 上海思岚科技有限公司 | 应用于二维激光的地图构建回环检测方法及设备 |
| CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
| WO2020181418A1 (en) | 2019-03-08 | 2020-09-17 | SZ DJI Technology Co., Ltd. | Techniques for collaborative map construction between unmanned aerial vehicle and ground vehicle |
| CN109839112B (zh) * | 2019-03-11 | 2023-04-07 | 中南大学 | 地下作业设备定位方法、装置、系统及存储介质 |
| CN109959937B (zh) * | 2019-03-12 | 2021-07-27 | 广州高新兴机器人有限公司 | 长廊环境基于激光雷达的定位方法、存储介质及电子设备 |
| CN109798842B (zh) * | 2019-03-13 | 2023-09-08 | 武汉汉宁轨道交通技术有限公司 | 一种第三轨检测装置及检测方法 |
| CN110008851B (zh) * | 2019-03-15 | 2021-11-19 | 深兰科技（上海）有限公司 | 一种车道线检测的方法及设备 |
| JP7245084B2 (ja) * | 2019-03-15 | 2023-03-23 | 日立Astemo株式会社 | 自動運転システム |
| CN111724472B (zh) * | 2019-03-19 | 2024-07-02 | 北京四维图新科技股份有限公司 | 地图要素空间位置的确定方法和装置 |
| CN109848996B (zh) * | 2019-03-19 | 2020-08-14 | 西安交通大学 | 基于图优化理论的大规模三维环境地图创建方法 |
| CN111739111B (zh) * | 2019-03-20 | 2023-05-30 | 上海交通大学 | 一种点云投影编码的块内偏移优化方法及系统 |
| JP7263521B2 (ja) * | 2019-03-22 | 2023-04-24 | テンセント・アメリカ・エルエルシー | インターフレーム点群属性符号化のための方法並びにその、装置およびコンピュータプログラム |
| CN111735439B (zh) * | 2019-03-22 | 2022-09-30 | 北京京东乾石科技有限公司 | 地图构建方法、装置和计算机可读存储介质 |
| DE102019204410A1 (de) * | 2019-03-29 | 2020-10-01 | Robert Bosch Gmbh | Verfahren zur simultanen Lokalisierung und Kartierung eines mobilen Roboters |
| US11074706B2 (en) * | 2019-04-12 | 2021-07-27 | Intel Corporation | Accommodating depth noise in visual slam using map-point consensus |
| KR102195164B1 (ko) * | 2019-04-29 | 2020-12-24 | 충북대학교 산학협력단 | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 |
| US11227401B1 (en) * | 2019-05-22 | 2022-01-18 | Zoox, Inc. | Multiresolution voxel space |
| CN111982133B (zh) * | 2019-05-23 | 2023-01-31 | 北京地平线机器人技术研发有限公司 | 基于高精地图对车辆进行定位的方法、装置及电子设备 |
| CN110309472B (zh) * | 2019-06-03 | 2022-04-29 | 清华大学 | 基于离线数据的策略评估方法及装置 |
| DE102019208504A1 (de) * | 2019-06-12 | 2020-12-17 | Robert Bosch Gmbh | Positionsbestimmung auf der Basis von Umgebungsbeobachtungen |
| WO2020251100A1 (ko) * | 2019-06-14 | 2020-12-17 | 엘지전자 주식회사 | 퓨전 슬램에서 맵을 업데이트하는 방법 및 이를 구현하는 로봇 |
| US11080870B2 (en) | 2019-06-19 | 2021-08-03 | Faro Technologies, Inc. | Method and apparatus for registering three-dimensional point clouds |
| EP3758351B1 (en) * | 2019-06-26 | 2023-10-11 | Faro Technologies, Inc. | A system and method of scanning an environment using multiple scanners concurrently |
| CN112148817B (zh) * | 2019-06-28 | 2023-09-29 | 理光软件研究所（北京）有限公司 | 一种基于全景图的slam优化方法、装置和系统 |
| CN110333513B (zh) * | 2019-07-10 | 2023-01-10 | 国网四川省电力公司电力科学研究院 | 一种融合最小二乘法的粒子滤波slam方法 |
| US11506502B2 (en) * | 2019-07-12 | 2022-11-22 | Honda Motor Co., Ltd. | Robust localization |
| WO2021021862A1 (en) * | 2019-07-29 | 2021-02-04 | Board Of Trustees Of Michigan State University | Mapping and localization system for autonomous vehicles |
| WO2021033574A1 (ja) * | 2019-08-21 | 2021-02-25 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| US11556000B1 (en) | 2019-08-22 | 2023-01-17 | Red Creamery Llc | Distally-actuated scanning mirror |
| CN110307838B (zh) * | 2019-08-26 | 2019-12-10 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、计算机可读存储介质及机器人 |
| CN110736456B (zh) * | 2019-08-26 | 2023-05-05 | 广东亿嘉和科技有限公司 | 稀疏环境下基于特征提取的二维激光实时定位方法 |
| CN110764096A (zh) * | 2019-09-24 | 2020-02-07 | 浙江华消科技有限公司 | 灾害区域的三维地图构建方法、机器人及机器人控制方法 |
| US11238641B2 (en) | 2019-09-27 | 2022-02-01 | Intel Corporation | Architecture for contextual memories in map representation for 3D reconstruction and navigation |
| DE102019126631A1 (de) * | 2019-10-02 | 2021-04-08 | Valeo Schalter Und Sensoren Gmbh | Verbesserte Trajektorienschätzung basierend auf Ground Truth |
| CN110991227B (zh) * | 2019-10-23 | 2023-06-30 | 东北大学 | 一种基于深度类残差网络的三维物体识别和定位方法 |
| WO2021087777A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 数据处理方法、装置、雷达、设备及存储介质 |
| EP3819667A1 (en) | 2019-11-08 | 2021-05-12 | Outsight | Radar and lidar combined mapping system |
| EP3819672A1 (en) | 2019-11-08 | 2021-05-12 | Outsight | Method and system to share scene maps |
| EP3819674A1 (en) | 2019-11-08 | 2021-05-12 | Outsight | Rolling environment sensing and gps optimization |
| CN110887487B (zh) * | 2019-11-14 | 2023-04-18 | 天津大学 | 一种室内同步定位与建图方法 |
| CN110851556B (zh) * | 2019-11-20 | 2023-02-17 | 苏州博众智能机器人有限公司 | 移动机器人建图方法、装置、设备及存储介质 |
| CN110909105B (zh) * | 2019-11-25 | 2022-08-19 | 上海有个机器人有限公司 | 机器人地图的构建方法及系统 |
| KR20210065728A (ko) * | 2019-11-27 | 2021-06-04 | 재단법인 지능형자동차부품진흥원 | 저채널 3차원 라이다센서를 이용한 희소점군 기반의 위치인식 방법 및 장치 |
| KR102255978B1 (ko) * | 2019-12-02 | 2021-05-25 | 한국건설기술연구원 | 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법 |
| CN110849374B (zh) * | 2019-12-03 | 2023-04-18 | 中南大学 | 地下环境定位方法、装置、设备及存储介质 |
| CN111190191A (zh) * | 2019-12-11 | 2020-05-22 | 杭州电子科技大学 | 一种基于激光slam的扫描匹配方法 |
| CN111079826B (zh) * | 2019-12-13 | 2023-09-29 | 武汉科技大学 | 融合slam和图像处理的施工进度实时识别方法 |
| CN110986956B (zh) * | 2019-12-23 | 2023-06-30 | 苏州寻迹智行机器人技术有限公司 | 一种基于改进的蒙特卡洛算法的自主学习全局定位方法 |
| US11774593B2 (en) * | 2019-12-27 | 2023-10-03 | Automotive Research & Testing Center | Method of simultaneous localization and mapping |
| CN111024062B (zh) * | 2019-12-31 | 2022-03-29 | 芜湖哈特机器人产业技术研究院有限公司 | 基于伪gnss及ins的制图系统 |
| CN111220967B (zh) * | 2020-01-02 | 2021-12-10 | 小狗电器互联网科技（北京）股份有限公司 | 一种激光雷达数据有效性的检测方法与装置 |
| CN111141290B (zh) * | 2020-01-08 | 2023-09-26 | 广州视源电子科技股份有限公司 | 机器人的定位方法、定位装置、设备和存储介质 |
| RU2764708C1 (ru) | 2020-01-20 | 2022-01-19 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для обработки данных лидарных датчиков |
| US11860315B2 (en) | 2020-01-20 | 2024-01-02 | Direct Cursus Technology L.L.C | Methods and systems for processing LIDAR sensor data |
| CN114945456A (zh) * | 2020-01-31 | 2022-08-26 | 惠普发展公司，有限责任合伙企业 | 模型预测 |
| CN113252051A (zh) * | 2020-02-11 | 2021-08-13 | 北京图森智途科技有限公司 | 一种地图构建方法及装置 |
| CN111325796B (zh) * | 2020-02-28 | 2023-08-18 | 北京百度网讯科技有限公司 | 用于确定视觉设备的位姿的方法和装置 |
| US11466992B2 (en) | 2020-03-02 | 2022-10-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and medium for detecting environmental change |
| KR102444879B1 (ko) * | 2020-03-05 | 2022-09-19 | 고려대학교 산학협력단 | 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법 |
| EP3882649B1 (en) * | 2020-03-20 | 2023-10-25 | ABB Schweiz AG | Position estimation for vehicles based on virtual sensor response |
| CN111462029B (zh) * | 2020-03-27 | 2023-03-03 | 阿波罗智能技术(北京)有限公司 | 视觉点云与高精地图融合方法、装置和电子设备 |
| EP3893074B1 (en) | 2020-04-06 | 2024-05-29 | General Electric Company | Localization method for mobile remote inspection and/or manipulation tools in confined spaces and associated system |
| CN112703368B (zh) * | 2020-04-16 | 2022-08-09 | 华为技术有限公司 | 车辆定位的方法和装置、定位图层生成的方法和装置 |
| CN111210475B (zh) * | 2020-04-21 | 2020-07-14 | 浙江欣奕华智能科技有限公司 | 一种地图更新方法及装置 |
| CN111583369B (zh) * | 2020-04-21 | 2023-04-18 | 天津大学 | 一种基于面线角点特征提取的激光slam方法 |
| JP2023524446A (ja) * | 2020-04-29 | 2023-06-12 | マジック リープ， インコーポレイテッド | 大規模環境のためのクロスリアリティシステム |
| CN111536871B (zh) * | 2020-05-07 | 2022-05-31 | 武汉大势智慧科技有限公司 | 一种多时相摄影测量数据体积变化量的精确计算方法 |
| KR102275682B1 (ko) * | 2020-05-08 | 2021-07-12 | 한국건설기술연구원 | 시설물 실시간 스캔을 위한 이동형 스캔 백팩 장치 |
| CN111678516B (zh) * | 2020-05-08 | 2021-11-23 | 中山大学 | 一种基于激光雷达的有界区域快速全局定位方法 |
| CN111815684B (zh) * | 2020-06-12 | 2022-08-02 | 武汉中海庭数据技术有限公司 | 基于统一残差模型的空间多元特征配准优化方法及装置 |
| CN111813111B (zh) * | 2020-06-29 | 2024-02-20 | 佛山科学技术学院 | 一种多机器人协同工作方法 |
| CN111795687B (zh) * | 2020-06-29 | 2022-08-05 | 深圳市优必选科技股份有限公司 | 一种机器人地图更新方法、装置、可读存储介质及机器人 |
| US10877948B1 (en) * | 2020-07-01 | 2020-12-29 | Tamr, Inc. | Method and computer program product for geospatial binning |
| CN112102376B (zh) * | 2020-08-04 | 2023-06-06 | 广东工业大学 | 混合稀疏icp的多视点云配准方法、装置及存储介质 |
| CN111983635B (zh) * | 2020-08-17 | 2022-03-29 | 浙江商汤科技开发有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| CN114255275A (zh) * | 2020-09-14 | 2022-03-29 | 华为技术有限公司 | 一种构建地图的方法及计算设备 |
| KR102455546B1 (ko) * | 2020-09-25 | 2022-10-18 | 인천대학교 산학협력단 | 색상을 반영한 포인트 클라우드의 재구성을 위한 반복 최근접 포인트 탐색 방법 |
| WO2022074083A1 (de) | 2020-10-06 | 2022-04-14 | Zoller & Fröhlich GmbH | Mobile scananordnung und verfahren zur ansteuerung einer mobilen scananordnung |
| EP3982310A1 (en) * | 2020-10-08 | 2022-04-13 | Intelligrated Headquarters LLC | Lidar based monitoring in material handling environment |
| CN113126621A (zh) * | 2020-10-14 | 2021-07-16 | 中国安全生产科学研究院 | 一种地铁车厢消毒机器人自动导航方法 |
| DE102020129293B4 (de) | 2020-11-06 | 2022-06-09 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Verfahren zum Zusammenstellen eines Schneidplans, Verfahren zum Ausschneiden und Absortieren von Werkstücken und Flachbettwerkzeugmaschine |
| DE102020214002B3 (de) | 2020-11-08 | 2022-04-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank |
| CN112380312B (zh) * | 2020-11-30 | 2022-08-05 | 北京智行者科技股份有限公司 | 基于栅格检测的激光地图更新方法、终端及计算机设备 |
| CN112698345B (zh) * | 2020-12-04 | 2024-01-30 | 江苏科技大学 | 一种激光雷达的机器人同时定位与建图优化方法 |
| CN112612788B (zh) * | 2020-12-11 | 2024-03-01 | 中国北方车辆研究所 | 一种无导航卫星信号下的自主定位方法 |
| CN112711012B (zh) * | 2020-12-18 | 2022-10-11 | 上海蔚建科技有限公司 | 一种激光雷达定位系统的全局位置初始化方法及系统 |
| EP4264325A1 (de) | 2020-12-21 | 2023-10-25 | Zoller & Fröhlich GmbH | Plattform für mobile scananordnung und mobile scananordnung |
| CN112578399A (zh) * | 2020-12-23 | 2021-03-30 | 雷熵信息科技(潍坊)有限公司 | 不重复扫描激光雷达三维重建中的特征点剔除方法 |
| CN112598737A (zh) * | 2020-12-24 | 2021-04-02 | 中建科技集团有限公司 | 室内机器人定位方法、装置、终端设备及存储介质 |
| CN112596070B (zh) * | 2020-12-29 | 2024-04-19 | 四叶草(苏州)智能科技有限公司 | 一种基于激光及视觉融合的机器人定位方法 |
| CN112859847B (zh) * | 2021-01-06 | 2022-04-01 | 大连理工大学 | 一种通行方向限制下的多机器人协同路径规划方法 |
| CN112634451B (zh) * | 2021-01-11 | 2022-08-23 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
| CN112732854B (zh) * | 2021-01-11 | 2023-03-31 | 哈尔滨工程大学 | 一种粒子滤波bslam方法 |
| CN112720532B (zh) * | 2021-01-12 | 2022-06-28 | 中国煤炭科工集团太原研究院有限公司 | 一种围岩稳定性智能监测及精准支护机器人群 |
| US20240077329A1 (en) * | 2021-01-12 | 2024-03-07 | Sandvik Mining And Construction Oy | Underground worksite model generation |
| CN112882056B (zh) * | 2021-01-15 | 2024-04-09 | 西安理工大学 | 基于激光雷达的移动机器人同步定位与地图构建方法 |
| CN113835099B (zh) * | 2021-02-01 | 2024-06-14 | 贵州京邦达供应链科技有限公司 | 点云地图更新方法及装置、存储介质、电子设备 |
| US20240062403A1 (en) * | 2021-02-12 | 2024-02-22 | Magic Leap, Inc. | Lidar simultaneous localization and mapping |
| US20220282991A1 (en) * | 2021-03-02 | 2022-09-08 | Yujin Robot Co., Ltd. | Region segmentation apparatus and method for map decomposition of robot |
| CN112977443B (zh) * | 2021-03-23 | 2022-03-11 | 中国矿业大学 | 一种井下无人驾驶无轨胶轮车的路径规划方法 |
| CN113192111B (zh) * | 2021-03-24 | 2024-02-02 | 西北大学 | 一种三维点云相似配准方法 |
| CN113066105B (zh) * | 2021-04-02 | 2022-10-21 | 北京理工大学 | 激光雷达和惯性测量单元融合的定位与建图方法及系统 |
| CN113032885B (zh) * | 2021-04-07 | 2023-04-28 | 深圳大学 | 视域关系分析方法、设备及计算机存储介质 |
| CN113252042B (zh) * | 2021-05-18 | 2023-06-13 | 杭州迦智科技有限公司 | 一种隧道内基于激光和uwb定位方法、装置 |
| CN113192197B (zh) * | 2021-05-24 | 2024-04-05 | 北京京东乾石科技有限公司 | 一种全局点云地图的构建方法、装置、设备及存储介质 |
| CN113340304B (zh) * | 2021-06-03 | 2023-02-17 | 青岛慧拓智能机器有限公司 | 坡度提取方法及装置 |
| CN113255043B (zh) * | 2021-06-07 | 2022-05-06 | 湖南蓝海购企业策划有限公司 | 一种建筑展厅三维立体建筑模型建立精准性分析方法 |
| CN113486927B (zh) * | 2021-06-15 | 2024-03-01 | 北京大学 | 一种基于先验概率的无监督轨迹访问地点标注方法 |
| CN113536232B (zh) * | 2021-06-28 | 2023-03-21 | 上海科技大学 | 用于无人驾驶中激光点云定位的正态分布变换方法 |
| CN113379915B (zh) * | 2021-07-05 | 2022-12-23 | 广东工业大学 | 一种基于点云融合的行车场景构建方法 |
| CN113485347B (zh) * | 2021-07-16 | 2023-11-21 | 上海探寻信息技术有限公司 | 一种运动轨迹的优化方法、系统 |
| CN113506374B (zh) * | 2021-07-16 | 2022-12-02 | 西安电子科技大学 | 基于gps信息辅助及空间网格划分的点云配准方法 |
| US11544419B1 (en) | 2021-07-26 | 2023-01-03 | Pointlab, Inc. | Subsampling method for converting 3D scan data of an object for marine, civil, and architectural works into smaller densities for processing without CAD processing |
| CN115701524B (zh) * | 2021-08-02 | 2024-05-28 | 郑州克莱门斯智能科技有限公司 | 空间结构框架的构建方法及使用其的导航方法和系统 |
| CN113758491B (zh) * | 2021-08-05 | 2024-02-23 | 重庆长安汽车股份有限公司 | 基于多传感器融合无人车的相对定位方法、系统及车辆 |
| CN113760908B (zh) * | 2021-08-23 | 2023-07-07 | 北京易航远智科技有限公司 | 基于时间序列的既定路径下不同地图间的位姿映射方法 |
| CN113763551B (zh) * | 2021-09-08 | 2023-10-27 | 北京易航远智科技有限公司 | 一种基于点云的大规模建图场景的快速重定位方法 |
| CN113777645B (zh) * | 2021-09-10 | 2024-01-09 | 北京航空航天大学 | 一种gps拒止环境下高精度位姿估计算法 |
| CN113865580B (zh) * | 2021-09-15 | 2024-03-22 | 北京易航远智科技有限公司 | 构建地图的方法、装置、电子设备及计算机可读存储介质 |
| CN113916232B (zh) * | 2021-10-18 | 2023-10-13 | 济南大学 | 一种改进图优化的地图构建方法及系统 |
| CN114018248B (zh) * | 2021-10-29 | 2023-08-04 | 同济大学 | 一种融合码盘和激光雷达的里程计方法与建图方法 |
| CN114563797A (zh) * | 2021-11-04 | 2022-05-31 | 博歌科技有限公司 | 自动地图探索系统和方法 |
| CN114047766B (zh) * | 2021-11-22 | 2023-11-21 | 上海交通大学 | 面向室内外场景长期应用的移动机器人数据采集系统及方法 |
| CN114170280B (zh) * | 2021-12-09 | 2023-11-28 | 北京能创科技有限公司 | 基于双窗口的激光里程计方法、系统、装置 |
| CN114353799B (zh) * | 2021-12-30 | 2023-09-05 | 武汉大学 | 搭载多线激光雷达的无人驾驶平台室内快速全局定位方法 |
| CN114355981B (zh) * | 2022-01-06 | 2024-01-12 | 中山大学 | 一种四旋翼无人机自主探索建图的方法和系统 |
| CN114387394A (zh) * | 2022-01-06 | 2022-04-22 | 耿天军 | 一种铁路雨棚结构扫描与绘制方法 |
| CN114413881B (zh) * | 2022-01-07 | 2023-09-01 | 中国第一汽车股份有限公司 | 高精矢量地图的构建方法、装置及存储介质 |
| CN114355383B (zh) * | 2022-01-20 | 2024-04-12 | 合肥工业大学 | 一种激光slam和激光反射板结合的定位导航方法 |
| CN114526745B (zh) * | 2022-02-18 | 2024-04-12 | 太原市威格传世汽车科技有限责任公司 | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 |
| CN114659514B (zh) * | 2022-03-21 | 2024-05-31 | 东南大学 | 一种基于体素化精配准的LiDAR-IMU-GNSS融合定位方法 |
| CN114886345B (zh) * | 2022-04-20 | 2023-12-15 | 青岛海尔空调器有限总公司 | 用于扫地机器人控制的方法、装置、系统及存储介质 |
| CN115082532B (zh) * | 2022-05-12 | 2024-03-29 | 华南理工大学 | 一种基于激光雷达的跨江输电线防船舶碰撞方法 |
| CN114993316B (zh) * | 2022-05-24 | 2024-05-31 | 清华大学深圳国际研究生院 | 一种基于平面拟合的地面机器人自主导航方法及机器人 |
| CN115031718B (zh) * | 2022-05-25 | 2023-10-31 | 合肥恒淏智能科技合伙企业(有限合伙) | 一种多传感器融合的无人船同步定位与建图方法(slam)及系统 |
| CN114675088B (zh) * | 2022-05-27 | 2022-08-23 | 浙江大学 | 一种无监督学习的辐射源快速近场扫描方法 |
| CN114964212B (zh) * | 2022-06-02 | 2023-04-18 | 广东工业大学 | 面向未知空间探索的多机协同融合定位与建图方法 |
| CN114898066B (zh) * | 2022-06-14 | 2022-12-30 | 中国电子工程设计院有限公司 | 一种非凸室内空间识别重建方法及系统 |
| GB202210178D0 (en) * | 2022-07-11 | 2022-08-24 | Cambridge Entpr Ltd | 3d scene capture system |
| CN114897942B (zh) * | 2022-07-15 | 2022-10-28 | 深圳元戎启行科技有限公司 | 点云地图的生成方法、设备及相关存储介质 |
| CN115291241B (zh) * | 2022-08-29 | 2024-04-26 | 太原理工大学 | 一种基于SLAM的针对辐射工厂的α/β辐射地图构建方法 |
| CN115617034B (zh) * | 2022-09-01 | 2024-06-14 | 清华大学 | 多智能体的环境探索方法、装置、电子设备及存储介质 |
| CN115359203B (zh) * | 2022-09-21 | 2023-06-27 | 智城数创(西安)科技有限公司 | 一种三维高精度地图生成方法、系统及云平台 |
| FR3141535A1 (fr) * | 2022-10-26 | 2024-05-03 | Offroad | système et méthode de construction d’une carte d’un environnement |
| WO2024094954A1 (en) * | 2022-11-01 | 2024-05-10 | Guardian Ai Limited | Multi-directional localisation and mapping system |
| WO2024112255A1 (en) * | 2022-11-23 | 2024-05-30 | Dconstruct Technologies Pte. Ltd. | Device and method for performing localization of a robot device |
| CN116127405A (zh) * | 2022-12-05 | 2023-05-16 | 武汉大学 | 一种融合点云地图、运动模型和局部特征的位置识别方法 |
| CN115615345B (zh) * | 2022-12-16 | 2023-04-07 | 中南大学 | 一种基于摄影测量彩色点云配准的地表形变监测方法 |
| CN116124161B (zh) * | 2022-12-22 | 2024-07-05 | 东南大学 | 一种基于先验地图的LiDAR/IMU融合定位方法 |
| CN116600308B (zh) * | 2023-07-13 | 2023-10-03 | 北京理工大学 | 一种应用于地下空间的无线通信传输与空间建图方法 |
| CN116934992A (zh) * | 2023-07-18 | 2023-10-24 | 云创智行科技(苏州)有限公司 | 地图构建方法、装置、电子设备及存储介质 |
| CN117252620A (zh) * | 2023-09-26 | 2023-12-19 | 深圳市凯必禾信息科技有限公司 | 一种营销信息推送系统 |
| CN117554984A (zh) * | 2023-11-08 | 2024-02-13 | 广东科学技术职业学院 | 一种基于图像理解的单线激光雷达室内slam定位方法及系统 |
| CN117739968B (zh) * | 2023-12-22 | 2024-07-09 | 武汉大学 | 适用于复杂林下环境的鲁棒实时定位与建图方法及系统 |
| CN117710469B (zh) * | 2024-02-06 | 2024-04-12 | 四川大学 | 一种基于rgb-d传感器的在线稠密重建方法及系统 |
| CN117761717B (zh) * | 2024-02-21 | 2024-05-07 | 天津大学四川创新研究院 | 一种自动回环三维重建系统及运行方法 |
| CN117761624B (zh) * | 2024-02-22 | 2024-06-18 | 广州市大湾区虚拟现实研究院 | 一种基于激光编码定位的被动式可移动对象跟踪定位方法 |
| CN117872398B (zh) * | 2024-03-13 | 2024-05-17 | 中国科学技术大学 | 一种大规模场景实时三维激光雷达密集建图方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101319525B1 (ko) | 2013-03-26 | 2013-10-21 | 고려대학교 산학협력단 | 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템 |
| US20140005933A1 (en) | 2011-09-30 | 2014-01-02 | Evolution Robotics, Inc. | Adaptive Mapping with Spatial Summaries of Sensor Data |
| JP2014229300A (ja) | 2013-05-17 | 2014-12-08 | 恩斯邁電子（深▲しん▼）有限公司Ｍｓｉ Ｃｏｍｐｕｔｅｒ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． | 移動装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1815950A1 (en) * | 2006-02-03 | 2007-08-08 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Robotic surgical system for performing minimally invasive medical procedures |
| KR101461185B1 (ko) * | 2007-11-09 | 2014-11-14 | 삼성전자 주식회사 | 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법 |
| US20110109633A1 (en) * | 2009-11-12 | 2011-05-12 | Sequeira Jr Jose J | System and Method For Visualizing Data Corresponding To Physical Objects |
| EP2385483B1 (en) * | 2010-05-07 | 2012-11-21 | MVTec Software GmbH | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform |
| US9014848B2 (en) * | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
| EP2571660B1 (en) * | 2010-05-20 | 2018-08-15 | iRobot Corporation | Mobile human interface robot |
| AU2011305154B2 (en) * | 2010-09-24 | 2015-02-05 | Irobot Corporation | Systems and methods for VSLAM optimization |
| US8711206B2 (en) * | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
| US9020187B2 (en) * | 2011-05-27 | 2015-04-28 | Qualcomm Incorporated | Planar mapping and tracking for mobile devices |
| CN103959308B (zh) * | 2011-08-31 | 2017-09-19 | Metaio有限公司 | 以参考特征匹配图像特征的方法 |
| CN103247225B (zh) * | 2012-02-13 | 2015-04-29 | 联想(北京)有限公司 | 即时定位与地图构建方法和设备 |
| CN102831646A (zh) * | 2012-08-13 | 2012-12-19 | 东南大学 | 一种基于扫描激光的大尺度三维地形建模方法 |
| US9037396B2 (en) * | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
| CN103279987B (zh) * | 2013-06-18 | 2016-05-18 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
| WO2015017941A1 (en) * | 2013-08-09 | 2015-02-12 | Sweep3D Corporation | Systems and methods for generating data indicative of a three-dimensional representation of a scene |
| US9759918B2 (en) * | 2014-05-01 | 2017-09-12 | Microsoft Technology Licensing, Llc | 3D mapping with flexible camera rig |
| CN104236548B (zh) * | 2014-09-12 | 2017-04-05 | 清华大学 | 一种微型无人机室内自主导航方法 |
| EP3078935A1 (en) * | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
-
2015
- 2015-04-10 EP EP15163231.2A patent/EP3078935A1/en not_active Withdrawn
-
2016
- 2016-04-11 JP JP2017567094A patent/JP7270338B2/ja active Active
- 2016-04-11 KR KR1020177032418A patent/KR102427921B1/ko active IP Right Grant
- 2016-04-11 CN CN201680034057.0A patent/CN107709928B/zh active Active
- 2016-04-11 EP EP16715548.0A patent/EP3280977B1/en active Active
- 2016-04-11 CA CA2982044A patent/CA2982044C/en active Active
- 2016-04-11 WO PCT/EP2016/057935 patent/WO2016162568A1/en active Search and Examination
- 2016-04-11 AU AU2016246024A patent/AU2016246024B2/en active Active
- 2016-04-11 ES ES16715548T patent/ES2855119T3/es active Active
-
2017
- 2017-10-10 US US15/729,469 patent/US10304237B2/en active Active
-
2018
- 2018-08-15 HK HK18110512.8A patent/HK1251294A1/zh unknown
-
2021
- 2021-05-20 JP JP2021085516A patent/JP2021152662A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140005933A1 (en) | 2011-09-30 | 2014-01-02 | Evolution Robotics, Inc. | Adaptive Mapping with Spatial Summaries of Sensor Data |
| KR101319525B1 (ko) | 2013-03-26 | 2013-10-21 | 고려대학교 산학협력단 | 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템 |
| JP2014229300A (ja) | 2013-05-17 | 2014-12-08 | 恩斯邁電子（深▲しん▼）有限公司Ｍｓｉ Ｃｏｍｐｕｔｅｒ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． | 移動装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1251294A1 (zh) | 2019-01-25 |
| CA2982044C (en) | 2021-09-07 |
| EP3280977A1 (en) | 2018-02-14 |
| JP7270338B2 (ja) | 2023-05-10 |
| EP3280977B1 (en) | 2021-01-06 |
| US20180075643A1 (en) | 2018-03-15 |
| AU2016246024B2 (en) | 2021-05-20 |
| AU2016246024A1 (en) | 2017-11-09 |
| WO2016162568A1 (en) | 2016-10-13 |
| ES2855119T3 (es) | 2021-09-23 |
| US10304237B2 (en) | 2019-05-28 |
| JP2018522345A (ja) | 2018-08-09 |
| KR20180004151A (ko) | 2018-01-10 |
| CA2982044A1 (en) | 2016-10-13 |
| JP2021152662A (ja) | 2021-09-30 |
| CN107709928B (zh) | 2021-09-28 |
| CN107709928A (zh) | 2018-02-16 |
| EP3078935A1 (en) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102427921B1 (ko) | 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 | |
| US10096129B2 (en) | Three-dimensional mapping of an environment | |
| Lin et al. | Autonomous aerial navigation using monocular visual‐inertial fusion | |
| Alsadik et al. | The simultaneous localization and mapping (SLAM)-An overview | |
| TWI467494B (zh) | 使用深度圖進行移動式攝影機定位 | |
| WO2018129715A1 (zh) | 一种同时定位与稠密三维重建方法 | |
| Yin et al. | Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments | |
| CN112219087A (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
| Andersson et al. | Simultaneous localization and mapping for vehicles using ORB-SLAM2 | |
| Li et al. | BA-LIOM: tightly coupled laser-inertial odometry and mapping with bundle adjustment | |
| He et al. | Observation‐driven Bayesian filtering for global location estimation in the field area | |
| Biström | Comparative analysis of properties of LiDAR-based point clouds versus camera-based point clouds for 3D reconstruction using SLAM algorithms | |
| Munguía et al. | Method for SLAM Based on Omnidirectional Vision: A Delayed‐EKF Approach | |
| Song et al. | Scale estimation with dual quadrics for monocular object SLAM | |
| Qian | Weighted optimal linear attitude and translation estimator: Theory and application | |
| Nava Chocron | Visual-lidar slam with loop closure | |
| Yousif | 3d simultaneous localization and mapping in texture-less and structure-less environments using rank order statistics | |
| Zongqian et al. | SfM on-the-fly: Get better 3D from What You Capture | |
| Pereira | High precision monocular visual odometry | |
| Baligh Jahromi et al. | a Preliminary Work on Layout Slam for Reconstruction of Indoor Corridor Environments | |
| Mostofi | 3D Indoor Mobile Mapping using Multi-Sensor Autonomous Robot | |
| Zhang | Visual metric and semantic localization for UGV | |
| Voorhies | Efficient slam for scanning lidar sensors using combined plane and point features | |
| Hollósi et al. | Survey on Monocular Odometry for Conventional Smartphones | |
| Hollósi et al. | Monocular indoor localization techniques for smartphones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |