KR20200045522A - 국지화를 수행하는 데에 사용되기 위한 방법 및 시스템 - Google Patents

국지화를 수행하는 데에 사용되기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20200045522A
KR20200045522A KR1020207008525A KR20207008525A KR20200045522A KR 20200045522 A KR20200045522 A KR 20200045522A KR 1020207008525 A KR1020207008525 A KR 1020207008525A KR 20207008525 A KR20207008525 A KR 20207008525A KR 20200045522 A KR20200045522 A KR 20200045522A
Authority
KR
South Korea
Prior art keywords
descriptor
century
local
point cloud
map
Prior art date
Application number
KR1020207008525A
Other languages
English (en)
Other versions
KR102607113B1 (ko
Inventor
콘라트 코프
파울루 보르헤스
로스 둔가벨
르노 뒤베
Original Assignee
커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션
에테하 쭈리히
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2017903569A external-priority patent/AU2017903569A0/en
Application filed by 커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션, 에테하 쭈리히 filed Critical 커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션
Publication of KR20200045522A publication Critical patent/KR20200045522A/ko
Application granted granted Critical
Publication of KR102607113B1 publication Critical patent/KR102607113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/881—Radar or analogous systems specially adapted for specific applications for robotics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0891—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for land vehicles
    • G06T3/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Exchange Systems With Centralized Control (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 방법으로서, 상기 하나 이상의 전자 처리 디바이스에서, 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 기반하여 세기 데이터를 결정하는 단계; 상기 세기 데이터를 사용하여, 상기 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 계산하는 단계; 상기 3D 환경의 맵의 개별 부분과 각각 연관되는, 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하는 단계; 상기 제 1 세기 기술자를 상기 제 2 세기 기술자 중 적어도 일부와 비교하는 단계; 및 적어도 부분적으로 비교 결과에 따라서, 상기 맵에 대한 위치를 결정하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.

Description

국지화를 수행하는 데에 사용되기 위한 방법 및 시스템
본 발명은 3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 방법 및 시스템에 관한 것이다. 이러한 방법 및 시스템은 모바일 로보틱스 및 자율 차량 네비게이션에 특히 적용된다.
본 명세서는 임의의 종래의 공개 문헌(또는 그로부터 유도된 정보), 또는 공지된 임의의 내용을 참조하는데, 이들은 종래의 공개 문헌(또는 그로부터 유도된 정보) 또는 공지된 내용이 본 명세서가 관련되는 분야의 공통되는 일반적 지식의 일부를 형성한다는 것을 확인하거나 인정하거나 임의의 형태로 암시하는 것으로 간주되어서는 안 된다.
글로벌 국지화는 자율 로봇 네비게이션을 위한 중요한 요소이다. 이것은 로봇 "웨이크 업" 문제, "미아(lost) 또는 납치된" 로봇 문제, 및 동시적 국지화 및 매핑(SLAM)에서의 루프 클로저와 같은 과제를 위해서 사용된다. 글로벌 국지화 태스크는: i) 이전에 방문한 장소의 인식 및 ii) 재방문된 장소의 레퍼런스 프레임에 대한 위치설정 및 배향(자세) 추정이라는 두 가지 주된 요소로 이루어진다. 전체 글로벌 국지화를 얻기 위해서 장소 인식 및 자세 추정 양자 모두가 요구된다. 통상적으로, 글로벌 국지화가 수행되면, 환경 내의 어떤 장소를 스캐닝함으로써(로컬 스캔) 얻어지는 작은 포인트 클라우드가 이전에 획득된 스캔 데이터(글로벌 맵)와 비교되고, 상대 변환이 계산된다.
글로벌 국지화 태스크를 수행하기 위한 전통적인 접근법은 칼만 필터 또는 몬테 카를로(Monte Carlo)국지화(입자 필터 접근법)와 같은 재귀적 추정 방법을 사용하는 것이다. 이러한 알고리즘은 로봇 센서에 의해 얻어지는 데이터가 제한되고 잡음이 있었던 시기에 개발되었다. 글로벌 맵 내에서의 로봇의 위치는 주변을 정적으로 관측하는 것으로는 고유하게 결정되는 것이 불가능했다. 그러므로, 이러한 방법에서는 로봇이 처음에 주위를 운행하고, 환경을 관측하며 확실성이 허용가능한 레벨까지 증가할 때까지 특정 장소 내에 있을 확률을 업데이트해야 한다.
글로벌 위치설정 시스템(GPS) 또는 외부 비콘과 같은 외부 센서 기반구조를 사용하여 국지화를 수행하는 것도 가능한데, 하지만 자율 차량 또는 로봇이, 예를 들어 GPS가 없는 실내 장소에서 운행할 수 있는 많은 환경에서는 사용될 수 없기 때문에 제한적이다. 카메라는 장소 인식을 위해서도, 그러나 부적절한 조명 상태에서는 품질이 열악해지고 어두운 곳에서는 국지화를 수행하는 데에 사용될 수 없다.
예를 들어 3D LiDAR(Light imaging, detection and ranging) 센서를 사용하는, 3D 포인트 클라우드에서 글로벌 국지화를 위한 여러 방법들이 제안되어 왔다. 포인트 고도의 히스토그램에 의해 장소를 기술하기 위하여 글로벌 기술자(기하학적 정보에 기반하여 전체 로컬 스캔에 대한 단일 통계를 계산함)를 사용하는 것이 알려져 있다. 대안적 방법은, 포인트 클라우드를 입방 그리드로 분할하고, 추후에 히스토그램 내로 수집되는 형상을 기술하는 밀도 함수를 연산하는 것이다. 글로벌 기술자와 관련된 하나의 문제점은, 글로벌 맵이 궤적에 따른 장소들의 이산 세트로서 해석되고, 각각의 장소가 그래프-형 구조를 형성하는 규정된 원점을 가진다는 사실이다. 이러한 경우에, 가능한 로봇 위치는 그래프 꼭지점들에만 존재한다. 로봇이 꼭지점들 사이에 있거나 원래의 궤적에서 벗어나면, 정확한 위치가 결정될 수 없다.
포인트 클라우드 내의 기하학적 피쳐에 기반하여 로컬 기술자를 사용해서 국지화를 수행하는 것도 역시 알려져 있다. 여러 키포인트들이 포인트 클라우드로부터 선택되고, 로컬 기술자(포인트 클라우드보다 훨씬 작은 반경임)가 그 주위에서 연산된다. 상이한 클라우드들 사이의 가장 유사한 기술자를 찾음으로써 인식이 수행된다. 이러한 타입의 기하학적 인식 프로시저는, 특히 큰 맵의 경우 비효율적이고 계산이 복잡하다.
변환 및 정확한 자세를 얻기 위하여 로컬 기하학적 기술자가 사용될 수 있지만, 이러한 접근법에 기반하는 국지화 방법은 계산이 비효율적이고 실시간 응용을 위해서는 적합하지 않다. 글로벌 기술자를 사용하는 것은, 차원수(dimensionality) 감소 및 대응관계 검색을 위한 효율적 방법을 제공하는 경우에는 유용하지만, 이들은 상대적인 변환 및 자세를 제공할 수 없다.
그러므로, GPS 기반구조 등이 없는 미구조화(unstructured) 환경에서 그리고 임의의 조명 상태에서 국지화를 신속하게 수행할 수 있는, 국지화를 위한 더 효율적인 알고리즘이 요구된다.
더욱이, 정지된 스캔으로부터 그리고 3D LiDAR와 같은 레이저 센서만을 사용하여 국지화할 수 있다면 이로울 것이다.
본 발명이 개발된 것은 이러한 배경과 그와 연관된 문제점과 애로사항을 해결하기 위한 것이다.
하나의 넓은 형태에서, 본 발명의 양태는 3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 방법으로서, 상기 하나 이상의 전자 처리 디바이스에서, a) 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반하여 세기 데이터를 결정하는 단계; b) 상기 세기 데이터를 사용하여, 상기 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 계산하는 단계; c) 상기 3D 환경의 맵의 개별 부분과 각각 연관되는, 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하는 단계; d) 상기 제 1 세기 기술자를 상기 제 2 세기 기술자 중 적어도 일부와 비교하는 단계; 및 e) 적어도 부분적으로 비교 결과에 따라서, 상기 맵에 대한 위치를 결정하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법을 제공하고자 한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 로컬 포인트 클라우드 내의 상기 세기 데이터의 분포에 대한 적어도 하나의 통계적 척도에 기반하여 상기 제 1 세기 기술자를 계산하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 상기 로컬 포인트 클라우드를 복수 개의 공간적으로 분포된 로컬 포인트 클라우드 세그먼트로 분할하는 것;
b) 각각의 로컬 포인트 클라우드 세그먼트에 대하여, 상기 로컬 포인트 클라우드 세그먼트 내의 상기 세기 데이터의 분포에 대한 통계적 척도에 기반하여 제 1 세기 기술자 세그먼트를 계산하는 것; 및
c) 각각의 제 1 세기 기술자 세그먼트를 사용하여 상기 제 1 세기 기술자를 계산하는 것에 의하여, 상기 제 1 세기 기술자를 계산하는 단계를 포함한다.
일 실시예에서, 상기 통계적 척도는 복수 개의 세기 값 각각의 빈도의 분포를 나타낸다.
일 실시예에서, 상기 로컬 포인트 클라우드 세그먼트는 적어도 부분적으로 구형인 구조를 가진다.
일 실시예에서, 상기 로컬 포인트 클라우드 세그먼트는,
a) 복수 개의 동심의 구형 영역; 및
b) 8분원으로 세그멘트화되는 적어도 두 개의 동심의 구형 영역 중 적어도 하나를 포함한다.
일 실시예에서, 외부 구형 영역의 반경은 센서의 범위에 기반하고, 하나 이상의 내부 구형 영역의 반경은, 각각의 구형 영역이 유사한 개수의 로컬 포인트 클라우드 포인트를 보유하도록 선택된다.
일 실시예에서, 상기 제 2 세기 기술자는, 상기 3D 환경의 맵에 대응하는, 포인트 클라우드 내의 포인트와 연관되는 세기 데이터를 사용하여 이전에 계산되고,
상기 세기 데이터는, 상기 3D 환경의 이전에 수행된 스캔에서 상기 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반한다.
일 실시예에서, 각각의 제 2 세기 기술자는, 상기 맵의 개별 부분에 대응하는 상기 포인트 클라우드의 일부의 포인트 클라우드 세그먼트에 대해 획득된 제 2 세기 기술자 세그먼트를 포함한다.
일 실시예에서, 상기 복수 개의 제 2 세기 기술자는 데이터 저장소에 저장되고, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 데이터 저장소로부터 상기 복수 개의 제 2 세기 기술자를 취출하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) i) 상기 제 1 세기 기술자 세그먼트를 상기 제 2 세기 기술자 세그먼트와 비교하고,
ii)비교 결과에 기반하여 유사도 값을 결정하는 것에 의하여 상기 제 1 세기 기술자를 제 2 세기 기술자와 비교하는 단계; 및
b) 상기 유사도 값에 기반하여 하나 이상의 제 2 세기 기술자를 선택하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 상기 제 1 세기 기술자와 상기 제 2 세기 기술자의 각각의 비교에 대하여:
i) 상기 제 2 세기 기술자의 복수 개의 상대 배향을 결정하고,
ii) 상기 제 2 세기 기술자의 복수 개의 상대 배향 각각에 대하여, 상기 제 1 세기 기술자 세그먼트를 상기 제 2 세기 기술자 세그먼트와 비교하는 단계;
b) 각각의 배향에 대한 유사도 값을 결정하는 단계; 및
c) 최소 유사도 값을 선택하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 제 1 세기 기술자와 개별 제 2 세기 기술자 사이의 유사도 값을 사용하여 상기 맵의 부분을 잠재적 위치로 랭킹(rank)하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 상기 맵의 부분을 잠재적 위치로 랭킹하는 것에 기반하여 선택되는 상기 맵의 적어도 하나의 부분을 사용하여 서브맵을 생성하는 단계; 및
b) 상기 서브맵 내에서 기하학적 인식을 수행하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 상기 로컬 포인트 클라우드로부터 로컬 키포인트를 추출하는 것;
b) 각각의 로컬 키포인트에 대한 로컬 기하학적 기술자를 계산하는 것;
c) 상기 서브맵 내에 포함된 상기 맵의 부분과 연관된 서브맵 키포인트를 사용하여 계산되는, 이전에 계산된 서브맵 기하학적 기술자를 취출하는 것;
d) 로컬 및 서브맵 기하학적 기술자들 사이의 대응관계를 결정하는 것;
e) 하나 이상의 후보 클러스터를 형성하도록, 기하학적 일관성에 기반하여 대응관계를 클러스터링하는 것; 및
f) 각각의 후보 클러스터에 대한 변환을 결정하는 것에 의하여,
상기 기하학적 인식을 수행하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 대응관계의 최다 개수를 가지는 후보 클러스터를 선택하는 단계;
b) 선택된 후보 클러스터 내의 대응관계의 개수를 제 1 임계와 비교하는 단계; 및
c) i) 상기 대응관계의 개수가 상기 제 1 임계 미만이면 상기 선택된 후보 클러스터가 잘못된 매칭이라고 결정하는 단계; 및
ii) 상기 대응관계의 개수가 상기 제 1 임계를 초과하면, 상기 선택된 후보 클러스터가 가장 가능성이 높은 위치를 나타낸다고 결정하는 단계 중 적어도 하나
를 포함한다.
일 실시예에서, 상기 가장 가능성이 높은 위치를 나타내는 후보 클러스터에 대하여, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 로컬 포인트 클라우드를 상기 서브맵과 연관된 서브맵 포인트 클라우드와 정렬시키도록, 상기 변환을 정제하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
상기 변환을 정제하고 자세(pose)를 결정하도록, 상기 로컬 및 서브맵 포인트 클라우드의 적어도 일부에 반복적 최근접 포인트(ICP)를 수행하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 상기 로컬 및 서브맵 포인트 클라우드들이 얼마나 양호하게 정렬되는지를 나타내는 맞춤 점수(fitness score)를 결정하는 단계;
b) 상기 맞춤 점수를 제 2 임계와 비교하는 단계; 및
c) 비교 결과에 의존하여 상기 위치를 선택적으로 검증하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
a) 상기 대응관계의 개수가 상기 제 1 임계 미만인 경우; 및
b) 상기 맞춤 점수가 상기 제 2 임계를 초과하는 경우 중 하나라면,
새로운 서브맵을 생성하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 맵의 부분을 잠재적 위치로 랭킹하는 것에 기반하여 선택되는 상기 맵의 다른 부분을 적어도 부분적으로 사용하여, 새로운 서브맵을 생성하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 하나 이상의 처리 디바이스에서,
a) 얼마나 많은 잠재적 위치가 상기 서브맵 내에 포함되었는지 결정하는 단계; 및
b) i) 상기 잠재적 위치의 개수가 규정된 최대값에 도달했으면 상기 국지화 방법을 종결하는 단계, 및
ii) 상기 잠재적 위치의 개수가 상기 규정된 최대값 미만이면 상기 서브맵의 크기를 증가시키는 단계 중 적어도 하나
를 포함한다.
일 실시예에서, 상기 로컬 스캔은,
a) 정지식 스캔;
b) 모바일 로봇 또는 자율 차량과 연관되는 웨이크-업 스캔; 및
c) 루프 클로저 스캔 중 적어도 하나이다.
일 실시예에서, 상기 적어도 하나의 레이저 센서는 LiDAR(light imaging, detection and ranging) 센서이다.
일 실시예에서, 맵의 일부는 맵 매핑 궤적을 따라 맵으로부터 추출된다.
일 실시예에서, 상기 매핑 궤적은 미리 규정된 길이의 세그먼트로 분할되고, 상기 맵의 각각의 부분은, 상기 적어도 하나의 센서가 상기 매핑 궤적의 각각의 세그먼트를 따라 이동할 때 상기 적어도 하나의 센서로부터 획득되는 포인트 클라우드로서 규정된다.
다른 넓은 형태에서, 본 발명의 양태는 3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 시스템으로서, 하나 이상의 전자 처리 디바이스를 포함하고,
상기 하나 이상의 전자 처리 디바이스는,
a) 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반하여 세기 데이터를 결정하고,
b) 상기 세기 데이터를 사용하여, 상기 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 계산하며,
c) 상기 3D 환경의 맵의 개별 부분과 각각 연관되는, 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하고,
d) 상기 제 1 세기 기술자를 상기 제 2 세기 기술자 중 적어도 일부와 비교하며,
e) 적어도 부분적으로 비교 결과에 따라서, 상기 맵에 대한 위치를 결정하도록 구성되는, 시스템을 제공하려 한다.
일 실시예에서, 상기 시스템은, 로컬 스캔을 수행하도록 구성되는 적어도 하나의 레이저 센서를 포함한다.
일 실시예에서, 상기 적어도 하나의 센서는 LiDAR(light imaging, detection and ranging) 센서이다.
일 실시예에서, 상기 시스템은, 복수 개의 제 2 세기 기술자를 보유하는 데이터 저장소를 더 포함하고, 상기 데이터 저장소는 복수 개의 제 2 세기 기술자를 취출하도록 하나 이상의 전자 처리 디바이스에 의해 액세스가능하다.
일 실시예에서, 상기 적어도 하나의 레이저 센서, 상기 하나 이상의 전자 처리 디바이스 및 상기 데이터 저장소는 모바일 로봇 또는 자율 차량에 탑재되어 위치된다.
본 발명의 넓은 형태들 및 그들의 각각의 피쳐들 상호교환가능하도록 및/또는 독립적으로 결합되어 사용될 수 있고, 별개의 넓은 형태들을 가리키는 것은 한정하려는 것이 아니라는 것이 이해될 것이다.
본 발명의 비한정적인 실시예가 첨부 도면을 참조하여 이제 설명될 것이다: -
도 1은 3D 환경에서 국지화를 수행하는 데에 사용되기 위한 방법의 일 예의 흐름도이다;
도 2는 3D 환경에서 국지화를 수행하는 데에 사용되기 위한 시스템의 일 예의 개략도이다;
도 3은 도 2의 처리 시스템의 일 예의 개략도이다;
도 4a 내지 도 4c는 3D 환경에서 국지화를 수행하는 특정 프로세스의 일 예의 흐름도를 제공한다;
도 5는 로컬 스캔과 연관된 제 1 세기 기술자를 연산하는 일 예의 흐름도이다;
도 6a는 세기 기술자의 구조의 일 예이다;
도 6b는 공간적으로 분포된 세그먼트들로 분할되는 예시적인 웨이크-업 스캔의 일 예이다;
도 7은 완전히 상이한 장소들에 대한 세기 기술자들 사이의 비교의 예시적인 다이어그램이다;
도 8은 제 1 세기 기술자와 비교하기 위해서 네 가지 가능한 방식으로 배향된 레퍼런스 프레임을 보여주는 제 2 세기 기술자의 일 예이다;
도 9는 3D 환경의 맵의 전-처리를 수행하는 것의 일 예의 흐름도이다;
도 10a는 실험이 수행된 사이트의 위성 사진이다;
도 10b는 매핑 궤적이 백색으로 표시된, 도 10a의 사이트를 매핑함으로써 얻어진 포인트 클라우드의 일 예이다;
도 10c는 종래에 다수의 장소에 대한 국지화 성공률의 그래프이다;
도 10d는 매핑 궤적으로부터 상이한 거리에 있는 웨이크-업 위치들에 대한 국지화 성공률의 그래프이다;
도 10e는 매핑 궤적으로부터 상이한 거리에 있는 웨이크-업 위치에 대해 성공적으로 국지화하기 위한, 요구되는 개수의 장소 후보들의 그래프이다;
도 10f는 종래의 기하학적 구조-기반 접근법만을 사용하는 것과 비교된, 본 발명의 방법을 사용하는 국지화를 위한 계산 시간의 로그 그래프이다; 그리고
도 10g는 세기-기반 인식을 사용하여 맵으로부터 추출된 장소 후보를 보여줌으로써, 이러한 시스템을 사용하여 얻어진 검색 공간이 감소하는 것의 일 예를 보여준다.
3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 방법의 일 예가 이제 도 1을 참조하여 설명될 것이다.
예시를 위하여, 이러한 방법이 적어도 부분적으로 자율 차량 또는 모바일 로봇(이하, "로봇")과 연관된 하나 이상의 처리 시스템의 일부를 형성하는 하나 이상의 전자 처리 디바이스를 사용하여 수행된다는 것이 가정된다. 하나 이상의 전자 처리 디바이스는 로봇에 장착되어 탑재되고 로봇의 주위의 스캔을 수행할 수 있는 LiDAR(light imaging, detection and ranging) 센서와 같은 적어도 하나의 레이저 센서로부터 데이터를 수신하도록 구성된다.
이러한 예에서는, 단계 100에서, 방법은 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반하여 세기 데이터를 결정하는 것을 포함한다. 로컬 스캔은 3D 환경의 일부, 예를 들어 "웨이크-업" 시에 로봇 바로 주위의 스캔이라는 것이 이해되어야 한다. 로컬 스캔은 로봇이 정지된 동안 수행되어, 로봇이 이동 전에 3D 환경에서 자신의 위치를 결정할 수 있게 할 수 있다.
레이저 센서에 의해 수행된 로컬 스캔은 로봇의 주변의 로컬 포인트 클라우드로 이루어진다. 로컬 포인트 클라우드는, 그로부터 환경의 구조가 결정되는 공간 정보로 이루어진다. 거리 정보에 추가하여, 레이저 센서는 각각의 포인트에 대한 세기의 척도를 더 제공할 수 있는데, 이것은 표면으로부터 반사된 후에 복귀하는 세기이다. 더 정밀하게 얘기하면, 세기는 레이저에 의해 방출된 파워 및 그로 복귀된 파워의 비율을 가리킨다. 세기라는 용어가 본 명세서 전체에서 총괄적으로 사용되지만, 반사도와 같은 관련된 파라미터도 세기라는 범위의 범위에 속하는 것으로 여겨져야 한다는 것이 이해되어야 한다. 반사도는 센서의 내재적 파라미터 및 대상까지의 거리, 입사각, 공기 밀도 등과 같은 외인성 피쳐를 보상함으로써, 세기로부터 획득되는 표면의 속성이다.
"결정하는 것" 또는 "결정한다"와 같은 관련된 용어가 본 명세서 전체에서 사용될 때, 그 범위는 필수 데이터 또는 정보를 "획득하는 것", "수신하는 것", "계산하는 것" 또는 "유도하는 것" 을 포함하는 것으로 간주되어야 한다는 것이 이해되어야 한다. 그러므로, "결정하는 것"이라는 용어는 해당 데이터를 확인하기 위하여 임의의 처리가 요구된다는 것을 암시하지 않는다.
단계 110에서, 이러한 방법은 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 세기 데이터를 사용하여 계산하는 것을 포함한다. 이러한 방식으로, 데이터 세트(여기에서는 50만 개의 포인트로 이루어질 수 있는 로컬 포인트 클라우드 내의 각각의 포인트에 대한 세기 값)의 차원수를 줄이고 동시에 고유한 정보 및 기술성(descriptiveness)을 유지하기 위하여, 전체 로컬 포인트 클라우드에 대하여 단일 기술자가 연산된다. 제 1 세기 기술자의 구조는 상세하게 후술될 것이다.
단계 120에서, 방법은 상세히 후술되는 바와 같이 3D 환경의 맵의 개별 부분과 각각 연관되는 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하는 것을 포함한다.
제 1 및 제 2 세기 기술자들이 그들이 기반을 두는 포인트 클라우드를 인코딩/기술하는 글로벌 기술자들이라는 것이 이해되어야 한다. 제 1 세기 기술자는 로컬 스캔으로부터 얻어진 로컬 포인트 클라우드에 대한 글로벌 기술자이다. 각각의 제 2 세기 기술자는 맵의 각각의 부분과 연관된 포인트 클라우드에 대한 글로벌 기술자이다. 이러한 관점에서, 그리고 상세히 후술되는 바와 같이, 3D 환경의 맵은, 맵 상의 고유한 장소에 각각 대응하는 복수 개의 더 작은 포인트 클라우드로 세그멘트화되는 글로벌 맵(즉 글로벌 포인트 클라우드)이라고 간주될 수 있다.
그러므로, 이러한 방법이, 예를 들어 환경의 SLAM 기반 매핑에서 레이저 센서를 사용하는 매핑 실무에서 이전에 결정된 바 있는, 3D 환경의 존재하는 맵(즉 글로벌 포인트 클라우드)에 의존한다는 것을 인식하는 것이 중요하다. 매핑 후에, 맵은 개별 포인트 클라우드를 각각 가지는 복수 개의 부분으로 세그멘트화되고, 제 2 세기 기술자가 맵의 각각의 부분 또는 세그먼트에 대하여 결정된다. 맵의 각각의 부분과 연관된 포인트 클라우드는 해당 부분의 중앙에 원점을 가지는 '장소(place)' 라고도 불릴 수 있다. 제 2 세기 기술자는 데이터 저장소에 저장되고 맵 내에서 국지화하기 위하여 처리 디바이스에 의해 로딩될 수 있다.
단계 130에서, 방법은 제 1 세기 기술자를 제 2 세기 기술자 중 적어도 일부와 비교하는 것을 포함한다. 통상적으로, 이것은 로컬 스캔의 제 1 세기 기술자 및 맵으로부터 추출된 모든 부분(즉 장소)의 제 2 세기 기술자 사이에서 수행되는 간단한 선형 대응관계 검색이다(대략적 접근법(brute force approach)). 맵 내의 모든 부분의 제 2 세기 기술자가 비교 시에 사용될 수 있는 반면에, 이러한 알고리즘이 정확한 장소가 발견된 신뢰도에 도달하면 모든 제 2 세기 기술자를 사용하기 전에 비교 프로세스를 종결하는 것도 가능하다.
마지막으로, 단계 140에서, 방법은 적어도 부분적으로 비교 결과에 따라서, 맵에 대하여 장소를 결정하는 것을 포함한다. 비교 단계의 출력은 로컬 스캔과의 최고 유사도(세기 데이터에 기반함)를 가지는 맵의 부분에 대응하는 가장 가능성이 높은 장소의 선택이다. 일부 예들에서, 세기-기반 인식은 그 자체만으로 맵 내의 국지화를 얻는 데에 충분할 수 있다. 그러나, 장소의 정확도가 맵의 세그먼트화의 분해능보다 양호하지 않을 것이라는 점이 이해되어야 한다. 더 정확한 위치 및 배향(즉 자세)이 세기 기술자들의 레퍼런스 프레임들 사이의 회전 차분에 기반하여 추정될 수 있지만, 레퍼런스 프레임 추정의 정밀도에 영향을 줄 노이즈가 클라우드에 있기 때문에 정확도는 여전히 제한될 것이다. 다른 예들에서, 기하학적 인식은 세기-기반 인식으로부터 결정된 가장 가능성이 높은 장소를 사용해서 수행될 수도 있다. 더 상세히 후술되는 바와 같이, 기하학적 인식은 자세를 정확한 결정할 수 있도록 포인트 클라우드들 사이의 변환을 결정하기 위하여 사용될 수 있다. 더욱이, 기하학적 인식은 세기-기반 인식이 정확하다고 인증하기 위하여 사용될 수 있다.
전술된 방법은 여러 장점을 제공한다.
첫째로, 이러한 방법은 글로벌 국지화가 레이저 센서(예컨대 LiDAR)의 데이터만을 사용하여 수행될 수 있게 한다. 이러한 방법은 카메라와 같은 추가적 센서로부터의 정보에 의존하지 않으며, GPS 또는 비콘과 같은 외부 센서 기반구조가 부족한 미구조화 환경(unstructured environment)에서 수행될 수 있다. 일 예로서, 이러한 방법은 GPS가 없는 실내 환경에서 또는 GPS에 심각한 다중 경로가 있어서 사용할 수 없게 되는 산업 영역에서 네비게이션하기 위해 활용될 수 있다. 이러한 방법은 바람직하지 않은 조명 상태에서 그리고 예를 들어, 종래의 카메라가 동작하지 않을 어두운 환경에서도 수행될 수 있다.
이러한 방법은 맵에 대한 로컬 스캔의 가장 가능성이 높은 위치를 결정하기 위하여 세기 기술자를 사용하기 때문에 계산적으로 효율적이다. 이러한 방식으로, 세기-기반 인식은 검색 공간을 로봇의 위치의 '종래의(프라이어; prior)' 추정이라고 불릴 수 있는 맵의 작은 부분으로 감소시키기 위해서 사용될 수 있다. 그러면, 기하학적 인식이, 엄청난 계산적 복잡성을 가지는 종래의 기하학적 장소 인식 알고리즘의 경우인 전체 검색 공간 대신에 감소된 검색 공간에서 수행되어 정확한 자세를 결정할 수 있다. 그러므로, 이러한 방법은 맵 내에서 근사(approximate) 장소를 결정하거나 기하학적 인식이 정확한 자세를 결정하도록 검색 공간을 크게 감소시키기 위한 빠르고 효율적인 방법으로서 사용될 수 있다.
전술된 방법은 동작의 시작 시 또는 트랙 또는 경로를 잃어버리는 경우에 국지화를 하기 위해 특히 유용할 수 있다. 이러한 태스크는 보통 웨이크-업 및 미아 로봇 문제라고 불린다. 이와 유사하게, 이러한 방법은 로봇이 이전에 방문한 장소로 복귀했는지를 결정하는 것이 바람직한 루프 클로저(loop closure)와 같은 다른 시나리오에서 사용될 수 있다. 바람직하게는, 이러한 방법은 정지된 로봇이 주위를 돌아다니고 추가 데이터를 수집하도록 요구하지 않으면서 정지된 로봇을 국지화하기 위하여 사용될 수 있다. 그렇지 않으면 환경(또는 로봇 자체)의 일부를 손상시킬 수 있다.
여러 추가적인 피쳐들이 이제 설명될 것이다.
일 예에서, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 로컬 포인트 클라우드 내의 상기 세기 데이터의 분포에 대한 적어도 하나의 통계적 척도에 기반하여 상기 제 1 세기 기술자를 계산하는 단계를 포함한다. 통계적 척도는, 다른 세기 기술자와 비교하기 위하여 충분한 고유 정보 및 기술성을 유지하면서도 로컬 포인트 클라우드 내의 세기 데이터의 차원수를 줄이도록 선택되어야 한다.
이러한 관점에서, 통상적으로 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 로컬 포인트 클라우드를 복수 개의 공간적으로 분포된 로컬 포인트 클라우드 세그먼트로 분할함으로써 제 1 세기 기술자를 계산하는 것을 포함한다. 각각의 로컬 포인트 클라우드 세그먼트에 대하여, 이러한 방법은, 상기 로컬 포인트 클라우드 세그먼트 내의 상기 세기 데이터의 분포에 대한 통계적 척도에 기반하여 제 1 세기 기술자 세그먼트를 계산하는 것; 및 각각의 제 1 세기 기술자 세그먼트를 사용하여 제 1 세기 기술자를 계산하는 것을 더 포함한다. 로컬 포인트 클라우드를 구조적으로 분할하면(structured division), 통계를 공간 내의 장소와 연관시킴으로써 기술자의 고유성(uniqueness)이 보장된다.
전체 로컬 포인트 클라우드에 대해서 단일 통계적 기술자가 사용될 수 있지만, 차원수 감소가 너무 커서 기술자가 고유성을 잃는 수준이 될 수 있다는 것에 주의해야 한다.
일 예에서, 통계적 척도는 복수 개의 세기 값 각각의 빈도의 분포를 나타낸다. 매우 콤팩트한 형태로 포인트의 분포를 인코딩하는 하나의 방식은 히스토그램을 사용하는 것이다. 따라서, 각각의 제 1 세기 기술자 세그먼트는 로컬 포인트 클라우드 내의 공간의 특정한 영역 내에 있는 포인트들의 세기의 히스토그램이고, 따라서 전체 제 1 세기 기술자는 로컬 포인트 클라우드를 콤팩트하고 효율적인 방식으로 함께 기술하는 히스토그램들의 그룹이다.
제 1 세기 기술자의 구조가 이제 설명될 것이다. 통상적으로, 로컬 포인트 클라우드 세그먼트는 적어도 부분적으로 구형인 구조를 가진다. 로컬 포인트 클라우드 세그먼트는, 복수 개의 동심의 구형 영역; 및 8분원으로 세그멘트화되는 적어도 두 개의 동심의 구형 영역 중 적어도 하나를 포함한다. 복수 개의 동심의 구형 영역의 경우에, 이러한 기술자는 공간적 세그먼트화가 없는 기술자보다 더 성능이 좋을 것이지만, 원점으로부터 동일한 거리지만 다른 쪽에 위치된 유사한 대상물을 가지는 클라우드들을 구별하지 못할 수 있다. 구형 영역을 8분원으로 분할함으로써(즉 구를 반구로 분할한 후 방위각의 분할을 적용함), 포인트 클라우드 내에서 어디가 "좌측", "우측", "위" 및 "아래"인지를 규정할 수 있다.
일 예에서, 외부 구형 영역의 반경은 센서의 범위에 기반하고, 하나 이상의 내부 구형 영역의 반경은, 각각의 구형 영역이 유사한 개수의 로컬 포인트 클라우드 포인트를 보유하도록 선택된다.
제 1 세기 기술자에 대한 앞선 설명과 유사하게, 제 2 세기 기술자는, 상기 3D 환경의 맵에 대응하는, 포인트 클라우드 내의 포인트와 연관되는 세기 데이터를 사용하여 이전에 계산되고, 세기 데이터는, 상기 3D 환경의 이전에 수행된 스캔에서 상기 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반한다는 것이 이해되어야 한다. 더욱이, 각각의 제 2 세기 기술자는, 맵의 개별 부분에 대응하는 포인트 클라우드의 일부의 각각의 포인트 클라우드 세그먼트에 대해 획득된 제 2 세기 기술자 세그먼트를 포함한다. 그러므로, 기술자들이 쉽게 비교될 수 있도록, 제 2 세기 기술자가 제 1 세기 기술자와 같은 구조를 가진다는 것이 이해되어야 한다.
통상적으로, 복수 개의 제 2 세기 기술자는 데이터 저장소에 저장되고, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 국지화 방법이 수행될 때마다 데이터 저장소로부터 복수 개의 제 2 세기 기술자를 취출하는 단계를 포함한다. 앞서 언급된 바와 같이, 3D 환경이 맵을 얻도록 매핑되는 경우 제 2 세기 기술자는 더 빨리 계산되고, 기술자가 그로부터 계산되는 맵의 부분을 추출하도록 불연속화(discretization)가 계산된다.
통상적으로, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 상기 제 1 세기 기술자 세그먼트를 상기 제 2 세기 기술자 세그먼트와 비교하는 것; 및 비교 결과에 기반하여 유사도 값을 결정하는 것에 의하여 제 1 세기 기술자를 제 2 세기 기술자와 비교하는 단계; 및 유사도 값에 기반하여 하나 이상의 제 2 세기 기술자를 선택하는 단계를 포함한다. 일 예에서, 이러한 방법은 제 1 세기 기술자의 히스토그램을 각각의 제 2 세기 기술자의 각각의 히스토그램과 비교하는 것을 수반한다. 각각의 히스토그램은, 히스토그램들 사이의 유사도 척도를 제공하는 카이-제곱 테스트(chi-squared test)를 사용하여 비교될 수 있다. 그러면, 모든 히스토그램 비교들의 평균이 결정되어 세기 기술자들 사이의 유사도 척도를 제공할 수 있다. 그러면, 하나 이상의 가장 유사한 제 2 세기 기술자가 유사도 값 및 종래의 검색 구역이 얼마나 커야 하는지에 기반하여 선택될 수 있다.
포인트 클라우드의 레퍼런스 프레임이 주성분 분석(Principal Components Analysis; PCA)과 같은 기법을 사용하여 추정될 수 있다는 것이 이해되어야 한다. 각각의 포인트 클라우드의 대응하는 기술자 세그먼트들이 비교된다는 것을 보장하기 위하여 필요하기 때문에, 이것은 비교를 위한 중요한 고려사항이다. PCA가 레퍼런스 프레임을 형성하기 위한 직교 벡터를 결정할 수 있지만, 벡터의 부호는 결정할 수 없다. 그러므로, 이러한 방향 명확화(disambiguation)는 조심스럽게 고려될 필요가 있다.
따라서, 일 예에서, 이러한 방법은, 하나 이상의 전자 처리 디바이스에서 제 1 세기 기술자와 제 2 세기 기술자의 각각의 비교에 대하여, 제 2 세기 기술자의 복수 개의 상대 배향을 결정하는 단계; 및 제 2 세기 기술자의 복수 개의 상대 배향 각각에 대하여, 제 1 세기 기술자 세그먼트를 제 2 세기 기술자 세그먼트와 비교하는 단계를 포함한다. 그러면 각각의 배향에 대한 유사도 값이 결정될 수 있고, 최소 유사도 값이 개별적인 제 1 및 제 2 세기 기술자 사이의 유사도의 척도로서 선택될 수 있다.
모든 유사도 값이 결정되면, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 제 1 세기 기술자와 개별 제 2 세기 기술자 사이의 유사도 값을 사용하여 맵의 부분을 잠재적 위치로 랭킹(rank)하는 단계를 포함한다. 이러한 방식으로, 세기-기반 인식은, 로컬 스캔에 대응하는, 맵으로부터 추출된 장소들의 유사도에 기반하여 랭크된 순서를 결정할 수 있다.
그러면, 감소된 검색 구역의 크기(즉 맵 내의 로봇의 장소의 '프라이어(prior)' 추정)가 선택될 수 있고, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 맵의 부분이 잠재적 위치로 랭킹되는 것에 기반하여 선택되는 맵의 적어도 하나의 부분을 사용하여 서브맵을 생성하는 단계, 및 서브맵 내에서 기하학적 인식을 수행하는 단계를 포함할 수 있다. 서브맵 또는 '프라이어'가, 유사도 랭킹에 기반하여 선택된 맵의 부분과 연관된 포인트 클라우드들을 병합함으로써 형성될 수 있다는 것 및 맵이 어떻게 불연속화되는지(discretized)에 의존하여 인접한 부분의 포인트 클라우드들 사이에는 상당한 중첩이 존재할 수 있다는 것이 이해되어야 한다.
일 예에서, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 로컬 포인트 클라우드로부터 로컬 키포인트를 추출하는 것, 각각의 로컬 키포인트에 대한 로컬 기하학적 기술자를 계산하는 것, 서브맵 내에 포함된 맵의 부분과 연관된 서브맵 키포인트를 사용하여 계산되는, 이전에 계산된 서브맵 기하학적 기술자를 취출하는 것, 로컬 및 서브맵 기하학적 기술자들 사이의 대응관계를 결정하는 것, 하나 이상의 후보 클러스터를 형성하도록, 기하학적 일관성에 기반하여 대응관계를 클러스터링하는 것, 및 각각의 후보 클러스터에 대한 변환을 결정하는 것에 의하여, 기하학적 인식을 수행하는 단계를 포함한다.
이러한 스테이지의 출력은 맵에 대한 변환(transformation)과 함께 로컬 스캔에 대한 후보 장소들의 세트이다.
3D 환경이 매핑되고 데이터 저장소 내에 저장된 후에, 해당 맵에 대한 제 2 세기 기술자와 함께 서브맵 기하학적 기술자가 연산된다는 것이 이해되어야 한다. 기하학적 기술자는 맵으로부터 추출된 각각의 부분에 대해서 연산되고, 따라서 맵의 부분들이 서브맵 내에 병합되면, 대응하는 기하학적 기술자가 기하학적 인식을 수행하는 데에 사용되기 위해서 취출된다.
통상적으로, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 대응관계의 최다 개수를 가지는 후보 클러스터를 선택하는 단계, 선택된 후보 클러스터 내의 대응관계의 개수를 제 1 임계와 비교하는 단계, 및 i) 상기 대응관계의 개수가 상기 제 1 임계 미만이면 상기 선택된 후보 클러스터가 잘못된 매칭이라고 결정하는 단계; 및 상기 대응관계의 개수가 상기 제 1 임계를 초과하면, 상기 선택된 후보 클러스터가 가장 가능성이 높은 위치를 나타낸다고 결정하는 단계 중 적어도 하나를 더 포함한다. 그러므로, 대응관계의 개수는 만족되어야 하는 기하학적 피쳐에 기반하는 제 1 인증 조건이고, 그렇지 않으면 해당 장소(맵의 부분)는 부정확한 매칭으로 폐기된다.
가장 가능성이 높은 위치를 나타내는 후보 클러스터를 결정하면, 이러한 방법은 통상적으로, 상기 하나 이상의 전자 처리 디바이스에서, 로컬 포인트 클라우드를 서브맵과 연관된 서브맵 포인트 클라우드와 정렬시키도록, 해당 변환을 정제하는 단계를 포함한다. 일 예에서, 이것은 변환을 정제하고 자세(pose)를 결정하도록, 로컬 및 서브맵 포인트 클라우드의 적어도 일부에 반복적 최근접 포인트(ICP) 프로시저를 수행함으로써 얻어진다. 정제 이후에, 포인트 클라우드들은 정밀하게 정렬된다. ICP가 성공적으로 수렴하면, 이것은 추정된 변환 행렬을 출력한다.
추가적 인증 단계로서, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 로컬 및 서브맵 포인트 클라우드들이 얼마나 양호하게 정렬되는지를 나타내는 맞춤 점수(fitness score)를 결정하는 단계, 맞춤 점수를 제 2 임계와 비교하는 단계, 및 비교 결과에 기반하여 위치를 선택적으로 검증하는 단계를 더 포함할 수 있다. 맞춤 점수가 허용가능한 레벨을 초과하면(즉 제 2 임계보다 크면), 해당 위치는 잘못된 매칭으로 간주된다.
잘못된 매칭은, 환경이 얼마나 동적인지와 같은 여러 이유를 가질 수 있다(매핑 중에 관찰된 대상물들이 더 이상 보이지 않을 수 있거나 이동되었을 수 있음). 또한, 로봇은 단순히 원래의 매핑 궤적에서 많이 벗어나 있을 수 있는데, 이러한 경우에 로컬 스캔은 맵으로부터 추출된 부분들 중 임의의 것과 유사해 보이지 않을 수도 있다.
통상적으로, 어떠한 인증 조건이 만족되지 않으면, 이러한 방법은 서브맵의 크기(즉 종래의 검색 구역)를 증가시키려고 한다. 따라서, 일 예에서, 일 실시예에서, 이러한 방법은, 상기 하나 이상의 전자 처리 디바이스에서, 대응관계의 개수가 상기 제 1 임계 미만인 경우; 및 맞춤 점수가 상기 제 2 임계를 초과하는 경우 중 하나라면, 새로운 서브맵을 생성하는 단계를 포함한다. 새로운 서브맵은, 맵의 부분들의 랭킹에 기반하여 잠재적인 위치라고 선택되는(세기-기반 인식 프로시저로부터) 맵의 다른 부분을 사용하여 적어도 부분적으로 생성될 수 있다.
이러한 관점에서, 서브맵 또는 프라이어를 형성하기 위해서 함께 통합되어야 하는 맵의 추출된 부분들의 개수에는 한계가 있다는 것이 이해된다. 그 하나의 이유는, 서브맵이 커짐에 따라 기하학적 기술자의 개수도 증가하고, 따라서 국지화 프로시저가 더 느려진다는 것이다. 이러한 시스템은 계산 복잡도가 감소함에 따라 유리하기 때문에, 서브맵은 사용되는 기하학적 기술자의 총량이 종래의 방법(즉, 전체 맵에서의 기하학적 대응관계 검색에 기반함)보다 처리 시간이 길게 하지 않도록 하는 크기로 제한되어야 한다.
따라서, 일 예에서, 이러한 방법은, 하나 이상의 처리 디바이스에서, 얼마나 많은 잠재적 위치가 상기 서브맵 내에 포함되었는지 결정하는 단계; 및 잠재적 위치의 개수가 규정된 최대값에 도달했으면 상기 국지화 방법을 종결하는 단계; 및 잠재적 위치의 개수가 상기 규정된 최대값 미만이면 상기 서브맵의 크기를 증가시키는 단계 중 적어도 하나를 포함한다.
전술된 방법에서, 맵의 부분(즉 '장소')는 매핑 궤적을 따라 맵으로부터 추출된다. 이러한 방식으로, 매핑 궤적은 미리 규정된 길이의 세그먼트로 분할되고, 맵의 각각의 부분은, 적어도 하나의 센서가 매핑 궤적의 각각의 세그먼트를 따라 이동할 때 적어도 하나의 센서로부터 획득되는 포인트 클라우드로서 규정된다. 맵을 세그멘트화하는 이러한 방법은 반경-기반 접근법과 같은 다른 방법보다 더 견실한 것이 발견되었다. 이러한 접근법은 맵 내에서 장소를 선택하고 센서 범위에 기반하여 포인트 클라우드를 추출하는 것에 기반한다. 그러나, 추출된 스캔이, 센서에 더 가까운 대상물에 의해 차폐된다는 사실 때문에 로봇 위치로부터 보이지 않는 포인트를 포함할 것이기 때문에, 이것은 정확하지 않다. 그러므로, 궤적을 따라 장소를 추출하는 것이 선호되는데, 그 이유는 추출된 장소가 로봇이 사실상 해당 장소로부터 볼 수 있는 피쳐들만을 포함하기 때문에 로컬 스캔에 대응하기 때문이다.
더 넓은 형태에서, 3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 시스템으로서, 하나 이상의 전자 처리 디바이스를 포함하고, 상기 하나 이상의 전자 처리 디바이스는, 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 기반하여 세기 데이터를 결정하고, 상기 세기 데이터를 사용하여, 상기 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 계산하며, 상기 3D 환경의 맵의 개별 부분과 각각 연관되는, 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하고, 상기 제 1 세기 기술자를 상기 제 2 세기 기술자 중 적어도 일부와 비교하며, 적어도 부분적으로 비교 결과에 따라서, 상기 맵에 대한 장소를 결정하도록 구성되는, 국지화를 수행하는 데에 사용되기 위한 시스템이 제공된다.
통상적으로, 이러한 시스템은, 로컬 스캔을 수행하도록 구성되는 적어도 하나의 레이저 센서를 포함한다. 일 예에서, 적어도 하나의 레이저 센서는 LiDAR(light imaging, detection and ranging) 센서이다. 바람직하게는, 전체 글로벌 국지화를 얻기 위해서 추가적 센서가 필요하지 않다.
일 예에서, 이러한 시스템은, 복수 개의 제 2 세기 기술자를 보유하는 데이터 저장소를 더 포함하고, 상기 데이터 저장소는 복수 개의 제 2 세기 기술자를 취출하도록 하나 이상의 전자 처리 디바이스에 의해 액세스가능하다.
바람직하게는, 적어도 하나의 레이저 센서, 하나 이상의 전자 처리 디바이스 및 데이터 저장소는 모바일 로봇 또는 자율 차량에 탑재되어 위치된다. 그러나 다른 구성에서는, 처리 디바이스는 요구되는 제 2 세기 기술자를 취출하기 위하여 원격 데이터 저장소와 무선으로 통신할 수 있다.
3D 환경에서 국지화를 수행하는 데에 사용되기 위한 시스템의 일 예가 이제 도 2를 참조하여 설명될 것이다.
이러한 예에서, 시스템(200)은 자율 차량 또는 로봇(205)에 장착되어 위치되는 적어도 하나의 전자 처리 디바이스(210)를 포함한다. 전자 처리 디바이스(210)는, 맵과 연관된 글로벌 포인트 클라우드, 매핑 궤적, 제 2 세기 기술자 및 기하학적 기술자와 같은 맵 정보를 포함하는 데이터 저장소(230)에 연결된다. 레이저 센서(220)는 로봇(205)에 장착되어 탑재되고 로봇(205) 주위의 환경의 스캔을 수행하도록 구성된다. 일 예에서, 레이저 센서는 Velodyne 사에 의해 생산된 VLP-16 3D LiDAR와 같은 3D LiDAR 센서이다. 센서로부터 획득되는 정보를 증가시키기 위해서는, 센서가 수직 축 중심으로 회전되도록 장착될 수 있고, 또한 센서는 수직에서 45 도의 각도로 틸팅될 수 있다. 일 예에서, 로컬 스캔은 전술된 센서의 두 회전들에 의해서 생성되는 포인트 클라우드인 것으로 여겨진다.
전자 처리 디바이스(210)의 일 예가 도 3에 도시된다. 이러한 예에서, 처리 디바이스(210)는 도시된 바와 같이 버스(304)를 통해 서로 연결되는 적어도 하나의 마이크로프로세서(300), 메모리(301), 키보드 및/또는 디스플레이와 같은 선택적인 입력/출력 디바이스(302), 및 외부 인터페이스(303)를 포함한다. 이러한 예에서 외부 인터페이스(303)는 처리 디바이스(210)를 통신 네트워크, 데이터 저장소(230), 다른 저장 디바이스 등과 같은 주변 디바이스에 연결하기 위하여 이용될 수 있다. 단일 외부 인터페이스(303)가 도시되지만, 이것은 오직 예를 들기 위한 것이고, 실무에서는 다양한 방법(예를 들어 이더넷, 시리얼, USB, 무선 등)을 사용하는 여러 인터페이스가 제공될 수 있다.
사용 시에, 마이크로프로세서(300)는, 데이터 저장소(230)와 통신하여 맵의 추출된 부분과 연관된 제 2 세기 기술자 및 기하학적 기술자를 취출하는 것, 레이저 센서(220)로부터 세기 데이터 및 거리 데이터를 포함하는 센서 데이터를 수신하는 것, 및 세기-기반 인식 및 기하학적 인식을 수행하는 것을 포함하는 요구된 프로세스가 수행되게 하는, 메모리(301)에 저장된 애플리케이션 소프트웨어의 형태인 명령을 실행한다. 애플리케이션 소프트웨어는 하나 이상의 소프트웨어 모듈을 포함할 수 있고, 적합한 실행 환경, 예컨대 운영 체제 환경 등에서 실행될 수 있다.
따라서, 전자 처리 디바이스(210)가 적절하게 프로그래밍된 컴퓨터 시스템, PC, 랩톱, 또는 로봇(205)에 장착되어 탑재되는 스마트 폰, 태블릿 등과 같은 핸드-헬드 PC와 같은 임의의 적합한 처리 시스템으로부터 형성될 수 있다는 것이 이해될 것이다. 하나의 특정한 예에서, 전자 처리 디바이스(210)는, 비-휘발성(예를 들어, 하드 디스크) 저장소에 저장된 소프트웨어 애플리케이션을 실행하는, 인텔 아키텍처 기반 처리 시스템과 같은 표준 처리 시스템 인데, 하지만 필수적인 것은 아니다. 그러나, 처리 시스템이 마이크로프로세서, 마이크로칩 프로세서, 로직 게이트 구성, FPGA(필드 프로그램가능 게이트 어레이)와 같은 구현 로직과 선택적으로 연관되는 펌웨어, 또는 임의의 다른 전자 디바이스, 시스템 또는 장치와 같은 임의의 전자 처리 디바이스일 수 있다는 것도 역시 이해될 것이다.
3D 환경에서 국지화를 수행하는 데에 사용되기 위한 특정 프로세스가 이제 도 4a 내지 도 4c를 참조하여 설명될 것이다. 이러한 흐름도에서 기술되는 프로세스는, 세기-기반 매칭의 정확도를 인증하고 또한 요구되는 변환 및 자세를 제공하기 위한, 세기-기반 장소 인식을 수반하는 제 1 스테이지 기하학적 장소 인식을 수반하는 제 2 스테이지를 포함하는 바람직한 2-스테이지 국지화 파이프라인을 설명한다.
프로세스는 환경의 로컬 스캔이 3D LiDAR 센서를 사용하여 수행될 때 단계 400에서 시작된다. 로컬 스캔은 자신의 위치에 대한 종래의 정보가 없는 환경에서 웨이크업 시에 또는 초기화 시에 로봇에 의해 수행되는 "웨이크-업" 스캔일 수 있다. 로컬 스캔은 센서가 관찰할 수 있는 모든 포인트를 포함하는 로컬 3D 포인트 클라우드를 생성한다.
단계 405에서, 로컬 포인트 클라우드 내의 모든 포인트의 세기에 대응하는 세기 데이터가 결정된다. 앞에서 논의된 바와 같이, 이러한 정보는 스캐닝되고 있는 표면의 반사도 특성에 의존하는, 레이저의 복귀의 세기의 척도에 대응한다. 이와 같이, 세기 데이터는 로봇이 위치된 환경을 고도로 기술한다. 일 예에서, 세기 데이터는 단순하게 센서로부터 도달하는 메시지로부터 판독된다.
단계 410에서, 제 1 세기 기술자는 로컬 포인트 클라우드 내의 포인트의 세기 데이터를 사용하여 계산된다. 이러한 세기 기술자는, 동심의 구가 되도록 반경방향으로 분할된 후 반구가 되도록 수평으로 세그멘트화되고, 그 뒤에 매 90 도마다 아지무스 방향을 따라 추가적으로 세그멘트화되는 구로 이루어진다. 결과적으로 얻어지는 기술자는 16 개의 공간적으로 분포된 세그먼트를 가진다. 그러면 16 세그먼트 각각에 속하는 포인트들의 세기의 히스토그램이, 제 1 세기 기술자가 16 개의 세기 히스토그램으로 이루어지도록 계산된다. 히스토그램을 사용하면 데이터 세트의 차원수가 감소되는 반면, 기술자의 구조화된 분0할은 통계를 공간 내의 위치와 연관시킴으로써 고유성을 유지한다. 세기 기술자의 구조의 일 예가, 도 6b에 도시되는 공간적으로 분포된 세그먼트들로 분할되는 예시적인 웨이크-업 스캔과 함께 도 6a에 도시된다.
단계 415에서, 로컬 기하학적 기술자가 계산된다. 이를 위하여, 포인트 클라우드가 클라우드의 밀도를 감소시키기 위하여 우선 다운샘플링된 후, 기술자에 대한 노이즈의 영향을 최소화하도록 이상치가 제거된다. 그러면 랜덤 선택에 기반하여 포인트 클라우드로부터 키포인트가 추출되고, 그 주위에서 기하학적 기술자가 계산되는 포인트들을 형성한다. 그러면, 클라우드 내의 모든 포인트의 법선(normal)이 계산되고, 최종적으로 기술자가 계산된다. 적합한 기하학적 기술자는 배향의 히스토그램의 서명(Signature of Histograms of Orientation)을 나타내는 SHOT 기술자로 불리고, 노이즈에 대해 견실하면서도 동시에 기술성이 높다. SHOT 기술자는 32 개의 공간적으로 분포된 세그먼트로 분할되는 구형 지지 구조를 가진다. 각각의 세그먼트에 대하여, 법선의 히스토그램이 계산되는데, 이것은 견실성을 제공하며, 추가적으로 각각의 세그먼트의 공간적 위치가 고정되어 기술성을 보장한다. 그러나, SHOT 기술자는 사용될 수 있는 로컬 기술자의 한 예라는 것이 이해될 것이고, 당업자가 이해하는 것처럼 임의의 다른 로컬 기술자도 사용될 수 있다.
단계 420에서, 가능한 위치 후보의 개수가 'n'으로 설정된다. 처음에, 'n'은 1과 같고, 이것은 가장 유사한 세기-기반 장소 후보가 그 안에서 기하학적 인식이 수행되는 '프라이어(prior)' 또는 서브맵을 형성하기 위해 사용된다는 것을 의미한다.
단계 425에서, 복수 개의 제 2 세기 기술자가 데이터 저장소로부터 취출되고 프로세서의 메모리에 로딩된다.
단계 430에서, 제 1 세기 기술자가 제 2 세기 기술자에 대해 비교된다. 이것은 제 1 세기 기술자의 각각의 세그먼트에 대한 세기의 히스토그램을 제 2 세기 기술자의 각각의 대응하는 세그먼트의 세기의 히스토그램과 비교함으로써 이루어진다. 각각의 히스토그램은 카이-제곱 테스트(chi-squared test)를 사용하여 비교된다:
Figure pct00001
여기에서:
Figure pct00002
= 기술자 A의 i번째 세그먼트의 히스토그램과 기술자 B의 i번째 세그먼트의 히스토그램 사이의 유사도 값이고; 기술자 A = 제 1 세기 기술자이며; 기술자 B = 제 2 세기 기술자이고; k = 히스토그램의 빈의 개수이고; m = 히스토그램 내의 빈의 개수이며; A(k) =기술자 A의 k번째 빈의 값이고; B(k) = 기술자 B의 k번째 빈의 값이다.
비교 결과는 유사도 값
Figure pct00003
이다. 두 개의 기술자
Figure pct00004
의 유사도 메트릭이 모든 세그먼트들의 카이-제곱 테스트의 결과들의 평균으로서 얻어진다. 상이한 장소에서의 두 개의 세기 기술자에 대한 히스토그램들 사이의 비교의 시각적인 예시가 도 7에 도시된다. 제 1 장소 '2'는 건물이 있는 구조화된 환경을 나타내는 밀한 클라우드에 대응한다. 제 2 장소 '917'은 나무와 덤불이 있는 미구조화 환경을 나타내는 성긴 클라우드에 대응한다.
통상적으로 레퍼런스 프레임이 주성분 분석(PCA)을 사용하여 세기 기술자에 대해 계산된다는 것에 더 주의해야 한다. 레퍼런스 프레임을 포함하는 벡터의 부호를 결정하는 것이 불가능하기 때문에, 기술자의 대응하는 세그먼트들의 히스토그램이 서로 비교되고 있다는 것을 보장하기 위해서는 이것이 고려되어야 한다. 그러므로, 제 1 세기 기술자는 각각의 제 2 세기 기술자의 네 개의 상이한 버전과 비교된다. 상이한 버전이라고 함으로써, 도 8에 도시된 바와 같이 기술자의 레퍼런스 프레임의 상이한 배향들을 고려함으로써 얻어지는 세그먼트의 상이한 시퀀스들이 이해되어야 한다. 이러한 방법은 본질적으로 레퍼런스 프레임 배향의 네 개의 모든 조합이 가능하다는 것을 가정한다. 유사도 값 SAB가 네 개의 비교들 각각에 대하여 결정되고, 기술자들 사이의 유사도의 전체 척도가 다음과 같이 규정된다:
Figure pct00005
단계 435에서, 'n'개의 가장 유사한 장소 후보가 비교 결과에 따라서(즉 기술자들 사이의 유사도 메트릭에 기반하여) 선택된다. 장소 후보들은 단계 440에서 각각의 장소의 포인트 클라우드들을 결합함으로써 서브맵 또는 '프라이어'로 병합된다.
단계 440에서, 서브맵 기하학적 기술자가 데이터 저장소로부터 취출되는데, 서브맵 기하학적 기술자는 '프라이어' 내의 맵의 각각의 부분에 대해 결정되는 기하학적 기술자에 기반한다.
단계 450에서, 기하학적 대응관계가 결정된다. 각각의 서브맵 기하학적 기술자는 로컬 스캔으로부터 얻어진 각각의 로컬 기하학적 기술자에 대해서 질의된다.
서브맵 내의 각각의 키포인트에 대하여, 하나의 키포인트만이 로컬 스캔으로부터 선택된다(가장 유사한 키포인트). 추가적 제약이 부과된다: 유사도 레벨은 규정된 임계 아래여야 한다. 기술자의 치수의 개수에 부합하는 차원수를 가지는 검색 방법으로서 kd-트리가 사용된다.
출력은 그 유사도가 언급된 임계 아래라면 대응하는 포인트로 여겨지는 하나의 가장 가까운 이웃이다. 대응관계가 키포인트의 쌍의 인덱스들을 저장하는 벡터로 수집된다. 일반적으로, 로컬 스캔 내의 단일 키포인트는 다수의 인스턴스의 가능성을 포함하는 서브맵 내의 여러 대응하는 키포인트를 가질 수 있다. 그러므로, 그 값이 인식의 엄격성(strictness)에 영향을 주기 때문에 유사도 임계는 중요하다. 이것을 증가시킴으로써, 시스템은 장면의 변화에 대한 보존성이 적어지게 되고(less conservative), 노이즈에 대해서는 더 견실해지는 반면에, 너무 큰 값은 잘못된 매칭을 초래할 것이다. 균형을 이루는 파라미터를 실험적으로 찾아내야 한다.
단계 455에서, 대응관계는 기하학적 일관성에 기반하여 클러스터링된다. 대응관계 검색 단계의 결과는 서브맵 내의 포인트와 로컬 스캔 내의 포인트 사이의 매칭의 세트이다. 발견된 대응관계가 로컬 스캔의 실제 인스턴스에 속하는 것을 보장하기 위하여, 기하학적 제약이 이들에게 부과된다. 기본적인 가정은, 클라우드 내의 포인트들이 강하게(rigidly) 커플링된다는 것이다. 그러면 키포인트들이 기하학적 일관성 기준을 달성하는 세트들로 클러스터링되게 된다. 이러한 조건에 의하여, 서브맵 내의 두 개의 포인트들 사이의 감산의 2-놈(norm)과 로컬 스캔 내의 대응하는 포인트의 감산의 2-놈 사이의 차이가 규정된 일치(consensus) 임계보다 적다면, 이들은 기하학적으로 일관적이라고(consistent) 여겨진다. 기하학적 일관성 일치는 시스템의 다른 중요한 파라미터이다. 경험 법칙으로서, 이것은 다운샘플링 이후에 클라우드의 분해능보다 커야 한다(포인트 위치에서의 차이가 분해능에 도달할 수 있음). 하지만, 키포인트들이 양자 모두의 클라우드 내에서 정확한 동일한 위치에 있다고 보장되지 않기 때문에(다운샘플링에 의해 선택되기 때문임) 그리고 노이즈 때문에, 일치 값은 더 커져야 한다(클라우드 분해능의 수 배).
추가적으로, 그 아래의 클러스터들이 버려지는 대응관계의 최소 개수에 대한 조건이 있다. 이하, 불일치한(inconsistent) 대응관계를 더 제거하기 위해서 RANSAC 알고리즘이 사용된다. 그러면, 전술된 제약이 대응관계에 부과된 이후에, 후보 클러스터의 세트가 단계 460에서 결정된다.
단계 465에서, 각각의 후보 클러스터에 대하여 변환 행렬이 자세를 획득하기 위하여 절대 배향 알고리즘(Absolute Orientation algorithm)을 사용하여 계산된다. 이러한 변환이, 전체 포인트 클라우드가 아니라 키포인트의 세트의 상대 위치에 기반하여 추정되고, 정확도는 클러스터 내의 키포인트의 양에 의존한다는 것에 주의하는 것이 중요하다. 이러한 스테이지의 출력은 서브맵에 대한 변환과 함께 로컬 스캔에 대한 후보 위치들의 세트이다.
단계 470에서, 대응관계의 최다 개수를 가지는 최다가 가장 가능한 장소 후보로서 선택된다.
단계 475에서, 인증이 2-단계 프로세스에서 수행된다. 첫째로, 가장 가능한 장소 후보 내의 대응관계의 개수가 규정된 임계와 비교된다. 대응관계의 개수는 임계보다 커야 하고, 그렇지 않으면 해당 위치 후보는 잘못된 매칭으로서 버려진다.
그러면 가장 가능성이 높은 위치의 획득된 변환 행렬이 반복적 최근접 포인트(Iterative Closest Point; ICP) 알고리즘을 사용하여 정제된다. ICP는 서브맵 및 로컬 스캔 내의 대응관계의 최다 개수를 가지는 클러스터의 각각의 포인트에 적용된다. 정제 이후에, 포인트 클라우드는 정밀하게 정렬된다. ICP가 성공적으로 수렴하면, 이것은 추정된 변환 행렬을 출력한다.
추가적으로, ICP는 포인트 클라우드가 얼마나 양호하게 정렬되는지의 메트릭인 맞춤 점수를 출력한다. 이것은, 맞춤 점수가 허용가능한 레벨을 초과하는지(규정된 임계 위인지)를 점검하는 제 2 인증 조건의 일부를 형성한다. 그렇다면, 해당 장소는 잘못된 매칭이라고 여겨진다.
단계 480에서, 이러한 방법은 전술된 인증 조건들이 만족되었는지 여부를 점검한다. 만족되었다면, 로봇은 국지화된 것으로 여겨지고, 방법은 단계 485에서 종결된다. 하나 또는 양자 모두의 인증 조건이 만족되지 않으면, 단계 490에서 이러한 방법은 프라이어에 대한 장소 후보의 최대 개수 'n'에 도달되었는지 여부를 점검한다. 도달되었다면, 추가적 검색이 수행되지 않고, 알고리즘은 위치를 찾는 것이 불가능하다고 여기고 단계 496에서 종결된다. 그렇지 않으면, 프라이어의 크기가 단계 495에서 증가되고 추가적 장소 후보를 고려함으로써 서브맵이 확장되며, 방법은 단계 435로 복귀한다.
로컬 스캔과 연관된 제 1 세기 기술자를 연산하는 일 예의 흐름도가 이제 도 5를 참조하여 설명될 것이다.
이러한 예에서, 단계 500에서 로컬 포인트 클라우드 내의 포인트의 세기 데이터는 3D LiDAR 스캔으로부터 결정된다.
단계 510에서, 로컬 포인트 클라우드는, 예를 들어 도 6a에 도시된 바와 같이 복수 개의 공간적으로 분포된 로컬 포인트 클라우드 세그먼트로 분할된다. 그러면, 각각의 포인트 클라우드 세그먼트 내의 포인트의 세기 분포에 대한 통계적 척도가 단계 520에서 계산된다. 바람직한 구현형태에서, 단계 530에서 세기의 히스토그램이 제 1 세기 기술자 세그먼트를 형성하는 각각의 포인트 클라우드 세그먼트에 대해서 결정된다. 다른 예들에서, 예를 들어 포인트 클라우드 세그먼트 내의 포인트의 세기 값의 평균 또는 세기 값의 분산인 다른 통계적 척도가 사용될 수도 있다.
마지막으로, 단계 540에서 제 1 세기 기술자 세그먼트가 제 1 세기 기술자를 규정하기 위하여 사용된다. 히스토그램이 사용되는 경우, 제 1 세기 기술자는 로컬 스캔의 외관을 콤팩트하고 고유한 형태로 특징짓는 세기의 히스토그램의 그룹을 규정한다.
이제 맵의 전-처리를 수행하는 방법의 일 예의 흐름도가 도 9를 참조하여 설명될 것이다.
이러한 예에서, 단계 900에서 3D LiDAR 센서가 스캐닝하는 동안 자율 차량 또는 로봇을 3D 환경에서 구동시킴으로써 맵이 획득된다. 이러한 환경의 맵을 얻기 위해서 SLAM 알고리즘이 사용될 수 있다.
또한, 매핑 궤적이 단계 910에서 기록되고, 이러한 방법은 매핑 궤적을 획득하는 것을 포함한다. 단계 920에서, 맵의 부분들이 매핑 궤적을 따라서 추출된다. 이러한 추출은 거리에 기반하고, 따라서 맵은 궤적을 길이 'l'(예를 들어 l=2m)의 조각으로 세그멘트화하고, 클라우드의 원점이 조각의 중간에 위치되면서 각각의 조각을 따라서 보이는 모든 포인트로부터 포인트 클라우드를 생성함으로써 분할된다.
단계 930에서, 세기 데이터는 각각의 추출된 부분의 클라우드 내의 포인트(또한 이전에 언급된 바와 같이 '장소'라고도 불림)에 대해서 결정된다.
단계 940에서, 제 2 세기 기술자가 제 1 세기 기술자에 대해서 전술된 것과 같은 기법을 사용하여, 각각의 추출된 부분에 대해서 연산된다. 또한, 단계 950에서 각각의 추출된 부분에 대하여 로컬 기하학적 기술자에 대하여 사용된 전술된 기법(다운샘플링, 이상치 제거, 키포인트 선택, 법선 계산 등)을 사용하여 기하학적 기술자가 연산된다. 마지막으로, 단계 960에서, 맵으로부터의 각각의 추출된 부분에 대한 제 2 세기 기술자는 국지화에 사용되도록 전자 처리 디바이스에 의해 후속 취출되게끔 데이터 저장소 내에 저장된다.
실험 및 인증
오스트렐리아 브리스베인에 있는 진보된 기술을 위한 퀸즈랜드 센터 현장 내에서 시스템을 인증하기 위해 실험이 수행되었다. 마크된 웨이크-업 위치가 있는 테스트 환경의 위성 사진이 도 10a에 도시된다. 전체 구역은 SLAM 알고리즘을 사용하여 매핑되었고, 이것은 도 10b에 도시되는 l 맵(즉 글로벌 포인트 클라우드) 및 대응하는 매핑 궤적을 제공했다.
테스트 환경은 여러 특징을 가진다. 건물과 같은 완전히 구조화된 성질의 장소 및 나무 또는 덤불로 구성된 완전 미구조화 영역이 존재한다. 명백하게, 양자 모두의 타입의 요소들을 포함하고 구조화 및 미구조화된 주변의 조합인 영역들이 존재한다. 또한, 상이한 장소에 대한 포인트들의 공간적 분포도 역시 맵에 걸쳐서 크게 변한다. 건물들 사이의 스폿은 보통 매우 제한되고 좁아서, 그 위치에서 얻어진 스캔이 많은 양의 포인트를 보유하지 못하게 하지만, 이들은 보통 매우 고유하고 쉽게 구별가능하다. 반면에, 크게 구별되는 피쳐가 부족하지만 흔히 많은 포인트를 포함하는, 나무와 덤불이 가끔씩 있는 개방된 공간 장소도 존재한다(지면으로부터의 반영으로서 측정됨). 이들 모두가 이러한 현장이 인식하기 매우 곤란한 환경이 되게 하고, 특히 LiDAR 데이터에만 기반해야 한다는 제한 조건이 있는 경우에는 더 그러하다.
이러한 시스템을 인증하기 위하여, 다양한 웨이크-업 스캔(즉 로컬 스캔)의 세트가 생성되었다. 전체적으로 현장 전체에서 테스트되는 101 개의 장소가 있었고, 이들 모두를 도 10a에서 볼 수 있다. 알 수 있는 바와 같이, 포인트들은 맵에 걸쳐서 균일하게 분포되어 있고, 그러면 다양한 장소의 특성이 보존되고 결과가 통계적으로 의미있게 보장된다. 더 나아가, 변형에 대한 견실성을 검증하기 위하여, 스캔들은 원래의 매핑 궤적으로부터 상이한 거리에서 생성되었다. 전체 세트가 여러 날에 걸쳐 생성되었다는 것을 언급하는 것도 역시 중요하다. 이것은, 다양한 빛의 조건 및 온도가 존재했다는 것이고, 이것이 세기-기반 기술자에 대한 그들의 영향을 검증할 수 있게 했다.
맵은 이전에 설명된 방법에 따라서 장소들의 세트로 분할되었다. 궤적은 길이가 약 4km였고, 따라서 연속 클라우드의 분해능이 2m로 설정되어, 맵은 2055 개의 장소로 분할되었다.
시스템의 인증은 다중-특성 환경에서 인식의 성공률을 구축하는 것에 기반한다. 제안된 시스템에서, 알고리즘이 종래의 기하학적 구조-기반 접근법보다 더 빨리 정확한 자세를 찾을 수 있으면 인식은 성공적인 것으로 여겨진다. 후속하는 섹션에서, 기하학적 구조에만 기반한 파이프라인은 종래의 접근법이라고 불릴 것이고, 2-스테이지 세기 및 기하학적 기반 인식은 통합된 파이프라인이라고 불릴 것이다. 좀 더 구체적으로는, 정확도(즉 인증) 조건이 앞에서 규정된 것과 같이 만족된다면, 해당 장소는 정확한 매칭인 것으로 여겨진다. 이러한 기준들을 위한 파라미터들은 다양한 실험을 수행함으로써 조절되었다.
스캔들 중 일부에 대하여, 발견된 자세를 네비게이션 파이프라인으로 파싱(parsing)함으로써, 정확도가 직접적으로 평가되었다. 프로시저가 시작될 수 있으면(정확한 정렬), 이것은 자세가 성공적으로 발견되었다는 것을 의미한다. 그러나, 대부분의 경우에, 양자 모두의 파이프라인이 동시에 개발되었고 상호 테스트를 수행하는 것이 보통은 가능하지 않았다는 사실 때문에, 글로벌 국지화 테스트는 네비게이션과 별개로 수행되었다.
이러한 경우에, 인식은 우선 종래의 접근법(즉 단일 클라우드로서의 맵 내의 국지화)을 사용하여 수행되었고, 그 결과가 기초 사실(ground truth)로 취급되었다. 통합된 파이프라인이 동일한 좌표의 장소를 찾았으면(놈의 허용가능한 오차 < 1 m로), 해당 장소는 정확한 것으로 여겨졌다.
스캔 중 일부에 대하여(전체 세트 내에서 총 여덟 개), 단일 클라우드를 포함하는 맵 내의 기하학적 구조-기반 국지화는 실패하였다. 이러한 상황에서, 종래의 접근법의 파라미터는 변경되었다(즉, 다운샘플링의 분해능이 더 많은 기술자를 얻기 위해 증가되었다). 다섯 개의 장소에 대하여, 변경된 파라미터는 도움이 되지 않았고, 기하학적 구조에만 기반한 접근법은 실패하였다. 이러한 경우에, 통합된 접근법의 정확도는 맵 내의 발견된 장소의 위치의 시각적인 검사와 포인트 클라우드들의 정렬에 의해서 추정되었다.
통합된 파이프라인의 성능이 종래의 접근법보다 빠르다는 것을 보장하기 위하여, 프라이어를 형성하는 장소들의 최대량은 49 개로 제한되었다. 이러한 개수는 종래의 접근법의 50%보다 짧은 처리 시간을 유지하기 위해서 실험적으로도 구축되었다. 그러나, 실험이 보여주는 것과 같이, 25 개보다 프라이어를 확장하여도 정확한 자세를 찾을 가능성은 증가하지 않았다.
전체적으로, 이러한 시스템은 매우 성공적이었고 전체 성공률은 97%에 달했다. 성공률이 높은 것은, 견실한 알고리즘 구조, 즉 기하학적 구조-기반 인증이 확실히 인식하지 못할 경우에 프라이어(즉 장소 후보의 개수)를 증가시키는 가능성으로부터 유래한다. 도 10c에 도시되는 그래프는 프라이어 크기를 증가시키는 것이 전체 국지화 성공률에 미치는 영향을 시각화한다. 이러한 그래프에서, 다음 프라이어 크기의 성공률은, 이전의 프라이어의 크기 및 프라이어의 크기를 증가시킴으로써 인식되었던 추가적인 장소로부터의 성공률을 포함한다. 모든 실험의 결과가 그려져 있다(즉 101 개의 웨이크-업 위치).
대부분의 경우에(82%), 시스템은 오직 하나의 장소를 사용하여 정확하게 국지화할 수 있었다. 그래프로부터 분명히 알 수 있는 것처럼, 프라이어 크기를 5 개 및 25 개의 장소로 증가시키면 성공률이 증가되지만, 프라이어 크기를 더 증가시키는 것은 인식에 아무런 추가적인 개선을 제공하지 않는 것으로 나타났다(하지만 필연적으로 처리 시간이 열악해짐).
많은 글로벌 국지화 알고리즘에서, 내재된 가정은 로봇이 "장소에 재방문한다(revisit)"는 것이다(즉 로봇이 현재 볼 수 있는 장소는 과거에 이미 방문한 곳임). 이것은, 인식 능력이 궤적의 가까운 이웃들로 한정된다는 것을 의미한다. 제안된 알고리즘은 범용적이고, 지각될 수 있는 수준으로, 궤적까지의 무작위 거리에 있는 로봇의 위치를 처리할 수 있다. 이러한 시스템은 궤적으로부터 5 미터까지 떨어진 로봇을 다룰 수 있고, 이것은 로봇이 매핑 경로 주위에서 10m 폭의 반경 내에 위치될 수 있고 여전히 견실하게 국지화할 수 있다는 것을 의미한다. 또한, 더 먼 거리에 대해서 성공률은 70%의 만족스러운 레벨에 유지된다. 이것은 시스템의 견실성을 시연하는 훌륭한 결과이다.
도 10d를 참조하면, 궤적으로부터의 상이한 거리에 대한 국지화의 성공률의 그래프가 도시된다. 막대 그래프는 매핑 궤적까지 상이한 거리 범위에서의 웨이크-업 위치의 비율을 보여준다. 도 10e에서, 매핑 궤적으로부터 상이한 거리에서 성공적으로 국지화하기 위한 장소 후보의 요구되는 개수(프라이어 크기의 분포)의 그래프가 도시된다.
기대한 바와 같이, 궤적으로부터의 거리가 증가되면, 세기-기반 인식의 확실성이 감소된다. 이것은, 로봇이 원래의 궤적으로부터는 관찰될 수 없었던 대상물을 볼 수 있다는 사실로부터 초래된다. 또한, 매핑 경로에서 많이 떨어지면, 동일한 대상물이 상이한 입사각으로 관찰될 수 있고, 이것이 보상되지 않기 때문에, 세기 히스토그램에 불확실성이 도입된다. 이것은 양호하게 관찰될 수 있어서, 로봇이 궤적으로부터 더 멀어지면, 더 큰 프라이어가 고려될 필요가 있다. 이유들 중 하나는, 궤적에서 벗어난 위치에서 완전하게 관찰가능한 대상물이 궤적 상의 다양한 장소에서는 부분적으로만 관찰될 수 있다는 것이다. 그러므로, 부분적인 뷰(view)를 결합함으로써, 성공적인 기하학적 구조-기반 국지화를 수행하기에 충분한 정보를 포함하는 클라우드를 생성하는 것이 가능하다.
또한, 프라이어 크기를 증가시킬 필요성은 스캔들이 궤적에 가까운 몇 가지 경우에 대해서도 생긴다는 것에 주의한다. 이것은, 환경이 동적이고 매핑 중에는 관찰될 수 없었던 일부 대상물이 웨이크-업 시에 발생될 수 있다는 사실에 기인한다. 그러면 세기-기반 인식 확실성이 줄어드는 결과가 생긴다. 반면에, 이것은 프라이어 크기 확장 기능성의 필요성에 대한 다른 정당화이고, 이것은 알고리즘이 환경의 동적 변화를 다룰 수 있게 한다.
이러한 시스템의 개발을 위한 가장 중요한 동기 중 하나는 처리 시간의 감소시킬 요구 사항이었다. 종래의 접근법에서는, 대응관계가 전체 글로벌 맵 포인트 클라우드에 대해서 검색되는 경우, 이러한 프로세스는 허용불가능한 양의 시간이 걸린다. 클라우드의 특징(건물의 경우에는 구조화되고 콤팩트하고, 또는 개방된-공간/초원의 경우에는 미구조화되고 방대함)에 의존하여, 검색은 3 분 내지 20 분이 걸릴 수 있다. 어떤 태스크를 수행해야 하는 유틸리티 차량의 경우, 동작이 시작되도록 오래 기다리는 것은 견디기 힘든 일이다.
제안된 알고리즘은 시간 요구 사항을 완벽하게 수용한다. 세기-기반 프라이어의 경우, 검색 공간의 제한이 많다(예를 들어 도 10g에 도시된 바와 같이). 종래의 접근법과 통합 접근법을 사용하는 처리 시간의 비교가 도 10f에 도시된다. 방대한 수의 케이스에서의 시간 감소가 약 99%에 도달한다는 것을 명확하게 알 수 있다(수직 축은 로그임). 25 개의 장소를 포함하는 프라이어의 경우에만, 이러한 감소가 열악해지지만, 여전히 약 90%를 획득한다. 이러한 결과는 매우 만족스러운 것이고, 대부분의 경우에 이러한 솔루션이 실시간 글로벌 국지화 알고리즘으로 간주될 수 있다는 것을 증명한다.
따라서, 적어도 하나의 예에서 전술된 방법 및 시스템은 글로벌 국지화를 수행하는 데에 사용되기 위한 효율적 알고리즘을 제공하고, 일부 예들에서 로봇이 임의의 종래의 지식이 없이 자신의 자세를 공지된 맵 내에서 추정해야 하는 웨이크-업 또는 미아 로봇 문제에 대한 효율적인 솔루션을 제공한다는 것이 이해될 것이다. 앞선 내용으로부터, 하지만 이러한 시스템이 루프 클로저 등과 같은 글로벌 국지화를 요구하는 다른 애플리케이션에서도 사용될 수 있다는 것이 이해될 것이다. 이러한 시스템은, 임의의 외부 비콘, GPS, IMU 데이터 또는 기타 등등에 의존함이 없이, 온-보드(3D) LiDAR 센서에서만 얻어진 데이터를 사용하여 글로벌 국지화를 수행할 수 있다. 본 명세서에서 2-스테이지 국지화 파이프라인은 로봇의 위치의 종래의 추정을 결정하기 위하여 신규한 세기-기반 기술자를 사용하고, 그 뒤에 자세 및 세기-기반 매칭의 정확도를 결정하기 위해 수행되는 기하학적 구조-기반 검증이 이루어진다. 전체 프로시저는 완전히 정지된 로봇에 의해 수행될 수 있고 위치 추정을 위해 이동할 것으로 요구하지 않는다. 실험 데이터는 이러한 방법 및 시스템이 환경의 변화에 대해 견실하다는 것을 보여주고, 이러한 시스템이 실세계 상황에서 자율 네비게이션에 적용가능하다는 것을 보여준다.
상세한 설명과 후속하는 청구항 전체에서, 문맥상 그렇지 않다고 요구하지 않는 한, "포함"이라는 단어와 "포함하는" 및 "포함함"이라는 변형은, 표시된 정수 또는 정수 또는 단계들의 그룹을 포함하는 것을 의미하지만, 임의의 다른 정수 또는 정수들의 그룹을 배제하는 것을 의미하지 않는다.
당업자들은 여러 변형예 및 변경예가 명백해질 것이라는 것을 이해할 것이다. 당업자에게 명백하게 이해될 모든 이러한 변형예 및 변경예는 앞서 광범위하게 설명된 본 발명의 사상 및 범위 내에 속한다고 간주되어야 한다.

Claims (31)

  1. 3차원(3D) 환경에서 국지화(localization)를 수행하는 데에 사용되기 위한 방법으로서,
    하나 이상의 전자 처리 디바이스에서,
    a) 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반하여 세기 데이터를 결정하는 단계;
    b) 상기 세기 데이터를 사용하여, 상기 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 계산하는 단계;
    c) 상기 3D 환경의 맵의 개별 부분과 각각 연관되는, 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하는 단계;
    d) 상기 제 1 세기 기술자를 상기 제 2 세기 기술자 중 적어도 일부와 비교하는 단계; 및
    e) 적어도 부분적으로 비교 결과에 따라서, 상기 맵에 대한 위치를 결정하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  2. 제 1 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    상기 로컬 포인트 클라우드 내의 상기 세기 데이터의 분포에 대한 적어도 하나의 통계적 척도(statistical measure)에 기반하여 상기 제 1 세기 기술자를 계산하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  3. 제 2 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 상기 로컬 포인트 클라우드를 복수 개의 공간적으로 분포된 로컬 포인트 클라우드 세그먼트로 분할하는 것;
    b) 각각의 로컬 포인트 클라우드 세그먼트에 대하여, 상기 로컬 포인트 클라우드 세그먼트 내의 상기 세기 데이터의 분포에 대한 통계적 척도에 기반하여 제 1 세기 기술자 세그먼트를 계산하는 것; 및
    c) 각각의 제 1 세기 기술자 세그먼트를 사용하여 상기 제 1 세기 기술자를 계산하는 것에 의하여,
    상기 제 1 세기 기술자를 계산하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 통계적 척도는 복수 개의 세기 값 각각의 빈도의 분포를 나타내는, 국지화를 수행하는 데에 사용되기 위한 방법.
  5. 제 4 항에 있어서,
    상기 로컬 포인트 클라우드 세그먼트는 적어도 부분적으로 구형인 구조를 가지는, 국지화를 수행하는 데에 사용되기 위한 방법.
  6. 제 5 항에 있어서,
    상기 로컬 포인트 클라우드 세그먼트는,
    a) 복수 개의 동심의 구형 영역; 및
    b) 8분원으로 세그멘트화되는 적어도 두 개의 동심의 구형 영역 중 적어도 하나를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  7. 제 6 항에 있어서,
    외부 구형 영역의 반경은 센서의 범위에 기반하고,
    하나 이상의 내부 구형 영역의 반경은, 각각의 구형 영역이 유사한 개수의 로컬 포인트 클라우드 포인트를 보유하도록 선택되는, 국지화를 수행하는 데에 사용되기 위한 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제 2 세기 기술자는, 상기 3D 환경의 맵에 대응하는, 포인트 클라우드 내의 포인트와 연관되는 세기 데이터를 사용하여 이전에 계산되고,
    상기 세기 데이터는, 상기 3D 환경의 이전에 수행된 스캔에서 상기 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  9. 제 8 항에 있어서,
    각각의 제 2 세기 기술자는, 상기 맵의 개별 부분에 대응하는 상기 포인트 클라우드의 일부의 포인트 클라우드 세그먼트에 대해 획득된 제 2 세기 기술자 세그먼트를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  10. 제 9 항에 있어서,
    상기 복수 개의 제 2 세기 기술자는 데이터 저장소에 저장되고,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서, 상기 데이터 저장소로부터 상기 복수 개의 제 2 세기 기술자를 취출하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) i) 상기 제 1 세기 기술자 세그먼트를 상기 제 2 세기 기술자 세그먼트와 비교하고,
    ii) 비교 결과에 기반하여 유사도 값을 결정하는 것에 의하여 상기 제 1 세기 기술자를 제 2 세기 기술자와 비교하는 단계; 및
    b) 상기 유사도 값에 기반하여 하나 이상의 제 2 세기 기술자를 선택하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  12. 제 11 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 상기 제 1 세기 기술자와 상기 제 2 세기 기술자의 각각의 비교에 대하여:
    i) 상기 제 2 세기 기술자의 복수 개의 상대 배향을 결정하고,
    ii) 상기 제 2 세기 기술자의 복수 개의 상대 배향 각각에 대하여, 상기 제 1 세기 기술자 세그먼트를 상기 제 2 세기 기술자 세그먼트와 비교하는 단계;
    b) 각각의 배향에 대한 유사도 값을 결정하는 단계; 및
    c) 최소 유사도 값을 선택하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    상기 제 1 세기 기술자와 개별 제 2 세기 기술자 사이의 유사도 값을 사용하여 상기 맵의 부분을 잠재적 위치로 랭킹(rank)하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  14. 제 13 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 상기 맵의 부분을 잠재적 위치로 랭킹하는 것에 기반하여 선택되는 상기 맵의 적어도 하나의 부분을 사용하여 서브맵을 생성하는 단계; 및
    b) 상기 서브맵 내에서 기하학적 인식을 수행하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  15. 제 14 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 상기 로컬 포인트 클라우드로부터 로컬 키포인트를 추출하는 것;
    b) 각각의 로컬 키포인트에 대한 로컬 기하학적 기술자를 계산하는 것;
    c) 상기 서브맵 내에 포함된 상기 맵의 부분과 연관된 서브맵 키포인트를 사용하여 계산되는, 이전에 계산된 서브맵 기하학적 기술자를 취출하는 것;
    d) 로컬 및 서브맵 기하학적 기술자들 사이의 대응관계(correspondence)를 결정하는 것;
    e) 하나 이상의 후보 클러스터를 형성하도록, 기하학적 일관성(geometric consistency)에 기반하여 대응관계를 클러스터링하는 것; 및
    f) 각각의 후보 클러스터에 대한 변환을 결정하는 것에 의하여,
    상기 기하학적 인식을 수행하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  16. 제 15 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 대응관계의 최다 개수를 가지는 후보 클러스터를 선택하는 단계;
    b) 선택된 후보 클러스터 내의 대응관계의 개수를 제 1 임계와 비교하는 단계; 및
    c) i) 상기 대응관계의 개수가 상기 제 1 임계 미만이면 상기 선택된 후보 클러스터가 잘못된 매칭이라고 결정하는 단계; 및
    ii) 상기 대응관계의 개수가 상기 제 1 임계를 초과하면, 상기 선택된 후보 클러스터가 가장 가능성이 높은 위치를 나타낸다고 결정하는 단계 중 적어도 하나
    를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  17. 제 16 항에 있어서,
    상기 가장 가능성이 높은 위치를 나타내는 후보 클러스터에 대하여,
    상기 방법은, 상기 하나 이상의 전자 처리 디바이스에서,
    상기 로컬 포인트 클라우드를 상기 서브맵과 연관된 서브맵 포인트 클라우드와 정렬시키도록, 상기 변환을 정제하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  18. 제 17 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    상기 변환을 정제하고 자세(pose)를 결정하도록, 상기 로컬 및 서브맵 포인트 클라우드의 적어도 일부에 반복적 최근접 포인트(Iterative Closest Point; ICP)를 수행하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  19. 제 18 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 상기 로컬 및 서브맵 포인트 클라우드들이 얼마나 양호하게 정렬되는지를 나타내는 맞춤 점수(fitness score)를 결정하는 단계;
    b) 상기 맞춤 점수를 제 2 임계와 비교하는 단계; 및
    c) 비교 결과에 의존하여 상기 위치를 선택적으로 검증하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  20. 제 19 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    a) 상기 대응관계의 개수가 상기 제 1 임계 미만인 경우; 및
    b) 상기 맞춤 점수가 상기 제 2 임계를 초과하는 경우 중 하나라면,
    새로운 서브맵을 생성하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  21. 제 20 항에 있어서,
    상기 방법은,
    상기 하나 이상의 전자 처리 디바이스에서,
    상기 맵의 부분을 잠재적 위치로 랭킹하는 것에 기반하여 선택되는 상기 맵의 다른 부분을 적어도 부분적으로 사용하여, 새로운 서브맵을 생성하는 단계를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  22. 제 21 항에 있어서,
    상기 방법은,
    하나 이상의 처리 디바이스에서,
    a) 얼마나 많은 잠재적 위치가 상기 서브맵 내에 포함되었는지 결정하는 단계; 및
    b) i) 상기 잠재적 위치의 개수가 규정된 최대값에 도달했으면 상기 국지화 방법을 종결하는 단계, 및
    ii) 상기 잠재적 위치의 개수가 상기 규정된 최대값 미만이면 상기 서브맵의 크기를 증가시키는 단계 중 적어도 하나
    를 포함하는, 국지화를 수행하는 데에 사용되기 위한 방법.
  23. 제 1 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 로컬 스캔은,
    a) 정지식 스캔(stationary scan);
    b) 모바일 로봇 또는 자율 차량과 연관되는 웨이크-업 스캔(wake-up scan); 및
    c) 루프 클로저 스캔 중 적어도 하나인, 국지화를 수행하는 데에 사용되기 위한 방법.
  24. 제 1 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 레이저 센서는 LiDAR(light imaging, detection and ranging) 센서인, 국지화를 수행하는 데에 사용되기 위한 방법.
  25. 제 1 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 맵의 부분은 매핑 궤적을 따라 상기 맵으로부터 추출되는, 국지화를 수행하는 데에 사용되기 위한 방법.
  26. 제 25 항에 있어서,
    상기 매핑 궤적은 미리 규정된 길이의 세그먼트로 분할되고,
    상기 맵의 각각의 부분은, 상기 적어도 하나의 센서가 상기 매핑 궤적의 각각의 세그먼트를 따라 이동할 때 상기 적어도 하나의 센서로부터 획득되는 포인트 클라우드로서 규정되는, 국지화를 수행하는 데에 사용되기 위한 방법.
  27. 3차원(3D) 환경에서 국지화를 수행하는 데에 사용되기 위한 시스템으로서,
    하나 이상의 전자 처리 디바이스를 포함하고,
    상기 하나 이상의 전자 처리 디바이스는,
    a) 적어도 하나의 레이저 센서에 의해 수행된 로컬 스캔으로부터, 상기 로컬 스캔으로부터 획득된 로컬 포인트 클라우드 내의 포인트로부터 상기 적어도 하나의 레이저 센서에 복귀된 방사선의 파워에 적어도 부분적으로 기반하여 세기 데이터를 결정하고,
    b) 상기 세기 데이터를 사용하여, 상기 로컬 포인트 클라우드에 대한 제 1 세기 기술자를 계산하며,
    c) 상기 3D 환경의 맵의 개별 부분과 각각 연관되는, 복수 개의 이전에 계산된 제 2 세기 기술자를 취출하고,
    d) 상기 제 1 세기 기술자를 상기 제 2 세기 기술자 중 적어도 일부와 비교하며,
    e) 적어도 부분적으로 비교 결과에 따라서, 상기 맵에 대한 위치를 결정하도록 구성되는, 국지화를 수행하는 데에 사용되기 위한 시스템.
  28. 제 27 항에 있어서,
    상기 시스템은,
    로컬 스캔을 수행하도록 구성되는 적어도 하나의 레이저 센서를 포함하는, 국지화를 수행하는 데에 사용되기 위한 시스템.
  29. 제 28 항에 있어서,
    상기 적어도 하나의 센서는 LiDAR(light imaging, detection and ranging) 센서인, 국지화를 수행하는 데에 사용되기 위한 시스템.
  30. 제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 시스템은,
    복수 개의 제 2 세기 기술자를 보유하는 데이터 저장소를 더 포함하고,
    상기 데이터 저장소는 복수 개의 제 2 세기 기술자를 취출하도록 하나 이상의 전자 처리 디바이스에 의해 액세스가능한, 국지화를 수행하는 데에 사용되기 위한 시스템.
  31. 제 27 항 또는 제 30 항에 있어서,
    상기 적어도 하나의 레이저 센서, 상기 하나 이상의 전자 처리 디바이스 및 상기 데이터 저장소는 모바일 로봇 또는 자율 차량에 탑재되어 위치되는, 국지화를 수행하는 데에 사용되기 위한 시스템.
KR1020207008525A 2017-09-04 2018-09-03 국지화를 수행하는 데에 사용되기 위한 방법 및 시스템 KR102607113B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2017903569A AU2017903569A0 (en) 2017-09-04 Method and system for use in performing localisation
AU2017903569 2017-09-04
PCT/AU2018/050948 WO2019040997A1 (en) 2017-09-04 2018-09-03 METHOD AND SYSTEM FOR USE IN REALIZING LOCATION

Publications (2)

Publication Number Publication Date
KR20200045522A true KR20200045522A (ko) 2020-05-04
KR102607113B1 KR102607113B1 (ko) 2023-11-27

Family

ID=65524585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008525A KR102607113B1 (ko) 2017-09-04 2018-09-03 국지화를 수행하는 데에 사용되기 위한 방법 및 시스템

Country Status (7)

Country Link
US (1) US11402509B2 (ko)
EP (1) EP3707530A4 (ko)
JP (1) JP7278263B2 (ko)
KR (1) KR102607113B1 (ko)
CN (1) CN111133336B (ko)
AU (2) AU2018326401C1 (ko)
WO (1) WO2019040997A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200128133A (ko) * 2018-08-27 2020-11-11 가부시키가이샤 히타치 솔루션즈 공중선 추출 시스템 및 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189400B (zh) * 2019-05-20 2023-04-14 深圳大学 一种三维重建方法、三维重建系统、移动终端及存储装置
DE102019208504A1 (de) * 2019-06-12 2020-12-17 Robert Bosch Gmbh Positionsbestimmung auf der Basis von Umgebungsbeobachtungen
US11151394B2 (en) 2019-06-24 2021-10-19 Nvidia Corporation Identifying dynamic objects in a point cloud
US11619724B2 (en) * 2019-06-26 2023-04-04 Nvidia Corporation Calibration of multiple lidars mounted on a vehicle using localization based on a high definition map
CN112639882B (zh) * 2019-09-12 2021-12-14 华为技术有限公司 定位方法、装置及系统
JP7306192B2 (ja) * 2019-09-27 2023-07-11 沖電気工業株式会社 合成処理装置、合成処理システム及び合成処理方法
CN111076733B (zh) * 2019-12-10 2022-06-14 亿嘉和科技股份有限公司 一种基于视觉与激光slam的机器人室内建图方法及系统
CN111026163B (zh) * 2019-12-20 2021-10-26 华南理工大学 一种面向室内的失控放射源自主搜寻机器人及其搜寻方法
WO2021231265A1 (en) * 2020-05-11 2021-11-18 Cognex Corporation Methods and apparatus for generating point cloud histograms
EP3916656A1 (en) * 2020-05-27 2021-12-01 Mettler-Toledo GmbH Method and apparatus for tracking, damage detection and classi-fication of a shipping object using 3d scanning
CN111798536B (zh) * 2020-06-15 2024-03-22 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN111998846B (zh) * 2020-07-24 2023-05-05 中山大学 基于环境几何与拓扑特征的无人系统快速重定位方法
US11740360B2 (en) * 2020-11-02 2023-08-29 Motional Ad Llc Light detection and ranging (LiDaR) scan smoothing
CN113325435B (zh) * 2021-05-25 2024-01-09 武汉大学 定位方法、装置、设备及可读存储介质
CN115509214B (zh) * 2021-06-04 2024-03-15 同方威视技术股份有限公司 定位控制方法和装置、自主充电控制装置、方法及系统
CN115727836A (zh) * 2022-11-23 2023-03-03 锐趣科技(北京)有限公司 一种基于激光反光板和里程计的融合定位方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP3664127B2 (ja) * 2001-06-07 2005-06-22 日産自動車株式会社 物体検出装置
US8699755B2 (en) 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
US8396293B1 (en) * 2009-12-22 2013-03-12 Hrl Laboratories, Llc Recognizing geometrically salient objects from segmented point clouds using strip grid histograms
KR20110097140A (ko) 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
JP5822255B2 (ja) * 2011-04-14 2015-11-24 株式会社豊田中央研究所 対象物識別装置及びプログラム
GB201116960D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Monocular camera localisation using prior point clouds
EP2776216B1 (en) * 2011-11-11 2022-08-31 iRobot Corporation Robot apparautus and control method for resuming operation following a pause.
US8736463B1 (en) * 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
US9037403B2 (en) * 2013-03-26 2015-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intensity map-based localization with adaptive thresholding
EP2884364B1 (en) 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
GB2526342A (en) 2014-05-22 2015-11-25 Nokia Technologies Oy Point cloud matching method
JP6336825B2 (ja) * 2014-06-04 2018-06-06 株式会社デンソー 位置推定装置、位置推定方法、及び、位置推定プログラム
US9989969B2 (en) 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
JP6601613B2 (ja) * 2015-06-08 2019-11-06 株式会社パスコ 位置推定方法、位置推定装置及び位置推定プログラム
JP6899368B2 (ja) 2015-08-03 2021-07-07 トムトム グローバル コンテント ベスローテン フエンノートシャップ ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2017072422A (ja) * 2015-10-05 2017-04-13 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN105389538B (zh) * 2015-10-09 2018-07-13 南京大学 一种基于点云半球切片估算森林叶面积指数的方法
CN105204510B (zh) * 2015-10-09 2016-06-22 福州华鹰重工机械有限公司 一种用于精确定位的概率地图的生成方法及装置
CN105180955A (zh) * 2015-10-21 2015-12-23 福州华鹰重工机械有限公司 机动车实时精准定位方法及装置
CN105911518A (zh) * 2016-03-31 2016-08-31 山东大学 机器人定位方法
CN106023210B (zh) * 2016-05-24 2017-12-12 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和系统
CN106908775B (zh) * 2017-03-08 2019-10-18 同济大学 一种基于激光反射强度的无人车实时定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jesse Levinson 外 1인. Robust Vehicle Localization in Urban Environments Using Probabilistic Maps. 2010 IEEE International Conference on Robotics and Automation, 2010년 5월 8일 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200128133A (ko) * 2018-08-27 2020-11-11 가부시키가이샤 히타치 솔루션즈 공중선 추출 시스템 및 방법

Also Published As

Publication number Publication date
EP3707530A1 (en) 2020-09-16
JP2020532734A (ja) 2020-11-12
JP7278263B2 (ja) 2023-05-19
CN111133336A (zh) 2020-05-08
KR102607113B1 (ko) 2023-11-27
AU2018326401B2 (en) 2023-04-13
WO2019040997A1 (en) 2019-03-07
AU2018326401A1 (en) 2020-04-09
AU2018326401C1 (en) 2023-07-13
CN111133336B (zh) 2024-04-02
WO2019040997A9 (en) 2020-04-30
EP3707530A4 (en) 2021-09-22
US11402509B2 (en) 2022-08-02
AU2023204563A1 (en) 2023-08-31
US20200386862A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
KR102607113B1 (ko) 국지화를 수행하는 데에 사용되기 위한 방법 및 시스템
US9818195B2 (en) Object pose recognition
US9177404B2 (en) Systems and methods of merging multiple maps for computer vision based tracking
CN108801268B (zh) 目标对象的定位方法、装置及机器人
JP5705147B2 (ja) 記述子を用いて３ｄオブジェクトまたはオブジェクトを表す方法
US8798357B2 (en) Image-based localization
Chen et al. City-scale landmark identification on mobile devices
CN104040590A (zh) 用于估计物体的姿态的方法
Tran et al. On-device scalable image-based localization via prioritized cascade search and fast one-many ransac
Drost et al. Local hough transform for 3d primitive detection
Ruhnke et al. Unsupervised learning of compact 3d models based on the detection of recurrent structures
Park et al. Segmentation of Lidar data using multilevel cube code
Drews et al. Fast and adaptive 3d change detection algorithm for autonomous robots based on gaussian mixture models
Im et al. Omni Point: 3D LiDAR-based Feature Extraction Method for Place Recognition and Point Registration
Dantanarayana et al. Object recognition and localization from 3D point clouds by maximum-likelihood estimation
Zou et al. Static map reconstruction and dynamic object tracking for a camera and laser scanner system
Guerra et al. Detection and positioning of pipes and columns with autonomous multicopter drones
Bacca et al. Vertical edge‐based mapping using range‐augmented omnidirectional vision sensor
Sintunata et al. Skewness map: estimating object orientation for high speed 3D object retrieval system
Graehling et al. FEAR: feature extraction for aerial registration in large-scale LiDAR point clouds
Méndez et al. Comparative study of point cloud registration techniques between ICP and others
Kim et al. Geo-registration of wide-baseline panoramic image sequences using a digital map reference
Arslan Accuracy assessment of single viewing techniques for metric measurements on single images
Lee et al. Robot localization method based on visual features and their geometric relationship
So-Young et al. Segmentation of LiDAR Data Using Multilevel Cube Code

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant