KR20220108132A - 항법용 순차 매핑 및 로컬리제이션(smal) - Google Patents

항법용 순차 매핑 및 로컬리제이션(smal) Download PDF

Info

Publication number
KR20220108132A
KR20220108132A KR1020227022386A KR20227022386A KR20220108132A KR 20220108132 A KR20220108132 A KR 20220108132A KR 1020227022386 A KR1020227022386 A KR 1020227022386A KR 20227022386 A KR20227022386 A KR 20227022386A KR 20220108132 A KR20220108132 A KR 20220108132A
Authority
KR
South Korea
Prior art keywords
localization
moving object
smal
map
mapping
Prior art date
Application number
KR1020227022386A
Other languages
English (en)
Inventor
즈웨이 송
Original Assignee
싱파일럿 피티이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 싱파일럿 피티이 리미티드 filed Critical 싱파일럿 피티이 리미티드
Publication of KR20220108132A publication Critical patent/KR20220108132A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL) 방법(즉, SMAL 방법)이 개시된다. SMAL 방법은 매핑 프로세스에서 미지의 환경의 초기 맵을 생성하는 단계; 로컬리제이션 프로세스에서 초기 맵에서 이동 객체의 위치를 결정하는 단계; 및 예를 들어 이동 객체에 제어 또는 명령어를 생성함으로써 미지의 환경에서 이동 객체를 안내하는 단계를 포함한다. 따라서, SMAL 방법을 사용하는 시스템 및 SMAL 방법을 구현하기 위한 컴퓨터 프로그램 제품도 개시된다.

Description

항법용 순차 매핑 및 로컬리제이션(SMAL)
본 출원은, 2019년 12월 30일자에 "Sequential Mapping And Localization for Navigation(SMAL)"이라는 동일한 명칭으로 IPOS(싱가포르 특허청)에 출원된 싱가포르 특허 출원 Nr. 10201913873Q의 출원일을 우선 일자로 주장한다. 선우선권 특허 출원의 모든 관련 내용 및/또는 기술 요지는 적절한 경우 참조로서 본원에 원용된다.
본 출원은 이동 객체의 항행과 같은 항법용 순차 매핑 및 로컬리제이션(SMAL) 방법에 관한 것이다. 본 출원은 또한 항법용 순차 매핑 및 로컬리제이션(SMAL)을 이용한 시스템 및 항법용 순차 매핑 및 로컬리제이션(SMAL) 방법을 구현하기 위한 컴퓨터 프로그램 제품을 개시한다.
이동 객체의 항행과 같은 항법은 매핑 프로세스 및 로컬리제이션 프로세스를 포함한다. 로컬리제이션은 이동 객체(예를 들어, 자율주행 차량 또는 로봇)를 위한 주요 기능이다. 이동 객체는 목적지로 항행하고 작업을 완료하기 전에 위치 및 방향을 알아야 한다. 전통적으로, 실시간 운동학(RTK); 미국의 전지구 측위 시스템(GPS), 중국의 Beidou, 유럽의 Galileo 및 러시아의 GLONASS를 포함한 전지구 위성 항법 시스템(GNSS); 및 관성 측정 유닛(IMU) 항법 시스템(약칭으로 RTK-GNSS/IMU 항법 시스템)은 이동 객체를 항행시키는 데 사용된다. 로컬리제이션을 위해 고화질 맵(HD-map)도 제공된다. HD-map은 사전에 수집된다. 보다 최근에, 동시 로컬리제이션 및 매핑(SLAM) 솔루션이 맵 내에서 위치의 추적을 유지하면서 동시에 미지의 환경의 맵을 구성하거나 업데이트함으로써 이동 객체(예를 들어, 자율주행 차량 또는 로봇)의 로컬리제이션 기능에 사용된다. SLAM 솔루션은 건물, 나무, 공공 도로의 기둥, 또는 실내 환경의 벽, 테이블, 의자와 같이 환경에 고정된 주변 특징이 충분할 때 잘 작동한다.
그러나, RTK-GNSS/IMU 항법 시스템은, GNSS의 위성 신호가 컨테이너 터미널에서 갠트리 크레인이나 적재된 컨테이너에 의해 쉽게 차단될 때 GNSS 결과가 종종 많이 드리프트되기 때문에, 컨테이너 터미널과 같은 일부 특정 영역에서 잘 작동하지 않는다. HD-map은 로컬리제이션을 위한 구조적 객체, 경로 계획을 위한 마킹 형성과 함께 차선 연결, 보기 좋은 그래픽 사용자 인터페이스(GUI)를 위한 자세한 마킹 위치와 같은 다양한 목적을 갖는다. 따라서, HD-Map은 독립적으로 생성되며 여전히 HD-map의 건물, 나무, 기둥 등과 같은 구조적 객체를 기반으로 한다.
한편, SLAM 솔루션도 공항 필드뿐만 아니라 컨테이너 터미널과 같은 개방 환경에서 고정된 주변 객체가 거의 없는 경우 만족스러운 정도의 성능을 발휘하지 못한다. 예를 들어, 컨테이너 터미널에 많은 컨테이너가 있지만, 이들은 고정되지 않고 위치가 많이 변경되어 SLAM 솔루션의 로컬리제이션 결과에 좋지 않은 영향을 미칠 것이다. 컨테이너 터미널에, 자율주행 차량은 아직 배치되지 않았지만, 무선 주파수 식별(RFID) 태그 또는 초광대역(UWB) 스테이션과 같은 환경에 대규모 비컨을 배치해야 하는 무인 운반 차량(AGV)만 배치된다.
그러므로, 본 출원은 개방 환경(예를 들어, 공항 필드 및 컨테이너 터미널)에서 이동 객체(예를 들어, 자율주행 차량 또는 로봇)에 대한 로컬리제이션 문제를 해결하기 위한 순차 매핑 및 로컬리제이션(SMAL) 방법을 개시한다. SMAL 방법은 매핑 및 로컬리제이션을 위해 기존의 하나 이상의 자연적인 온로드 특징을 순차적으로 사용한다.
제1 양태로서, 본 출원은 이동 객체의 항행을 위한 순차 매핑 및 로컬리제이션(SMAL) 방법(즉, SMAL 방법)을 개시한다. SMAL 방법은 매핑 프로세스에서 미지의 환경의 초기 맵을 생성하는 단계; 로컬리제이션 프로세스에서 초기 맵에서 이동 객체의 위치를 결정하는 단계; 및 예를 들어 이동 객체에 제어 또는 명령어를 생성함으로써 미지의 환경에서 이동 객체를 안내하는 단계를 포함한다. SLAM 솔루션과 달리, SMAL 방법은 생성 단계의 매핑 프로세스를 계산 단계의 로컬리제이션 프로세스와 분리한다. 또한, 미지의 환경이 이동 객체 근처에서 크게 변경되지 않는 한, 미지의 환경에 대한 일련의 관측치는 초기 맵을 업데이트하기 위한 이산 시간 단계에 걸쳐 가져오지 않는다.
미지의 환경은 선택적으로 어떠한 비컨도 없는 개방 영역(예를 들어, 공항 필드 또는 컨테이너 터미널)을 포함한다. 개방 영역에서 자율주행 차량에 대한 현재의 기술(예를 들어, RFID 태그 또는 UWB 스테이션)과 달리, SMAL 방법은 미지의 환경을 검출하고 이동 객체에 신호를 전송하기 위한 비컨을 구축하거나 설정할 필요가 없다. 또한, 미지의 환경에서 비컨을 구축하는 경우 SMAL 방법은 현재 기술과 병행하여 채택될 수 있다. 더 나아가, SMAL 방법은 도심과 같이 개방 영역이 아닌 미지의 환경에서 RTK-GNSS/IMU 항법 시스템, 고화질 맵(HD-map) 및/또는 SLAM 솔루션을 포함한 기존 기술과 공동으로 작동할 수도 있다.
매핑 프로세스는 미지의 환경의 초기 맵을 구성하는 데 사용된다. SMAL 방법의 매핑 프로세스는 선택적으로 검출 장치로부터 복수의 제1 환경 데이터를 수집하는 단계; 복수의 제1 환경 데이터를 융합 데이터(RGB-DD 이미지 또는 포인트 클라우드)로 병합하는 단계; 에지 특징을 검출하기 위해 융합 데이터에 에지 검출을 적용하는 단계; 융합 데이터로부터 제1 세트의 온로드 특징을 추출하는 단계; 및 제1 세트의 온로드 특징을 초기 맵에 저장하는 단계에 의해 수행된다. 제1 환경 데이터는 온로드 특징 및 주변 특징을 포함한 미지의 환경의 많은 특징을 설명한다. 주변 특징(예를 들어, 건물, 나무 및 기둥)을 사용하는 현재 기술과 달리, SMAL 방법은 온로드 특징이 이미 개방 영역에서 이용 가능하기 때문에 개방 영역에서 더 적응가능하다.
수집 단계의 검출 장치는 선택적으로 범위 기반 센서, 비전 기반 센서, 또는 이들의 조합을 포함한다. 범위 기반 센서는 특징이 풍부하지는 않지만 정확한 깊이 정보를 제공한다. 이에 반해, 비전 기반 센서는 깊이 추정이 부족한, 특징이 풍부한 정보를 제공한다. 그러므로, 범위 기반 센서와 비전 기반 센서의 조합은 깊이 추정과 충분한 특징 둘 모두를 갖는 정보를 제공할 수 있다.
범위 기반 센서는 광 검출 및 거리 측정기(LIDAR), 음향 센서, 또는 이들의 조합을 포함할 수 있다. 음향 센서는 이동 객체에서 반사된 반향음 신호를 수신하여 이동 객체의 위치를 찾는 음파 탐지기(SONAR) 센서로도 알려져 있다. 음향 센서는 통상적으로 0.01 내지 1와트 범위의 전력 소비 및 2 내지 5미터의 깊이 범위를 갖는다. 음향 센서는 일반적으로 색상과 투명도에 영향을 받지 않으므로 어두운 환경에 적합하다. 특히, 음향 센서는 20 kHz 초과의 초음파를 사용하는 초음파 센서를 포함할 수 있다. 초음파 센서는 깊이 정보의 정확도가 더 높을 수 있다. 또한, 음향 센서는 몇 입방인치 이내의 컴팩트한 크기를 갖는다. 그러나, 반향음 신호는 부드러운 물질에 쉽게 흡수되기 때문에 미지의 환경에 부드러운 물질이 많은 경우 음향 센서가 제대로 작동하지 않는다. 음향 센서의 성능은 온도, 습기 및 압력과 같은 미지의 환경의 다른 요인에 의해서도 영향을 받을 수 있다. 검출 결과를 교정하기 위해 음향 센서의 성능에 보상이 적용될 수 있다.
LIDAR는 음향 센서와 유사한 작동 원리를 갖는다. 음파 대신, LIDAR는 반향 신호로서 전자파(예를 들어, 광)를 이용한다. LIDAR는 초당 최대 100만 펄스를 발사하여 미지의 환경(포인트 클라우드로도 지칭)에 대한 360도 가시성에서 3차원(3D) 시각화를 선택적으로 생성한다. LIDAR는 통상적으로 음향 센서보다 전력 소비가 50 내지 200와트 범위로 높고 통상적으로 50 내지 300미터의 더 깊은 깊이 범위를 갖는다. 특히, LIDAR는 더 높은 깊이 정확도 및 수 센티미터(cm) 이내의 음향 센서보다 더 높은 깊이 정확도를 가질 수 있다. 또한, LIDAR는 0.1 내지 1도 범위의 정확한 각도 분해능을 제공할 수도 있다. 그러므로, LIDAR는 자율주행 차량의 적용 분야에서 음향 센서보다 선호된다. 예를 들어, Velodyne HDL-64E LIDAR는 자율주행 차량에 적합하다. 그러나, LIDAR는 부피가 커서 저전력 적용 분야에도 적합하지 않다.
비전 기반 센서는 단안 카메라, 전방향 카메라, 이벤트 카메라, 또는 이들의 조합을 포함한다. 단안 카메라는 컬러 TV 및 비디오 카메라, 이미지 스캐너, 및 디지털 카메라를 포함하는 하나 이상의 표준 RGB 카메라를 포함할 수 있다. 단안 카메라에는 선택적으로 간단한 하드웨어(예를 들어, GoPro Hero-4) 및 몇 입방인치 범위의 컴팩트한 크기를 갖고; 이에 따라 단안 카메라는 어떠한 추가 하드웨어 없이 작은 이동 객체(예를 들어, 모바일 폰)에 설치될 수 있다. 표준 RGB 카메라는 수동 센서이기 때문에 단안 카메라 또한 0.01 내지 10와트 범위의 전력 소비를 갖는다. 그러나, 단안 카메라는 정적인 이미지로부터 깊이 정보를 직접 유추할 수 없기 때문에 복잡한 알고리즘과 함께 작동할 필요가 있다. 또한, 단안 카메라는 스케일 드리프트 문제가 있다.
전방향 카메라는 2개의 어안 렌즈를 갖는 Samsung Gear 360, GoPro Fusion, Ricoh Theta V, Detu Twin, LGR105 및 Yi Technology 360VR과 같은 360도 시야를 가진 하나 이상의 표준 RGB 카메라를 포함할 수도 있다. 따라서, 전방향은 어떠한 사후 처리도 없이 실시간으로 파노라마 사진을 제공할 수 있다. 전방향 카메라는 컴팩트한 크기 및 1 내지 20와트 범위의 전력 소비를 갖는다. 그러나, 전방향 카메라는 깊이 정보를 제공할 수 없다.
이벤트 카메라(예를 들어, 동적 비전 센서)는 생체 영감 비전 센서로서, 표준 강도 프레임 대신 픽셀 수준의 밝기 변화를 출력한다. 그러므로, 이벤트 카메라는 높은 동적 범위, 무모션 블러 및 마이크로초 정도의 레이턴시와 같은 몇 가지 장점이 있다. 이벤트 카메라는 환원제 정보를 촬영하지 않기 때문에 이벤트 카메라는 매우 전력 효율적이다. 이벤트 카메라는 통상적으로 0.15 내지 1와트 범위의 전력 소비를 갖는다. 그러나, 이벤트 카메라는 높은 시간 해상도 및 비동기 이벤트를 탐색하는 특수 알고리즘을 필요로 한다. 기존 알고리즘은 실제 강도 이미지가 아닌 비동기 이벤트 시퀀스를 출력하는 이벤트 카메라에는 적합하지 않다.
대안적으로, 검출 장치는 선택적으로 RGB-D 센서, 스테레오 카메라 등을 포함한다. RGB-D 센서 또는 스테레오 카메라는 깊이 정보와 특징 풍부 정보 둘 모두를 제공할 수 있다. RGB-D 센서(예를 들어, Microsoft Kinect RGB-D 센서)는 단안 카메라, 적외선(IR) 송신기 및 IR 수신기의 조합을 제공한다. 그러므로, RGB-D 센서는 장면의 세부 사항 및 장면의 각 픽셀의 추정 깊이를 제공할 수 있다. 특히, RGB-D 센서는 선택적으로 2가지 깊이 계산 기술인 구조 광(SL) 기술과 시간 비행(TOF) 기술을 사용한다. SL 기술은 IR 송신기를 사용하여 적외선(IR) 스펙클 패턴을 투사한 다음 IR 수신기에 의해 촬영된다. IR 스펙클 패턴은 알려진 깊이로 미리 제공된 기준 패턴과 차례차례 비교된다. RGB-D 센서는 IR 스펙클 패턴과 기준 패턴을 정합시킨 후 각 픽셀에서 깊이를 추정한다. TOF 기술은 LIDAR와 유사한 원리로 작동한다. RGB-D 센서는 통상적으로 2 내지 5와트 범위의 전력 소비 및 3 내지 5미터의 깊이 범위를 갖는다. 또한, RGB-D 센서도 단안 카메라로 인한 스케일 드리프트 문제가 있다.
스테레오 카메라(예를 들어, Bumblebee 스테레오 카메라)는 깊이 정보를 계산하기 위해 동일한 장면을 관찰하는 두 카메라 이미지의 시차를 사용한다. RGB-D 센서와 달리, 스테레오 카메라는 수동 카메라이고, 이에 따라 스케일 드리프트 문제가 없다. 스테레오 카메라는 2 내지 15와트 범위의 전력 소비 및 5 내지 20미터의 깊이 범위를 갖는다. 또한, 스테레오 카메라는 일반적으로 수 밀리미터(mm) 내지 수십 센티미터(cm) 범위의 깊이 정확도를 갖는다.
이동 객체는 선택적으로 검출 장치와 통신하기 위한 통신 허브 및 지상에서 이동 객체를 이동시키기 위한 구동 메커니즘(예를 들어, 모터)을 갖는다. 이동 객체는 통신 허브로부터 미지의 환경의 관측치를 수신하고, 관측치를 처리하고, 이동 객체가 이동하도록 안내하기 위해 구동 메커니즘에 대한 명령어를 생성하기 위한 처리 유닛을 더 포함할 수 있다. 그러므로, 검출 장치, 처리 유닛 및 구동 메커니즘은 이동 객체가 미지의 환경에서 이동하도록 안내하기 위한 폐쇄 루프를 형성한다. 일부 구현예에서, 검출 장치는 이동 객체에 장착되고; 이에 따라 검출 장치는 이동 객체와 함께 이동한다(동적 검출 장치로도 지칭). 동적 검출 장치는 선택적으로 미지의 환경에 대한 360도 가시성을 검출하기 위해 이동 객체의 미차단 위치(예를 들어, 이동 객체의 지붕 또는 상단)에 있다. 일부 구현예에서, 검출 장치는 미지의 환경에서 정적으로 구성되고; 이에 따라 이동 객체와 함께 이동하지 않는다(정적 검출 장치로도 지칭). 정적 검출 장치는 정적 검출 장치를 지나가는 이동 객체에 관측치를 전송한다. 그러므로, 정적 검출 장치는 미지의 환경이 다소 안정적으로 유지되기 때문에 이산 시간 단계에 걸쳐 관측치를 얻을 필요가 없다. 대신, 정적 검출 장치는 미지의 환경이 크게 변경될 때만 작동하도록 활성화된다.
온로드 특징은 이미 개방 영역(예를 들어, 공공 도로)에 존재한다. 추출 단계에서 제1 세트의 온로드 특징은 선택적으로 마킹(예를 들어, 흰색 마킹 및 황색 마킹), 도로 연석, 잔디, 특수선, 스팟, 도로 에지, 서로 다른 도로면의 에지, 또는 이들의 임의의 조합을 포함한다. 온로드 특징은 특히 야간이나 비오는 날씨에 주변 특징(예를 들어, 건물, 나무, 및 기둥)보다 더 정확하고 구별하기 쉽다. 일부 구현예에서, 검출 장치는 야간 및 비오는 날씨에 실시간으로 검출하기 위해 범위 기반 센서로서의 LIDAR 및 비전 기반 센서로서의 카메라를 포함한다. 일부 구현예에서, LIDAR가 야간 및 비오는 날씨에 카메라보다 더 정확한 로컬리제이션을 제공할 수 있기 때문에 검출 장치는 LIDAR만을 포함한다.
검출 장치는 수집 단계에서 미지의 환경으로부터 제1 환경 데이터와 함께 노이즈를 수집할 수 있다. 매핑 프로세스는 제1 환경 데이터로부터 노이즈를 제거하기 위해 제1 환경 데이터에 확률적 접근법을 적용하는 단계를 더 포함할 수 있다. 확률적 접근법은 먼저 노이즈와 제1 환경 데이터를 분포시킨 다음 노이즈를 이상 정보로 식별하고 최종적으로 제1 환경 데이터로부터 이상 정보를 제거함으로써 제1 환경 데이터(온로드 특징 및 주변 특징 포함)로부터 노이즈를 분리한다. 확률적 접근법은 선택적으로 재귀 베이지안 추정(베이지안 필터라고도 알려짐)을 포함한다. 재귀 베이지안 추정은 시스템에 대한 순차적 관찰 또는 측정이 주어지면 시간이 지남에 따라 진화하는 시스템의 동적 상태를 추정하는 데 적합하다. 그러므로, 미지의 환경이 크게 변경될 때 수행하는 매핑 프로세스에 대해 재귀 베이지안 추정을 적용 가능하다.
매핑 프로세스는 선택적으로 오프라인 방식으로 수행된다. 저장 단계가 완료되면 매핑 프로세스가 완료되고; 미지의 환경이 크게 변경되지 않는 한 활성화되지 않을 것이다. 다시 말해서, 초기 맵은 미지의 환경이 크게 변경되어 이동 객체 안내에 적용되지 않는 한 동일하게 유지되고 업데이트되지 않을 것이다.
수집 단계는 선택적으로 프레임 단위 방식으로 수행된다. 다시 말해서, 제1 환경 데이터를 제시하기 위해 복수의 프레임이 수집된다. 프레임은 카메라, LIDAR 또는 카메라와 LIDAR의 조합과 같은 검출 장치에서 얻는다.
병합 단계는 프레임을 RTK-GNSS/IMU와 같은 세계 좌표계에 정렬하여 선택적으로 수행된다. 특히, 각 프레임은 RTK-GNSS/IMU와 같은 세계 좌표계로부터의 위치와 연관될 수 있다. 각 프레임은 RTK-GNSS/IMU로부터의 정확한 위치와 연관되는 것으로 여겨진다. 병합 단계는 RTK-GNSS/IMU 항법 시스템과 같은 세계 좌표계에서 부정확한 위치를 갖는 하위 프레임을 교정하는 단계를 선택적으로 더 포함한다. 부정확한 위치는 RTK-GNSS/IMU에서 하위 프레임의 실제 위치로부터 드리프트되었다. 다시 말해서, GNSS 위치가 실제 위치로부터 드리프트되면 정확한 위치는 하위 프레임과 연관되는 데 이용 불가능할 것이다. 교정 단계는 선택적으로 원래 중첩 또는 정확한 위치를 갖는 다른 프레임(정상 프레임으로 알려짐)과 하위 프레임의 중첩을 참조하여 수행된다. 그러나, 교정 단계는 하위 프레임의 정확한 위치를 결정하기 위해 충분한 중첩을 필요로 한다. 중첩이 목적에 충분하지 않은 경우, 교정 단계는 원래 중첩의 수가 특정 임계치 미만일 때 추가 중첩을 생성하기 위해 하위 프레임 근처에서 검출 장치로부터 추가 정상 프레임을 수집하는 단계를 포함할 수 있다. 다시 말해서, 충분한 중첩을 생성하기 위해 하위 프레임 근처에서 추가적인 정상 프레임을 수집한다. 대안적으로, 하위 프레임을 포기하고 하위 프레임의 GNSS 위치에 새로운 정상 프레임을 수집한다.
에지 검출은 일반적으로 단일 이미지 또는 포인트 클라우드에서 특정 포인트를 식별하기 위해 다양한 수학적 방법을 적용한다. 특정 포인트에는 불연속성이 있다, 즉 특정 포인트 각각에서 일부 속성(예를 들어, 밝기)은 급격히 변경된다. 특정 포인트는 통상적으로 에지라고 하는 한 세트의 선분으로 구성된다. 에지 검출은 온로드 특징이 각각의 주변 환경과 구별되는 특성을 가지므로 온로드 특징을 인식하는 데 사용될 수 있다. 에지 검출은 온로드 특징을 추출하기 위한 블랍 검출을 선택적으로 포함한다. 블랍은 속성이 실질적으로 일정하거나 거의 일정한 영역으로 정의된다. 따라서, 속성은 단일 이미지 또는 포인트 클라우드 상의 각 포인트의 함수로 표현된다. 에지 검출은 미분 방법 또는 함수 또는 딥 러닝에 대한 국소 극값을 기반으로 하는 방법으로 수행될 수 있다.
미분 방법은 위치에 대한 함수의 도함수를 기반으로 하지만; 국소 극값을 기반으로 하는 방법은 함수의 국소 최대치와 최소치를 찾는 것을 목표로 한다. 블랍 검출은 선택적으로 단일 이미지 또는 포인트 클라우드의 컨벌루션을 포함한다. 블랍 검출은, 최대 응답을 찾기 위한 여러 스케일의 라플라시안, K-평균 거리를 사용한 클러스터링, 및 딥 러닝을 포함하는 다양한 방법으로 수행될 수 있다.
매핑 알고리즘은 아래와 같다.
SMAL에서 매핑 알고리즘의 의사 코드.
Figure pct00001
로컬리제이션 프로세스는 초기 맵의 대응 위치에 대해 미지의 환경에서 이동 객체를 결정하는 데 사용된다. 로컬리제이션 프로세스는 이동 객체 근처에서 복수의 제2 환경 데이터를 수집하는 단계; 제2 환경 데이터로부터 제2 세트의 온로드 특징을 인식하는 단계; 미지의 환경의 제2 세트의 온로드 특징을 초기 맵의 제1 세트의 온로드 특징과 정합시키는 단계에 의해 선택적으로 수행된다. 그 다음, 이동 객체는 초기 맵의 위치를 기반으로 미지의 환경에서 이동하도록 안내된다. 또한, 위치 프로세스는 선택적으로 이동 후 초기 맵에서 이동 객체의 위치를 업데이트하는 단계를 더 포함한다.
일부 구현예에서, 제2 환경 데이터는 동적 검출 장치 및 정적 검출 장치를 포함하는, 제1 환경 데이터를 생성하는 검출 장치(즉, 기존 검출 장치)로부터 수집된다. 일부 구현예에서, 제2 환경 데이터는 추가 검출 장치로부터 수집된다. 추가 검출 장치는 또한 범위 기반 센서, 비전 기반 센서, 또는 이들의 조합을 포함할 수 있다. 추가 검출 장치는 독립적으로 또는 기존 검출 장치와 함께 작동할 수 있다.
매핑 프로세스와 달리, 로컬리제이션 프로세스는 선택적으로 온라인 방식으로 수행된다. 다시 말해서, 초기 맵에서 이동 객체의 위치는 이산 시간 단계에 걸쳐 미지의 환경에서 이동 객체의 위치와 일치하여 업데이트된다.
미지의 환경은 이동 객체가 지나가는 동안 움직이지 않는 정적 특징; 및 이동 객체 주변에서 활발히 움직이는 동적 특징을 포함할 수 있다. 예를 들어, 승객과 물품을 운송하기 위해 공항 필드에 많은 차량이 나타날 수 있다. 다른 예로, 컨테이너를 리프팅하고 이동시키기 위해 컨테이너 터미널에서 몇 대의 지게차가 작동할 수 있다. 그러므로, 미지의 환경에서 동적 특징과의 충돌을 피하기 위해 이동 객체를 안내해야 한다. 로컬리제이션 프로세스의 수집 단계는 선택적으로 이동 객체 근처의 정적 특징의 제2 환경 데이터의 제1 부분을 이동 객체 근처의 동적 특징의 제2 환경 데이터의 제2 부분과 분리하는 단계를 포함한다.
로컬리제이션 프로세스의 수집 단계는 시간 경과에 따른 동적 특징의 관측치를 집계함으로써 이동 객체 근처에서 동적 특징을 추적하는 단계를 선택적으로 더 포함한다. 일부 구현예에서, 추적 단계는 시간 경과에 따른 관측치로부터 그 상태를 추정하기 위한 필터링 방법을 사용하여 특정 동적 특징을 추적하는 단계를 포함한다. 일부 구현예에서, 추적 단계는 각각의 동적 특징에 대한 관측치를 식별하기 위해 데이터 연관을 사용하여 다수의 동적 특징을 추적하는 단계; 및 시간 경과에 따른 관측치로부터 그 상태를 추정하기 위한 필터링 방법을 사용하여 다수의 동적 특징 각각을 추적하는 단계를 포함한다.
SMAL 방법은 미지의 환경이 제1 소정 임계치를 초과하여 변경될 때 초기 맵을 제1 업데이트된 맵으로 업데이트하는 단계를 더 포함할 수 있다. 초기 맵은 미지의 환경에서 이동 객체를 안내하기 위해 제1 업데이트된 맵으로 대체된다. 유사하게, SMAL 방법은 미지의 환경이 제2 소정 임계치를 초과하여 변경될 때 제1 업데이트된 맵을 제2 업데이트된 맵으로 업데이트하는 단계를 더 포함할 수 있다. 제1 업데이트된 맵은 미지의 환경에서 이동 객체를 안내하기 위해 제2 업데이트된 맵으로 대체된다. 유사하게, SMAL 방법은 또한 미지의 환경이 각각 제3 소정 임계치 및 다른 후속 소정 임계치를 초과하여 변경될 때 제2 업데이트된 맵 및 다른 후속 업데이트된 맵을 업데이트하는 단계를 포함할 수 있다.
제2 양태로서, 본 출원은 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL)을 사용하는 시스템을 개시한다. 시스템은 매핑 메커니즘을 사용하여 미지의 환경의 초기 맵을 생성하기 위한 수단; 로컬리제이션 메커니즘을 사용하여 초기 맵에서 이동 객체의 위치를 결정하기 위한 수단; 및 제어 또는 명령어를 생성함으로써 미지의 환경에서 이동 객체를 안내하기 위한 수단을 포함한다.
매핑 메커니즘은 선택적으로 검출 장치로부터 복수의 제1 환경 데이터를 수집하기 위한 수단; 복수의 제1 환경 데이터를 융합 데이터(RGB-D 이미지 또는 포인트 클라우드)로 병합하기 위한 수단; 에지 특징을 검출하기 위해 융합 데이터에 에지 검출을 적용하기 위한 수단; 융합 데이터로부터 제1 세트의 온로드 특징을 추출하기 위한 수단; 및 제1 세트의 온로드 특징을 초기 맵에 저장하기 위한 수단을 포함한다. 특히, 매핑 메커니즘은 오프라인 방식으로 작동될 수 있다.
로컬리제이션 메커니즘은 선택적으로 이동 객체 근처에서 복수의 제2 환경 데이터를 수집하기 위한 수단; 제2 환경 데이터로부터 제2 세트의 온로드 특징을 인식하기 위한 수단; 및 미지의 환경의 제2 세트의 온로드 특징을 초기 맵의 제1 세트의 온로드 특징과 정합시키기 위한 수단을 포함한다. 특히, 로컬리제이션 메커니즘은 온라인 방식으로 작동될 수 있다. 또한, 로컬리제이션 메커니즘은 초기 맵에서 이동 객체의 위치를 업데이트하기 위한 수단을 더 포함할 수 있다.
시스템은 선택적으로 미지의 환경이 제1 소정 임계치를 초과하여 변경될 때 초기 맵을 제1 업데이트된 맵으로 업데이트하기 위한 수단을 더 포함한다. 다시 말해서, 미지의 환경의 변경이 제1 소정 임계치보다 작으면 초기 맵을 업데이트하기 위한 수단이 활성화되지 않는다.
시스템은 선택적으로 미지의 환경이 제2 소정 임계치를 초과하여 변경될 때 제1 업데이트된 맵을 제2 업데이트된 맵으로 업데이트하기 위한 수단을 더 포함한다. 다시 말해서, 미지의 환경의 변경이 제2 소정 임계치보다 작으면 제1 업데이트된 맵을 업데이트하기 위한 수단이 활성화되지 않는다. 유사하게, 시스템은 또한 미지의 환경이 각각 제3 소정 임계치 및 다른 후속 소정 임계치를 초과하여 변경될 때 제2 업데이트된 맵 및 다른 후속 업데이트된 맵을 업데이트하기 위한 수단을 포함할 수 있다.
제3 양태로서, 본 출원은 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL) 방법을 구현하기 위해 컴퓨터 프로그램 명령어 및 데이터가 구현된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품을 개시한다. SMAL 방법은 매핑 프로세스에서 미지의 환경의 초기 맵을 생성하는 단계; 로컬리제이션 프로세스에서 초기 맵에서 이동 객체의 위치를 결정하는 단계; 및 미지의 환경에서 이동 객체를 안내하는 단계를 포함한다.
매핑 프로세스는 선택적으로 검출 장치로부터 복수의 제1 환경 데이터를 수집하는 단계; 복수의 제1 환경 데이터를 융합 데이터(RGB-D 이미지 또는 포인트 클라우드)로 병합하는 단계; 에지 특징을 검출하기 위해 융합 데이터에 에지 검출을 적용하는 단계; 융합 데이터로부터 제1 세트의 온로드 특징을 추출하는 단계; 및 제1 세트의 온로드 특징을 초기 맵에 저장하는 단계에 의해 수행된다. 특히, 매핑 프로세스는 오프라인 방식으로 작동된다.
로컬리제이션 프로세스는 이동 객체 근처에서 복수의 제2 환경 데이터를 수집하는 단계; 제2 환경 데이터로부터 제2 세트의 온로드 특징을 인식하는 단계; 및 미지의 환경의 제2 세트의 온로드 특징을 초기 맵의 제1 세트의 온로드 특징과 정합시키는 단계에 의해 선택적으로 수행된다. 특히, 로컬리제이션 메커니즘은 온라인 방식으로 작동된다. 또한, 로컬리제이션 프로세스는 초기 맵에서 이동 객체의 위치를 업데이트하는 단계를 더 포함할 수 있다.
로컬리제이션 알고리즘은 아래와 같다.
SMAL에서 로컬리제이션 알고리즘의 의사 코드.
Figure pct00002
Figure pct00003
SMAL 방법은 미지의 환경이 제1 소정 임계치를 초과하여 변경될 때 초기 맵을 제1 업데이트된 맵으로 업데이트하는 단계를 더 포함할 수 있다. SMAL 방법은 미지의 환경이 제2 소정 임계치를 초과하여 변경될 때 제1 업데이트된 맵을 제2 업데이트된 맵으로 업데이트하는 단계를 더 포함할 수 있다. 유사하게, SMAL 방법은 또한 미지의 환경이 각각 제3 소정 임계치 및 다른 후속 소정 임계치를 초과하여 변경될 때 제2 업데이트된 맵 및 다른 후속 업데이트된 맵을 업데이트하는 단계를 포함할 수 있다.
첨부 도면(도)은 실시예를 예시하고 개시된 실시예의 원리를 설명하는 역할을 한다. 그러나, 이들 도면은 단지 예시의 목적으로 제시된 것이며 관련 출원의 제한을 정의하기 위한 것이 아님을 이해해야 한다.
도 1은 동시 로컬리제이션 및 매핑(SLAM) 항법의 개략도를 나타내고;
도 2는 순차 매핑 및 로컬리제이션(SMAL) 항법의 개략도를 나타내고;
도 3은 SMAL 항법의 매핑 프로세스를 도시하고 있고;
도 4는 SMAL 항법의 로컬리제이션 프로세스를 도시하고 있다.
도 1은 동시 로컬리제이션 및 매핑(SLAM) 항법(100)의 개략도를 나타내고 있다. SLAM 항법(100)은 출발 장소(112)로부터 목적지 장소(113)로 미지의 환경(104)에서 자율주행 차량(102)을 항행시키기 위해 사용된다. 미지의 환경(104)의 맵(106)은 맵(106)에서 자율주행 차량(102)의 위치(108)의 추적을 동시에 유지하기 위해 SLAM 항법(100)에 대한 이산 시간 단계(t)에 걸쳐 구성되고 업데이트된다.
제1 단계(110)에서, 자율주행 차량(102)은 출발 장소(112)에 있고, 출발 장소(112) 주변에서 제1 센서 관측치(o 1 )가 획득된다. 제1 센서 관측치(o 1 )는 출발 장소(112) 주변에 제1 맵(m 1 )을 구성하기 위해 자율주행 차량(102)으로 전송된다. 자율주행 차량(102)의 위치(108)는 제1 맵(m 1 )에서 제1 위치(x 1 )로서 계산된다. 그 다음, 자율주행 차량(102)은 제1 맵(m 1 )의 제1 위치(x 1 )에 따른 미지의 환경(104)의 출발 장소(112)로부터 자율주행 차량(102)을 이동시키기 위해 제1 제어(u 1 )를 생성한다. 제1 단계(110)에서 제1 맵(m 1 )과 그 내부의 제1 위치(x 1 )가 동시에 업데이트됨을 분명히 보여준다.
자율주행 차량(102)은 제1 이산 시간 단계(114) 후에 출발 장소(112)로부터 제2 장소(122)로 이동한다. 제2 단계(120)에서, 자율주행 차량(102)은 제2 장소(122)에 있고, 제2 장소(122) 주변에서 제2 센서 관측치(o 2 )가 획득된다. 제2 센서 관측치(o 2 )는 제1 맵(m 1 )을 제2 장소(122) 주변의 제2 맵(m 2 )으로 업데이트하기 위해 자율주행 차량(102)으로 전송된다. 따라서, 제2 맵(m 2 )에서 자율주행 차량(102)의 위치(108)는 제2 위치(x 2 )로서 업데이트된다. 그 다음, 자율주행 차량(102)은 제2 맵(m 2 )의 제2 위치(x 2 )에 따른 미지의 환경(104)의 제2 장소(122)로부터 자율주행 차량(102)을 이동시키기 위해 제2 제어(u 2 )를 생성한다. 제2 맵(m 2 )과 제2 위치(x 2 )는 제2 단계(120)에서 동시에 업데이트된다.
자율주행 차량(102)은 제2 이산 시간 단계(124) 후에 제2 장소(122)로부터 다음 장소로 이동한다. 이러한 단계적인 방식으로, 자율주행 차량(102)은 미지의 환경(104)에서 연속적으로 이동한다. 한편, 위치(108) 또한 이에 따라 맵(106)에서 업데이트된다. 마지막 직전 단계(130)에서, 마지막 직전 장소(132) 주변에서 마지막 직전 센서 관측치(o t-1 )가 획득된다. 마지막 직전 장소(132) 주변의 마지막 직전 맵(m t-1 )이 업데이트된다. 따라서, 마지막 직전 맵(m t-1 )에서 자율주행 차량(102)의 위치(108)는 마지막 직전 위치(x t-1 )로서 업데이트된다. 그 다음, 자율주행 차량(102)은 마지막 맵(m t-1 )의 마지막 직전 위치(x t-1 )에 따른 마지막 직전 장소(132)로부터 자율주행 차량(102)을 이동시키기 위해 마지막 직전 제어(u t-1 )를 생성한다. 마지막 직전 맵(m t-1 )과 제2 위치(x t-1 )는 마지막 직전 단계(130)에서 동시에 업데이트된다.
마지막 단계(140)에서, 미지의 환경(104)으로부터 마지막 직전 이산 시간 단계(134) 후에 마지막 센서 관측치(o t )가 획득된다. 마지막 센서 관측치(o t )는 마지막 직전 맵(m t-1 )을 마지막 맵(m t )으로 업데이트하기 위해 자율주행 차량(102)으로 전송된다. 따라서, 마지막 맵(m t )에서 자율주행 차량(102)의 위치(108)는 마지막 위치(x t )로서 업데이트된다. 그 다음, 자율주행 차량(102)은 마지막 맵(m t )의 마지막 위치(x t )에 따른 목적지 장소(113)에서 자율주행 차량(102)을 정지시키기 위해 마지막 제어(u t )를 생성한다. 그러므로, 마지막 맵(m t )과 그 내부의 마지막 위치(x t )는 마지막 단계(140)에서 동시에 업데이트된다.
도 2는 순차 매핑 및 로컬리제이션(SMAL) 항법(200)의 개략도를 나타내고 있다. SMAL 항법(200)은 또한 미지의 환경(204)에서 자율주행 차량(202)을 항행시키기 위해 사용된다. 미지의 환경(204)의 맵(206)은 맵(206)에서 자율주행 차량(202)의 위치(208)의 추적을 동시에 유지하기 위해 SMAL 항법(200)을 위해 구성되고 업데이트된다.
SMAL 항법(200)은 초기 스테이지(210), 로컬리제이션 스테이지(220) 및 매핑 스테이지(230)의 3개의 스테이지로 구분된다. 초기 스테이지(210)에서, 초기 센서 관측치(o i )는 미지의 환경(204)으로부터 획득되고 미지의 환경(204)의 초기 맵(m i )을 생성(212)하기 위해 자율주행 차량(202)에 전송된다. 자율주행 차량(202)의 위치(208)는 초기 맵(m i )에서 초기 위치(x i )로서 계산된다. 그 다음, 자율주행 차량(202)은 초기 맵(m i )의 초기 위치(x i )에 따라 미지의 환경(104)에서 자율주행 차량(202)을 이동시키기 위해 초기 제어(u i )를 생성한다.
로컬리제이션 스테이지(220)에서, 미지의 환경(204)의 제1 장소(222) 주변에서 제1 센서 관측치(o 1 )가 획득된다. 따라서, 자율주행 차량(102)의 위치(108)는 초기 맵(m i )에서 제1 위치(x 1 )로서 계산된다. 그 다음, 자율주행 차량(102)은 초기 맵(m i )의 제1 위치(x 1 )에 따라 미지의 환경(204)에서 자율주행 차량(202)을 이동시키기 위해 제1 제어(u 1 )를 생성한다. SLAM 항법(100)과 달리, 제1 센서 관측치(o 1 )는 초기 맵(m i )을 업데이트하는 데 사용된다.
자율주행 차량(202)은 마지막 장소(224)까지 초기 맵(m i )을 업데이트하지 않고 이산 시간에 걸쳐 제1 장소(222)로부터 후속 장소로 이동한다. 미지의 환경(204)의 마지막 장소(224) 주변에서 마지막 센서 관측치(o t )가 획득된다. 유사하게, 마지막 센서 관측치(o t )는 초기 맵(m i )을 업데이트하는 데 사용되지 않는다. 미지의 환경(204)에서 자율주행 차량(202)의 위치(208)는 초기 맵(m i )에서 최종 위치(x t )로서 계산된다. 그 다음, 자율주행 차량(202)은 초기 맵(m i )의 최종 위치(x t )에 따라 최종 장소(224) 주변의 자율주행 차량(202)을 다음 장소로 이동시키기 위해 마지막 제어(u t )를 생성한다.
매핑 스테이지(230)에서, 미지의 환경(104)이 제1 소정 임계치를 크게 초과하여 변경되므로 초기 맵(m i )은 적용 가능하지 않다. 업데이트된 센서 관측치(o ii )는 미지의 환경(204)으로부터 획득되고 초기 맵(m i )을 미지의 환경(204)의 제1 업데이트된 맵(m ii )으로 업데이트(232)하기 위해 자율주행 차량(202)에 전송된다. 그 다음, 로컬리제이션 스테이지(220)가 반복되어(234) 자율주행 차량(102)이 제1 업데이트된 맵(m i )이 있는 미지의 환경(104)에서 이동하도록 안내한다. 유사하게, 미지의 환경(104)이 제2 소정 임계치 및 후속의 소정 임계치를 크게 초과하여 변경될 때, 업데이트된 맵은 각각 제2 업데이트된 맵 및 후속 업데이트된 맵으로 업데이트된다(m ii ).
도 3은 SMAL 항법(200)의 매핑 프로세스(300)를 도시하고 있다. 매핑 프로세스(300)는 검출 장치로부터 복수의 제1 환경 데이터를 수집하는 제1 단계; 복수의 제1 환경 데이터를 융합 데이터(RGB-D 이미지 또는 포인트 클라우드)로 병합하는 제2 단계(304); 에지 특징을 검출하기 위해 융합 데이터에 에지 검출을 적용하는 제3 단계(306); 융합 데이터로부터 제1 세트의 온로드 특징을 추출하는 제4 단계(308); 및 제1 세트의 온로드 특징을 초기 맵에 저장하는 제5 단계(310)에 의해 수행된다. SMAL 항법(200)의 경우, 매핑 프로세스(300)는 초기 맵(212)을 생성하기 위한 초기 스테이지(210) 및 초기 맵(m i )을 제1 업데이트된 맵(m ii )으로 업데이트하기 위한 매핑 스테이지(232)에서 적용 가능하다. 유사하게, 매핑 프로세스(300)는 미지의 환경이 크게 변경될 때 제1 업데이트된 맵, 제2 업데이트된 맵 및 후속 업데이트된 맵을 업데이트하는 데에도 적용 가능하다.
제1 단계(302)에서, 제1 환경 데이터는 검출 장치로서 LIDAR, 카메라 또는 LIDAR와 카메라의 조합으로부터 프레임 단위로 수집된다. 제2 단계(304)에서, 프레임은 정렬되고 단일 프레임으로 병합된다. 병합 동안, 실시간 운동학(RTK); 미국의 전지구 측위 시스템(GPS), 중국의 Beidou, 유럽의 Galileo 및 러시아어의 GLONASS를 포함한 전지구 위성 항법 시스템(GNSS); 및 관성 측정 유닛(IMU) 항법 시스템(약칭으로 RTK-GNSS/IMU 항법 시스템)이 또한 수반된다. 각 프레임은 RTK-GNSS/IMU 항법 시스템(정상 프레임으로 알려짐)으로부터의 정확한 위치와 연관된다. 프레임의 GNSS 위치가 드리프트되면(하위 프레임으로 알려짐), 하위 프레임의 위치가 정확하지 않을 것이다. 이 경우, 하위 프레임의 정확한 위치는 하위 프레임과 정상 프레임의 중첩으로부터 결정된다. 중첩이 없거나 불충분한 중첩이 발견되면, 하위 프레임을 폐기하고 하위 프레임을 대체하기 위해 하위 프레임 근처에 새 프레임을 가져온다. 제3 단계(306)에서, 에지 검출 알고리즘은 에지 특징을 검출하기 위해 단일 프레임에 적용된다. 제4 단계(308)에서, 블랍(blob) 검출 알고리즘은 에지 특징으로부터 온로드 특징을 추출하기 위해 에지 특징에 적용된다. 제5 단계(310)에서, 온로드 특징은 초기 맵(m i ), 제1 업데이트된 맵(m ii ), 제2 업데이트된 맵 및 후속 업데이트된 맵에 통합된다.
도 4는 SMAL 항법(200)의 로컬리제이션 프로세스(400)를 도시하고 있다. 로컬리제이션 프로세스(400)는 이동 객체 근처에서 복수의 제2 환경 데이터를 수집하는 제1 단계(402); 제2 환경 데이터로부터 제2 세트의 온로드 특징을 인식하는 제2 단계(404); 미지의 환경의 제2 세트의 온로드 특징을 초기 맵의 제1 세트의 온로드 특징과 정합시키는 제3 단계(406); 및 초기 맵(m i ), 제1 업데이트된 맵(m ii ), 제2 업데이트된 맵 및 후속 업데이트된 맵을 포함하는 맵(106)에서 자율주행 차량(102)의 위치(108)를 업데이트하는 제4 단계에 의해 수행된다. 로컬리제이션 스테이지(220) 및 매핑 스테이지(230)를 반복함으로써, 자율주행 차량(102)은 SMAL 항법(200)에 의해 미지의 환경(104)에서 이동하도록 안내된다.
본 출원에서, 달리 명시되지 않는 한, "포함하는", "포함한다", 및 이들의 문법적 변이형은 "개방" 또는 "포괄적인" 언어를 나타내도록 의도되어 인용 요소를 포함하지만 추가적인 비명시적 인용 요소를 포함할 수도 있다.
본원에 사용된 같이, "약"이란 용어는, 제제의 성분 농도와 관련하여, 통상적으로 명시된 값의 +/- 5%, 더 통상적으로 명시된 값의 +/- 4%, 더 통상적으로 명시된 값의 +/- 3%, 더 통상적으로 명시된 값의 +/- 2%, 보다 더 통상적으로 명시된 값의 +/- 1%, 및 보다 더 통상적으로 명시된 값의 +/- 0.5%를 의미한다.
본 개시내용 전체에 걸쳐, 특정 실시예는 범위 형식으로 개시될 수 있다. 범위 형식의 설명은 단지 편의성 및 간결성을 위한 것으로 개시된 범위의 범주에 대한 완고한 제한으로 해석되어서는 안 된다. 따라서, 범위에 대한 설명은 가능한 모든 하위 범위뿐만 아니라 해당 범위 내의 개별 수치 값을 구체적으로 개시한 것으로 간주되어야 한다. 예를 들어, 1 내지 6과 같은 범위에 대한 설명은 1, 2, 3, 4, 5, 및 6과 같은 해당 범위 내의 개별 숫자뿐만 아니라 1 내지 3, 1 내지 4, 1 내지 5, 2 내지 4, 2 내지 6, 3 내지 6 등과 같은 하위 범위를 구체적으로 개시한 것으로 간주되어야 한다. 이는 범위의 폭에 관계없이 적용된다.
본 출원의 사상 및 범위를 벗어남이 없이 전술한 개시내용을 판독 후 본 기술 분야의 통상의 지식을 가진 자에게 본 출원의 다양한 다른 수정 및 개조가 명백할 것이고, 이러한 모든 수정 및 개조는 첨부된 청구범위의 범주 내에 포함됨이 명백할 것이다.
100: 동시 로컬리제이션 및 매핑(SLAM) 항법
102: 자율주행 차량
104: 미지의 환경
106: 맵
108: 위치
110: 제1 단계
112: 출발 장소
113: 목적지 장소
114: 제1 이산 시간 단계
120: 제2 단계
122: 제2 장소
124: 제2 이산 시간 단계
130: 마지막 직전 단계
132: 마지막 직전 장소
134: 마지막 직전 이산 시간 단계
140: 마지막 단계
200: 순차 매핑 및 로컬리제이션(SMAL) 항법
202: 자율주행 차량
204: 미지의 환경
206: 맵
208: 위치
210: 초기 스테이지
212: 초기 맵을 생성
220: 로컬리제이션 스테이지
222: 제1 장소
224: 마지막 장소
230: 매핑 스테이지
232: 초기 맵을 업데이트
234: 로컬리제이션 스테이지(220)를 반복
300: 매핑 프로세스
302: 제1 단계
304: 제2 단계
306: 제3 단계
308: 제4 단계
310: 제5 단계
400: 로컬리제이션 프로세스
402: 제1 단계
404: 제2 단계
406: 제3 단계
408: 제4 단계
o1: 제1 센서 관측치
m1: 제1 맵
x1: 제1 위치
u1: 제1 제어
o2: 제2 센서 관측치
m2: 제2 맵
x2: 제2 위치
u2: 제2 제어
ot-1: 마지막 직전 센서 관측치
mt-1: 마지막 직전 맵
xt-1: 마지막 직전 위치
ut-1: 마지막 직전 제어
ot: 마지막 센서 관측치
mt: 마지막 맵
xt: 마지막 위치
ut: 마지막 제어
oi: 초기 센서 관측치
mi: 초기 맵
oii: 업데이트된 센서 관측치
mii: 제1 업데이트된 맵

Claims (20)

  1. 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL) 방법으로서,
    ㆍ매핑 프로세스에서 미지의 환경의 초기 맵을 생성하는 단계;
    ㆍ로컬리제이션 프로세스에서 상기 초기 맵에서 상기 이동 객체의 위치를 결정하는 단계; 및
    ㆍ상기 미지의 환경에서 상기 이동 객체를 안내하는 단계를 포함하는, 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL) 방법.
  2. 제1항에 있어서,
    상기 미지의 환경은 개방 영역을 포함하는 방법.
  3. 제1항에 있어서,
    상기 매핑 프로세스는,
    ㆍ검출 장치로부터 복수의 제1 환경 데이터를 수집하는 단계;
    ㆍ상기 복수의 제1 환경 데이터를 융합 데이터로 병합하는 단계;
    ㆍ상기 융합 데이터에 에지 검출을 적용하는 단계;
    ㆍ상기 융합 데이터로부터 제1 세트의 온로드 특징을 추출하는 단계; 및
    ㆍ상기 제1 세트의 온로드 특징을 상기 초기 맵에 저장하는 단계에 의해 수행되는 방법.
  4. 제3항에 있어서,
    상기 검출 장치는 범위 기반 센서, 비전 기반 센서, 또는 이들의 조합을 포함하는 방법.
  5. 제4항에 있어서,
    상기 범위 기반 센서는 광 검출 및 거리 측정기(LIDAR), 음향 센서, 또는 이들의 조합을 포함하는 방법.
  6. 제4항에 있어서,
    상기 비전 기반 센서는 단안 카메라, 전방향 카메라, 이벤트 카메라, 또는 이들의 조합을 포함하는 방법.
  7. 제3항에 있어서,
    상기 제1 세트의 온로드 특징은 마킹, 도로 연석, 잔디, 특수선, 스팟, 도로 에지, 서로 다른 도로면의 에지, 또는 이들의 임의의 조합을 포함하는, 방법.
  8. 제3항에 있어서,
    상기 제1 환경 데이터로부터 노이즈를 제거하기 위해 상기 제1 환경 데이터에 확률적 접근법을 적용하는 단계를 더 포함하는 방법.
  9. 제3항에 있어서,
    상기 매핑 프로세스는 오프라인 방식으로 수행되는 방법.
  10. 제3항에 있어서,
    상기 수집 단계는 프레임 단위 방식으로 수행되는 방법.
  11. 제10항에 있어서,
    상기 병합 단계는 상기 프레임을 세계 좌표계에 정렬하여 수행되는 방법.
  12. 제11항에 있어서,
    상기 병합 단계는 상기 세계 좌표계에서 부정확한 위치를 갖는 하위 프레임을 교정하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서,
    상기 교정 단계는 정확한 위치를 갖는 정상 프레임과 상기 하위 프레임의 원래 중첩을 참조하여 수행되는 방법.
  14. 제13항에 있어서,
    추가 중첩을 생성하기 위해 상기 하위 프레임 근처에서 추가적인 정상 프레임을 수집하는 단계를 더 포함하는 방법.
  15. 제3항에 있어서,
    상기 에지 검출은 블랍 검출을 포함하는 방법.
  16. 제3항에 있어서,
    상기 로컬리제이션 프로세스는,
    ㆍ상기 이동 객체 근처에서 복수의 제2 환경 데이터를 수집하는 단계;
    ㆍ상기 제2 환경 데이터로부터 제2 세트의 온로드 특징을 인식하는 단계; 및
    ㆍ상기 미지의 환경의 제2 세트의 온로드 특징을 상기 초기 맵의 제1 세트의 온로드 특징과 정합시키는 단계에 의해 수행되는 방법.
  17. 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL)을 사용하는 시스템으로서,
    ㆍ매핑 메커니즘을 사용하여 미지의 환경의 초기 맵을 생성하기 위한 수단;
    ㆍ로컬리제이션 메커니즘을 사용하여 상기 초기 맵에서 상기 이동 객체의 위치를 결정하기 위한 수단; 및
    ㆍ상기 미지의 환경에서 상기 이동 객체를 안내하기 위한 수단을 포함하는, 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL)을 사용하는 시스템.
  18. 제17항에 있어서,
    상기 매핑 메커니즘은,
    ㆍ검출 장치로부터 복수의 제1 환경 데이터를 수집하기 위한 수단;
    ㆍ상기 복수의 제1 환경 데이터를 융합 데이터로 병합하기 위한 수단;
    ㆍ상기 융합 데이터에 에지 검출을 적용하기 위한 수단;
    ㆍ상기 융합 데이터로부터 제1 세트의 온로드 특징을 추출하기 위한 수단; 및
    ㆍ상기 제1 세트의 온로드 특징을 상기 초기 맵에 저장하기 위한 수단을 포함하고,
    상기 매핑 메커니즘은 오프라인 방식으로 작동되는 시스템.
  19. 제17항에 있어서,
    상기 로컬리제이션 메커니즘은,
    ㆍ상기 이동 객체 근처에서 복수의 제2 환경 데이터를 수집하기 위한 수단;
    ㆍ상기 제2 환경 데이터로부터 제2 세트의 온로드 특징을 인식하기 위한 수단; 및
    ㆍ상기 미지의 환경의 제2 세트의 온로드 특징을 상기 초기 맵의 제1 세트의 온로드 특징과 정합시키기 위한 수단을 포함하고, 상기 로컬리제이션 메커니즘은 온라인 방식으로 작동되는 시스템.
  20. 이동 객체를 항행시키기 위한 순차 매핑 및 로컬리제이션(SMAL) 방법을 구현하기 위해 컴퓨터 프로그램 명령어 및 데이터가 구현된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 SMAL 방법은,
    ㆍ매핑 프로세스에서 미지의 환경의 초기 맵을 생성하는 단계;
    ㆍ로컬리제이션 프로세스에서 상기 초기 맵에서 상기 이동 객체의 위치를 결정하는 단계; 및
    ㆍ상기 미지의 환경에서 상기 이동 객체를 안내하는 단계를 포함하는, 컴퓨터 프로그램 제품.
KR1020227022386A 2019-12-30 2020-02-03 항법용 순차 매핑 및 로컬리제이션(smal) KR20220108132A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201913873Q 2019-12-30
SG10201913873QA SG10201913873QA (en) 2019-12-30 2019-12-30 Sequential Mapping And Localization (SMAL) For Navigation
PCT/SG2020/050050 WO2021137750A1 (en) 2019-12-30 2020-02-03 Sequential mapping and localization (smal) for navigation

Publications (1)

Publication Number Publication Date
KR20220108132A true KR20220108132A (ko) 2022-08-02

Family

ID=69740503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022386A KR20220108132A (ko) 2019-12-30 2020-02-03 항법용 순차 매핑 및 로컬리제이션(smal)

Country Status (7)

Country Link
US (1) US20230168688A1 (ko)
EP (1) EP4085311A1 (ko)
JP (1) JP2023510507A (ko)
KR (1) KR20220108132A (ko)
CN (1) CN115004123A (ko)
SG (1) SG10201913873QA (ko)
WO (1) WO2021137750A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116224396A (zh) * 2022-11-16 2023-06-06 上海西井信息科技有限公司 基于点云的岸桥区域导航方法、系统、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250795A (ja) * 2012-05-31 2013-12-12 Aisin Seiki Co Ltd 移動体誘導装置及び移動体誘導方法
JP2014203429A (ja) * 2013-04-10 2014-10-27 トヨタ自動車株式会社 地図生成装置、地図生成方法及び制御プログラム
US10022867B2 (en) * 2014-11-11 2018-07-17 X Development Llc Dynamically maintaining a map of a fleet of robotic devices in an environment to facilitate robotic action
US10255523B2 (en) * 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
JP6804729B2 (ja) * 2016-05-09 2020-12-23 清水建設株式会社 自律移動システムおよび自律移動方法
JP6831213B2 (ja) * 2016-11-09 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
JP6872426B2 (ja) * 2017-06-01 2021-05-19 株式会社豊田中央研究所 環境地図生成方法、環境地図生成装置、及び環境地図生成プログラム
JP7341652B2 (ja) * 2018-01-12 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、およびシステム
JP7133926B2 (ja) * 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置、システム、情報処理方法
US11242144B2 (en) * 2018-02-09 2022-02-08 Skydio, Inc. Aerial vehicle smart landing
JP7047576B2 (ja) * 2018-04-27 2022-04-05 株式会社豊田中央研究所 地図作成装置

Also Published As

Publication number Publication date
EP4085311A1 (en) 2022-11-09
WO2021137750A1 (en) 2021-07-08
JP2023510507A (ja) 2023-03-14
CN115004123A (zh) 2022-09-02
US20230168688A1 (en) 2023-06-01
SG10201913873QA (en) 2021-07-29

Similar Documents

Publication Publication Date Title
EP3371671B1 (en) Method, device and assembly for map generation
US20200249359A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
US10452926B2 (en) Image capture device with customizable regions of interest
CN111102986B (zh) 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位
US20190147320A1 (en) "Matching Adversarial Networks"
EP2438401B1 (en) Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
US20180288320A1 (en) Camera Fields of View for Object Detection
上條俊介 et al. Autonomous vehicle technologies: Localization and mapping
CN103901895B (zh) 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人
CN110945320B (zh) 车辆定位方法和系统
US11280630B2 (en) Updating map data
Senlet et al. Satellite image based precise robot localization on sidewalks
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
Aldibaja et al. LIDAR-data accumulation strategy to generate high definition maps for autonomous vehicles
US11544868B2 (en) Object location coordinate determination
KR20220108132A (ko) 항법용 순차 매핑 및 로컬리제이션(smal)
Khan et al. Real-time traffic light detection from videos with inertial sensor fusion
JP2022012173A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR101934297B1 (ko) 3차원 LiDAR를 이용한 선분추출 기반의 교차로 인식 방법
Gu et al. Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection
CN109144052A (zh) 用于自动驾驶车辆的导航系统及其方法
Bansal et al. Vision-based perception for autonomous urban navigation
Im et al. 3D LiDAR based vehicle localization using vertical structure landmark in urban road
WO2023113676A1 (en) High fidelity anchor points for real-time mapping with mobile devices
Janssen et al. Bootstrapping Computer vision and sensor fusion for absolute and relative vehicle positioning

Legal Events

Date Code Title Description
A201 Request for examination