KR102148592B1 - 네거티브 매핑을 이용한 국부화 - Google Patents

네거티브 매핑을 이용한 국부화 Download PDF

Info

Publication number
KR102148592B1
KR102148592B1 KR1020187034350A KR20187034350A KR102148592B1 KR 102148592 B1 KR102148592 B1 KR 102148592B1 KR 1020187034350 A KR1020187034350 A KR 1020187034350A KR 20187034350 A KR20187034350 A KR 20187034350A KR 102148592 B1 KR102148592 B1 KR 102148592B1
Authority
KR
South Korea
Prior art keywords
landmarks
environment
candidate
mapped
determining
Prior art date
Application number
KR1020187034350A
Other languages
English (en)
Other versions
KR20190003643A (ko
Inventor
더크 홀즈
Original Assignee
엑스 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑스 디벨롭먼트 엘엘씨 filed Critical 엑스 디벨롭먼트 엘엘씨
Publication of KR20190003643A publication Critical patent/KR20190003643A/ko
Application granted granted Critical
Publication of KR102148592B1 publication Critical patent/KR102148592B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Civil Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

예시적인 실시예들은 로봇 차량의 환경의 맵을 결정하는 것을 포함한다. 맵은 환경 내의 잘못된 검출 소스 영역 및 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함한다. 실시예들은 복수의 후보 랜드마크를 검출하는 것, 및 검출된 후보 랜드마크들 중 어느 것이 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 것을 추가로 포함한다. 실시예들은 상기 환경 내의 로봇 차량의 포즈를 추정하는 것을 추가적으로 포함한다. 실시예들은 잘못된 검출들에 대응하는 것으로 결정된 검출된 후보 랜드마크들 중 어느 것이 잘못된 검출 소스 영역 내에 있는지를 결정하는 것을 추가로 포함한다. 실시예들은 또한 잘못된 검출들에 대응하는 것으로 결정된 검출된 후보 랜드마크들 중 어느 것이 잘못된 검출 소스 영역 내에 있는지에 기초하여 포즈 추정치의 신뢰 수준을 결정하는 것을 추가로 포함한다.

Description

네거티브 매핑을 이용한 국부화
관련 출원에 대한 상호 참조
본 출원은 2017년 4월 21일자로 출원된 미국 특허 출원 제15/494159호에 대한 우선권을 주장하며, 이 출원은 이로써 그 전체가 본 명세서에 참고로 포함된다.
창고는 제조자, 도매업자 및 운송업을 포함한, 다양한 상이한 타입의 상업적 엔티티들에 의한 상품의 저장을 위해 사용될 수 있다. 예시적인 저장된 상품은 원자재, 부품들 또는 컴포넌트들, 포장 재료들, 및 완성된 제품들을 포함할 수 있다. 일부 경우에, 창고는 상품이 배달 트럭이나 다른 타입의 차량에 로딩되고 그로부터 언로딩되는 것을 가능하게 하는 로딩 도크(loading dock)를 구비할 수 있다. 창고는 또한 박스들 또는 다른 객체들의 스택들을 포함하는 납작한 운송 구조물들인 팔레트들의 저장을 허용하기 위해 팔레트 랙(pallet rack)들의 열들을 사용할 수 있다. 추가적으로, 창고는 상품들 또는 상품들의 팔레트들을 들어올리고 이동시키기 위한 머신들 또는 차량들, 예컨대 크레인 및 포크리프트를 사용할 수 있다. 인간 운영자들이 머신, 차량 및 다른 장비를 동작시키기 위해 이용될 수 있다. 일부 경우에, 머신들 또는 차량들 중 하나 이상은 컴퓨터 제어 시스템들에 의해 유도되는 로봇 디바이스("로봇")일 수 있다. 컴퓨터 제어 시스템들은 창고 도처에 분포된 마커들과 관련하여 하나 이상의 로봇을 국부화할 수 있다. 로봇들을 국부화하는 것은 컴퓨터 제어 시스템들이 창고를 통해 하나 이상의 로봇을 내비게이트하는 것을 가능하게 할 수 있다.
예시적인 시스템들 및 방법들은 로봇 차량의 환경 내에 로봇 차량을 국부화하는 것을 도울 수 있고, 그에 의해 로봇 차량이 환경을 통해 내비게이트하는 것을 도울 수 있다. 로봇의 환경은 랜드마크들을 포함할 수 있다. 랜드마크들의 위치들은 매핑될 수 있다. 로봇 차량은 랜드마크들을 검출할 수 있고, 로봇 차량, 또는 로봇 차량 외부의 프로세서는 검출된 랜드마크들을 맵 상의 것들과 연관시킬 수 있고, 그에 의해 환경 내의 로봇 차량의 포즈를 추정할 수 있다. 그러나, 로봇 차량은 또한 환경 내의 랜드마크들을 잘못 검출할 수 있다. 이러한 잘못 검출된 랜드마크는 포즈 추정치에 부정적으로 영향을 미칠 수 있다. 이에 따라, 각각의 검출된 랜드마크는 각각의 랜드마크가 랜드마크에 또는 잘못된 검출에 대응하는 것으로 결정될 때까지 후보 랜드마크로서 취급될 수 있다. 이러한 잘못된 검출들이 식별될 수 있는 경우, 이들은 로봇 차량의 국부화를 돕기 위해 사용될 수 있다. 하나 이상의 잘못된 검출의 소스가 매핑될 수 있다. 로봇 차량의 포즈는 검출된 랜드마크들에 기초하여 추정될 수 있다. 추정된 포즈에 기초하여, 잘못된 검출들은 매핑된 잘못된 검출들의 소스들과 연관될 수 있다. 그렇게 연관된, 잘못된 검출들은 포즈 추정치의 신뢰 수준을 결정하는 것을 도울 수 있다. 예를 들어, 하나 이상의 잘못된 검출이 잘못된 검출 소스와 연관될 수 없다면, 포즈 추정치는 정확할 가능성이 더 적을 수 있고, 포즈 추정치의 신뢰 수준은 더 낮을 수 있다. 로봇 차량은 포즈 추정치 및 포즈 추정치과 연관된 신뢰 수준에 부분적으로 기초하여 환경을 통해 내비게이트될 수 있다.
일 예에서, 환경의 맵을 결정하는 단계를 포함하는 방법이 제공된다. 맵은 환경 내의 잘못된 검출 소스 영역 및 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함한다. 이 방법은 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하는 단계를 추가로 포함한다. 이 방법은 또한 복수의 후보 랜드마크 중 어느 것이 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 단계를 포함한다. 이 방법은 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 복수의 후보 랜드마크에 기초하여 환경 내의 로봇 차량의 포즈를 추정하는 단계를 추가적으로 포함한다. 이 방법은 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역 내에 있는지를 결정하는 단계를 추가로 포함한다. 이 방법은 또한 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역 내에 있는지에 기초하여 포즈 추정치의 신뢰 수준을 결정하는 단계를 추가로 포함한다.
다른 예에서, 로봇 차량, 로봇 차량 상에 장착된 센서, 하나 이상의 프로세서, 및 비일시적 컴퓨터 판독가능 매체를 포함하는 시스템이 제공된다. 이 시스템은 비일시적 컴퓨터 판독가능 매체 상에 저장되고, 로봇 차량의 환경의 맵를 결정하기 위해 하나 이상의 프로세서에 의해 실행가능한 프로그램 명령어들을 추가로 포함한다. 맵은 환경 내의 잘못된 검출 소스 영역 및 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함한다. 프로그램 명령어들은 로봇 차량에 장착된 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 추가로 검출한다. 프로그램 명령어들은 또한 복수의 후보 랜드마크 중 어느 것이 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정한다. 프로그램 명령어들은 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 복수의 후보 랜드마크에 기초하여 환경 내의 로봇 차량의 포즈를 추가적으로 추정한다. 프로그램 명령어들은 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역 내에 있는지를 추가로 결정한다. 프로그램 명령어들은 또한 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역 내에 있는지에 기초하여 포즈 추정치의 신뢰 수준을 추가로 결정한다.
다른 예에서, 컴퓨팅 시스템으로 하여금 기능들을 수행하게 하기 위해 하나 이상의 프로세서에 의해 실행가능한 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체가 제공된다. 기능들은 환경의 맵을 결정하는 것을 포함한다. 맵은 환경 내의 복수의 잘못된 검출 소스 영역 및 환경 내의 복수의 매핑된 랜드마크의 위치를 포함한다. 기능들은 로봇 차량 상에 장착된 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하는 것을 추가로 포함한다. 기능들은 복수의 후보 랜드마크 중 어느 것이 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 것을 또한 포함한다. 기능들은 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 복수의 후보 랜드마크에 기초하여 환경 내의 로봇 차량의 포즈를 추정하는 것을 추가적으로 포함한다. 기능들은 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역들 중 하나 내에 있는지를 결정하는 것을 추가로 포함한다. 기능들은 또한 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역들 중 하나 내에 있는지에 기초하여 포즈 추정치의 신뢰 수준을 결정하는 것을 추가로 포함한다.
다른 예에서, 환경의 맵을 결정하기 위한 수단을 포함하는 시스템이 제공된다. 맵은 환경 내의 잘못된 검출 소스 영역 및 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함한다. 이 시스템은 로봇 차량 상에 장착된 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하기 위한 수단을 추가로 포함한다. 이 시스템은 복수의 후보 랜드마크 중 어느 것이 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하기 위한 수단을 또한 포함한다. 이 시스템은 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 복수의 후보 랜드마크에 기초하여 환경 내의 로봇 차량의 포즈를 추정하기 위한 수단을 추가적으로 포함한다. 이 시스템은 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역 내에 있는지를 결정하기 위한 수단을 추가로 포함한다. 이 시스템은 또한 잘못된 검출들에 대응하는 것으로 결정된 복수의 후보 랜드마크 중 어느 것이 잘못된 검출 소스 영역 내에 있는지에 기초하여 포즈 추정치의 신뢰 수준을 결정하기 위한 수단을 추가로 포함한다.
전술한 요약은 단지 예시적이며, 어떤 식으로든 제한적인 것으로 의도되지 않는다. 위에 설명된 예시적인 양태들, 실시예들, 및 특징들에 더하여, 추가의 양태들, 실시예들, 및 특징들은 도면들 및 이하의 상세한 설명 및 첨부 도면들을 참조하여 명백해질 것이다.
도 1은 예시적인 실시예에 따른, 시스템의 블록도이다.
도 2는 예시적인 실시예에 따른, 하나 이상의 창고를 운영하기 시스템을 도시한다.
도 3은 예시적인 실시예에 따른, 시스템을 예시한다.
도 4는 예시적인 실시예에 따른, 하나 이상의 로봇 디바이스에 대한 로봇 디바이스 아키텍처를 예시한다.
도 5는 예시적인 실시예에 따른, 하나 이상의 로봇 디바이스에 대한 레이저 스캐너 아키텍처를 예시한다.
도 6은 예시적인 실시예에 따른, 환경 내에서 내비게이트하는 로봇 차량을 예시한다.
도 7은 예시적인 실시예에 따른, 로봇 제어 시스템의 모듈들을 예시하는 기능 블록도이다.
도 8은 예시적인 실시예에 따른, 로봇의 매핑된 환경을 도시한다.
도 9는 예시적인 실시예에 따른, 다수의 검출을 행한 로봇을 도시한다.
도 10a, 도 10b, 도 10c, 및 도 10d는 예시적인 실시예에 따른, 후보 랜드마크들 및 대응하는 매핑된 랜드마크들의 샘플 세트와 연관된 인라이어들의 결정을 예시한다.
도 11a, 도 11b, 도 11c, 및 도 11d는 예시적인 실시예에 따른, 후보 랜드마크들 및 대응하는 매핑된 랜드마크들의 다른 샘플 세트와 연관된 인라이어들의 결정을 예시한다.
도 12a는 예시적인 실시예에 따른, 로봇 차량의 환경을 예시한다.
도 12b는 예시적인 실시예에 따른, 로봇 차량의 환경 내의 복수의 검출된 후보 랜드마크를 예시한다.
도 12c는 예시적인 실시예에 따른, 로봇 차량의 환경의 맵 상의 검출된 후보 랜드마크들과 매핑된 랜드마크들 사이의 연관을 예시한다.
도 12d는 예시적인 실시예에 따른, 잘못된 검출의 표시를 포함하는 로봇 차량의 환경의 업데이트된 맵를 예시한다.
도 13은 예시적인 실시예에 따른, 로봇 차량이 센서 데이터를 획득하기 위해 로봇 차량의 환경을 통해 내비게이트하는 것을 예시한다.
도 14는 예시적인 실시예에 따른, 잘못된 검출 소스 영역들을 포함하는 로봇 차량의 환경의 생성된 맵을 예시한다.
도 15는 다른 예시적인 실시예에 따른, 잘못된 검출 소스 영역들을 포함하는 로봇 차량의 환경의 다른 생성된 맵을 예시한다.
도 16은 다른 예시적인 실시예에 따른, 로봇이 맵 상에서 이용가능한 데이터 중 특정한 것만을 사용하는 잘못된 검출 소스 영역들을 포함하는 로봇 차량의 환경의 생성된 맵을 예시한다.
도 17a는 예시적인 실시예에 따른, 포즈 신뢰도 결정 시나리오에서의 복수의 검출된 랜드마크 및 잘못된 검출을 예시한다.
도 17b는 다른 예시적인 실시예에 따른, 포즈 신뢰도 결정 시나리오에서의 상이한 복수의 검출된 랜드마크 및 잘못된 검출을 예시한다.
도 18은 예시적인 실시예에 따른, 방법의 블록도이다.
예시적인 방법들 및 시스템이 본 명세서에 설명된다. 본 명세서에 설명된 임의의 예시적인 실시예 또는 특징은 반드시 다른 실시예들 또는 특징들에 비해 바람직하거나 유리한 것으로서 해석되어서는 안 된다. 본 명세서에 설명된 예시적인 실시예들은 제한적인 것으로 의도되지 않는다. 개시된 시스템들 및 방법들의 특정 양태들은, 모두가 본 명세서에서 고려되는 매우 다양한 상이한 구성들로 배열되고 조합될 수 있다는 것이 쉽게 이해될 것이다.
또한, 도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안 된다. 다른 실시예들은 주어진 도면에 도시된 각각의 요소를 더 많이 또는 더 적게 포함할 수 있다는 것을 이해해야 한다. 또한, 예시된 요소들 중 일부는 조합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면들에 예시되지 않은 요소들을 포함할 수 있다.
I. 개요
예시적인 실시예들은 로봇 차량의 환경 내에서 로봇 차량 또는 수동으로 조작되는 차량과 같은 차량의 포즈를 추정하고 그에 의해 로봇을 환경을 통해 내비게이트하는 것을 돕기 위해 사용될 수 있는 방법들 및 시스템들을 포함하거나 달리 그와 관련될 수 있다. 예를 들어, 로봇 차량 상의 하나 이상의 센서는 환경 내의 후보 랜드마크들로부터 신호들을 수신함으로써 랜드마크들을 검출할 수 있다. 로봇 차량은 수신된 신호들에 기초하여 후보 랜드마크들과 관련하여 그것의 위치를 결정할 수 있다. 로봇 차량은 후보 랜드마크들 중 어느 것이 매핑된 랜드마크들에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정할 수 있다. 로봇 차량은 검출된 랜드마크들과 관련하여 그것의 위치를 대응하는 매핑된 랜드마크들과 관련하여 그것의 위치로 변환함으로써 환경 내의 그것의 포즈를 추정할 수 있다. 로봇 차량은 또한 검출된 후보 랜드마크들에 기초하여 포즈 추정 신뢰도를 결정할 수 있다. 그렇지만, 일부 시나리오들에서, 잘못된 검출들은 정확한 포즈 추정치를 손상시킬 수 있고, 본 명세서에 설명된 예시적인 방법들 및 시스템들은 포즈 추정치의 신뢰 수준을 결정하는 것을 돕기 위해 이들 잘못된 검출들을 사용할 수 있다.
일부 예들에서, 로봇은 랜드마크와 연관되지 않은, 또는 랜드마크의 위치를 잘못 표현하는 신호들을 수신 또는 검출할 수 있다. 이러한 타입의 수신 또는 검출된 신호는 "잘못된 검출(false detection)"이라고 지칭될 수 있다. 잘못된 검출들은 로봇이 환경 내에서 그것의 포즈 포즈를 부정확하게 추정하게 하고, 따라서 로봇이 환경을 통해 효과적으로 내비게이트하는 것을 방해할 수 있다. 예를 들어, 검출된 랜드마크들이 하나 이상의 잘못된 검출을 포함하기 때문에 로봇은 특정 매핑된 랜드마크들을 검출된 랜드마크들과 잘못 연관시킬 수 있다. 이러한 잘못된 연관에 기초하여, 로봇은 환경 내에서 그것의 포즈를 부정확하게 추정할 수 있고 환경을 통해 무효하게 내비게이트할 수 있다.
이전에 매핑된 잘못된 검출 소스 영역을 이용함으로써, 예시적인 시스템들 및 방법들은 이러한 내비게이션을 방해하기보다는, 로봇 차량이 환경을 통해 내비게이트하는 것을 돕기 위해 잘못된 검출들을 이용할 수 있다. 이 때문에, 검출된 랜드마크들은 후보 랜드마크들로서 취급될 수 있고, 후보 랜드마크들은 그들 중 어느 것이 매핑된 랜드마크들에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하기 위해 점검될 수 있다. 그 후, 잘못된 검출들 중 어느 것이 예상된 것인지 및 어느 것이 예상치 않은 것인지를 결정하기 위해 잘못된 검출 소스 영역들을 나타내는 맵이 사용될 수 있다.
일부 예들은 후보 랜드마크들의 다수의 서브세트(예를 들어, 3개의 후보 랜드마크의 서브세트들)를 샘플링하는 것을 포함할 수 있다. 그 후, 서브세트의 각각의 샘플링된 후보 랜드마크는 대응하는 매핑된 랜드마크와 쌍을 이룰 수 있다. 이 프로세스는 일부 샘플링된 서브세트들은 잘못된 검출들을 포함할 것이고 다른 것들은 그렇지 않을 것이기 때문에 후보 랜드마크들을 점검하는 것을 도울 수 있다. 각각의 샘플링된 서브세트는 개별적으로 평가될 수 있다. 이들 예들은 각각의 서브세트의 후보 랜드마크들에 적용할 변환을 결정하는 것을 추가로 포함할 수 있다. 변환은 샘플링된 후보 랜드마크들과 대응하는 매핑된 랜드마크들 사이에 최소 거리가 있도록 각각의 서브세트의 샘플링된 후보 랜드마크들을 대응하는 매핑된 랜드마크들과 정렬시킬 수 있다. 후보 랜드마크들 및 대응하는 매핑된 랜드마크들의 서브세트를 사용하는 것은 변환을 결정하는 데 필요한 계산을 감소시킬 수 있다.
일부 예들은 각각의 샘플링된 서브세트와 연관된 인라이어의 수를 결정하는 것을 추가로 포함할 수 있다. 각각의 샘플링된 서브세트에 대해 결정된 변환은 후보 랜드마크들 모두에 적용될 수 있다. 샘플링된 서브세트에 대한 인라이어의 수는 변환된 후보 랜드마크들과 이웃하는 매핑된 랜드마크들 사이의 거리들에 기초할 수 있다. 예를 들어, 변환된 후보 랜드마크들과 이웃하는 매핑된 랜드마크들(예를 들어, 가장 가까운 매핑된 랜드마크들) 사이의 거리들이 인라이어 임계 거리와 비교될 수 있다. 인라이어 임계 거리 이하인 이웃하는 매핑된 랜드마크까지의 거리를 갖는 변환된 후보 랜드마크들은 "인라이어들"이라고 지칭될 수 있다. 임계 값보다 큰 이웃하는 매핑된 랜드마크까지의 거리를 갖는 변환된 후보 랜드마크들은 "아웃라이어들"이라고 지칭될 수 있다. 인라이어는 변환된 서브세트가 연관된 후보 랜드마크를 이웃하는 매핑된 랜드마크와 정확하게 정렬한 것을 나타낼 수 있는 반면, 아웃라이어는 반대를 나타낼 수 있다. 잘못된 검출을 포함하지 않는 샘플링된 서브세트는 후보 랜드마크들을 이웃하는 매핑된 랜드마크들과 정확하게 정렬시키는 변환을 생성할 가능성이 더 많고, 결국 더 많은 인라이어들을 생성할 것이다. 따라서, 인라이어의 수를 결정하는 것은 후보 랜드마크들을 점검하는 것을 도울 수 있는데 그 이유는 더 많은 수의 인라이어는 잘못된 검출이 거의 또는 전혀 없는 샘플링된 서브세트에 대응할 수 있는 반면, 더 많은 수의 아웃라이어들은 하나 이상의 잘못된 검출을 포함하는 서브세트에 대응할 수 있기 때문이다.
일부 예들에서, 잘못된 검출 소스들의 위치들의 표시들이 또한 매핑될 수 있다. 이러한 잘못된 검출들의 소스들은 맵의 상대적으로 큰 부분들을 점유할 수 있다. 예를 들어, 잘못된 검출 소스는 벽과 같은 환경 내의 반사성 표면을 포함할 수 있다. 이에 따라, 잘못된 검출들을 포함하는 환경의 전체 영역들이 매핑될 수 있다. 이러한 영역들은 로봇 차량의 포즈를 추정하는 동안 사용하기에 부적합할 수 있는데, 그 이유는 잘못된 검출이 그 영역의 임의의 부분으로부터 나올 수 있기 때문이다. 그러나, 매핑된 랜드마크들에 대응하는 후보 랜드마크들은 로봇 차량의 포즈를 추정하기 위해 사용될 수 있다. 포즈에 기초하여, 잘못된 검출들에 대응하는 검출된 후보 랜드마크들이 매핑된 잘못된 검출 소스 영역 내에 있는지가 결정될 수 있다. 이러한 랜드마크들이 잘못된 검출 소스 영역 내에 있는 경우, 포즈 추정치가 정확할 가능성이 더 많은 것으로 결정될 수 있다. 반대로, 매핑된 잘못된 검출 소스 영역 내에 있지 않은 잘못된 검출들은 포즈 추정치가 정확할 가능성이 더 적은 것을 나타낼 수 있다.
잘못된 검출 소스 위치들, 예컨대 잘못된 검출 소스 영역들의 표시들을 매핑하는 것은 환경을 통해 하나 이상의 로봇을 내비게이트하는 것을 포함할 수 있다. 로봇은 잘못된 검출들을 식별하고, 포즈 추정치를 결정하고, 포즈 추정치에 기초하여, 잘못된 검출 소스 위치들을 매핑할 수 있다. 수 개의 잘못된 검출 소스 위치가 서로 근접하는 경우, 잘못된 검출 소스 영역이 결정될 수 있다.
일부 예들에서, 포즈 추정치의 신뢰 수준은 샘플 세트와 연관된 인라이어의 수, 및 환경 내의 이전에 매핑된 잘못된 검출 소스 영역 내에 있는 잘못된 검출들에 대응하는 것으로 결정된 후보 랜드마크의 수 둘 다에 기초할 수 있다. 예를 들어, 신뢰도는 후보 랜드마크의 총 수에 대한 매핑된 랜드마크에 대응하는 또는 잘못된 검출 소스 영역 내에 있는 후보 랜드마크들의 비율에 기초할 수 있다. 1에 가까운 비율은 예상치 않은 잘못된 검출들이 매우 적은 것을 나타낼 수 있는 반면에, 0에 가까운 비율은 많은 예상치 않은 잘못된 검출들이 많은 것을 나타낼 수 있다.
이제 다양한 실시예들이 상세히 참조될 것이며, 그 예들은 첨부 도면들에 예시된다. 이하의 상세한 설명에서, 본 개시내용 및 설명된 실시예들의 철저한 이해를 제공하기 위해 다수의 특정 상세가 제시된다. 그러나, 본 개시내용은 이들 특정 상세 없이 실시될 수도 있다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 및 컴포넌트들, 및 회로들은 상세히 설명되지 않는다.
II. 로봇 디바이스들에 대한 시스템 설계
도 1은 예시적인 실시예에 따른, 시스템(100)의 블록도이다. 시스템(100)은 플래닝 시스템(110) 및 로봇 디바이스(120)를 포함한다. 플래닝 시스템(110)은 환경에서 동작하는 하나 이상의 로봇 디바이스의 모션을 조정할 수 있는 오프보드 플래너(112)를 포함할 수 있다. 오프보드 플래너(112)는 로드맵 플래너(114)를 포함할 수 있다. 오프보드 플래너(112) 및/또는 로드맵 플래너(114)는 로봇 디바이스(120)와 같은 로봇 디바이스가 환경에서 동작하는 동안 추종하기 위한 하나 이상의 비동기 경로(116)를 생성할 수 있다.
도 3의 문맥에서 아래 논의되는 프로토타입 그래프(300)와 같은, 환경을 표현하는 로드맵 그래프, 프로토타입 그래프, 또는 다른 로드맵이 수신되거나, 결정되거나, 또는 다른 방식으로 플래닝 시스템(110), 오프보드 플래너(112) 및/또는 로드맵 플래너(114)에 제공될 수 있다. 비동기 경로들(116)은 로드맵 그래프, 프로토타입 그래프, 또는 다른 로드맵에 기초한 하나 이상의 경로일 수 있다. 예를 들어, 로드맵 그래프, 프로토타입 그래프, 또는 다른 로드맵이 복수의 교차부를 연결하는 복수의 에지를 갖는다면, 복수의 에지 및/또는 복수의 교차부에 관하여 비동기 경로들(116)이 특정될 수 있다.
일부 예들에서, 로봇 디바이스(120)는 경로를 추종하는 것이 가능한 임의의 하나 이상의 조향된 차량(들)일 수 있다. 예를 들어, 로봇 디바이스(120)는 온보드 소프트웨어(130) 및/또는 하드웨어(150)를 포함할 수 있다. 온보드 소프트웨어(130)는 국부화 서브시스템(132), 장애물 검출 서브시스템(134), 오도메트리 서브시스템(136), 경로-추종 서브시스템(138), 및 궤적-추종 서브시스템(142) 중 하나 이상을 포함할 수 있다. 국부화 서브시스템(132)은 로봇 디바이스를 국부화하는 데, 즉 환경 내의 로봇 디바이스의 위치를 결정하는 데 사용될 수 있다. 국부화 서브시스템(132)은 로봇 디바이스 및/또는 로봇 디바이스를 국부화하는 데 사용될 수 있는 다른 객체들의 포지션 추정치들을 생성하고, 로봇 디바이스가 비동기 경로들(116)과 같은 경로를 추종하는 것을 돕고, 및/또는 로봇 디바이스가 궤적들(140)과 같은 궤적을 추종하는 것을 도울 수 있다. 일단 포지션 추정치들이 생성되면, 국부화 서브시스템(132)은 포지션 추정치들을 경로-추종 서브시스템(138)에 제공할 수 있다.
비동기 경로, 또는 줄여서 경로는 로봇 디바이스(120)가 시작 포인트 SP로부터 종료 포인트 EP까지 어떻게 진행할 수 있는지를 나타내는 시불변적 플랜 또는 다른 정보일 수 있다; 즉, (비동기) 경로는 시간을 고려하지 않는다. 대조적으로, 궤적은 로봇 디바이스(120)가 플래닝 시간 간격 동안 추종할 수 있는 조향 각도 및 견인 모터 속도의 값들을 포함할 수 있다.
플래닝 시간 간격은 로봇 디바이스가 경로, 루트, 및/또는 진행을 추종하기 위해 가이드되거나 플래닝되는 시간의 지속기간일 수 있다. 일부 실시예들에서, 플래닝 시간 간격은 미리 결정된 양의 시간일 수 있다; 예를 들어, 5초, 1초, 0.2초, 0.1초. 특히, 미리 결정된 플래닝 시간 간격은 플래닝 시간 간격에 대한 값을 특정하는 사용자 입력에 기초하여 결정될 수 있다. 다른 실시예들에서, 플래닝 시간 간격은 하나 이상의 다른 값에 기초하여 결정될 수 있다; 예를 들어, 스티치 시간, 균일한 에지(또는 경로) 비용과 연관된 시간, 궤적을 따라 진행할 추정된 시간. 플래닝 시간 간격을 결정하기 위한 다른 기법들 및 플래닝 시간 간격에 대한 값들도 가능하다.
그 후, 로봇 디바이스(120)가 시변적 방식으로 시작 포인트 SP로부터 종료 포인트 EP까지 어떻게 진행할 수 있는지를 설명하기 위해 하나 이상의 궤적이 사용될 수 있다. 일부 실시예들에서, 궤적은 또한 로봇 디바이스(120)의 다른 운동 변수들(예를 들어, 속도 및 가속도) 및 로봇 디바이스(120)의 액추에이터 포지션들과 같은, 그러나 이에 제한되는 것은 아닌, 플래닝 시간 간격 동안 조향 각도 및 견인 모터 속도와는 다른 변수들의 값들에 대한 정보를 제공할 수 있다.
예로서, 위치 "집"으로부터 위치 "직장"까지 자동차를 운전하기 위한 경로는 자율 차량의 사람 또는 제어 디바이스와 같은 제어 엔티티가 집으로부터 직장까지 자동차를 운전하기 위해 사용할 수 있는 거리들의 순서화된 리스트를 포함할 수 있다. 이 예에서, 집으로부터 직장까지의 궤적은 제어 엔티티가 집으로부터 직장까지 자동차를 운전하기 위해 사용할 수 있는 속도 및/또는 가속도를 특정하는 하나 이상의 명령어를 수반할 수 있다. 일부 예들에서, 궤적은 트래픽, 장애물, 날씨 및 다른 시간 민감 조건들을 고려할 수 있다; 예를 들어, 집으로부터 직장까지 가기 위한 궤적은 제어 엔티티가 "20 MPH 이하에서 10초 동안 우측으로 돌고", "55 MPH로 가속하고 3분 동안 곧장 운전하고", "30초 내에 20 MPH까지 감속하고, "20 MPH 이하에서 10초 동안 좌측으로 돌고" 등을 나타낼 수 있다. 일부 실시예들에서, 궤적은 길을 따라 변경될 수 있다; 예를 들어, 장애물들, 경로의 변화들 등을 고려하기 위해.
장애물 검출 서브시스템(134)은 하나 이상의 장애물이 로봇 디바이스치(120)의 경로 및/또는 궤적을 막고 있는지를 결정할 수 있다. 이들 장애물의 예들은 팔레트들, 팔레트들에서 떨어졌을 수 있는 객체들, 로봇 디바이스들, 및 환경에서 작업하는 인간 운영자들을 포함할 수 있지만, 이에 제한되는 것은 아니다. 장애물이 검출되면, 장애물 검출 서브시스템(134)은 장애물 검출을 나타내는 하나 이상의 통신을 경로-추종 서브시스템(138)에 제공할 수 있다. 장애물 검출을 나타내는 하나 이상의 통신은 장애물 검출 서브시스템(134)에 의해 검출된 하나 이상의 장애물의 하나 이상의 포지션에 관한 위치 정보 및/또는 장애물 검출 서브시스템(134)에 의해 검출된 하나 이상의 장애물에 관한 식별 정보를 포함할 수 있다. 오도메트리 서브시스템(136)은 서보 드라이버들(152)로부터의 데이터와 같은 데이터를 사용하여, 시간 경과에 따른 로봇 디바이스(120)의 포지션의 하나 이상의 변화를 추정할 수 있다.
경로-추종 서브시스템(138) 및/또는 궤적-추종 서브시스템(142)은 로봇 디바이스(120)에 탑재된 플래너의 역할을 할 수 있다. 이 온보드 플래너는 국부화 서브시스템(132)에 의해 제공되는 포지션 추정치들에 기초하여, 비동기 경로들(116)과 같은 하나 이상의 경로를 추종할 수 있다.
경로-추종 서브시스템(138)은 비동기 경로들(116), 국부화 서브시스템(132)으로부터의 포지션 추정 입력들, 장애물 검출 서브시스템(134)으로부터의 하나 이상의 장애물의 하나 이상의 포지션에 관한 위치 정보, 및/또는 오도메트리 서브시스템(136)으로부터의 하나 이상의 포지션의 변화에 관한 정보를 수신하고, 하나 이상의 궤적(140)을 출력들로서 생성할 수 있다.
하드웨어(150)는 서보 드라이버들(152) 및/또는 모터들(154)을 포함할 수 있다. 서보 드라이버들(152)은 하나 이상의 서보메커니즘 및 관련 전기 장비를 포함할 수 있다. 일부 예들에서, 서보 드라이버들(152)은 하나 이상의 서보메커니즘에 전력을 공급하고 및/또는 서보메커니즘(들)으로부터의 피드백 신호들을 모니터링하기 위해 사용되는 하나 이상의 전자 증폭기를 포함할 수 있다. 서보 드라이버들(152)은 온보드 소프트웨어(130)로부터의 궤적들(144)과 같은 제어 신호들을 수신할 수 있고, 제어 신호들에 비례하는 모션을 생성하기 위해 서보메커니즘(들)에 전류를 제공할 수 있다. 일부 실시예들에서, 서보 드라이버들(152)은 서보메커니즘(들)으로부터 수신된 상태 정보를 궤적들(144)에 의해 명령된 예상 상태와 비교할 수 있다. 그 후, 서보 드라이버들(152)은 수신된 상태 정보와 예상 상태 사이의 편차들을 보정하기 위해 제공된 전류의 전압 주파수 또는 펄스 폭을 조정할 수 있다. 다른 실시예들에서, 서보 드라이버들(152)은 피드백 신호들 및/또는 위치 관련 정보와 같은 정보를 온보드 소프트웨어(130)에 제공할 수 있다.
하나 이상의 모터(154)는 서보 드라이버들(152)의 서보메커니즘(들)의 일부 또는 전부일 수 있다. 예를 들어, 모터들(154)은 로봇 디바이스(120)의 일부 또는 전부를 구동하기 위한 기계적 힘을 생성하기 위해 서보 드라이버들(152)에 의해 제공되는 전류를 사용할 수 있다; 예를 들어, 모터들(154)은 로봇 디바이스(120)에 힘을 제공하고 및/또는 로봇 디바이스(120)의 하나 이상의 이펙터를 구동할 수 있다.
창고, 사무실 건물, 또는 집과 같은 실내 환경들, 및/또는 공원, 주차장, 또는 마당과 같은 실외 환경들을 포함하는 환경과 같은 환경 내의 로봇 디바이스들의 경로 플래닝은, 로봇 디바이스들과 같은 에이전트들이 추종할 수 있는 경로들의 연결된 그래프인, 로드맵 그래프에 관하여 수행될 수 있다. 자유 공간 접근법을 취하기보다는 환경 내에서 에이전트 라우팅을 플래닝하기 위해 로드맵 그래프들을 사용하는 것은 총 플래닝 상태 공간을 감소시킬 수 있고, 따라서 큰 스케일 다중 에이전트 조정을 다루기 쉽게 만들 수 있다. 또한, 로드맵 그래프들의 사용은 운영자들이 로봇 디바이스들이 내비게이트하도록 허용되는 영역들을 직관적으로 제어하는 것을 가능하게 할 수 있다.
로드맵 그래프 생성은 먼저 진행의 방향들 및 레인들의 개략적인 포지션을 나타내는 프로토타입 그래프의 생성을 수반할 수 있다. 일부 예들에서, 프로토타입 그래프는 로봇 디바이스들의 진행의 방향들 및 레인들을 나타내는 방향성 그래프일 수 있다. 다른 예들에서, 프로토타입 그래프는 환경의 맵 또는 그림에 기초하여 수동으로 생성될 수 있다.
도 2는 예시적인 실시예에 따른, 하나 이상의 창고를 운영하기 위한 시스템(200)을 도시한다. 시스템(200)은 창고 관리 시스템(210), 플래닝 시스템(110), 및 로봇 디바이스(220)를 포함한다. 창고 관리 시스템(210)은 창고와 연관된 하나 이상의 물류 요청(212)을 수신할 수 있다; 예를 들어, 창고에 하나 이상의 아이템을 저장하라는 요청들 및/또는 창고로부터 하나 이상의 아이템을 출하하라는 요청들. 창고 관리 시스템(210)은 물류 요청들(212)을 하나 이상의 액션(214)으로 변환할 수 있고, 여기서 액션들(214)은 하나 이상의 지정된 에이전트를 하나 이상의 지정된 위치로 이동시키기 위한 "이동(move-to)" 액션, 및 하나 이상의 아이템을 하나 이상의 지정된 위치로 운반하기 위한 "수송(transport)" 액션을 포함할 수 있지만, 이에 제한되는 것은 아니다. 일부 예들에서, 액션들(214)은 {에이전트 ID, 목적지} 형태의 go-to 커맨드들을 포함할 수 있지만, "팔레트 이동"과 같은 다른 액션들이 가능하다. 그러나, 이들은 전형적으로 move-to 커맨드들로 분해 가능하다(픽업 위치로 이동, 배치 위치로 이동).
플래닝 시스템(110)은 오프보드 플래너(112) 및 실행기(220)를 포함한다. 오프보드 플래너(112)는 액션들(214)을 입력들로서 수신하고 창고에서 동작하는 하나 이상의 에이전트에 대한 하나 이상의 조정된 경로(216)를 생성할 수 있다; 예를 들어, 액션들(214)을 수행하는, 다수의 로봇 디바이스. 조정된 경로들(216)은 창고 내의 모든 에이전트들이 물류 요청들(212)을 실현하기 위한 조정된 액션 플랜의 일부일 수 있다. 조정된 액션 플랜은 에이전트들의 우선권을 고려할 수 있다; 예를 들어, 로봇 디바이스들 RD1 및 RD2 둘 다가 거의 동시에 포인트에 도달할 것으로 예상되면, 로봇 디바이스들 중 하나는 다른 것에 비해 우선권 또는 우선순위를 가질 수 있는데, 예컨대 로봇 디바이스 RD1은 로봇 디바이스 RD2가 포인트를 통과하는 것을 기다릴 수 있다(또는 그 반대). 실행기(220)는 조정된 경로들(216)을 수신하고, 물류 요청들(212)을 실현하기 위한 액션들(214)을 수행하기 위해 조정된 액션 플랜의 그의 부분을 달성하는 데 로봇 디바이스(120)를 유도하기 위한 비-충돌 서브-경로들(222)을 생성할 수 있다.
도 2에 위에 예시된 바와 같이, 오프보드 플래너(112) 및 실행기(220)를 포함하는 플래닝 시스템(110)은 로봇 디바이스(120)와 통신할 수 있다. 일부 실시예들에서, 로봇 디바이스는 포크 트럭일 수 있다; 예를 들어, 임의의 직업 안전 및 건강 관리(OSHA) 클래스 1 또는 클래스 3 파워 산업용 트럭이다. 다른 실시예들에서, 플래닝 시스템(110)은 "클라우드"(예를 들어, 하나 이상의 네트워킹된 컴퓨팅 디바이스)에 위치하는 및/또는 로봇 디바이스(120)와 공동 배치된 구내의 어딘가에 위치하는 하나 이상의 네트워킹된 컴퓨팅 디바이스를 이용하여 실행되는 소프트웨어를 포함할 수 있다.
일부 실시예들에서, 오프보드 플래너(112) 및 실행기(220)는 동기화될 수 있다. 예시적인 실시예에서, 오프보드 플래너(112) 및 실행기(220)는 하나의 디바이스 상에 구현될 수 있다; 예를 들어, 플래닝 시스템(110) 또는 로봇 디바이스(120)에서, 디바이스 내에서 동기화된다. 다른 예시적인 실시예에서, 오프보드 플래너(112) 및 실행기(220)는 하나 이상의 디바이스에서 동기식으로 작동할 수 있다.
도 3은 예시적인 실시예에 따른, 네트워크(318)를 이용하여 연결된 물류 인터페이스(310), 창고 관리 시스템(210), 및 하나 이상의 로봇 디바이스(120)를 포함하는 시스템(300)을 예시한다. 물류 인터페이스(310)는 창고 관리 시스템(210)으로의 로봇 디바이스들, 및/또는 팔레트들과 같은 객체들의 움직임에 관해 네트워크(318)를 통해 창고 관리 시스템(210)에 재고 작업 명령어들을 제공할 수 있다. 예시적인 재고 작업은 타입 B의 아이템들을 포함하는 팔레트 A를 위치 C로 이동시키는 것일 수 있다.
창고 관리 시스템(210)은 물류 인터페이스(310)로부터 재고 작업 명령어들을 수신하고, 하나 이상의 작업/미션 명령어(예를 들어, 로봇 디바이스 A에게 팔레트 B를 위치 C로부터 위치 D로 이동시키라는 명령어) 및/또는 재고 작업 명령어들을 수행하도록 로봇 디바이스(들)(120)를 제어하기 위한 플랜들을 생성할 수 있다. 작업/미션 명령어들 및/또는 플랜들은 하나 이상의 경로 및/또는 하나 이상의 궤적에 관한 정보를 포함할 수 있으며, 여기서 작업/미션 명령어(들), 플랜(들), 경로(들) 및 궤적/궤적들은 도 1 및 2의 문맥에서 논의된 기법들을 사용하여 창고 관리 시스템(210)의 플래닝 시스템(110)에 의해 생성된다.
예를 들어, 창고 관리 시스템(210)은 하나 이상의 컴퓨팅 디바이스을 이용하여 데이터를 실행하고 저장하는 중앙집중화된 제어 서비스일 수 있다; 예를 들어, 서버 컴퓨팅 디바이스들. 이들 작업을 수행하기 위해, 창고 관리 시스템(210)은 WMS 미들웨어를 포함할 수 있고, 시스템(300)을 모니터링 및 관리하기 위한 툴들로의 액세스를 제공하기 위한 사용자 인터페이스를 제공할 수 있다. 창고 관리 시스템(210)의 WMS 미들웨어 및/또는 다른 컴포넌트들은 하나 이상의 애플리케이션 프로그래밍 인터페이스(API), 예컨대 로봇 디바이스 경로들, 포즈들, 및/또는 궤적들에 대한 작업/미션 명령어들(예를 들어, 로봇 디바이스 A에게 팔레트 B를 위치 C로부터 위치 D로 이동시키라는 명령어) 간의 변환; 재고 작업들과 작업/미션 명령어들 간의 변환; 및 API들 간의 변환을 위한 프로토콜 변환 API들을 사용할 수 있다.
창고 관리 시스템(210)에 의해 제공되는 사용자 인터페이스는 시스템(300)에 대한 하나 이상의 사용자 인터페이스 기능을 제공할 수 있는데, 이 기능은 다음에 언급한 것들을 포함하지만 이에 제한되는 것은 아니다: 로봇 디바이스(들)(120)의 모니터링, 예를 들어, 하나 이상의 로봇 디바이스의 위치, 배터리 상태, 충전 상태 등과 관련된 데이터를 제시하는 것; 로봇 디바이스(들)(120) 중 하나 이상에 재고 작업 명령어(들), 작업/미션 명령어(들), 플랜(들), 경로(들) 및/또는 궤적/궤적들의 생성 및 전송을 가능하게 하는 것; 및 하나 이상의 창고 맵, 팔레트, 네트워크, 및/또는 플래닝 시스템(예를 들어, 플래닝 시스템(110), 창고 관리 시스템(210), 및/또는 물류 인터페이스(310))과 관련된 데이터의 검토, 업데이트, 삭제 및/또는 삽입.
일부 실시예들에서, 창고 관리 시스템(210)은 물류 인터페이스(310)와 로봇 디바이스(들)(120) 사이 및 로봇 디바이스(들)(120) 중 2개 이상의 로봇 디바이스 사이의 통신을 라우팅하고 하나 이상의 온보드 시스템, 예컨대 로봇 디바이스(들)(120) 중 하나 이상의 로봇 디바이스에 탑재된 온보드 시스템(320)을 관리할 수 있다. 다른 실시예들에서, 창고 관리 시스템(210)은 시스템(300)과 관련된 데이터를 저장, 생성, 판독, 기입, 업데이트 및/또는 삭제할 수 있는데, 그 데이터는 예컨대 다음과 같은 것이지만 이에 제한되는 것은 아니다: 로봇 디바이스(들)(120) 중 하나 이상에 의한 작업/미션 명령어의 완료에 관한 데이터; 로봇 디바이스가 초기화/부팅되었던 위치를 나타내는 데이터를 포함하는, 로봇 디바이스(들)(120)의 일부 또는 전부의 위치들 및/또는 포즈들에 관한 데이터; 인간 액션들, 사건 분석, 및/또는 디버깅에 대한 하나 이상의 감사 흔적들과 관련된 데이터; 및 상태 추적을 위한 데이터. 다른 실시예들에서, 창고 관리 시스템(210)은 로봇 디바이스(들)(120) 및 하나 이상의 어댑터과 통신하는 중앙 메시지 라우터/지속성 관리자를 포함할 수 있다. 하나 이상의 어댑터 각각은 창고 관리 시스템(210)에 이용가능한 시스템(300)의 데이터 및/또는 통신들로의 액세스를 제공할 수 있고, 다음에 언급한 것들을 포함할 수 있지만, 이에 제한되는 것은 아니다: 위에 언급된 사용자 인터페이스에 대한 사용자 인터페이스 서비스 어댑터, 시스템(300)에 대한 정보로의 월드 와이드 웹(WWW)/인터넷 액세스를 가능하게 하는 웹 콘텐츠 서비스 어댑터, 메시지 프록시 어댑터 및/또는 WMS 및/또는 API들 사이의 통신들 사이의 중개자들로서 역할을 하는 WMS 어댑터.
도 3은 하나 이상의 로봇 디바이스(120) 각각이 온보드 시스템(320), 네트워크 스위치(330), 차량 컨트롤러(332), 프로그램 가능 로직 컨트롤러(PLC)(334), 하나 이상의 디바이스 센서(338), 및 하나 이상의 드라이브(340) 중 하나 이상을 포함할 수 있다는 것을 도시한다.
온보드 시스템(320)은 로봇 디바이스(120) 내에 설치하고 그와 함께 사용하기 위해 구성된 로봇 플래닝을 위한 계산 및 센서 패키지일 수 있고, 여기서 온보드 시스템(320)은 온보드 센서들(322) 및 하나 이상의 플래닝/실행 프로세서(324)를 포함할 수 있다. 도 3은 또한 적어도 플래닝 시스템(110)과(네트워크(318)를 통해), 디바이스 센서들(338)과, 및/또는 로봇 디바이스(120)의 하나 이상의 액추에이터와 통신하기 위해 네트워크 스위치(330)를 이용하도록 구성되는 온보드 시스템(320)을 도시한다.
온보드 시스템(320)은 다음에 언급한 것들 중 하나 이상에 대한 책임이 있을 수 있다: 로봇 디바이스(120)의 국부화, 창고 관리 시스템(210)에 의해 제공되는 경로들 및/또는 궤적들을 따라 진행하고 및/또는 플랜들을 수행하기 위한 로컬 궤적들의 생성, 하나 이상의 (로컬) 궤적들을 추종하기 위한 드라이브들(340)에 대한 커맨드들의 생성, 로봇 디바이스(120)의 액추에이터(들)를 제어하기 위한 커맨드들의 생성, 및 포즈, 상태 및/또는 다른 정보를 창고 관리 시스템(210)에 보고하는 것.
온보드 센서(322)는 온보드 시스템(320)을 내비게이트 및/또는 제어하기 위한 하나 이상의 내비게이션 레이저, 레이저 스캐너, 카메라, 및/또는 다른 센서를 포함할 수 있다. 예를 들어, 로봇 디바이스(들)(120) 중의 로봇 디바이스는 하나 이상의 레이저 스캐너, 예컨대 독일 발드키르히(Waldkirch)의 SICK AG, 일본 오사카의 HOKUYO AUTOMATIC CO. LTD, 및/또는 일본 오사카의 KEYENCE CORPORATION에 의해 제공되는 하나 이상의 레이저 스캐너를 포함할 수 있다. 레이저 스캐너들은 로봇 디바이스의 진행 방향을 따라서뿐만 아니라, 로봇 디바이스의 측면들, 코너들 및/또는 후방을 따라 장애물 검출 및/또는 회피를 위해 사용될 수 있다. 레이저 스캐너들은 또한 반사기 기반 국부화를 이용하여 로봇 디바이스를 국부화하는 데 사용될 수 있다. 일부 실시예들에서, 카메라들 및/또는 다른 센서들은 레이저 스캐너 대신에 또는 그와 함께 장애물 검출, 장애물 회피, 및/또는 국부화를 위해 사용될 수 있다.
플래닝/실행 프로세서(들)(324)는 적어도 온보드 센서들(322)에 연결된 하나 이상의 컴퓨터 프로세서를 포함할 수 있다. 플래닝/실행 프로세서(들)(324)는 온보드 센서들(322)로부터 데이터를 판독하고, 로봇 디바이스(120)를 이동시키기 위한 드라이브(들)(340)에 대한 로컬 궤적들 및/또는 커맨드들을 생성하고, 창고 관리 시스템(210)과 통신할 수 있다. 로컬 궤적은 로봇 디바이스(120)가 시작 포즈에서 시작하고 어떤 시간에 종료 포즈에 도달하는 궤적일 수 있다. 일부 예들에서, 시작 포즈는 암시적으로 특정될 수 있다; 예를 들어, 시작 포즈는 로봇 디바이스(120)의 현재 포즈일 수 있고 따라서 로컬 궤적은 그 시작 포즈가 로봇 디바이스(120)의 현재 포즈라는 가정에 기초할 수 있다.
플래닝/실행 프로세서(들)(324)는 컴포넌트 프레임워크를 이용할 수 있다. 컴포넌트 프레임워크는 로봇 디바이스(120)의 일관된 비동기 모델을 제공하도록 구성된 입력/출력(I/O) 및 시그널링을 위한 소프트웨어 라이브러리들, 예컨대 버지니아 주 오난콕(Onancock)의 boost.org에 의해 제공되는 "boost::asio" 및 "boost::signals2" 소프트웨어 라이브러리들 상에 구축된 멀티-스레드 작업 스케줄링 및 메시지 전달 시스템일 수 있다. 컴포넌트 프레임워크는 소프트웨어 컴포넌트들이 스레드 안전 방식으로 병렬로 실행될 수 있도록 소프트웨어 컴포넌트들(또는 모듈들) 간의 통신을 가능하게 할 수 있다.
컴포넌트 프레임워크는 상태 머신 컴포넌트, 국부화 컴포넌트, 플래닝 컴포넌트, 및 궤적 추종 컴포넌트 중 하나 이상을 포함할 수 있다. 상태 머신 컴포넌트는 차량 초기화, 차량 커맨딩 및 고장 처리를 위한 로봇 디바이스(120)의 상태를 관리할 수 있다. 상태 머신 컴포넌트는 결정론적 유한 오토마톤 또는 다른 상태 머신을 이용하여 로봇 디바이스의 상태를 관리할 수 있다.
국부화 컴포넌트는 차량 센서들로부터 데이터를 판독하고 로봇 디바이스(120)의 이전 상태 정보를 통합하여 로봇 디바이스(120)의 포즈를 결정할 수 있다. 차량 센서 데이터는 차량 센서들에 의해 검출된 관심 있는 하나 이상의 랜드마크/포인트를 나타낼 수 있다. 대안적으로, 차량 센서들로부터의 데이터는 국부화 컴포넌트가 차량 센서 데이터에 기초하여 하나 이상의 랜드마크/포인트를 검출하도록 처리를 요구할 수 있다. 포즈는 팔레트들 또는 다른 객체들과 같은, 하나 이상의 검출된 관심 있는 랜드마크/포인트에 대해 결정될 수 있다. 플래닝 컴포넌트는 창고 관리 시스템(210)으로부터 하나 이상의 목적을 수신하고, 로봇 디바이스(120)가 그들 목적을 달성하기 위한 로컬 궤적을 결정할 수 있다. 일부 실시예들에서, 로컬 궤적은 로봇 디바이스(120)가 미리 결정된 양의 시간; 예를 들어, 100 밀리초, 200 밀리초, 500 밀리초, 1초, 5초 동안 추종해야 하는 단기 궤적일 수 있다. 궤적 추종 컴포넌트는 플래닝 컴포넌트에 의해 생성된 로컬 궤적을 수신하고, 로컬 궤적을 따라 진행하기 위한 드라이브 제어 명령어들을 생성할 수 있다. 드라이브 제어 명령어들은 그 후 로봇 디바이스(120)에 대한 견인 모터 및 다른 액추에이터들을 제어하는 드라이브들(340)에 중계된다.
네트워크 스위치(330)는 로봇 디바이스(들)(120)에 대한 통신들을 가능하게 할 수 있다. 이들 통신은 온보드 시스템(320)과 로봇 디바이스(120)의 나머지; 예를 들어, 디바이스 센서들(338) 및 드라이브들(340) 사이의 통신들, 및 네트워크(318)를 통한 창고 관리 시스템(210)과의 통신들을 포함할 수 있지만, 이에 제한되는 것은 아니다. 예를 들어, 네트워크 스위치(330)는 이더넷 및/또는 유선 네트워크에 대한 다른 유선 통신 인터페이스(들)를 통한, 및/또는 Wi-Fi™ 및/또는 무선 네트워크에 대한 다른 무선 통신 인터페이스(들), 예컨대 대만 신 타이페이 시의 PLANET Technology Corporation에 의한 PLANET 이더넷 스위치를 통한 송신 제어 프로토콜/인터넷 프로토콜(TCP/IP) 기반 통신을 가능하게 할 수 있다.
일부 실시예들에서, 로봇 디바이스(들)(120)와 플래닝 시스템(110) 사이의 통신들은 원격 프로시저 호출(RPC)들을 포함할 수 있다. 원격 프로시저 호출들은 플래닝 시스템(110)의 소프트웨어에 의한 로봇 디바이스(들)(120) 중 하나 이상에 상주하는 소프트웨어 프로시저들, 메서드들, 및/또는 함수들의 호출, 및 그 반대를 허용할 수 있다. 원격 프로시저 호출들은 TCP/IP, HTTP 1.0 및/또는 HTTP 2.0과 같은 하이퍼텍스트 전송 프로토콜(HTTP), 및/또는 다른 통신 프로토콜과 같은 통신 프로토콜에 기초할 수 있다. 원격 프로시저 호출들 중 일부 또는 전부는 암호화된 데이터를 포함할 수 있다; 이러한 데이터는 SSL(Secure Sockets Layer), TLS(Transport Layer Security), 및/또는 하나 이상의 다른 암호화 알고리즘 및/또는 프로토콜을 이용하여 암호화될 수 있다. 암호화된 데이터가 사용되는 실시예들에서는, 개인 인증 기관과 같은 하나 이상의 인증 기관이 암호화된 데이터를 암호화 및/또는 복호화하는 데 사용되는 하나 이상의 인증서를 인증할 수 있다. 인증 기관은 액세스 제어 리스트(ACL)를 이용하여 하나 이상의 인증서에 대한 액세스를 제어할 수 있다. 원격 프로시저 호출들은 RPC 관련 통신들을 위해 요청/응답 프로토콜 및/또는 양방향 스트리밍 프로토콜을 사용할 수 있다. 양방향 스트리밍 프로토콜이 RPC 관련 통신을 위해 사용되는 실시예들에서는, 양방향 스트리밍 프로토콜을 구현하기 위해 싱글 롱-리브(single long-lived) RPC가 사용될 수 있다.
차량 컨트롤러(332) 및/또는 프로그램 가능 로직 컨트롤러(334)는 로봇 디바이스(들)(120)에 대한 전기 및 센서 관리 기능성을 제공할 수 있다. 전기 및 센서 관리 기능성은 전기 부하 제어, 조명 제어, 센서 제어, 센서 및/또는 스위치 신호 처리, 및 전력 관리를 위한 기능성을 포함할 수 있지만, 이에 제한되는 것은 아니다. 차량 마스터(336)는 로봇 디바이스(들)(320)의 하나 이상의 액추에이터, 예컨대 리프트 디바이스들을 제어하기 위한 기능성을 제공할 수 있다.
디바이스 센서(들)(338)는 로봇 디바이스(들)(120)를 제어 및/또는 동작시키는 것과 관련된 데이터를 제공할 수 있는 하나 이상의 센서를 포함할 수 있다. 데이터는 국부화 정보, 포지션 추정치, 및 매핑 데이터와 같은, 그러나 이에 제한되는 것은 아닌, 로봇 디바이스(들)(120)에 관한 환경에 관한 정보를 제공할 수 있다. 예를 들어, 디바이스 센서(들)(338)는 하나 이상의 레이저(예를 들어, 2-차원(2D) 레이저, 안전 레이저, 레이저 스캐너), 카메라(예를 들어, ToF(Time-of-Flight) 카메라, 레드-그린-블루(RGB) 카메라, 열 카메라), 전기 센서, 근접 센서, 내비게이션 디바이스, 및 위치 센서를 포함할 수 있다.
드라이브(들)(340)은 로봇 디바이스(들)(120)를 이동시키기 위한 기능성을 제공하는 하나 이상의 드라이브 컨트롤러 및/또는 액추에이터를 포함할 수 있다. 드라이브 컨트롤러들은 로봇 디바이스(들)(120)의 움직임을 제어하도록 드라이브 액추에이터들에 지시할 수 있다. 드라이브 액추에이터들은 하나 이상의 견인 모터, 전기 드라이브, 유압 드라이브, 및 공압 드라이브를 포함할 수 있다.
도 4는 예시적인 실시예에 따른, 로봇 디바이스(들)(120)의 로봇 디바이스 아키텍처(400)를 예시한다. 로봇 디바이스(들)(120)의 로봇 디바이스 아키텍처(400)는 소프트웨어를 포함할 수 있다. 소프트웨어는 국부화(410)를 위한 소프트웨어, 팔레트 포즈 추정기(412)를 위한 소프트웨어, 상태 머신(414)과 관련된 소프트웨어, 플래너 추종기(416)를 위한 소프트웨어, 컴포넌트 프레임워크(420)를 위한 소프트웨어 및 운영 체제(430)를 위한 소프트웨어를 포함할 수 있다. 소프트웨어는 하나 이상의 하드웨어 플래닝/실행 프로세서(324)에 의해 실행될 수 있다. 로봇 디바이스(들)(120) 및 다른 디바이스들 간의 통신들은 네트워크 게이트웨이(440) 및/또는 네트워크 스위치(330)를 이용하여 수행될 수 있다. 예를 들어, 네트워크 게이트웨이(440)는 로봇 디바이스(들)(120) 중의 로봇 디바이스와의 그리고 로봇 디바이스 내의 무선 통신을 위해 사용될 수 있고, 네트워크 스위치(330)는 로봇 디바이스(들)(120) 중의 로봇 디바이스와의 그리고 로봇 디바이스 내의 유선 통신을 위해 사용될 수 있다. 로봇 디바이스 아키텍처(400)는 또한 도 3의 문맥에서 위에 논의된 디바이스 센서(들)(338) 및 드라이브(들)(340)와 같은 추가 하드웨어를 포함한다. 일부 실시예들에서, 로봇 디바이스 아키텍처(400)는 ToF 카메라(450) 및 RGB 카메라(452)를 포함하지만 이에 제한되는 것은 아닌, 하나 이상의 카메라를 포함할 수 있으며, 여기서 하나 이상의 카메라는 하나 이상의 스틸 카메라 및/또는 하나 이상의 비디오 카메라를 포함할 수 있다.
도 5는 예시적인 실시예에 따른, 로봇 디바이스(들)(120)에 대한 레이저 스캐너 아키텍처(500)를 예시한다. 일부 실시예들에서, 디바이스 센서(들)(338)의 일부 또는 전부는 레이저 스캐너 아키텍처(500)에 의해 예시된 레이저들 및 레이저 스캐너들일 수 있다.
레이저 스캐너 아키텍처(500)는 레이저들(510, 512, 520, 522), 레이저 스캐너(524), 프로토콜 컨버터(526), 네트워크 스위치(330), 및 온보드 시스템(320)을 포함할 수 있다. 레이저들(510, 512, 520, 522)은 로봇 디바이스(들)(120)의 고정 포지션들에 위치될 수 있다; 예를 들어, 레이저(510)는 로봇 디바이스의 전방에 위치될 수 있고, 레이저(512)는 로봇 디바이스의 후방에 위치될 수 있고, 레이저(520)는 로봇 디바이스의 전방 좌측 코너에 위치될 수 있고, 레이저(522)는 로봇 디바이스의 전방 우측 코너에 위치될 수 있다. 레이저들(510, 512, 520, 522) 및/또는 레이저 스캐너(524)는 환경 내에서 로봇 디바이스를 국부화하기 위한 정보를 제공할 수 있다. 일부 실시예들에서, 레이저들(510, 512, 520, 522) 및/또는 레이저 스캐너(524)는 하나 이상의 반사기에서 반사되는 광을 방출할 수 있고, 반사된 광은 하나 이상의 레이저 센서에 의해 검출될 수 있고, 로봇 디바이스는 반사된 광을 검출하는 데 걸리는 시간의 지속기간에 기초하여 환경 내에서 국부화될 수 있다. 특히 이들 실시예에서, 레이저 스캐너(524), 및/또는 레이저들(510, 512, 520, 522)의 일부 또는 전부는 반사된 레이저 광을 검출하기 위한 하나 이상의 레이저 센서를 포함할 수 있다. 그 후에, 레이저 스캐너(524), 및/또는 레이저들(510, 512, 520, 522)의 일부 또는 전부는 레이저와 관련된 데이터(예를 들어, 레이저에 대한 유지보수 데이터), 레이저에 의해 방출된 광과 관련된 데이터, 및 레이저 센서(들)에 의해 반사된 레이저 광을 검출하는 데 걸리는 시간의 하나 이상의 지속기간과 관련된 데이터를 포함하지만 이에 제한되는 것은 아닌 데이터를 생성할 수 있다.
도 5에 예시된 바와 같이, 레이저들(520, 522)과 같은 일부 레이저들, 및 레이저 스캐너(524)는 네트워크 스위치(330)에 직접 연결될 수 있는 반면, 레이저들(510, 512)과 같은 다른 레이저들은 프로토콜 컨버터(526)를 통해 네트워크 스위치(330)에 연결될 수 있다. 프로토콜 컨버터(526)는 레이저(510 및/또는 512)와 같은 레이저에 의해 사용되는 통신 프로토콜을 네트워크 스위치(330)에 의해 사용되는 통신 프로토콜로 변환할 수 있다; 예를 들어, RS-422에 기초한 통신 프로토콜로부터 이더넷에 기초한 통신 프로토콜로 변환할 수 있다. 그 후에, 레이저들(510, 512, 520, 522) 및 레이저 스캐너(524)는 네트워크 스위치(330) 및 아마도 프로토콜 컨버터(526)를 통해 온보드 시스템(320)에 데이터를 전송하고 그로부터 커맨드들을 수신할 수 있다.
일부 실시예들에서, 로봇 디바이스(들)(120)는 하나 이상의 고장 조건들에 처할 수 있다. 그 고장 조건들 및 관련 복구 전략들의 예들이 아래 표 1에 설명된다.
Figure 112018118247208-pct00001
Figure 112018118247208-pct00002
III. 환경 내의 로봇 차량들의 국부화
도 6은 예시적인 실시예에 따른, 환경 내에서 내비게이트하는 로봇 차량을 도시한다. 로봇 차량(600)의 위치 및 배향이 추정될 수 있고, 로봇은 그에 따라 환경을 통해 내비게이트할 수 있다. 로봇 차량의 위치 및 배향은 로봇 차량의 "포즈"라고 지칭될 수 있다. 로봇 차량의 포즈는 로봇 차량 상의 하나 이상의 센서(602)에 의해 수신된 신호들(606)에 기초하여 추정될 수 있다. 수신된 신호들은 환경 전체에 걸쳐 분포된 랜드마크들(604)과 연관될 수 있다. 예를 들어, 신호들은 창고 내의 다양한 위치들에 배치된 역반사성 마커들에 의해 반사될 수 있다. 이 예에서, 로봇 차량은 로봇 차량을 둘러싸는 영역에 광을 방출하는 LIDAR(light ranging and detection) 유닛을 포함할 수 있고, 로봇 차량을 둘러싸는 영역에 포지셔닝된 역반사기들은 로봇 차량의 하나 이상의 센서에 의한 검출을 위해 로봇 차량으로 다시 광을 반사할 수 있다.
일부 예들에서, 수신된 신호들은 로봇 차량에 대한 랜드마크들의 위치들을 나타낼 수 있다. 또한, 환경 내의 랜드마크들의 위치들은 미리 결정될 수 있다. 예를 들어, 랜드마크들은 매핑될 수 있다. 수신된 신호들을 대응하는 매핑된 랜드마크들과 매칭시키는 것은 환경 내의 로봇의 포즈가 추론되는 것을 가능하게 할 수 있다. 예를 들어, 로봇은 검출된 랜드마크들을 매핑된 랜드마크들과 정렬하여 맵 상의 그것의 포지션을 결정할 수 있다. 또한, 환경 내의 장애물들(610)과 관련하여 랜드마크들의 위치들은 미리 결정될 수 있다. 예를 들어, 장애물들의 위치들도 매핑될 수 있다. 로봇은 장애물들의 미리 결정된 위치들 및 추정된 포즈에 기초하여 장애물들을 회피하면서 환경 내에서 내비게이트하는 움직임들(608)을 행할 수 있다.
도 7은 예시적인 실시예에 따른, 로봇 제어 시스템의 모듈들을 예시하는 기능 블록도이다. 로봇 제어 시스템은 온보드 감지 모듈(700)의 일부로서 하나 이상의 센서를 포함할 수 있다. 센서들은 로봇 차량의 휠 오도메트리(708)를 나타내는 데이터를 제공할 수 있다. 센서들은 내비게이션 스캐너(710)를 또한 포함할 수 있다. 내비게이션 스캐너(710)는 로봇의 환경 내의 후보 랜드마크들로부터 신호들을 수신하도록 구성될 수 있다.
로봇 제어 시스템의 포즈 추정 모듈(702)은 환경 내의 매핑된 랜드마크들에 대한 로봇 차량의 위치 및 배향을 나타낼 수 있다. 포즈 추정 모듈(702)은 온보드 감지 모듈(700)로부터의 입력들에 기초하여 기능들을 수행하는 소프트웨어를 포함할 수 있다. 예를 들어, 내비게이션 스캐너(710)가 스캔을 수행할 때마다, 온보드 감지 모듈로부터의 센서 데이터는 포즈 추정 모듈(702)에 의해 처리되어 환경 내의 로봇 차량의 현재 위치 및 배향을 결정할 수 있다. 포즈 추정 모듈(702)의 포즈 추적/정제 블록(712) 및 글로벌 국부화 블록(714)은 처리 단계들을 표현하는 반면, 포즈 블록(716), 신뢰도/정확도 블록(718), 및 초기 포즈 추정치 블록(720)은 처리 블록들(712 및 714)의 출력들을 표현한다.
포즈 추정 모듈(702)은 2개의 모드에서 동작할 수 있다. 제1 모드에서, 포즈 추정 모듈(702)은 로봇의 초기 포즈 추정치(720)를 가질 수 있고, 포즈 추적/추정치 블록(712)은 초기 포즈 추정치(720)를 업데이트할 수 있다. 포즈 추적/정제(712)는 후보 랜드마크들과 관련하여 로봇 차량의 위치를 식별하기 위해 초기 포즈 추정치(720)와 함께 내비게이션 스캐너(710)로부터의 데이터 및 휠 오도메트리(708)를 이용할 수 있다. 포즈 추적/정제 블록(712)은 후보 랜드마크들을 초기 포즈 추정치(720)에 가까운 특정 매핑된 랜드마크들에 연관시킬 수 있다. 포즈 추정 모듈(702)은 연관성에 기초한 포즈 추정치(716), 및 포즈 추정치의 신뢰도/정확도(718)를 추가로 제공할 수 있다. 신뢰도/정확도(718)는 초기 포즈 추정치이 적절하다는 것, 또는 추가 정제를 필요로 한다는 것을 나타낼 수 있다. 또한 제1 모드에서, 포즈 추적/정제 블록(712)에 의해 결정된 포즈(716) 및 신뢰도/정확도(718)는 로봇의 정제된 포즈 추정치를 결정하기 위해 후처리 모듈(704)에서 사용될 수 있다. 한편, 글로벌 국부화 블록(714)은 스킵될 수 있다. 또한, 포즈 추적/정제(712) 동안 도출된 포즈 추정치(716)는 후속 포즈 추정들에서 사용하기 위한 로봇 차량의 초기 포즈 추정치(720)로서 취급될 수 있다.
제2 모드에서, 포즈 추정 모듈(702)은 환경 내에서 로봇 차량이 어디에 있는지에 대한 초기 표시를 갖지 않을 수 있다. 다시 말해서, 초기 포즈 추정치(720)는 아직 결정되어 있지 않을 수 있다. 제2 모드에서, 포즈 추정 모듈(702)은 로봇의 포즈를 결정하기 위해 포즈 추적/정제(712)보다는 글로벌 국부화(714)를 이용할 수 있다. 글로벌 국부화 블록(714)은 로봇 차량의 전체 환경에 걸쳐 매핑된 랜드마크들과 후보 랜드마크들 간의 연관성들을 테스트할 수 있다. 글로벌 국부화 블록(714)은 또한 포즈 추정치(716) 및 신뢰도/정확도(718)를 출력할 수 있다. 또한 제2 모드에서, 글로벌 국부화 블록(714)에 의해 결정된 포즈(716) 및 신뢰도/정확도(718)는 로봇의 정제된 포즈 추정치를 결정하기 위해 후처리 모듈(704)에서 사용될 수 있다. 또한, 글로벌 국부화(714) 동안 도출된 포즈 추정치(716)는 후속 포즈 추정들에서 사용하기 위한 로봇 차량의 초기 포즈 추정치(720)로서 취급될 수 있다.
포즈 추적/정제 또는 글로벌 국부화로부터 도출된 포즈 추정을 정제하기 위해 후처리 모듈(704)이 사용될 수 있다. 후처리 모듈은 온보드 감지 모듈의 휠 오도메트리, 및 국부화 모듈의 포즈 추정치 및 신뢰도/정확도의 융합 외삽(722)을 수행할 수 있다. 융합 외삽 동안에, 정제된 포즈 추정치는 높은 신뢰도/정확도가 있을 때 국부화 모듈에 의해 제공되는 추정된 포즈에 더 많이 의존할 수 있다. 반대로, 정제된 포즈 추정치는 낮은 신뢰도/정확도가 있을 때 휠 오도메트리에 더 많이 의존할 수 있다. 또한, 후처리 모듈은 제공된 신뢰도/정확도 및 정제된 포즈 추정치에 기초하여 맵 업데이트(724)를 제공할 수 있다. 예를 들어, 맵 업데이트는 정제된 포즈 추정치에 기초하여 매핑된 랜드마크들의 위치들을 업데이트할 수 있다. 다른 예들에서, 맵 업데이트는 정제된 포즈 추정을 생성하는 데 사용되는 매핑된 랜드마크들과 연관된 통계 정보를 업데이트할 수 있다.
도 7의 로봇 제어 시스템에 의해 수행되는 기능들 각각은 주기적으로 수행될 수 있다. 예를 들어, 내비게이션 스캐너(710)는 8 Hz에서 스캔을 수행할 수 있는 반면, 휠 오도메트리(708)는 100 Hz에서 업데이트할 수 있다. 다른 예로서, 포즈 추정 모듈의 처리 블록들(712 및 714)은 8 Hz에서 온보드 감지 모듈로부터 데이터를 수신할 수 있고, 8 Hz에서 포즈들(716) 및 신뢰도/정확도들(718)을 생성할 수 있다. 상이한 주파수들도 가능하다.
도 8은 예시적인 실시예에 따른, 로봇 차량의 환경을 도시한다. 로봇의 포즈 추정치를 생성하는 것은 환경(800) 내의 랜드마크들의 미리 결정된 위치들에 의존할 수 있다. 예를 들어, 매핑된 랜드마크(802)는 맵 상의 제1 좌표(x1, y1)에 대응할 수 있고, 매핑된 랜드마크(804)는 제2 좌표(x2, y2)에 대응할 수 있고, 매핑된 랜드마크(806)는 제3 좌표(x3, y3)에 대응할 수 있고, 매핑된 랜드마크(808)는 제4 좌표(x4, y4)에 대응할 수 있다. 이 예에서는, x 및 y 축만이 관련될 수 있는데, 그 이유는 매핑된 랜드마크들이 실질적으로 수평인 마커 평면 상에 분포될 수 있기 때문이다. 예를 들어, 환경(800) 내의 각각의 랜드마크는 플로어 위의 5 피트의 높이(z 축에 대응함)에 포지셔닝될 수 있다. 다른 예들에서, 매핑된 랜드마크들은 맵 상의 좌표들의 범위들에 대응할 수 있다. 예를 들어, 좌표들의 범위들은 다양한 랜드마크들의 크기들에 대응할 수 있다. 또 다른 예들에서, 매핑된 랜드마크들은 (3-D) 맵 상의 3-차원(3-D) 좌표들에 대응할 수 있다. 매핑된 랜드마크들의 위치들을 표현하는 다른 방식들도 가능하다.
일부 예시적인 실시예들에서, 매핑된 랜드마크들은 광을 광의 소스로 다시 반사하도록 구성된 역반사성 마커들일 수 있다. 이러한 예들에서, 로봇 차량은 로봇을 둘러싸는 영역에 광을 방출하도록 구성된 LIDAR(light ranging and detection) 유닛을 포함할 수 있다. 역반사성 마커들은 LIDAR 유닛으로부터의 신호들을 로봇 차량으로 다시 반사할 수 있다. 로봇 차량은 로봇 차량의 하나 이상의 센서를 포함할 수 있고, 이들은 역반사성 마커로부터 반사 신호를 수신하고 로봇 차량에 대한 마커들의 위치들을 검출하도록 구성될 수 있다.
도 9는 예시적인 실시예에 따른, 다수의 검출을 행한 로봇 차량을 도시한다. 로봇 차량의 포즈 추정치를 생성하는 것은 로봇 차량(900)의 하나 이상의 센서(902)에 의해 검출된 신호들(906)에 추가로 의존할 수 있다. 일 예에서, 신호들은 후보 랜드마크들(912, 914, 916, 918, 및 920)과 연관될 수 있다. 신호들은 로봇과 관련하여 후보 랜드마크들의 위치들을 나타낼 수 있다. 예를 들어, 후보 랜드마크(912)는 로봇 차량(900)에 대한 반경(r1) 및 로봇 차량(1000)에 대한 각도(α1)에 대응할 수 있고, 후보 랜드마크(1014)는 반경(r2) 및 각도(α2)에 대응할 수 있고, 후보 랜드마크(1016)는 반경(r3) 및 각도(α3)에 대응할 수 있고, 후보 랜드마크(1018)는 반경(r4) 및 각도(α4)에 대응할 수 있고, 후보 랜드마크(1020)는 반경(r5) 및 각도(α5)에 대응할 수 있다. 다른 예들에서, 후보 랜드마크들은 로봇 차량(900)에 대한 데카르트 좌표들에 의해 표현될 수 있다. 로봇 차량에 대한 후보 랜드마크들의 위치들을 표현하는 다른 방식들도 가능하다.
일부 예들에서, 후보 랜드마크들의 위치들은 로봇 차량 상의 적어도 하나의 센서에 의해 결정될 수 있다. 즉, 센서는 후보 랜드마크들의 위치들을 나타내는 신호들을 수신할 수 있다. 센서는 수신된 신호들을 대표하는 센서 데이터를 생성할 수 있고, 센서 데이터에 기초하여 후보 랜드마크들의 위치들을 결정할 수 있다. 그 후, 로봇의 제어 시스템은 센서로부터 후보 랜드마크들의 위치들을 수신할 수 있다. 다른 예들에서, 적어도 하나의 센서는 미가공 센서 데이터를 생성할 수 있고, 로봇의 하나 이상의 프로세서는 미가공 센서 데이터를 처리하여 후보 랜드마크들의 위치들을 결정할 수 있다. 예를 들어, 프로세서들은 강도 임계 값보다 큰 강도를 갖는 로봇 상의 센서로부터의 신호들을 식별할 수 있다. 또 다른 예들에서, 로봇으로부터 원격인 프로세서들은 센서 데이터에 기초하여 후보 랜드마크들의 위치들을 검출할 수 있다. 후보 랜드마크들의 위치들을 결정하는 다른 방식들도 가능하다.
후보 랜드마크들은 매핑된 랜드마크에 대응하거나 대응하지 않을 수 있다. 예를 들어, 후보 랜드마크들(912, 914, 916 및 918)은 매핑된 랜드마크들(예를 들어, 도 8의 매핑된 랜드마크들(802, 804, 806, 및 808))에 대응할 수 있는 반면, 후보 랜드마크(920)는 잘못된 검출에 대응할 수 있다. 잘못된 검출들은 후보 랜드마크들을 대응하는 매핑된 랜드마크들과 정렬시키는 것을 어렵게 만들 수 있고, 따라서 로봇 차량의 정확한 포즈 추정치들을 방해할 수 있다. 정확한 포즈 추정치들을 달성하기 위해 후보 랜드마크들을 점검하는 방법들을 설명하는 예시적인 실시예들이 뒤따른다.
도 10a, 도 10b, 도 10c, 및 도 10d는 예시적인 실시예에 따른, 후보 랜드마크들 및 대응하는 매핑된 랜드마크들의 샘플 세트와 연관된 인라이어들의 결정을 예시한다. 도 10a는 로봇 차량의 매핑된 환경을 도시한다. 매핑된 랜드마크들(1002, 1004, 1006, 및 1008)은 미리 결정된 위치들을 갖는다. 도 10b는 다수의 검출을 행한 로봇 차량을 도시한다. 검출들은 후보 랜드마크들(1012, 1014, 1016, 1018, 및 1020)에 대응한다. 본 예의 목적을 위해, 후보 랜드마크(1020)는 잘못된 검출에 대응하는 반면, 다른 후보 랜드마크들은 매핑된 랜드마크들에 대응한다. 로봇 차량의 포즈를 추정하고, 후보 랜드마크 중 잘못된 검출들에 대응하는 것(있다면)을 결정하기 위해, 후보 랜드마크들 매핑된 랜드마크들의 샘플 세트들이 선택될 수 있다.
예시적인 실시예에서, 후보 랜드마크들(1012, 1014, 및 1020), 및 대응하는 매핑된 랜드마크들(1002, 1004, 및 1006)을 포함하는 샘플 세트가 결정된다. 본 예에서는, 3개의 후보 랜드마크가 샘플링되었다. 그러나, 상이한 수의 샘플링된 랜드마크들도 가능하다. 예를 들어, 샘플링된 랜드마크의 수는 후보 랜드마크의 총 수의 백분율과 관련될 수 있다.
일부 실시예들에서, 후보 랜드마크들을 샘플링하는 것은 의사 랜덤하게 수행될 수 있다. 다른 실시예들에서, 후보 랜드마크들을 샘플링하는 것은 순서화된 방식으로 수행될 수 있다. 예를 들어, 후보 랜드마크들을 샘플링하는 것은 로봇에 대한 각도의 순서로 수행될 수 있다. 다른 예들에서, 후보 랜드마크들을 샘플링하는 것은 로봇에 대한 반경의 순서로 수행될 수 있다. 또 다른 예들에서, 제1 후보 랜드마크는 의사 랜덤하게 선택될 수 있고, 다른 후보 랜드마크들은 제1 후보 랜드마크에 대한 그들의 근접성에 기초하여 샘플링될 수 있다. 또 다른 예들에서, 후보 랜드마크들은 원하는 지오메트리에 기초하여 선택될 수 있다. 예를 들어, 등변 삼각형과 가장 가깝게 닮은 후보 랜드마크들이 샘플링될 수 있다. 다른 예에서, 라인과 가장 가깝게 닮은 후보 랜드마크들이 샘플링될 수 있다. 후보 랜드마크들을 샘플링하는 다른 방식들도 가능하다.
일부 실시예들에서, 대응하는 매핑된 랜드마크들은 샘플링된 후보 랜드마크들과 유사한 방식으로 선택될 수 있다. 다른 실시예들에서, 샘플링된 후보 랜드마크들과 유사한 지오메트리를 형성하는 대응하는 매핑된 랜드마크들이 샘플링될 수 있다. 본 예에서, 샘플링된 매핑된 랜드마크들(1002, 1004, 및 1006)은 샘플링된 후보 랜드마크들(1012, 1014 및 1020)에 의해 형성된 지오메트리와 가장 가깝게 닮다. 대응하는 매핑된 랜드마크들을 샘플링하는 다른 방식들도 가능하다.
일부 실시예들에서, 각각이 후보 랜드마크들 및 대응하는 매핑된 랜드마크들의 상이한 조합을 포함하는 수 개의 샘플 세트가 결정될 수 있다. 샘플 세트들 각각은 로봇의 포즈를 적절하게 표현하는 것들을 결정하기 위해 점검될 수 있다.
도 10c는 후보 랜드마크들 모두에 적용된 샘플 세트에 기초하여 결정된 변환을 도시한다. 샘플링된 후보 랜드마크들의 서브세트를 대응하는 매핑된 랜드마크들과 관련시키는 샘플 세트에 대한 변환이 결정될 수 있다. 예를 들어, 변환은 샘플링된 후보 랜드마크들과 대응하는 매핑된 랜드마크들 사이의 거리들을 최소화하기 위해 후보 랜드마크들을 병진 및 회전시킬 수 있다. 이 예시적인 실시예에서, 샘플링된 후보 랜드마크들(1012, 1014, 및 1020)은 대응하는 매핑된 랜드마크들(1004, 1006, 및 1002)로부터의 전체 거리를 최소화하도록 배향되었다. ICP(iterative closest point) 알고리즘과 같은 최소 제곱 방법이 이 정렬을 달성할 수 있다. 임의의 유사한 알고리즘이 샘플링된 후보 랜드마크들의 서브세트를 대응하는 매핑된 랜드마크들과 적절하게 정렬시킬 수 있다. 다른 변환들도 가능하다.
변환은 샘플링된 후보 랜드마크들의 서브세트 및 대응하는 매핑된 랜드마크들에 기초하여 결정될 수 있지만, 변환은 후보 랜드마크들 모두에 적용될 수 있다. 본 예에서, 변환은 샘플링된 후보 랜드마크들에 더하여 비-샘플링된 후보 랜드마크들(1016 및 1018)에 적용된다.
일단 결정된 변환이 후보 랜드마크들에 적용되면, 변환된 후보 랜드마크들과 이웃하는 매핑된 랜드마크들 사이의 거리들이 결정될 수 있다. 특정한 변환된 후보 랜드마크에 대응하는 이웃하는 매핑된 랜드마크는 변환이 적용된 후에 가장 가까운 매핑된 랜드마크일 수 있다. 일부 예들에서, 각각의 매핑된 랜드마크는 하나의 변환된 후보 랜드마크에 대해 이웃하는 매핑된 랜드마크의 역할만을 할 수 있다. 이 예에서, 매핑된 랜드마크(1002)는 변환된 후보 랜드마크(1020)의 이웃하는 매핑된 랜드마크이고, 매핑된 랜드마크(1004)는 변환된 후보 랜드마크(1012)의 이웃하는 매핑된 랜드마크이고, 매핑된 랜드마크(1006)는 변환된 후보 랜드마크(1014)의 이웃하는 매핑된 랜드마크이다.
변환은 일반적으로 로봇(1000)의 잠재적 포즈를 나타낼 수 있다. 변환된 후보 랜드마크들과 이웃하는 랜드마크들 사이의 거리들은 변환이 실행 가능한 포즈를 제시하는지의 여부를 나타낼 수 있다. 예를 들어, 변환과 연관된 인라이어의 수가 결정될 수 있다.
도 10d는 예시적인 실시예에 따른, 변환된 후보 랜드마크들과 연관된 인라이어의 수를 도시한다. 인라이어들 각각은 인라이어 거리 임계치에 기초하여 결정될 수 있다. 인라이어 거리 임계치는 변환된 후보 랜드마크가 매핑된 랜드마크들 중 임의의 것과 적절하게 정렬되는지를 나타낼 수 있다. 본 예에서, 인라이어 거리 임계치는 변환된 후보 랜드마크들(1020, 1012, 및 1014)을 각각 둘러싸는 반경들(1030, 1032, 및 1034)에 의해 표현된다. 이웃하는 매핑된 랜드마크의 임계 거리 내의 임의의 변환된 후보 랜드마크가 인라이어로 간주될 수 있다. 본 예에서는, 변환된 후보 랜드마크들(1012, 1014, 및 1020)이 인라이어들로 간주될 수 있다. 도 10d에는 인라이어들로 간주되지 않는 후보 랜드마크들(1016 및 1018)이 도시되어 있지 않다. 또한 도 10d에는 변환된 후보 랜드마크들 중 임의의 것의 인라이어 거리 임계치 내에 있지 않은 매핑된 랜드마크(1008)가 도시되어 있지 않다.
잘못된 검출을 포함하는 샘플링된 서브세트는 로봇의 포즈를 적절하게 표현하지 않는 변환을 초래할 수 있다. 본 예에서, 후보 랜드마크들(1012, 1014, 1016, 및 1018)은 각각 매핑된 랜드마크들에 대응하는 반면, 후보 랜드마크(1020)는 잘못된 검출에 대응한다. 도 10c 및 도 10d는 샘플링된 서브세트가 잘못된 검출을 포함하기 때문에 로봇의 포즈를 적절하게 표현하지 않는 변환의 예시적인 실시예를 도시한다.
본 예에서는, 5개의 변환된 후보 랜드마크로부터 3개의 인라이어가 결정된다. 다시 말해서, 5개의 후보 랜드마크 중 3개는 변환에 기초하여 적절하게 정렬된 것으로 간주될 수 있다. 인라이어들을 갖는 5개의 후보 랜드마크 중 3개가 실행 가능한 변환에 대응하지 않으며, 이는 결국 로봇의 실행 가능한 포즈를 나타내지 않는 것으로 결정될 수 있다. 다른 팩터들이 변환이 실행 가능하지 않다는 결정에 기여할 수 있다. 예를 들어, 도 11a 내지 도 11d에서는, 비-샘플링된 후보 랜드마크들 중 어느 것도 인라이어와 연관되지 않는다. 변환된 샘플링된 후보 랜드마크들이 인라이어들과 연관되는 것은 일반적일 수 있는데, 그 이유는 결정된 변환은 샘플링된 후보 랜드마크들을 대응하는 매핑된 랜드마크들에 가장 잘 정렬시키도록 의도되기 때문이다. 따라서, 비-샘플링된 후보 랜드마크들이 인라이어들과 연관되는지 여부는 변환의 실행 가능성을 결정하는 데 더 많은 가중치가 주어질 수 있다. 인라이어의 수가 불충분하다고 결정되는 예들에서는, 다른 후보 랜드마크들 및 대응하는 매핑된 랜드마크들이 샘플링될 수 있고, 다른 후보 랜드마크들이 변환될 수 있고, 다른 후보 랜드마크들과 연관된 인라이어의 수가 결정될 수 있다.
도 11a, 도 11b, 도 11c, 및 도 11d는 예시적인 실시예에 따른, 후보 랜드마크들 및 대응하는 매핑된 랜드마크들의 다른 샘플 세트와 연관된 인라이어들의 결정을 예시한다. 도 11a는 도 10a에 도시된 바와 같은 로봇 차량의 동일한 매핑된 환경을 도시한다. 유사하게, 도 11b는 도 11b에 도시된 것들과 동일한 검출들을 행한 로봇 차량을 도시한다. 그러나, 도 11a 및 도 11b는 상이한 샘플 세트를 도시한다. 본 예에서는, 후보 랜드마크들(1114, 1116, 및 1118) 및 대응하는 매핑된 랜드마크들(1104, 1106, 및 1108)이 샘플링된다. 도 11c는 후보 랜드마크들 모두에 적용된 샘플 세트로부터 결정된 변환을 도시한다. 본 예에서, 변환은 샘플링된 후보 랜드마크들(1114, 1116, 및 1118) 및 대응하는 매핑된 랜드마크들(1104, 1106, 및 1108)에 기초하여 결정된다. 변환은 비-샘플링된 랜드마크들(1112 및 1120)에도 적용된다. 도 11d는 맵 랜드마크들과 정렬된 변환된 후보 랜드마크들과 연관된 인라이어의 수를 도시한다. 샘플링된 후보 랜드마크들(1114, 1116, 및 1118)은 샘플링된 후보 랜드마크들의 반경들(1134, 1136, 및 1138) 내에 있는 이웃하는 매핑된 랜드마크들(1104, 1106, 및 1108)에 대응하기 때문에 인라이어들이다. 비-샘플링된 후보 랜드마크(1112)도 인라이어인데, 그 이유는 이웃하는 매핑된 랜드마크(1102)가 후보 랜드마크(1112)의 반경(1132) 내에 있기 때문이다. 그러나, 후보 랜드마크(1120)는 아웃라이어인데, 그 이유는 후보 랜드마크(1120)와 연관된 인라이어 임계 거리 내에 매핑된 랜드마크가 있지 않기 때문이다.
도 11d는 5개의 후보 랜드마크 중 4개의 인라이어를 포함하는 예시적인 실시예를 도시한다. 인라이어들을 갖는 5개의 후보 랜드마크 중 4개가 실행 가능한 변환에 대응하며, 이는 결국 로봇의 실행 가능한 포즈를 나타내는 것으로 결정될 수 있다. 이러한 결정은 총 4개의 샘플링되고 이웃하는 랜드마크(1102, 1104, 1106, 및 1108)가 있기 때문에 이루어질 수 있다. 따라서, 본 예에서 4개의 인라이어을 결정하는 것은 후보 랜드마크들을 각각 그리고 모든 관련 매핑된 랜드마크와 적절하게 정렬시키는 변환을 나타낸다. 다른 팩터들이 변환이 실행 가능하다는 결정에 기여할 수 있다. 예를 들어, 도 11d에서는, 비-샘플링된 후보 랜드마크들 중 하나가 인라이어와 연관된다. 비-샘플링된 후보 랜드마크들이 인라이어와 연관되는 것이 중요할 수 있는데, 그 이유는 도 11a 내지 도 11d에 도시된 바와 같이 하나 이상의 잘못된 검출로부터 도출되는 변환이 비-샘플링된 후보 랜드마크들과 연관된 인라이어들을 허용할 가능성이 더 적기 때문이다.
본 예에서, 변환은 실행 가능한 것으로 간주될 수 있다. 이에 따라, 변환이 선택될 수 있는 샘플 세트 및 포즈 추정치가 변환에 기초하여 결정될 수 있다. 예를 들어, 로봇 차량의 포즈는 선택된 샘플 세트와 연관된 인라이어들에 기초하여 추정될 수 있다. 또한, 샘플 세트와 연관된 임의의 아웃라이어들은 잘못된 검출들에 대응하는 것으로 결정될 수 있다. 본 예에서는, 후보 랜드마크(1120)가 잘못된 검출에 대응하는 것으로 결정될 수 있다.
도 11a 내지 도 11d는 매핑된 랜드마크들에 대응하는 후보 랜드마크들만을 포함하는 샘플링된 서브세트가 로봇의 포즈를 적절하게 표현하는 변환을 초래할 수 있다는 것을 도시한다. 도 10a 내지 도 10d는 임의의 매핑된 랜드마크들로부터 멀리 있는 잘못된 검출이 어떻게 변환을 부적절하게 렌더링하고, 따라서 불량한 포즈 추정치를 초래할 수 있는지를 도시했지만, 포즈 추정치와 연관된 신뢰 수준을 결정하는 것을 돕기 위해 잘못된 검출들이 이용될 수 있다. 포즈 추정치와 연관된 신뢰 수준을 결정하기 위해 잘못된 검출들을 이용하는 방법들을 설명하는 예시적인 실시예들이 뒤따른다.
도 7과 관련하여 위에 설명된 바와 같이, 신뢰 수준은 로봇 차량의 각각의 포즈 추정치와 연관될 수 있다. 신뢰 수준은 검출된 후보 랜드마크의 총 수 및 검출된 후보 랜드마크들의 변환과 연관된 인라이어의 수에 기초하여 결정될 수 있다. 예를 들어, 본 예는 5개의 후보 랜드마크 중 4개의 인라이어를 포함한다. 결과적인 포즈 추정치의 신뢰 수준은 후보 랜드마크의 총 수에 대한 인라이어의 수의 비율에 기초할 수 있다. 이 예에서, 1에 가까운 비율은 정확한 포즈 추정치의 높은 가능성을 나타낼 것이다. 반대로, 0에 가까운 비율은 정확한 포즈 추정치의 낮은 가능성을 나타낼 것이다. 다른 예에서, 신뢰 수준은 아웃라이어의 수에 대한 인라이어의 수의 비율에 기초할 수 있다. 이 예에서, 1보다 훨씬 더 큰 비율, 예컨대 5는 정확한 포즈 추정치의 높은 가능성을 나타낼 것이고, 한편, 1에 더 가까운 또는 1 미만의 비율은 정확한 포즈 추정치의 낮은 가능성을 나타낼 것이다. 아래 논의하는 바와 같이, 신뢰 수준을 측정하는 다른 방식들도 가능하다.
일부 예들에서, 포즈 추정 신뢰도는 정제된 포즈 추정치를 결정하는 데 고려될 수 있다. 예를 들어, 높은 포즈 추정 신뢰도를 갖는 선택된 샘플링된 서브세트는 정제된 포즈 추정치에 대한 1차 기여자일 수 있다. 낮은 포즈 추정 신뢰도를 갖는 선택된 샘플링된 서브세트는 정제된 포즈 추정치에 대한 2차 기여자일 수 있다. 예를 들어, 정제된 포즈 추정치는 선택된 샘플 세트로부터보다 휠 오도메트리로부터 유래할 수 있다. 이러한 방식으로, 포즈 추정치를 완료하는 것은 칼만 필터링을 연상시키는 것일 수 있다.
도 12a, 도 12b, 도 12c, 및 도 12d는 예시적 실시예에 따른 잘못된 검출들의 매핑을 예시한다. 잘못된 검출들을 매핑하는 것은 포즈 추정치와 연관된 신뢰 수준을 결정하기 위해 잘못된 검출들에 대응하는 것으로 결정된 후보 랜드마크들을 사용하는 것을 도울 수 있다.
도 12a는 예시적인 실시예에 따른, 로봇 차량의 환경을 예시한다. 환경은 랜드마크들(1202, 1204, 1206, 및 1208)과 같은 복수의 랜드마크를 포함할 수 있다. 랜드마크들은 환경 내의 장애물들과 같은 피처들 상에 배치될 수 있다. 예시적인 실시예에서, 환경은 위에 설명된 바와 같이 창고 환경일 수 있다. 이러한 환경은 복수의 장애물을 포함할 수 있고, 랜드마크들은 장애물들 중 특정한 것들 상에 배치될 수 있다. 위에 설명된 바와 같이, 일부 예들에서, 랜드마크들은 광을 광의 소스로 다시 반사하도록 구성된 역반사성 마커들을 포함할 수 있다. 이러한 예들에서, 로봇은 로봇을 둘러싸는 영역에 광을 방출하도록 구성된 LIDAR(light ranging and detection) 유닛을 포함할 수 있다. 이러한 예들에서, 반사성 표면들은 잘못된 검출들의 소스들이 될 수 있는데, 그 이유는 LIDAR 디바이스가 광 신호를 방출할 수 있고, 방출된 광의 경로에 수직인 반사성 소스들이 로봇 차량 상의 하나 이상의 센서로 다시 신호를 반사할 수 있기 때문이다. 본 예에서, 이러한 반사성 표면은 표면(1210)으로서 도시된다. 이하의 설명은 일반적으로 역반사기들 및 반사성 표면들에 적용가능하지만, 그러한 환경은 추가적으로 또는 대안적으로 환경의 특히 채색된 영역들, 환경 내의 에지들의 특정 배열들, 또는 환경 내에 배치된 QR(Quick Response) 코드 마커들과 같은 다른 타입의 랜드마크들을 포함할 수 있다는 것이 쉽게 이해될 것이다. 각각의 이러한 랜드마크 타입은 대응하는 타입의 잘못된 검출 소스와 연관될 수 있다. 다른 타입의 랜드마크들 및 대응하는 잘못된 검출 소스들도 가능하다.
도 12b는 예시적인 실시예에 따른, 다수의 검출을 행한 로봇 차량을 예시한다. 로봇의 포즈 추정치를 생성하는 것은 로봇 차량(1200)의 하나 이상의 센서에 의해 검출된 신호들에 추가로 의존할 수 있다. 일 예에서, 신호들은 후보 랜드마크들(1212, 1214, 1216, 1218, 및 1220)과 연관될 수 있다. 도 9와 관련하여 위에 설명된 바와 같이, 후보 랜드마크들의 위치들이 차량에 대해 결정될 수 있다.
본 예에서, 후보 랜드마크들(1212, 1214, 1216, 및 1218)은 랜드마크들(1202, 1204, 1206, 및 1208)에 각각 대응할 수 있다. 또한, 후보 랜드마크(1220)는 반사성 표면(1210)으로부터의 잘못된 검출에 대응할 수 있다. 따라서, 반사성 표면(1210)은 잘못된 검출 소스라고 지칭될 수 있다. 어느 후보 랜드마크들이 랜드마크에 대응하는지 및 어느 것이 잘못된 검출에 대응하는지를 결정하는 것은 처리를 필요로 할 수 있다. 단지 후보 랜드마크들을 검출하는 것만이 환경 내에서 로봇 차량이 어디에 있는지에 대한 결정 요인이 아닐 수 있음을 예시하기 위해, 도 12b에 도시된 바와 같은 로봇 차량(1200)의 포즈는 임의적임을 이해해야 한다.
도 12c는 예시적인 실시예에 따른, 로봇 차량의 매핑된 환경을 도시한다. 본 예에서, 검출된 랜드마크들(1212, 1214, 1216, 및 1218)은 매핑된 랜드마크들(1202, 1204, 1206, 및 1208)의 표현들과 정렬된다. 후보 랜드마크들을 매핑된 랜드마크들의 표현들과 정렬시키는 것은 도 10a 내지 도 10d 및 도 11a 내지 도 11d와 관련하여 위에 논의된 바와 같이 변환에 의해 수행될 수 있다. 본 예에서, 후보 랜드마크들(1212, 1214, 1216, 및 1218)은 인라이어들인 것으로 결정될 수 있는 반면, 후보 랜드마크(1220)는 아웃라이어인 것으로 결정될 수 있다. 따라서, 후보 랜드마크들(1212, 1214, 1216, 및 1218)은 로봇 차량(1200)의 포즈를 추정하기 위해 사용될 수 있다.
비록 도 12c의 설명은 어느 검출된 후보 랜드마크들이 매핑된 랜드마크들에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 것에 대한 일 예만을 설명하지만, 다른 이러한 방법들이 가능하다. 예를 들어, 검출된 후보 랜드마크들에 대응하는 데이터의 추가 필터링, 스레시홀딩, 또는 통계 분석은 이러한 결정을 행하는 것을 도울 수 있다. 이에 따라, 어느 후보 랜드마크들이 매핑된 랜드마크들에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 임의의 방법이 본 개시내용의 목적들을 위해 사용될 수 있다.
도 12d는 예시적인 실시예에 따른, 잘못된 검출의 표시를 포함하는 로봇 차량의 환경의 업데이트된 맵를 예시한다. 도 12c와 관련하여 위에 설명된 바와 같이, 후보 랜드마크들을 맵 상에 정렬하기 위해 후보 랜드마크들을 변환하면, 로봇 차량 또는 로봇 차량과 연관된 컴퓨팅 시스템은 잘못된 검출 소스 위치(1220)의 표시를 포함하도록 환경의 맵를 업데이트할 수 있다. 본 예에서, 표시(1220)는 "X"로서 제시되어 있지만, 잘못된 검출의 임의의 표시가 가능하다. 예를 들어, 환경의 맵이 단순히 비일시적 컴퓨터 판독가능 매체와 같은 컴퓨터 판독가능 매체에 저장될 수 있기 때문에, 표시는 단순히 잘못된 검출을 대표하는 맵과 연관된 데이터 구조에서 특성의 형태를 취할 수 있다. 잘못된 검출 소스 표시(1220)는 잘못된 검출 소스 영역에 대응할 수 있다. 비록, 본 예에서는, 단일의 잘못된 검출, 및 단일의 검출 소스 표시(1220)만이 제공되지만, 수 개의 잘못된 검출이 결정될 수 있고, 이들 잘못된 검출은 하나 이상의 잘못된 검출 소스 영역에 대응할 수 있다는 것을 이해해야 한다.
도 13은 예시적인 실시예에 따른, 로봇 차량이 센서 데이터를 획득하기 위해 로봇 차량의 환경을 통해 내비게이트하는 것을 예시한다. 도 12d는 로봇 차량 상의 센서 데이터로부터 단일의 잘못된 검출이 결정되는 환경의 예시적인 맵를 예시한다. 그러나, 로봇 차량은 추가 센서 데이터를 획득하고 환경의 맵을 업데이트하는 데 사용하기 위한 추가 잘못된 검출들을 결정하기 위해 환경을 통해 내비게이트할 수 있다. 예시적인 실시예에서, 로봇 차량(1302)은 경로(1304)를 따라 로봇 차량의 환경(1300)을 통해 내비게이트할 수 있다. 로봇 차량이 도 12a와 관련하여 위에 설명된 반사성 표면과 같은 잘못된 검출 소스(1308)를 지나감에 따라, 로봇 차량은 환경 내의 후보 랜드마크들의 서브세트들을 연속적으로 검출할 수 있고, 후보 랜드마크들 중 어느 것이 매핑된 랜드마크들(1306)에 대응하고, 어느 것이 잘못된 검출들에 대응하는지를 결정할 수 있다. 잘못된 검출들이 결정됨에 따라, 로봇 차량 또는 컴퓨팅 시스템은 잘못된 검출들의 표시들을 포함하도록 맵을 업데이트할 수 있다. 특히, 맵은 잘못된 검출 소스 위치들의 표시들을 제공하도록 업데이트될 수 있다. 위에 설명된 바와 같이 후보 랜드마크들이 로봇 차량의 포즈를 추정하는 데 사용될 때, 로봇 차량 또는 컴퓨팅 시스템은 로봇 차량이 환경을 통해 내비게이트함에 따라 맵을 업데이트할 수 있다. 다른 예들에서, 잘못된 검출들을 대표하는 데이터가 비일시적 컴퓨터 판독가능 매체와 같은 컴퓨터 판독가능 매체에 저장될 수 있어서, 맵은 로봇 차량(1302)이 환경(1300)을 통해 내비게이트한 후에 업데이트될 수 있다. 추가적으로, 일부 예들에서, 이러한 데이터는 복수의 로봇 차량에 결합된 센서들로부터 나올 수 있다. 로봇 차량들이 환경(1300) 내에서 작업들을 수행하거나 내비게이트함에 따라, 각각은 유사한 센서 데이터를 얻을 수 있다. 이들 예에서, 각각의 로봇 차량은 맵을 개별적으로 업데이트할 수 있거나, 또는 맵을 업데이트할 때 그러한 데이터 모두를 고려하는 중앙 데이터 저장소에 데이터를 제공할 수 있다. 예를 들어, 로봇 차량들에 통신가능하게 결합된 중앙 컨트롤러 유닛은 환경에서 임의의 로봇 차량에 의해 사용하기 위한 맵을 제공할 수 있고, 중앙 컨트롤러는 또한 로봇 차량들에 의해 획득된 센서 데이터에 기초하여 맵에 대한 업데이트들을 제공할 수 있다.
도 14는 예시적인 실시예에 따른, 잘못된 검출 소스 영역들을 포함하는 로봇 차량의 환경의 생성된 맵을 예시한다. 도 12d 및 도 3에 관련하여 위에 설명된 바와 같이, 하나 이상의 로봇 차량이 로봇 차량들의 환경을 통해 내비게이트하여 센서 데이터를 획득할 수 있다. 센서 데이터로부터, 복수의 랜드마크 및 잘못된 검출이 검출될 수 있다. 맵(1400)은 랜드마크들(1402)의 표시들을 포함할 수 있고, 잘못된 검출들의 소스들(1404)의 표시들을 포함할 수 있다. 이 맵(1400)은 도 10a 내지 도 10d 및 도 11a 내지 도 11d와 관련하여 위에 설명된 바와 같이 로봇 차량들의 포즈를 결정하기 위해 사용될 수 있다. 또한, 맵은 각각의 포즈 추정치에 대한 포즈 추정 신뢰도를 결정하는 데 사용될 수 있다. 본 예에서, 매핑된 잘못된 검출 소스들 각각은 별개의 잘못된 검출 소스 영역에 대응할 수 있다. 예를 들어, 각각의 잘못된 검출 소스는 잘못된 검출 소스를 둘러싸는 반경과 연관될 수 있고, 반경 내의 영역은 개별적인 잘못된 검출 소스 영역으로 간주될 수 있다. 다른 예들에서, 각각의 잘못된 검출 소스는 표면(1006)과 연관될 수 있다. 이들 예에서, 정의된 수의 잘못된 검출 소스의 임계 거리 내에 있는 각각의 매핑된 표면(1006)은 잘못된 검출 소스 영역으로 간주될 수 있다. 잘못된 검출 소스 영역들은 다른 방식들로도 결정될 수 있다.
도 15는 다른 예시적인 실시예에 따른, 잘못된 검출 소스 영역들을 포함하는 로봇 차량의 환경의 다른 생성된 맵을 예시한다. 도 11과 관련하여 설명된 바와 같이, 로봇 차량의 환경의 생성된 맵은 잘못된 검출 소스 영역들의 표시들을 포함할 수 있다. 생성된 맵(1500)은 매핑된 랜드마크들(1502), 잘못된 검출 소스 영역들(1504), 및 환경 피처들(1506)의 표시들을 포함한다. 본 예에서, 잘못된 검출 소스 영역들(1504)은 단위 면적 당 잘못된 검출의 수(a number of false detections per area unit)에 기초하여 결정된다. 일부 예들에서, 맵(1500)의 복수의 영역에 대해 잘못된 검출 소스의 수가 결정될 수 있다. 영역 내의 잘못된 검출 소스의 수가 잘못된 검출 소스 영역 임계치를 충족시키거나 초과한다면, 영역은 잘못된 검출 소스 영역으로 간주될 수 있다. 다른 예에서, 위에 설명된 바와 같이, 각각의 잘못된 검출 소스는 영역 내의 대응하는 영역 및 반경과 연관될 수 있다. 2개 이상의 이러한 영역이 중첩된다면, 이들은 단일의 잘못된 검출 소스 영역(1504)을 형성하는 것으로 간주될 수 있다.
비록 잘못된 검출 소스 영역들(1504)은 해체(disjoint)될 수 있지만(즉, 환경 내의 복수의 영역에 의해 정의됨), 이들은 단일의 잘못된 검출 소스 영역인 것으로 간주될 수 있다는 것을 이해해야 한다. 특히, 맵(1500)이 비일시적 컴퓨터 판독가능 매체와 같은 컴퓨터 판독가능 매체 내에 저장되는 시나리오들에서, 맵은 잘못된 검출 소스 영역에 대응하는 환경의 다수의 영역을 포함하는 단일 객체와 연관될 수 있다. 대안적으로, 각각의 이러한 영역은 컴퓨터 판독가능 매체에 저장된 상이한 객체와 연관될 수 있다. 잘못된 검출 소스 영역들을 정의하는 다른 방식들도 가능하다.
도 16은 다른 예시적인 실시예에 따른, 로봇이 맵 상에서 이용가능한 데이터 중 특정한 것만을 사용하는 잘못된 검출 소스 영역들을 포함하는 로봇 차량의 환경의 생성된 맵을 예시한다. 도 7과 관련하여 위에 설명된 바와 같이, 로봇 차량은 초기 포즈 추정치를 가질 수 있고, 초기 포즈 추정치 이후에 얼마나 많은 거리가 통과되었는지를 로봇 차량이 결정하는 것을 가능하게 하는 오도메트리 데이터를 포함할 수 있다. 초기 포즈 추정치, 및 아마도 오도메트리 데이터에 기초하여, 로봇 차량 또는 로봇 차량과 연관된 컴퓨팅 시스템은 환경을 나타내는 센서 데이터를 결정하기 전에 환경 내의 로봇 차량의 위치에 대한 대체적인 감각을 가질 수 있다. 환경의 맵(1600)이 잘못된 검출 소스 영역들(1604)을 포함할 때, 로봇 차량은 잘못된 검출 소스 영역들로부터 데이터를 획득하지 않기로 선택할 수 있다. 이에 따라, 로봇이 환경을 통해 내비게이트하는 동안 임의의 주어진 지점에서, 잘못된 검출 소스 영역들(1604)을 포함하는 환경의 잘못된 검출 구역들(1608)이 있을 수 있다. 일부 예들에서, 로봇 차량은 잘못된 검출 구역들(1608)로부터 데이터를 획득할 수 있지만, 포즈 추정치를 결정할 때 이들을 사용하지 않을 수 있다. 위에 설명된 바와 같이, 잘못된 검출들은 검출된 후보 랜드마크들을 환경 내의 매핑된 랜드마크들과 연관시키는 프로세스를 방해할 수 있다. 그러나, 이들 예에서, 잘못된 검출 구역들로부터의 데이터는 포즈 추정치와 연관된 신뢰 수준을 결정하는 데 사용될 수 있다.
도 17a는 예시적인 실시예에 따른, 포즈 신뢰도 결정 시나리오에서의 복수의 검출된 랜드마크 및 잘못된 검출을 예시한다. 도 10d와 관련하여 위에 설명된 바와 같이, 잘못된 검출들은 로봇 차량의 포즈의 추정에 부정적으로 영향을 미칠 수 있다. 그러나, 예를 들어 환경의 맵 내의 잘못된 검출 소스 영역들을 포함시키는 것에 의해 이러한 잘못된 검출들이 매핑될 때, 잘못된 검출들은 로봇 차량의 포즈 추정치의 신뢰 수준을 결정하는 데 사용될 수 있다.
본 예에서는, 검출된 후보 랜드마크들(1702, 1706, 1710, 1714, 1718, 및 1722)이 환경의 맵과 정렬되었다. 이 예에서, 후보 랜드마크들(1702, 1704, 및 1710)은 매핑된 랜드마크들(1700, 1704, 및 1708)에 각각 대응하는 것으로 결정될 수 있다. 반대로, 후보 랜드마크들(1714, 1718, 및 1722)은 잘못된 검출들에 대응하는 것으로 결정될 수 있다. 본 예에서, 이렇게 정렬된 이들 후보 랜드마크 각각은 매핑된 잘못된 검출 소스 영역 내에 있을 수 있다. 특히, 후보 랜드마크들(1714, 1718, 및 1722)은 잘못된 검출 소스 영역들(1712, 1716, 및 1720) 내에 각각 있다. 각각의 잘못된 검출이 잘못된 검출들을 생성하는 것으로 알려진 맵의 부분 내에 있기 때문에, 로봇 차량 또는 컴퓨팅 시스템은 포즈 추정치가 정확하다는 것을 신뢰할 수 있다.
로봇 차량의 맵이 잘못된 검출 소스 영역들을 포함하는 경우, 잘못된 검출들은 환경 내에서 로봇 차량을 내비게이트하는 데 유용할 수 있다. 이들 예에서, 포즈 추정치의 신뢰 수준은 잘못된 검출 소스 영역 내에 있는 것으로 결정된 잘못된 검출들에 추가로 기초할 수 있다. 예를 들어, 신뢰 수준은 검출된 후보 랜드마크의 총 수에 대한 매핑된 랜드마크에 대응하거나 잘못된 검출 소스 영역 내에 있는 것으로 결정된 후보 랜드마크들의 비율을 포함할 수 있다. 이 예에서, 1에 가까운 비율은 정확한 포즈 추정치의 높은 가능성을 나타낼 것이다. 반대로, 0에 가까운 비율은 정확한 포즈 추정치의 낮은 가능성을 나타낼 것이다. 잘못된 검출 소스 영역 내에 있는 잘못된 검출들에 기초하여 포즈 추정치의 신뢰 수준을 결정하는 다른 방식들도 가능하다.
이들 예에서, 로봇 차량의 포즈를 추정하면서도 신뢰 수준이 사용될 수 있다. 각각의 샘플 세트는 변환될 수 있고, 인라이어들 및 아웃라이어들을 결정하는 것에 더하여, 변환된 후보 랜드마크들 중 임의의 것이 매핑된 잘못된 검출 소스 영역 내에 있는지가 결정될 수 있다. 예를 들어, 변환된 후보 랜드마크들 각각이 인라이어에 대응하거나 잘못된 검출 소스 영역 내에 있다면, 샘플 세트는 포즈 추정치를 결정하도록 선택될 수 있다. 포즈 추정치를 결정하기 위해 변환된 후보 랜드마크들과 연관된 신뢰 수준을 사용하는 다른 방식들도 가능하다.
도 17b는 다른 예시적인 실시예에 따른, 포즈 신뢰도 결정 시나리오에서의 복수의 검출된 랜드마크 및 잘못된 검출을 예시한다. 도 17a의 예와 대조적으로, 정렬된 후보 랜드마크들(1702, 1706, 1710, 1718, 1724, 및 1726)은 모두가 매핑된 랜드마크에 대응하거나 잘못된 검출 소스 영역 내에 있는 것은 아니다. 이 예에서, 후보 랜드마크들(1724 및 1726)은 매핑되지 않은 잘못된 검출 소스로부터 나오고, 이에 따라, 포즈 추정치 및 포즈 추정치와 연관된 신뢰도를 결정하는 것 둘 다를 손상시킨다. 따라서, 이들 검출된 후보 랜드마크에 기초한 포즈 추정치와 연관된 신뢰 수준은 도 17a와 관련하여 계산된 신뢰 수준보다 낮을 수 있다.
도 18은 환경 내의 로봇 차량의 포즈, 및 포즈 추정치의 신뢰 수준을 결정하기 위해 사용될 수 있는 예시적인 실시예에 따른, 방법의 블록 다이어그램이다. 일부 예들에서, 이 방법은 시스템의 일부로서 수행될 수 있다. 예를 들어, 블록 1802는 비일시적 컴퓨터 판독가능 매체 상에 저장된 프로그램 명령어들을 실행하는 하나 이상의 프로세서와 함께 로봇의 하나 이상의 센서에 의해 수행될 수 있다. 이 예에서, 로봇의 하나 이상의 센서는 복수의 후보 랜드마크로부터 신호들을 수신할 수 있는 반면, 실행된 프로그램 명령어들은 복수의 후보 랜드마크를 검출하고, 수신된 신호들에 기초하여 로봇과 관련하여 후보 랜드마크의 위치들을 결정할 수 있다. 하나 이상의 프로세서는 블록들(1800, 1804, 1806, 1808, 및 1810)에 포함된 기능들을 또한 수행하기 위해 프로그램 명령어들을 실행할 수 있다.
다른 예들에서, 이 방법은 컴퓨팅 시스템의 일부로서 수행될 수 있다. 이들 예에서, 비일시적 컴퓨터 판독가능 매체는 컴퓨팅 시스템으로 하여금 방법의 블록들을 수행하게 하기 위해 하나 이상의 프로세서에 의해 실행가능한 명령어들을 저장할 수 있다.
이들 예에서, 하나 이상의 프로세서 및 비일시적 컴퓨터 판독가능 매체는 블록들을 원격으로 수행할 수 있다. 다른 예들에서, 하나 이상의 프로세서 및 비일시적 컴퓨터 판독가능 매체는 로봇 차량에서 방법을 수행할 수 있다. 또 다른 예들에서, 방법의 부분들은 원격으로 수행될 수 있는 반면, 다른 부분들은 로봇 차량에서 수행될 수 있다.
방법의 블록 1800은 로봇 차량의 환경의 맵을 결정하기 위해 수행될 수 있고, 여기서 맵은 환경 내의 잘못된 검출 소스 영역 및 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함한다. 맵은 환경 내의 하나 이상의 로봇 차량 상의 하나 이상의 센서에 의해 획득된 센서 데이터에 기초하여 결정될 수 있다. 센서 데이터는 잘못된 검출들을 검출하도록 처리될 수 있고, 맵은 잘못된 검출들의 소스들을 표현하는 잘못된 검출 소스 영역들을 포함하도록 업데이트될 수 있다.
방법의 블록 1802는 로봇 차량 상의 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하기 위해 수행될 수 있다. 예를 들어, 로봇 차량 상의 센서는 환경 내의 복수의 신호 소스로부터 신호들을 수신할 수 있고, 수신된 신호들 중 어느 것이 후보 랜드마크 신호 강도 임계치를 충족시키거나 초과하는 신호 강도를 포함하는지를 결정할 수 있다.
방법의 블록 1804는 후보 랜드마크들 중 어느 것이 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하기 위해 수행될 수 있다. 예를 들어, 후보 랜드마크들의 샘플 세트를 대응하는 매핑된 랜드마크들과 정렬시키기 위해 후보 랜드마크들에 변환이 적용될 수 있다. 변환된 후보 랜드마크들이 매핑된 랜드마크들과 얼마나 가깝게 정렬되는지에 기초하여, 어느 후보 랜드마크들이 매핑된 랜드마크들에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지가 결정될 수 있다.
방법의 블록 1806은 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 검출된 후보 랜드마크들에 기초하여 환경 내의 로봇 차량의 포즈를 추정하기 위해 수행될 수 있다.
방법의 블록 1808은 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 검출된 후보 랜드마크들 중 어느 것이 잘못된 검출 소스 영역 내에 있는지를 결정하기 위해 수행될 수 있다. 예를 들어, 후보 랜드마크들 모두는 로봇의 포즈를 추정하기 위해 사용되는 샘플 세트에 기초하여 맵 상에 정렬되도록 변환될 수 있다. 그렇게 정렬되면, 잘못된 검출들은 잘못된 검출 소스 영역 내에 또는 외부에 있을 수 있다.
방법의 블록 1810은 잘못된 검출들에 대응하는 것으로 결정된 검출된 후보 랜드마크들 중 어느 것이 잘못된 검출 소스 영역 내에 있는지에 기초하여 포즈 추정치의 신뢰 수준을 결정하기 위해 수행될 수 있다. 예를 들어, 후보 랜드마크의 총 수가 결정될 수 있고, 포즈 추정치의 신뢰 수준을 결정하는 것은 매핑된 랜드마크들에 대응하는 또는 잘못된 검출 소스 영역 내에 있는 후보 랜드마크의 총 수의 비율에 기초할 수 있다.
IV. 다른 국부화 실시예들
비록 도 6 내지 도 18의 상세한 설명은 일반적으로 환경 내의 로봇 차량들을 국부화하는 것에 관한 것이지만, 이러한 설명은 예시의 목적으로 제공되고, 제한적인 것으로 해석되어서는 안 된다는 것을 이해해야 한다. 예를 들어, 위에 설명된 동일한 시스템들 및 방법들은 환경에서 수동으로 조작되는 차량을 국부화하도록 구현될 수 있다. 이러한 국부화는 인간 운영자가 수동으로 조작되는 차량의 현재 포즈 추정치의 표시를 포함하는 수동으로 조작되는 차량 상의 디스플레이를 위해 제공된 환경의 맵을 보는 것을 가능하게 할 수 있다.
또한, 위에 설명된 시스템들 및 방법들은 매핑 센서 유닛과 같은 다른 디바이스들을 국부화하도록 구현될 수 있다. 매핑 센서 유닛은 환경을 매핑하기 위해 사용되는 데이터를 생성하기 위해 환경 내의 다수의 포지션으로 이동될 수 있다. 각각의 포지션에서, 센서 유닛은 위에 설명된 시스템들 및 방법들을 이용하여 국부화될 수 있다. 이러한 데이터는 환경의 맵을 생성하는 데 사용될 수 있다.
본 기술분야의 통상의 기술자들은 설명된 시스템들 및 방법들이 환경 내에 배치된 임의의 수의 차량들, 디바이스들, 또는 센서들을 국부화하도록 구현될 수 있다는 것을 쉽게 이해할 것이다.
V. 결론
본 개시내용은, 다양한 양태들의 예시로서 의도되는, 본 출원에서 설명된 특정 실시예들에 관하여 제한되어서는 안 된다. 본 기술분야의 통상의 기술자들에게 명백한 바와 같이, 많은 수정 및 변형이 그의 사상 및 범위를 벗어나지 않고 이루어질 수 있다. 본 명세서에 열거된 것들 이외에도, 본 개시내용의 범위 내에 있는 기능적으로 동등한 방법들 및 장치들은 전술한 설명들로부터 본 기술분야의 통상의 기술자들에게 명백할 것이다. 이러한 수정들 및 변형들은 첨부된 청구항들의 범위 내에 있는 것으로 의도된다.
위 상세한 설명은 첨부 도면들을 참조하여 개시된 시스템들, 디바이스들, 및 방법들의 다양한 특징들 및 기능들을 설명한다. 도면들에서, 유사한 심벌들은 문맥이 달리 지시하지 않는 한, 전형적으로 유사한 컴포넌트들을 식별한다. 본 명세서에 그리고 도면들에서 설명된 예시적인 실시예들은 제한적인 것으로 의도되지 않는다. 본 명세서에 제시된 주제의 사상 또는 범위를 벗어나지 않고, 다른 실시예들이 이용될 수 있고, 다른 변경들이 이루어질 수 있다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같이, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 치환, 조합, 분리 및 설계될 수 있으며, 이들 모두는 본 명세서에서 명시적으로 고려된다는 것이 쉽게 이해될 것이다.
정보의 처리를 표현하는 블록은 본 명세서에 설명된 방법 또는 기법의 특정 로직 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 처리를 표현하는 블록은 모듈, 세그먼트, 또는 (관련 데이터를 포함하는) 프로그램 코드의 일부에 대응할 수 있다. 프로그램 코드는 방법 또는 기법에서의 특정 로직 기능들 또는 액션들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어를 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크 또는 하드 드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 타입의 컴퓨터 판독가능 매체 상에 저장될 수 있다.
컴퓨터 판독가능 매체는 또한 레지스터 메모리, 프로세서 캐시, 및 랜덤 액세스 메모리(RAM)와 같은 짧은 기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한, 예를 들어, 판독 전용 메모리(ROM), 광학 또는 자기 디스크, 콤팩트 디스크 판독 전용 메모리(CD-ROM)와 같은, 보조 또는 지속적 장기 저장소와 같이, 더 긴 시간 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독가능 매체는 예를 들어 컴퓨터 판독가능 저장 매체 또는 유형의(tangible) 저장 디바이스로 간주될 수 있다.
또한, 하나 이상의 정보 송신을 표현하는 블록은 동일한 물리적 디바이스에서의 소프트웨어 및/또는 하드웨어 모듈들 사이의 정보 송신들에 대응할 수 있다. 그러나, 다른 정보 송신들은 상이한 물리적 디바이스들에서의 소프트웨어 모듈들 및/또는 하드웨어 모듈들 사이에 이루어질 수 있다.
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안 된다. 다른 실시예들은 주어진 도면에 도시된 각각의 요소를 더 많이 또는 더 적게 포함할 수 있다는 것을 이해해야 한다. 또한, 예시된 요소들 중 일부는 조합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면들에 예시되지 않은 요소들을 포함할 수 있다.
다양한 양태들 및 실시예들이 본 명세서에 개시되었지만, 다른 양태들 및 실시예들이 본 기술분야의 통상의 기술자들에게 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 예시의 목적들을 위한 것이고 제한적인 것으로 의도되지 않으며, 진정한 범위는 이하의 청구항들에 의해 나타내어진다.

Claims (20)

  1. 방법으로서,
    환경의 맵을 결정하는 단계 - 상기 맵은 상기 환경 내의 잘못된 검출 소스 영역 및 상기 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함하고, 상기 잘못된 검출 소스 영역은 잘못된 검출들이 예상되는 상기 환경의 일부분을 표시함 -;
    센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하는 단계;
    상기 복수의 후보 랜드마크 중 어느 것이 상기 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 단계;
    상기 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크에 기초하여 상기 환경 내의 로봇 차량의 포즈를 추정하는 단계;
    상기 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크 중 어느 것이 상기 잘못된 검출 소스 영역 내에 있는지를 결정하는 단계; 및
    잘못된 검출들에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크 중 어느 것이 상기 잘못된 검출 소스 영역 내에 있는지에 기초하여 상기 포즈 추정치의 신뢰 수준을 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 추정된 로봇 차량의 포즈 및 상기 포즈 추정치의 신뢰 수준에 기초하여 상기 로봇 차량을 상기 환경을 통해 내비게이트하는 단계를 추가로 포함하는, 방법.
  3. 제1항에 있어서, 상기 매핑된 잘못된 검출 소스 영역을 결정하는 단계는:
    복수의 잘못된 검출을 결정하는 단계;
    각각의 잘못된 검출과 연관된 잘못된 검출 소스 위치를 결정하는 단계; 및
    상기 결정된 잘못된 검출 소스 위치들에 기초하여 상기 매핑된 잘못된 검출 소스 영역을 결정하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 결정된 잘못된 검출 소스 위치들에 기초하여 상기 매핑된 잘못된 검출 소스 영역을 결정하는 단계는 잘못된 검출 소스 영역 임계치를 충족시키거나 초과하는 단위 면적 당 잘못된 검출의 수(a number of false detections per area unit)를 포함하는 영역을 결정하는 단계를 포함하는, 방법.
  5. 제3항에 있어서, 상기 잘못된 검출 소스 위치들에 기초하여 상기 매핑된 잘못된 검출 소스 영역을 결정하는 단계는 각각의 잘못된 검출 소스 위치를 둘러싸는 영역을 상기 잘못된 검출 소스 영역의 일부인 것으로 정의하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 복수의 후보 랜드마크를 검출하는 단계는, 상기 센서에 의해, 상기 환경 내의 복수의 신호 소스로부터 신호들을 수신하고, 상기 수신된 신호들 중 어느 것이 후보 랜드마크 신호 강도 임계치를 충족시키거나 초과하는 신호 강도를 포함하는지를 결정하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 후보 랜드마크들 중 어느 것이 매핑된 랜드마크들에 대응하는지를 결정하는 단계는 상기 복수의 후보 랜드마크에, 상기 후보 랜드마크들을 상기 매핑된 랜드마크들과 정렬시키는 변환을 적용하고 상기 변환된 후보 랜드마크들 중 어느 것이 상기 매핑된 랜드마크들 중 하나의 인라이어 거리 임계치 내에 있는지를 결정하는 단계를 포함하고, 상기 인라이어 거리 임계치는 매핑된 랜드마크를 둘러싸는 반경에 대응하는, 방법.
  8. 제7항에 있어서, 상기 후보 랜드마크들 중 어느 것이 잘못된 검출들에 대응하는지를 결정하는 단계는 상기 복수의 매핑된 랜드마크 중 하나에 대응하지 않는 후보 랜드마크들의 나머지를 결정하는 단계를 포함하는, 방법.
  9. 제1항에 있어서, 상기 센서로부터의 센서 데이터는 상기 로봇 차량에 대한 상기 후보 랜드마크들의 소스 위치들을 포함하고, 상기 로봇 차량의 포즈를 추정하는 단계는:
    매핑된 랜드마크들에 대응하는 것으로 결정된 상기 후보 랜드마크들 각각에, 각각의 그러한 후보 랜드마크를 대응하는 매핑된 랜드마크와 정렬시키는 변환을 적용하는 단계; 및
    상기 로봇 차량에 대한 상기 후보 랜드마크들의 소스 위치들에 기초하여 상기 정렬된 후보 랜드마크에 대한 상기 로봇 차량의 포즈를 결정하는 단계를 포함하는, 방법.
  10. 제9항에 있어서, 잘못된 검출들에 대응하는 것으로 결정된 상기 검출된 후보 랜드마크들 중 어느 것이 상기 잘못된 검출 소스 영역 내에 있는지를 결정하는 단계는 각각의 그러한 후보 랜드마크에 상기 변환을 적용하고 상기 변환된 후보 랜드마크들 중 어느 것이 상기 잘못된 검출 소스 영역에 있는지를 결정하는 단계를 포함하는, 방법.
  11. 제1항에 있어서, 잘못된 검출들에 대응하는 것으로 결정된 상기 검출된 후보 랜드마크들 중 어느 것이 상기 잘못된 검출 소스 영역 내에 있는지에 기초하여 상기 포즈 추정치의 신뢰 수준을 결정하는 단계는:
    후보 랜드마크의 총 수를 결정하는 단계; 및
    상기 후보 랜드마크의 총 수에 대한, (i) 매핑된 랜드마크에 대응하거나, 또는 (ii) 잘못된 검출 소스 영역 내에 있는 후보 랜드마크의 비율에 기초하여 상기 포즈 추정치의 신뢰 수준을 결정하는 단계를 포함하는, 방법.
  12. 삭제
  13. 시스템으로서,
    로봇 차량;
    상기 로봇 차량 상에 장착된 센서;
    하나 이상의 프로세서;
    비일시적 컴퓨터 판독가능 매체; 및
    상기 비일시적 컴퓨터 판독가능 매체 상에 저장된 프로그램 명령어들을 포함하고, 상기 명령어들은 상기 하나 이상의 프로세서에 의해:
    환경의 맵을 결정하고 - 상기 맵은 상기 환경 내의 잘못된 검출 소스 영역 및 상기 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함하고, 상기 잘못된 검출 소스 영역은 잘못된 검출들이 예상되는 상기 환경의 일부분을 표시함 -;
    상기 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하고;
    상기 검출된 후보 랜드마크들 중 어느 것이 상기 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하고;
    상기 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크에 기초하여 상기 환경 내의 로봇 차량의 포즈를 추정하고;
    상기 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크 중 어느 것이 상기 잘못된 검출 소스 영역 내에 있는지를 결정하고;
    잘못된 검출들에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크 중 어느 것이 상기 잘못된 검출 소스 영역 내에 있는지에 기초하여 상기 포즈 추정치의 신뢰 수준을 결정하기 위해 실행가능한, 시스템.
  14. 제13항에 있어서, 상기 센서는 상기 환경의 부분에 신호를 전송하도록 구성된 LIDAR(light detection and ranging) 유닛을 포함하고, 상기 센서는 상기 환경의 부분 내의 소스들로부터 반사 신호들을 검출하도록 구성되는, 시스템.
  15. 제13항에 있어서, 상기 환경 내에 배치된 랜드마크들은 역반사성 마커들을 포함하는, 시스템.
  16. 제13항에 있어서, 상기 하나 이상의 프로세서는 상기 로봇 차량 내에 포함되는, 시스템.
  17. 제13항에 있어서, 상기 로봇 차량의 원격 컨트롤러를 추가로 포함하고, 상기 하나 이상의 프로세서 중 하나의 프로세서는 상기 로봇 차량 내에 포함되고, 상기 하나 이상의 프로세서 중 하나의 프로세서는 상기 로봇 차량의 원격 컨트롤러 내에 포함되는, 시스템.
  18. 컴퓨팅 시스템으로 하여금 기능들을 수행하게 하기 위해 하나 이상의 프로세서에 의해 실행가능한 명령어들을 저장하고 있는 컴퓨터 판독가능 저장매체로서, 상기 기능들은:
    환경의 맵을 결정하는 것 - 상기 맵은 상기 환경 내의 복수의 잘못된 검출 소스 영역 및 상기 환경 내의 복수의 매핑된 랜드마크의 위치들을 포함하고, 상기 잘못된 검출 소스 영역은 잘못된 검출들이 예상되는 상기 환경의 일부분을 표시함 -;
    로봇 차량 상에 장착된 센서로부터의 센서 데이터에 기초하여 복수의 후보 랜드마크를 검출하는 것;
    상기 복수의 후보 랜드마크 중 어느 것이 상기 복수의 매핑된 랜드마크 중 하나에 대응하는지 및 어느 것이 잘못된 검출들에 대응하는지를 결정하는 것;
    상기 복수의 매핑된 랜드마크 중 하나에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크에 기초하여 상기 환경 내의 로봇 차량의 포즈를 추정하는 것;
    상기 추정된 로봇 차량의 포즈에 기초하여, 잘못된 검출들에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크 중 어느 것이 상기 잘못된 검출 소스 영역들 중 하나 내에 있는지를 결정하는 것; 및
    잘못된 검출들에 대응하는 것으로 결정된 상기 복수의 후보 랜드마크 중 어느 것이 상기 잘못된 검출 소스 영역들 중 하나 내에 있는지에 기초하여 상기 포즈 추정치의 신뢰 수준을 결정하는 것을 포함하는, 컴퓨터 판독가능 저장매체.
  19. 제18항에 있어서, 상기 기능들은 상기 추정된 로봇 차량의 포즈 및 상기 포즈 추정치의 신뢰 수준에 기초하여 상기 로봇 차량을 상기 환경을 통해 내비게이트하는 것을 추가로 포함하는, 컴퓨터 판독가능 저장매체.
  20. 제18항에 있어서, 상기 결정된 상기 환경의 맵을 추가로 저장하고 있는, 컴퓨터 판독가능 저장매체.
KR1020187034350A 2017-04-21 2018-04-04 네거티브 매핑을 이용한 국부화 KR102148592B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/494,159 US10761541B2 (en) 2017-04-21 2017-04-21 Localization with negative mapping
US15/494,159 2017-04-21
PCT/US2018/026046 WO2018194833A1 (en) 2017-04-21 2018-04-04 Localization with negative mapping

Publications (2)

Publication Number Publication Date
KR20190003643A KR20190003643A (ko) 2019-01-09
KR102148592B1 true KR102148592B1 (ko) 2020-08-27

Family

ID=62067797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187034350A KR102148592B1 (ko) 2017-04-21 2018-04-04 네거티브 매핑을 이용한 국부화

Country Status (6)

Country Link
US (1) US10761541B2 (ko)
EP (1) EP3612861A1 (ko)
JP (1) JP6853832B2 (ko)
KR (1) KR102148592B1 (ko)
CN (1) CN109154662A (ko)
WO (1) WO2018194833A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866102B2 (en) * 2016-12-23 2020-12-15 X Development Llc Localization of robotic vehicles
EP3454079B1 (en) * 2017-09-12 2023-11-01 Aptiv Technologies Limited Method to determine the suitablility of a radar target as a positional landmark
JP2021193470A (ja) * 2018-09-11 2021-12-23 ソニーグループ株式会社 制御装置、情報処理方法、およびプログラム
JP2020177289A (ja) * 2019-04-15 2020-10-29 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN110032196B (zh) * 2019-05-06 2022-03-29 北京云迹科技股份有限公司 一种机器人回充方法及装置
US11193249B2 (en) * 2019-05-28 2021-12-07 Ari J. Ostrow Robotic de-icer
US11762393B2 (en) * 2019-08-01 2023-09-19 Dvw Holdings, Llc Shipping system and control system for secure package delivery
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
US11900314B2 (en) * 2020-02-06 2024-02-13 International Business Machines Corporation Asset and sensor mapping
JP7499449B2 (ja) 2020-07-30 2024-06-14 パナソニックＩｐマネジメント株式会社 在席検知システムおよび在席検知方法
DE102020214301A1 (de) * 2020-11-13 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und verfahren zum steuern eines roboters zum aufnehmen eines objekts in verschiedenen lagen
JP7482811B2 (ja) * 2021-02-16 2024-05-14 三菱ロジスネクスト株式会社 移動体の制御方法、移動体及びプログラム
CN114459462B (zh) * 2022-01-29 2024-06-11 京东方科技集团股份有限公司 电子地图切换、处理方法、终端、服务端及存储介质
WO2024101104A1 (ja) * 2022-11-08 2024-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0779998B1 (de) * 1994-09-06 1998-03-25 Siemens Aktiengesellschaft Verfahren zur bestimmung der position einer landmarke in der umgebungskarte einer selbstbeweglichen einheit, deren abstand zur einheit dynamisch von dieser ermittelt wird
US6047234A (en) 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
JP2006172016A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 移動ロボット、移動ロボット制御方法および移動ロボット制御プログラム
JP4448497B2 (ja) * 2006-03-23 2010-04-07 本田技研工業株式会社 移動体の自己位置検出装置および位置検出システム
JP4978099B2 (ja) * 2006-08-03 2012-07-18 トヨタ自動車株式会社 自己位置推定装置
US7739034B2 (en) * 2007-04-17 2010-06-15 Itt Manufacturing Enterprises, Inc. Landmark navigation for vehicles using blinking optical beacons
WO2009007983A2 (en) 2007-07-12 2009-01-15 Carmel - Haifa University Economic Corp Ltd. Localization method for mobile robots based on landmarks
EP2263096A1 (en) * 2008-03-26 2010-12-22 Genova Robot SRL A method and a device for determining of a vehicle for the autonomous driving of a vehicle, in particular a robotized vehicle
DE102008058828B4 (de) * 2008-04-25 2012-10-04 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Lokalisation eines mobilen Objekts
CN102576228A (zh) * 2009-08-31 2012-07-11 Neato机器人技术公司 移动机器人环境的同时定位和地图绘制的方法和设备
US8340438B2 (en) 2009-12-17 2012-12-25 Deere & Company Automated tagging for landmark identification
US20110153338A1 (en) * 2009-12-17 2011-06-23 Noel Wayne Anderson System and method for deploying portable landmarks
US8594923B2 (en) * 2011-06-14 2013-11-26 Crown Equipment Limited Method and apparatus for sharing map data associated with automated industrial vehicles
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
US9342888B2 (en) 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
US9157757B1 (en) 2014-09-03 2015-10-13 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
CN112904892A (zh) * 2014-10-31 2021-06-04 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
EP3032221B1 (en) * 2014-12-09 2022-03-30 Volvo Car Corporation Method and system for improving accuracy of digital map data utilized by a vehicle

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
US 2008/0262718 A1(2008.10.23) 1부.*
US 2012/0323431 A1(2012.12.20) 1부.*
US 2015/0031390 A1(2015.01.29) 1부.*

Also Published As

Publication number Publication date
US10761541B2 (en) 2020-09-01
JP6853832B2 (ja) 2021-03-31
WO2018194833A1 (en) 2018-10-25
US20180307241A1 (en) 2018-10-25
EP3612861A1 (en) 2020-02-26
JP2019534486A (ja) 2019-11-28
KR20190003643A (ko) 2019-01-09
CN109154662A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
KR102148592B1 (ko) 네거티브 매핑을 이용한 국부화
KR102148593B1 (ko) 로봇 차량들의 국부화
US11326887B2 (en) Landmark placement for localization
US11373395B2 (en) Methods and systems for simultaneous localization and calibration
US11016493B2 (en) Planning robot stopping points to avoid collisions
EP3612906B1 (en) Method and system for environment map generation and alignment
WO2018194765A1 (en) Methods and systems for detecting, recognizing, and localizing pallets
US20180306591A1 (en) Aisle-based Roadmap Generation
KR102716669B1 (ko) 자동차 부품 운반용 로봇, 그리고 그 제어 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant