KR102436081B1 - 연관된 특징 쌍들을 이용한 차량 포지셔닝 또는 내비게이션 - Google Patents

연관된 특징 쌍들을 이용한 차량 포지셔닝 또는 내비게이션 Download PDF

Info

Publication number
KR102436081B1
KR102436081B1 KR1020177002627A KR20177002627A KR102436081B1 KR 102436081 B1 KR102436081 B1 KR 102436081B1 KR 1020177002627 A KR1020177002627 A KR 1020177002627A KR 20177002627 A KR20177002627 A KR 20177002627A KR 102436081 B1 KR102436081 B1 KR 102436081B1
Authority
KR
South Korea
Prior art keywords
overhead
feature
vehicle
pairs
pair
Prior art date
Application number
KR1020177002627A
Other languages
English (en)
Other versions
KR20170024072A (ko
Inventor
카샵 찬드라세카
라이언 에스텝
야곱 제이 톰슨
루카스 비. 왈츠
Original Assignee
크라운 이큅먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 크라운 이큅먼트 코포레이션 filed Critical 크라운 이큅먼트 코포레이션
Publication of KR20170024072A publication Critical patent/KR20170024072A/ko
Application granted granted Critical
Publication of KR102436081B1 publication Critical patent/KR102436081B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G05D2201/0216—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

본 명세서에 개시된 실시예들에 따라, 연관된 특징 쌍들을 이용하는 차량 포지셔닝 및 내비게이션을 위한 방법은 2차원 UV 공간 정보를 포함하는 카메라로부터의 초기의 카메라 데이터 세트를 검색하고, 상기 UV 공간 정보로부터 쌍들을 형성하고, 상기 UV 공간 정보로부터의 각각의 쌍을 상기 산업 시설 맵의 상기 복수의 3차원 전역 특징 지점들 각각으로부터의 쌍들과 연관시킴으로써 복수의 연관된 특징 쌍들을 생성하는 단계, 상기 연관된 특징 쌍들의 산출된 차량 포즈로부터 최상의 추정 포즈들을 산출하는 단계, 상기 최상의 추정 포즈를 현재의 국부적으로 정해진 위치로 갱신하기 위해 축적된 오도메트리를 사용하는 단계, 및 상기 현재의 국부적으로 정해진 위치로서 시드 위치를 설정하는 단계를 포함할 수 있다. 상기 물류 운반 차량의 내비게이션은 상기 현재의 국부적으로 정해진 위치를 이용하는 적어도 부분적으로 자동화된 방식으로 상기 상기 재고 이송 표면 내비게이트를 따라 추적되거나 및/또는 내비게이션된다.

Description

연관된 특징 쌍들을 이용한 차량 포지셔닝 또는 내비게이션{VEHICLE POSITIONING OR NAVIGATION UTILIZING ASSOCIATED FEATURE PAIRS}
관련 출원에 대한 상호 참조
본 출원은 문서번호 CRNZ 0052 MA라는 2014년 6월 27일자로 출원된 미국 가출원 번호 62/018,094 의 이익을 주장하며, 그 전체는 본 명세서에 참조로서 통합된다.
본 명세서는 일반적으로 천장 조명의 특징들에 기초하여 산업용 차량에 대한 전역 위치추정(global localization)을 제공하는 시스템 및 방법에 관한 것이며, 특히, 알려지거나 알려지지 않은 산업용 차량의 위치를 추적하기 위해 창고 내의 천장 조명들의 특이한 배열들을 분석하도록 전역 위치추정을 이용하는 시스템 및 방법에 관한 것이다.
산업 환경에 관한 물품들을 이동시키기 위해, 작업자들은 종종 예를 들면 지게차, 수동 및 모터 구동 팔레트 트럭, 및/또는 기타 물류 운반 차량을 포함하는 산업용 차량을 이용한다. 산업용 차량은 자동 가이드 차량 또는 상기 환경을 통해 내비게이션하는 수동 가이드 차량으로 구성될 수 있다. 자동화된 안내, 내비게이션 또는 두 가지 모두를 용이하게 하기 위해 산업용 차량은 상기 환경 내의 위치추정(localization)에 적응될 수 있다. 즉, 산업용 차량은 예를 들면 산업용 차량의 포즈 및 위치와 같은 상기 환경 내에서 산업용 차량의 위치를 결정하기 위한 센서 및 프로세서로 적응될 수 있다. 상기 센서들은 상기 환경 내에서 물체를 검출하도록 구성될 수 있고, 상기 위치추정은 그러한 검출된 물체로부터 추출된 특징들에 의존할 수 있다.
본 발명은 산업용 차량에 대한 전역 위치추정의 개선된 시스템 및 방법을 제공한다.
일 실시예에서, 물류 운반 차량은 카메라, 하나 이상의 차량용 프로세서, 재고 이송 표면(inventory transit surface)을 따라 물류 운반 차량을 이동시키도록 구성된 구동 메카니즘, 산업 시설의 보관 구역(storage bay)에서 물품을 보관하고 회수하도록 구성된 물류 운반 메카니즘, 상기 구동 및 물류 운반 메카니즘과 통신하는 차량 제어 아키텍처를 포함할 수 있다. 상기 카메라는 상기 차량용 프로세서(들)에 통신 가능하게 결합될 수 있고 오버헤드 특징들의 입력 이미지를 포착(capture)한다. 산업 시설 맵(industrial facility map)은 오버헤드 특징들의 매핑들과 연관된 복수의 3차원 전역 특징 지점들(three-dimensional global feature points)을 포함할 수 있다. 상기 물류 운반 차량의 차량용 프로세서(들)는, 2차원 UV 공간 정보를 포함하는 카메라로부터의 초기의 카메라 데이터 세트를 검색하고, 상기 UV 공간 정보로부터 쌍들(pairs)을 형성하고, 상기 UV 공간 정보로부터의 쌍들을 상기 산업 시설 맵의 상기 복수의 3차원 전역 특징 지점들로부터의 쌍들과 연관시킴으로써 복수의 연관된 특징 쌍들을 생성하고; 카메라의 시각 범위 내에서 연관된 특징 쌍들에 대한 차량 포즈를 산출하도록 차량 기능들을 실행할 수 있다. 상기 물류 운반 차량의 차량용 프로세서(들)는 또한, 상기 복수의 연관된 특징 쌍들의 최고 등급의 쌍들에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈를 산출하고; 상기 최상의 추정 포즈를 현재의 국부적으로 정해진 위치(current localized position)로 갱신하도록 물류 운반 차량과 연관된 축적된 오도메트리(odometry)를 사용하고; 상기 현재의 국부적으로 정해진 위치로서 시드 위치를 설정하고; 현재의 국부적으로 정해진 위치를 이용하여, 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 추적하거나, 적어도 부분적으로 자동화된 방식으로 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하도록 차량 기능들을 실행할 수 있다.
다른 실시예에서, 시스템은 물류 운반 차량 및 관리 서버를 포함할 수 있다. 물류 운반 차량은 카메라, 하나 이상의 차량용 프로세서, 재고 이송 표면을 따라 물류 운반 차량을 이동시키도록 구성된 구동 메카니즘, 산업 시설의 보관 구역에서 물품을 보관하고 회수하도록 구성된 물류 운반 메카니즘, 상기 구동 및 물류 운반 메카니즘과 통신하는 차량 제어 아키텍처를 포함할 수 있다. 상기 카메라는 상기 차량용 프로세서(들) 및 상기 관리 서버에 통신 가능하게 결합될 수 있으며, 상기 관리 서버는 오버헤드 특징들의 입력 이미지를 포착할 수 있다. 상기 차량용 프로세서(들)는 상기 관리 서버와 통신 가능하게 결합될 수 있다. 산업 시설 맵은 상기 관리 서버에 저장될 수 있고 상기 차량용 프로세서(들)에 통신 가능하게 결합될 수 있으며, 상기 산업 시설 맵은 오버헤드 특징들의 매핑들과 연관된 복수의 3차원 전역 특징 지점들을 포함할 수 있다. 상기 물류 운반 차량의 차량용 프로세서(들)는, 2차원 UV 공간 정보를 포함하는 카메라로부터의 초기의 카메라 데이터 세트를 검색하고, 상기 UV 공간 정보로부터 쌍들을 형성하고, 상기 UV 공간 정보로부터의 쌍들을 상기 산업 시설 맵의 상기 복수의 3차원 전역 특징 지점들로부터의 쌍들과 연관시킴으로써 복수의 연관된 특징 쌍들을 생성하도록 차량 기능들을 실행할 수 있다. 상기 물류 운반 차량의 차량용 프로세서(들)는 또한, 상기 카메라의 시각 범위 내에서 연관된 특징 쌍들의 차량 포즈를 산출하고; 상기 복수의 연관된 특징 쌍들의 최고 등급의 쌍들에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈를 산출하고; 상기 최상의 추정 포즈를 현재의 국부적으로 정해진 위치로 갱신하도록 상기 물류 운반 차량과 연관된 축적된 오도메트리를 사용하고; 상기 현재의 국부적으로 정해진 위치로서 시드 위치를 설정하고; 현재의 국부적으로 정해진 위치를 이용하여, 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 추적하거나, 적어도 부분적으로 자동화된 방식으로 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하도록 차량 기능들을 실행할 수 있다.
실시예들에서, 차량용 프로세서(들)는 시드 위치를 현재의 국부적으로 정해진 위치로 갱신하기 전에 상기 현재의 국부적으로 정해진 위치를 검증(validate)하는 차량 기능을 추가로 실행할 수 있다. 그러한 검증(validation)은 현재의 국부적으로 정해진 위치로서의 시드 위치가 검증되도록 그 수치가 임계치를 초과할 때까지 각각의 데이터 연관 단계 후에 고유한 전역 특징 지점의 수를 기록하는 기능을 포함할 수 있다.
실시예들에서, 차량용 프로세서(들)는 현재의 국부적으로 정해진 위치로서 시드 위치를 갱신한 후에 디스플레이 상에 현재의 국부적으로 정해진 위치로서 시드 위치를 공개(publish)하기 위한 차량 기능을 추가로 실행할 수 있다.
실시예들에서, 차량용 프로세서는 또한, 물류 운반 차량이 소실됐는지를 판정하고, 물류 운반 차량이 소실된 것으로 판정되면 상기 카메라로부터 후속하는 카메라 데이터 세트를 검색하고, 상기 물류 운반 차량이 발견될 때까지 상기 카메라로부터의 초기의 카메라 데이터 세트 대신에 상기 카메라로부터의 상기 후속하는 카메라 데이터 세트로, (i) 2차원 UV 공간 정보를 포함하는 카메라로부터 상기 후속하는 카메라 데이터 세트를 검색하고 상기 UV 공간 정보로부터의 쌍들을 형성하고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 시설 맵의 복수의 3차원 전역 특징 지점들로부터의 쌍들과 연관시킴으로써 복수의 연관된 특징 쌍들을 생성하고; (ii) 상기 카메라의 시각 범위 내에서 연관된 특징 쌍들에 대한 차량 포즈를 산출하고; (iii) 복수의 연관된 특징 쌍들의 최고 등급의 쌍에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈를 산출하고; (iv) 상기 최상의 추정 포즈를 현재의 국부적으로 정해진 위치로 갱신하도록 상기 물류 운반 차량과 연관된 축적된 오도메트리를 사용하고; (v) 상기 현재의 국부적으로 정해진 위치로서 시드 위치를 설정하고; 현재의 국부적으로 정해진 위치를 이용하여, 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 추적하거나, 적어도 부분적으로 자동화된 방식으로 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하도록 차량 기능들을 실행할 수 있다.
실시예들에서, 물류 운반 차량이 소실됐는지의 판정은 상기 시드 위치가 부정확한 데이터를 포함하는지에 적어도 부분적으로 기초할 수 있다. 실시예들에서, 물류 운반 차량이 소실됐는지의 판정은 상기 축적된 오도메트리와 연관된 에러를 정정하기에 불충분한지에 적어도 부분적으로 기초할 수 있다. 실시예들에서, 복수의 연관된 특징 쌍들은, UV 공간 정보 쌍을 생성하는 것; 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 1 UV 공간 특징과 연관시키는 것; 및 상기 카메라의 최대 시각 범위 내의 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 2 UV 공간 특징과 연관시키는 것을 포함할 수 있는 데이터 연관 단계들에 의해 생성된다.
실시예들에서, 상기 카메라의 시각 범위 내에서 각각의 연관된 특징 쌍에 대한 차량 포즈의 산출은 전역 위치추정 알고리즘(global localization algorithm)의 사용에 적어도 부분적으로 기초할 수 있다. 전역 위치추정 알고리즘은 고정된 특징(anchored feature)일 수 있는 연관된 특징 쌍의 제 1 UV 공간 특징에 대한 차량의 요(yaw)를 산출하는 수식을 포함할 수 있다. 이러한 수식에서 N은 두 3D 벡터의 외적(cross product)이고; T는 요 회전(yaw rotation)에 대한 목표 3D 지점이다;
Figure 112017009676561-pct00001
Figure 112017009676561-pct00002
및
Figure 112017009676561-pct00003
실시예들에서, 복수의 연관된 특징 쌍들 중 최고 등급의 쌍에 기초한 물류 운반 차량의 최상의 추정 포즈의 산출은 적어도 부분적으로는 각각의 산출된 차량 포즈에 대한 포즈 합 에러(pose sum error)의 산출에 기초할 수 있으며, 여기서 최고 등급의 쌍은 최하 포즈 합 에러를 갖는다.
또 다른 실시예에서, 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 내비게이션하거나 또는 추적하는 방법은, 물류 운반 차량을 산업 설비의 재고 이송 표면 상에 배치하는 단계를 포함할 수 있으며, 상기 물류 운반 차량은 관리 서버와 통신하며, 상기 물류 운반 차량은 카메라, 하나 이상의 차량용 프로세서들, 재고 이송 표면을 따라 상기 물류 운반 차량을 이동시키도록 구성된 구동 메카니즘, 산업 설비의 보관 구역에 물품들을 보관하고 회수하도록 구성된 물류 운반 메카니즘, 및 상기 구동 메카니즘과 물류 운반 메카니즘과 통신하는 차량 제어 아키텍처를 포함한다. 상기 방법은 또한, 상기 재고 이송 표면을 따라 상기 물류 운반 차량을 이동시키기 위해 상기 구동 메커니즘을 이용하는 단계; 상기 물류 운반 차량이 재고 이송 표면을 따라 이동함에 따라 카메라를 통해 산업 설비의 오버헤드 특징들의 입력 이미지를 포착하는 단계; 상기 천장 조명의 매핑과 연관된 복수의 3차원 전역 특징 지점들을 포함하는 산업 시설 맵을 제공하는 단계; 및 2차원 UV 공간 정보를 포함하는 카메라로부터의 초기의 카메라 데이터 세트를 검색하고, 상기 UV 공간 정보로부터 쌍들을 형성하고, 상기 UV 공간 정보로부터의 쌍들을 상기 산업 시설 맵의 상기 복수의 3차원 전역 특징 지점들로부터의 쌍들과 연관시킴으로써 복수의 연관된 특징 쌍들을 생성하는 단계를 포함할 수 있다. 상기 방법은 또한 차량용 프로세서(들)를 통해, 카메라의 시각 범위 내에서 연관된 특징 쌍들에 대한 차량 포즈를 산출하는 단계; 상기 복수의 연관된 특징 쌍들 중 최고 등급의 쌍에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈를 산출하는 단계; 상기 최상의 추정 포즈를 현재의 국부적으로 정해진 위치로 갱신하기 위해 상기 물류 운반 차량과 연관된 축적된 오도메트리를 사용하는 단계; 및 현재의 국부적으로 정해진 위치로서 시드 위치를 설정하는 단계를 포함할 수 있다. 상기 방법은 또한, 차량용 프로세서(들) 및 관리 서버를 통해, 현재의 국부적으로 정해진 위치를 이용하여, 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 추적하거나, 적어도 부분적으로 자동화된 방식으로 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하는 단계를 포함할 수 있다.
실시예들에서, 상기 방법은 또한, 상기 시드 위치를 현재의 국부적으로 정해진 위치로 갱신하기 전에 상기 현재의 국부적으로 정해진 위치를 검증하는 단계를 포함할 수 있다. 상기 검증(validation)은 현재의 국부적으로 정해진 위치로서의 시드 위치가 검증되도록 그 수치가 임계치를 초과할 때까지 각각의 데이터 연관 단계 후에 고유한 전역 특징 지점의 수를 기록하는 단계를 포함할 수 있다. 실시예들에서, 상기 방법은 또한, 상기 현재의 국부적으로 정해진 위치로서 시드 위치를 갱신한 후에 디스플레이 상에 상기 현재의 국부적으로 정해진 위치로서 시드 위치를 공개하는 단계를 포함할 수 있다.
실시예에서, 상기 방법은 또한, 상기 물류 운반 차량이 소실됐는지를 판정하는 단계; 상기 물류 운반 차량이 소실된 것으로 판정되면 2차원 UV 공간 정보를 포함하는 카메라로부터 후속하는 카메라 데이터 세트를 검색하고, 상기 UV 공간 정보로부터 쌍들을 형성하고, 복수의 새로운 연관된 특징 쌍들을 생성하도록 상기 UV 공간 정보로부터의 쌍들을 상기 산업 시설 맵의 복수의 3차원 전역 특징 지점들로부터의 쌍들과 연관시킴으로써 상기 물류 운반 차량을 찾는 단계; 차량 프로세스(들)를 통하여, 상기 카메라의 시각 범위 내에서 각각의 새로운 연관된 특징 쌍들에 대한 차량 포즈를 산출하는 단계; 상기 차량 프로세스(들)를 통하여, 상기 복수의 새로운 연관된 특징 쌍들의 최고 등급의 쌍에 기초하여 상기 물류 운반 차량의 새로운 최상의 추정 포즈를 산출하는 단계; 상기 새로운 최상의 추정 포즈를 새로운 현재의 국부적으로 정해진 위치로 갱신하도록 상기 물류 운반 차량과 연관된 축적된 오도메트리를 사용하는 단계; 및 상기 새로운 현재의 국부적으로 정해진 위치로서 시드 위치를 설정하는 단계를 포함할 수 있다.
본 명세서에 설명된 실시예들에 의해 제공되는 이들 및 추가의 특징들은 도면들과 관련하여 이하의 상세한 설명을 참조하면 더욱 완전하게 이해될 것이다.
도면들에 설명된 실시예들은 본질적으로 도식적이고 예시적인 것이며 청구 범위에 의해 규정된 청구 대상을 제한하지 않는다. 예시적인 실시예에 대한 다음의 상세한 설명은 유사한 구조가 동일한 참조 번호로 표시되는 다음의 도면과 함께 읽혀질 때 이해될 수 있다.
도 1은 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 위치추정(localization)를 위한 차량을 도시한 도면.
도 2는 여기에 도시되고 설명된 하나 이상의 실시예에 따른 예시적인 위치추정 시스템을 나타내는 블록도.
도 3은 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 위치추정 프로세스 내의 전역 위치추정 방법의 카메라 특징 추출 및 적용 및 검증을 위한 예시적인 방법의 흐름도.
도 4는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 전역 위치추정 방법을 위한 예시적인 방법의 흐름도.
도 5는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 UV 공간 특징들 A, B, C 및 D를 포함하는 예시적인 UV 이미지 공간 관측을 도시한 도면.
도 6은 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 전역 특징들(1 내지 12)을 포함하는 예시적인 전역 로케이션 플롯(global location plot)을 도시한 도면.
도 7은 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 도 6에 기초한 모든 가능한 전역 특징 쌍 조합의 리스트를 도시한 도면.
도 8은 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따른 전역 특징들(1 내지 12) 및 카메라의 최대 범위 또는 시야를 포함하는 예시적인 전역 로케이션 플롯을 도시한 도면.
도 9는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 도 5에 도시된 바와 같이 UV 공간 관측과 부합하는 모든 가능한 차량 위치들 및 포즈들을 포함하는 전역 특징 주위의 원형 경로를 포함하는 예시적인 차량 경로를 도시한 도면.
도 10a는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 상기 쌍들의 제 2 전역 특징이 제 1 전역 특징 주위의 원형 경로를 추적하고 상기 특징들 모두가 실질적으로 동일한 높이들에 있는 전역 특징들의 쌍의 예시적인 플롯을 도시한 도면.
도 10b는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 상기 쌍의 제 2 전역 특징이 상기 제 1 전역 특징 주위의 왜곡된 경로를 추적하고 상기 특징들이 상이한 높이들에 있는 전역 특징들의 쌍의 예시적인 플롯을 도시한 도면.
도 11a는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 유효한 연관된 특징들을 나타내고 제 1 전역 특징 지점과 플로팅된 관측된 제 2 전역 특징 지점 사이의 라인의 각도인 차량의 헤딩(heading)과 함께 플로팅된 제 2 전역 특징의 관측된 UV-공간 지점을 나타내는 도 10a의 예시적인 플롯을 도시하는 도면.
도 11b는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 유효하지 않은 연관된 특징들을 나타내고 제 1 전역 특징 지점과 플로팅된 관측된 제 2 전역 특징 지점 사이의 라인의 각도인 차량의 헤딩과 함께 플로팅된 제 2 전역 특징의 관측된 UV-공간 지점을 나타내는 도 10b의 예시적인 플롯을 도시하는 도면.
도 12a는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 UV 공간에서의 관측되고 예측된 전역 특징들과 픽셀 차(pixel difference)들로서 나타낸 그 연관된 합 에러 사이의 제 1 세트의 이미지 공간 에러 산출들의 예시적인 플롯을 도시하는 도면.
도 12b는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 UV 공간에서의 관측되고 예측된 전역 특징들과 픽셀 차들로서 나타낸 그 연관된 합 에러 사이의 제 2 세트의 이미지 공간 에러 산출들의 예시적인 플롯을 도시하는 도면.
도 13은 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 예시적인 축적된 주행거리 프로그램 흐름 방법의 흐름도.
도 14는 본 명세서에 도시되고 설명된 하나 이상의 실시예들에 따라 예시적인 위치추정 시스템 검증 프로그램 흐름 방법의 흐름도.
본 명세서에 기술된 실시예들은 일반적으로 한정되지는 않지만 채광창(skylights)를 포함하는 오버헤드 조명으로부터 특징들을 추출하기 위한 위치추정 기술(localization techniques)에 관한 것이다. 위치추정(Localization)은 창고, 산업 설비 또는 다른 환경에서 차량 위치의 능동적인 추적을 가능하게 하는 다양한 시스템 구성 중 어느 하나를 지칭하기 위해 본 명세서에서 사용되는 문구이다. 본 개시의 개념은 임의의 특정 위치추정 시스템 구성에 한정되지 않으며 다양한 종래의 및 아직 개발되지 않은 다양한 위치추정 시스템들 중 임의의 것에 적용 가능한 것으로 간주된다. 하기에 더욱 상세히 기술될 바와 같이, 위치추정 시스템은 전역 위치추정 방법(GLM: global localization method) 및/또는 검증 시스템(validation system)과 함께 사용될 수 있어, 위치추정 시스템 방법을 통해 산업용 차량이 소실되면 상기 차량을 복구하기(recover) 위해 상기 GLM이 이용될 수 있으며, 새로운 현재의 차량 위치를 공개하기 전에 상기 복구(recovery)의 정확성을 체크하기 위해 상기 검증 시스템이 이용될 수 있다. 부가적으로 또는 대안적으로, 상기 GLM은 복구 시스템뿐만 아니라 위치추정 시스템 자체로서 이용될 수 있으며, 및/또는 상기 검증 시스템은 위치추정 시스템 및/또는 GLM 시스템과 함께 사용될 수 있다.
위치추정 시스템은 창고와 같은 건물 구조를 통해 산업용 차량의 위치를 정하고(localize) 및/또는 산업용 차량을 내비게이션하는 데 사용될 수 있다. 적합하게는, 오버헤드 조명이 건물의 천장 내에 또는 천장 상에 장착될 수 있다. 그러나, 일부 실시예에서, 조명은 또한 또는 대안적으로 적절한 구조를 통해 천장 또는 벽에 매달려있을 수 있다. 일부 실시예에서, 카메라는 창고를 통해 내비게이션하는 산업용 차량(예를 들면, 자동화된 가이드 차량 또는 수동적인 가이드 차량)에 장착될 수 있다. 입력 이미지는 이미지에서 특징들을 추출하기 전에 카메라에서 포착된 어떠한 이미맵될 수 있다.
이제, 도 1을 참조하면, 차량(100)은 창고(110)와 같은 산업 설비를 통해 내비게이션하도록 구성될 수 있다. 차량(100)은 재고 이송 표면을 따라 물류 운반 차량을 이동시키기 위한 구동 메커니즘을 포함하는 물류 운반 차량, 산업 설비의 보관 구역에 물품을 보관 및 회수하도록 구성된 물류 운반 메카니즘 및 상기 구동 메카니즘 및 물류 운반 메카니즘과 통신하는 차량 제어 아키텍처를 포함한다. 차량(100)은 예를 들면 지게차, 리치 트럭(reach truck), 터릿 트럭(turret truck), 워키 스태커 트럭(walkie stacker truck), 견인 트랙터, 팔레트 트럭, 고/저, 스태커 트럭, 트레일러 로더, 사이드로더(sideloader), 포크 호이스트(fork hoist) 등과 같이 페이로드를 들어올리고 이동하기 위한 산업용 차량을 포함할 수 있다. 산업용 차량은 원하는 경로를 따라 창고(110)의 표면(122)과 같은 재고 이송 표면을 자동으로 또는 수동으로 내비게이션하도록 구성될 수 있다. 따라서, 차량(100)은 하나 이상의 바퀴(124)의 회전에 의해 전방으로 또는 후방으로 향하게될 수 있다. 또한, 차량(100)은 하나 이상의 바퀴(124)를 조종함으로써 방향을 변화시키게될 수 있다. 선택적으로, 차량은 제한되는 것은 아니지만 바퀴(124)의 속도, 바퀴(124)의 방향 등과 같이 차량의 기능을 제어하는 운전자 컨트롤(126)을 포함할 수 있다. 운전자 컨트롤(126)은 예를 들면 스위치, 버튼, 레버, 핸들, 페달, 입력/출력 장치 등과 같은 차량(100)의 기능에 할당된 컨트롤을 포함할 수 있다. 본 명세서에서 사용되는 "내비게이션(navigate)"이라는 용어는 한 장소에서 다른 장소로의 차량의 이동을 제어하는 것을 의미할 수 있음에 유의해야한다.
차량(100)은 오버헤드 특징의 입력 이미지와 같은 오버헤드 이미지를 포착하기 위한 카메라(102)를 더 포함할 수 있다. 카메라(102)는 물체의 시각적 외관을 포착하고 시각적 외관을 이미지로 변환할 수 있는 임의의 장치가될 수 있다. 따라서, 카메라(102)는 예를 들면 전하 결합 소자, 상보형 금속 산화물 반도체 센서, 또는 이들의 기능적 등가물과 같은 이미지 센서를 포함할 수 있다. 일부 실시예에서, 차량(100)은 창고(110) 내에 위치될 수 있고 창고(110)의 천장(112)의 오버헤드 이미지를 포착하도록 구성될 수 있다. 오버헤드 이미지를 포착하기 위해, 카메라(102)는 차량(100)에 장착될 수 있으며 천장(112)에 포커스될 수 있다. 본 명세서를 정의하고 설명할 목적으로, 본 명세서에서 사용되는 "이미지"라는 용어는 검출된 물체의 외관의 표현을 의미할 수 있다. 이미지는 예를 들면 JPEG, JPEG 2000, Exif, TIFF, 미가공 이미지 포맷, GIF, BMP, PNG, Netpbm 포맷, WEBP, 래스터 포맷, 벡터 포맷 또는 오버헤드 물체를 포착하기에 적합한 임의의 다른 포맷과 같이 다양한 머신 판독가능한 표현으로 제공될 수 있다.
창고(110)의 천장(112)은 천장(112)으로부터 또는 일반적으로 창고에서 작동하는 차량의 위로부터 조명을 제공하기 위한 천장 조명(114)과 같은 오버헤드 조명을 포함할 수 있지만, 이에 한정되는 것은 아니다. 천장 조명(114)은, 예를 들면 채광창(116), 형광등 등과 같은 실질적으로 장방형의 조명을 포함할 수 있으며; 위로부터의 조명을 제공하기 위해 천장 또는 벽 구조물에 장착되거나 또는 그로부터 매달리게될 수 있다. 본 명세서에 사용된 바와 같이, "채광창"이라는 용어는, 예를 들면 공기, 유리, 플라스틱 등과 같이 일광을 허용하기 위한 실질적으로 광 투과성인 매체가 장착된 천장 또는 지붕의 개구를 의미할 수 있다. 채광창은 다양한 형태와 크기로 제공될 수 있지만 여기에 설명된 채광창은 대들보 또는 크로스바에 의해 일련의 패널들로 분리될 수 있거나 분리되지 않을 수 있는 "표준"의 길고 실질적으로 직사각형인 채광창을 포함할 수 있다. 대안적으로, 채광창은 침실 창문과 크기가 유사한, 즉 약 30 인치 × 60 인치(약 73cm × 약 146cm) 인 직사각형 또는 원형의 보다 작고 분리된 채광창들을 포함할 수 있다. 대안적으로 또는 부가적으로, 천장 조명(114)은 예를 들면, 단일 물체 등과 같이 보이는 복수의 인접한 원형 조명(round lights)을 포함할 수 있는 원형 조명(118), 병합 조명(120)과 같은 실질적으로 원형인 조명을 포함할 수 있다. 따라서, 오버헤드 조명이나 '천장 조명'은 자연 광(예를 들면, 햇빛)과 인공(예를 들면, 전기적 전원이 공급된) 광의 광원을 포함한다.
여기에 기술된 실시예들은 카메라(102)에 통신 가능하게 연결된 프로세서들(104)과 같은 하나 이상의 차량용 프로세서를 포함할 수 있다. 하나 이상의 프로세서(104)는 본 명세서에 설명된 방법 또는 기능 중 임의의 것을 자동으로 실행하기 위해 기계 판독가능한 명령들을 실행할 수 있다. 기계 판독가능한 명령들을 저장하기 위한 메모리(106)는 하나 이상의 프로세서(104), 카메라(102), 또는 이들의 임의의 조합에 통신 가능하게 결합될 수 있다. 하나 이상의 프로세서들(104)은 프로세서, 집적 회로, 마이크로 칩, 컴퓨터, 또는 머신 판독가능한 명령들을 실행할 수 있는 또는 머신 판독가능한 명령들과 유사한 방식으로 기능들을 실행하도록 구성된 임의의 다른 컴퓨팅 장치를 포함할 수 있다. 메모리(106)는 RAM, ROM, 플래시 메모리, 하드 드라이브, 또는 머신 판독 가능한 명령들을 저장할 수 있는 임의의 비-일시적인 장치를 포함할 수 있다.
하나 이상의 프로세서들(104) 및 메모리(106)는 카메라와 통합될 수도 있다. 대안적으로 또는 부가적으로, 하나 이상의 프로세서들(104) 및 메모리(106) 각각은 차량(100)과 통합될 수도 있다. 또한, 하나 이상의 프로세서들(104) 및 메모리(106) 각각은 차량(100) 및 카메라(102)로부터 분리될 수 있다. 예를 들면, 관리 서버, 서버 또는 모바일 컴퓨팅 장치는 하나 이상의 프로세서들(104), 메모리(106) 또는 이들 모두를 포함할 수 있다. 하나 이상의 프로세서들(104), 메모리(106) 및 카메라(102)는 본 개시의 범위를 벗어나지 않고 서로 간에 통신 가능하게 결합된 개별 구성요소들일 수 있다. 따라서, 일부 실시예에서, 하나 이상의 프로세서들(104)의 구성요소, 메모리(106)의 구성요소 및 카메라(102)의 구성요소는 물리적으로 서로 분리될 수 있다. 본 명세서에서 사용되는 "통신 가능하게 결합된" 이라는 어구는 구성요소가 예를 들면 전도성 매체를 통한 전기 신호, 공기를 통한 전자기 신호, 광 도파로를 통한 광 신호 등과 같은 데이터 신호를 서로 교환할 수 있음을 의미한다.
따라서, 본 개시의 실시예들은 임의 세대의 임의의 프로그래밍 언어(예를 들면, 1GL, 2GL, 3GL, 4GL 또는 5GL)로 작성된 로직 또는 알고리즘을 포함할 수 있다. 로직 또는 알고리즘은 프로세서에 의해 직접 실행될 수 있는 기계 언어, 또는 기계 판독 가능한 명령들로 컴파일되거나 어셈블될 수 있고 기계 판독 가능한 매체 상에 저장될 수 있는 어셈블리 언어, 객체 지향 프로그래밍(OOP), 스크립팅 언어, 마이크로 코드 등으로 작성될 수 있다. 대안적으로 또는 부가적으로, 로직 또는 알고리즘은 하드웨어 기술 언어(HDL: hardware description language)로 작성될 수 있다. 또한, 로직 또는 알고리즘은 FPGA(field-programmable gate array) 구성 또는 ASIC(application-specific integrated circuit) 또는 이들의 등가물을 통해 실행될 수 있다.
상기한 바와 같이, 차량(100)은 하나 이상의 프로세서들(104)을 포함할 수 있거나 또는 그들과 통신가능하게 결합될 수 있다. 따라서, 상기 하나 이상의 프로세서들(104)은 운전자 컨트롤(126)의 기능을 조작하거나 대체하기 위해 기계 판독 가능한 명령을 실행할 수 있다. 기계 판독 가능한 명령들은 메모리(106) 상에 저장될 수 있다. 따라서, 일부 실시예에서, 차량(100)은 기계 판독 가능한 명령들을 실행하는 하나 이상의 프로세서(104)에 의해 자동으로 내비게이션될 수 있다. 일부 실시예에서, 차량(100)이 내비게이션됨에 따라, 차량의 위치는 위치추정 시스템에 의해 모니터링될 수 있다.
예를 들면, 차량(100)은 차량(100)의 국부적으로 정해진 위치(localized position)에 기초하여 원하는 경로를 따라 원하는 위치로 창고(110)의 표면(122)을 따라 자동으로 내비게이션할 수 있다. 일부 실시예에서, 차량(100)은 창고(110)와 관련하여 차량의 국부적으로 정해진 위치를 결정할 수 있다. 차량(100)의 국부적으로 정해진 위치의 결정은 이미지 데이터를 맵 데이터와 비교함으로써 수행될 수 있다. 맵 데이터는 메모리(106)에 국부적으로 저장될 수 있으며, 주기적으로 갱신되거나, 서버 등에 의해 제공된 데이터를 매핑할 수 있다. 실시예들에서, 산업 시설 맵은 오버헤드 특징들의 매핑과 연관된 복수의 3차원 전역 특징 지점들을 포함한다. 국부적으로 정해진 위치 및 원하는 위치가 주어지면, 이동 경로가 차량(100)에 대해 결정될 수 있다. 일단 이동 경로가 알려지면, 차량(100)은 창고(110)의 표면(122)을 내비게이션하도록 이동 경로를 따라 이동할 수 있다. 구체적으로는, 하나 이상의 프로세서들(106)은 위치추정 시스템 기능들을 수행하고 차량(100)을 작동하도록 기계 판독 가능한 명령들을 실행할 수 있다. 한 실시예에서, 하나 이상의 프로세서들(106)은 차량(100)이 표면(122)을 내비게이션할 수 있도록 바퀴(124)의 조향(steering)을 조절하고 스로틀(throttle)을 제어할 수 있다.
이제 도 2를 참조하면, 오도메트리 결합(odometry fusion)과 함께 특징 추출 알고리즘을 통합하는 위치추정 시스템을 위한 일련의 기능들의 흐름도가 개략적으로 도시되어있다. 도시된 실시예에서 기능들이 특정 순서로 열거되고 도시되었지만 상기 기능들은 본 개시의 범위를 벗어나지 않고 다른 순서로 수행될 수 있음을 알아야한다. 또한, 여기에 설명된 실시예들의 범위를 벗어나지 않고 하나 이상의 기능들이 생략될 수 있다는 것을 유의해야한다.
예시적인 목적으로, 이용된 위치추정 시스템(200)의 예가 또한 본 개시의 필수 부분을 형성하는 위치추정 시스템의 도 2에서 밝혀진 블록도에 도시되어있다. 예시된 시스템은 창고 내의 공지된 위치(즉, 시드)로부터 개시하여 결합 오도메트리로 추측 항법(dead reckoning)을 함으로써 작동한다. 추측 항법과 연관된 에러를 수정하기 위해, 천장을 바라보는 카메라가 매핑된 특징들과 맞춰질 것이고 교정 피드백을 제공하도록 독립적인 데이터를 사용할 것이다. 예를 들면, 시스템(200)은 이더넷(204)과 같은 통신 결합 시스템을 따라 이미지 처리 천장 조명 추출 시스템(206)에 연결된 카메라(202)를 포함한다. 제한적이 아닌 예로서, 이미지 처리 천장 조명 추출 시스템(206)은 4Hz로 동작할 수 있으며, 오버헤드 특징 또는 조명으로부터 2차원 UV 공간 지점들 또는 이미지들과 같은 특징들을 추출하는 알고리즘을 이용할 수 있다. 시스템(200)은 60Hz에서 작동하는, 예를 들면 60Hz에서 작동하는 IMU-오도메트리 결합(216)을 형성하기 위해 경로(214)를 따라 결합하도록 60Hz에서 작동하는 차량(100)의 오도메트리(212)와 상호 작용하는 차량(100)과 연관된 초기 측정 유닛(IMU)(210)을 더 포함한다. IMU-오도메트리 결합(216)은 예를 들면 연장된 칼만 필터를 통해 배치된 센서 데이터 결합(220)을 생성하도록 경로(218)를 따라 이미지 처리 천장 조명 추출(206)과 결합한다. 조명 맵(208)은 예를 들면 캔 버스 경로(226)를 따라 이동하고 x 좌표, y 좌표, 및 헤딩(heading) 또는 방향과 같은 포즈 데이터를 포함하는 트럭 위치(228)를 결정하기 위해 센서 데이터 결합(220) 및 60 Hz에서 동작하는 와이어 가이던스(222)와 결합한다.
도 3을 참조하면, 프로세스(300)는 위치추정 시스템 동작(300a), 복구 동작(300b), 및 검증 프로세스(300c)를 포함한다. 위치추정 시스템 동작(300a)은 차량(100)의 산출 단계(306)에서 현재의 위치추정 시스템 위치를 산출한 후 공개 단계(308)에서 현재의 위치추정 시스템 위치를 공개하기 위해 새로운 카메라 데이터(302)와 새로운 오도메트리 데이터(304)가 결합되는 것으로 도시된다. 실시예에서, 산업 설비의 재고 이송 표면에 대한 물류 운반 차량의 국부적으로 정해진 위치는 산업 설비에서의 물류 운반 차량의 시드 위치 및 물류 운반 차량과 연관된 추측항법에 기초하여 결정된다. 예를 들면, 카메라로부터의 초기의 카메라 데이터 세트가 사용되고 국부적으로 정해진 위치에 대한 교정 피드백을 제공하기 위해 2차원 UV 공간 정보를 포함한다. 상기 국부적으로 정해진 위치는 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 추적하고 및/또는 적어도 부분적으로 자동화된 방식으로 재고 이송 표면을 따라 물류 운반 차량을 내비게이션하는데 사용된다.
상기 카메라 데이터가 추측항법 에러를 수정하는데 불충분하거나, 또는 상기 시드가 시작하기에 부정확하다면, 상기 시스템은 소실된다. 유사한 도전들이 다른 유형들의 위치추정 시스템들과 연관된다. 실시예에서, 물류 운반 차량은 산업 설비 시드 위치가 부정확한 데이터를 포함하는지 및/또는 카메라 데이터가 추측항법과 연관된 에러를 수정하기에 불충분한지 여부에 기초하여 소실되는 것으로 결정된다. 국부적으로 정해진 상태로 되돌아가는 방법은 알려진 시작 위치로부터 재-시드 위치추정(re-seed localization)으로 될 것이라는 것을 고려해볼 수 있다. 예를 들면, 본 명세서 및 이하에서 더 상세하게 설명되는 알고리즘을 포함하는 전역 위치추정 방법(GLM: global localization method)은, 트럭의 위치가 소실되거나 알 수 없는 때에도 트럭의 위치를 산출하기 위해 (2차원(2D) UV 공간 좌표로 변환된) 카메라에 의해 관측된 조명 배열들 또는 패턴들 및 (3차원 좌표(3D)로 제공된) 카메라의 시각 범위 내의 관측가능한 모든 조명들의 매핑된 전역 위치들의 인식을 이용한다. 이러한 GLM은 예를 들면 기존의 방법으로는 달성할 수 없었던 창고의 높이가 서로 다른 여러 높이의 조명들과 함께 작동한다. 실시예에서, GLM은 복구 동작(300b)과 관련하여 이하에서 설명되는 유사한 프로세스들에 따라, 초기 시드 위치를 찾을 수 있는 독립형 위치추정 시스템으로서 사용될 수 있다.
도 3의 설명은, GLM이 소실 상태로부터 복구하기 위해 어떻게 위치추정 시스템에서 사용되는지를 보여준다. 사용된 위치추정 시스템이 소실되어 산업용 차량의 위치가 알 수 없을 때, GLM은 새로운 카메라 데이터의 별개의 스레드(thread)에서 작동하기 시작한다. GLM은 카메라 데이터에 의해 제공된 2차원(2D) UV 공간 정보를 전역 특징들로서 표시된 맵의 3차원(3D) 조명들과 연관시키고 상기 산업용 차량의 전역 위치를 산출한다. 예를 들면, 복수의 연관된 특징 쌍들이, 2차원 UV 공간 정보를 포함하는 카메라로부터의 초기의 카메라 데이터 세트를 검색하고, UV 공간 정보로부터 쌍들을 형성하고, UV 공간 정보로부터의 각각의 쌍을 산업 시설 맵의 복수의 3차원 전역 특징 지점들 각각으로부터의 쌍과 연관시킴으로써 생성된다. 아래에서 더 상세하게 설명되는 바와 같이, 카메라의 시각 범위 내의 각각의 연관된 특징 쌍에 대한 차량 포즈가 산출되고, 상기 복수의 연관된 특징 쌍의 최고 등급 쌍에 기초한 물류 운반 차량의 최상의 추정 포즈가 산출된다. 아래에 기술된 바와 같이, 물류 운반 차량과 연관된 축적된 오도메트리를 사용하여 상기 최상의 추정 포즈를 현재의 국부적으로 정해진 위치로 갱신하고, 시드 위치가 상기 현재의 국부적으로 정해진 위치로 설정된다. 물류 운반 차량의 내비게이션은 재고 이송 표면을 따라 추적되고 및/또는 물류 운반 차량은 현재의 국부적으로 정해진 위치를 이용하여 적어도 부분적으로 자동화된 방식으로 재고 이송 표면을 따라 내비게이션된다.
실례로, GLM이 작동하는 동안 위치추정 시스템의 스레드에서 산업용 차량에 대한 오도메트리 데이터가 축적된다. GLM이 계속되면 축적된 오도메트리를 사용하여 GLM으로부터 산출된 포즈를 산업용 차량의 현재 위치로 갱신한다. 이러한 산업용 차량 위치는 검증 상태에서 위치추정 시스템을 시드하는데 사용된다. 위치추정 시스템 검증 상태에서, 위치추정 시스템은 정상적으로 작동할 것이지만, 그 현재 위치를 공개하지 않을 것이다. 예를 들면 창고에서 특정 수의 조명과 같은 임계값을 매칭시켜 상기 검증이 성공했을 때, 위치추정 시스템은 현재 포즈를 공개하기 시작할 수 있다.
실례로, 도 3을 참조하면, 단계(310)에서 현재 위치가 소실되었다고 판단되면, 복구 동작(300b)이 시작된다. 복구 동작(300b)은 단계(312)에서 축적 오도 메트리를 소거하고 단계(314)에서 전역 위치추정 방법(GLM)을 적용하는 단계를 포함한다. GLM의 적용은 새로운 카메라 데이터(316)를 사용하여 현재 위치를 산출하고, 상기 방법이 단계(324)에서 성공적인지를 결정하는 것을 포함한다. 그렇지 않은 경우, 상기 방법이 성공할 때까지 GLM이 다시 적용된다. 상기 방법이 성공적일 때, 새로운 오도메트리 데이터(318)가 단계(320)의 추측항법 축적된 오도메트리와 함께 사용되어 단계(324)의 성공적인 GLM으로 단계(326)에서 적용되는 축적된 오도메트리(322)를 제공하여 단계(328)에서 현재 위치추정 시스템 위치를 산출한다.
단계(308)에서 상기 위치를 공개하기 전에 단계(328)의 산출된 위치를 검증하도록 검증 프로세스(300c)가 적용될 수 있다. 예를 들면, 새로운 카메라 데이터(330) 및 새로운 오도메트리 데이터(332)가 단계(328)에서 현재 위치추정 시스템 위치를 산출하는데 사용되고, 매칭되는 새로운 전역 특징들이 단계(334)에서 기록되고 카운트된다. 단계(336)에서 차량(100)이 소실되면, 복구 동작(300b)이 다시 시작된다. 차량(100)이 소실되지 않고 매칭되는 새로운 전역 특징들의 총계가 임계값을 초과한다면, 하기에서 더욱 상세히 기술될 바와 같이, 검증 상태는 단계(338)에서 완료된 것으로 간주되고, 위치추정 시스템은 단계(308)에서 위치 데이터를 공개하기 위해 검증 상태를 나간다. 단계(338)에서 검증 단계가 완료된 것으로 간주되지 않으면, 검증 프로세스(300c)는 검증 단계가 완료된 것으로 간주될 때까지 계속된다.
이하의 본 개시는 위치추정 시스템 스레드(또는 위치추정 시스템으로서 이용되는 별개의 GLM 스레드)로부터 축적 오도메트리를 성공적인 GLM 복구 스레드에 적용하는 것을 수집하는 방법과 프레임워크와 함께 알고리즘 및 필터링 프로세스를 포함하는 GLM을 보다 상세하게 설명한다. 또한, 위치추정 시스템 검증 알고리즘 또는 방법이 보다 상세하게 설명되고 기술된다.
도 4를 참조하면, 카메라가 관측하는 범위로부터 및 전역 특징 지점들을 나타내는 3D 좌표의 전역 맵으로부터 대응하는 3차원(3D) 좌표들과 연관되는 2차원 UV 공간 좌표에서 카메라에 의해 관측된 특징들을 이용하여 산업용 차량의 위치를 결정하는 GLM에서의 단계들의 개요를 도시한다. 이들 연관된 특징들이 매칭된 후 상기 연관된 특징들에 대한 등급(rating) 또는 순위(ranking)를 제공하도록 필터링(filtration)이 일어난다. 예를 들면, 최고 순위의 쌍이 될 수 있는 이들 연관된 특징들(그러한 연관된 특징들은 공지된 2D UV- 공간 좌표 및 전역 3D 좌표를 모두 포함한다)의 쌍은 트랙의 전역 위치를 결정하기에 충분한다.
전반적으로, 도 4는 새로운 카메라 데이터를 포착하는 단계(401)로 시작하는 GLM 개요(400)를 도시한다. 새로운 카메라 데이터는 단계(402)에 도시된 바와 같이, (산업 설비 또는 창고에서 연관된 특징 쌍들의 모든 가능한 조합들도 생성될 수 있지만) 산업 설비 또는 창고에서 연관된 특징 쌍들의 가능한 조합을 생성하기 위해 카메라의 시각 범위 내의 전역 3D 좌표와 연관된 2차원 UV 공간 좌표를 제공한다. 단계(404)에서,이러한 GLM이 적용되는 산업용 차량의 포즈는 각각의 연관된 특징 쌍으로부터 산출된다. 각각의 산출된 포즈는 다른 산출된 포즈들에 대해 순위가 매겨져 등급이 매겨진다. 예를 들면, 단계(406)에서, 각각의 연관된 특징 쌍으로부터의 각각의 산출된 포즈에서의 합 에러(sum error)는 또한 관측된 카메라 뷰의 실제 카메라 데이터와 예측된 카메라 뷰의 비교에 의해 산출되며, 더 낮은 합 에러는 예측된 뷰와 관측된 뷰 사이의 보다 양호한 합 에러를 나타낸다. 시스템 또는 사용자에 의해 설정된 임계값보다 큰 합 에러를 갖는 산업용 차량들에 대한 포즈는 유효하지 않게 매칭되는 것으로 간주되어 필터링된다. 그러한 필터링이 발생되어 단계(410)에서 단일의 포즈가 남을 때까지 단계(408)를 통해 반복되고, 단계(412)에서 GLM 성공을 나타낸다.
산업 설비 또는 창고에서 연관된 특징 쌍들의 가능한 조합들의 생성을 도시하는 도 4의 단계(402)와 관련하여, 도 5 내지 도 8은 상기 단계(402)에 관한 더 상세한 설명을 제공한다. 예를 들면, 산업용 차량 위치가 알려지지 않았거나 소실된 경우, 하기의 도 6에 도시된 바와 같이 창고 맵의 전역 특징들에 대해 하기의 도 5에 도시된 바와 같이 2D UV-공간 특징들을 직접적으로 매칭시키는데 충분한 정보가 없다. 따라서, 2D UV-공간 특징과 한 쌍의 3D 전역 특징들 사이의 모든 가능한 조합은 연관된 특징 쌍들에 대해 생성될 수 있고, 검출된 부정확한 연관된 특징 쌍들은 리스트 또는 생성된 연관된 특징 쌍으로부터 필터링될 수 있다. 산업용 차량의 포즈를 산출하기 위해서는 단순히 한 쌍의 연관된 특징들이 요구되므로, 작업의 중복을 피하기 위해 2D UV 공간 특징들은 고유한 쌍들로 그룹화한다. 예를 들면, 도 5의 A 내지 D의 4 개의 특징들은, 다음의 6 개의 쌍들로 그룹화된다: AB, AD, AD, BC, BD 및 CD.
도 5의 플롯(500)에 도시된 4 개의 2D UV-공간 특징들로부터 도출할 수 있는 6 개의 비-중복 쌍들과 같은 2D UV-공간 특징들의 쌍들이, 도 6의 플롯(600)에 도시된 12 개의 전역 특징들로부터 도출된 쌍들과 같이, 전역 특징들의 쌍들에 연관되겠지만, 영역(602)으로부터 단일의 카메라 프레임에 포착되기에는 물리적으로 너무 멀리 떨어져 있고 따라서 카메라의 뷰 외부에 있게 되는 전역 특징들은 연관된특징 쌍들을 생성하기위한 그러한 연관에 적합하지 않다는 것을 이해해야한다. 실시예에서, 쌍 매칭 알고리즘은 A-B와 같은 UV 공간 특징의 제 1 쌍을 결정하고, A-B:1 내지 A-B:12와 같이 상기 쌍에서 제 1 UV- 공간 특징에 각각의 전역 특징을 연관시킬 것이다. 두 번째 UV-공간 특징은 상기 제 1 연관 특징의 카메라의 최대 시각 범위 내에 있는 각각의 전역 특징과 연관된다. 예를 들면, 도 5 및 도 6을 참조하면, 전역 특징들(1, 2, 3 및 6)이 UV 공간 특징(A)의 최대 시각 범위 내에 있었다면, 예로서 A-B:1에 대한 쌍은 A-B:1-2, A-B:1-3, 및 A-B:1-6이 될 것이다. 이러한 쌍 매칭 알고리즘의 적용은 동일한 카메라 프레임 내에서 관찰할 수 있는 전역 특징들의 모든 가능한 순열을 생성할 수 있게 한다.
도 7을 참조하면, 도 6의 12 개의 전역 특징들의 모든 가능한 전역 특징 쌍들이 차트(700)에 나열되어있다. 모든 가능한 연관된 특징 쌍이 이들 나열된 쌍들로부터 생성된 경우, 아래 수학식 1로 표시된 수식은 792 개의 연관된 특징 쌍들이 된다.
수학식 1:
n의 k 순열
Figure 112017009676561-pct00004
에 관해서는, 가능한 모든 중복되지 않은 연관된 특징 쌍들은
Figure 112017009676561-pct00005
관찰된 UV 쌍들 *
Figure 112017009676561-pct00006
전역 쌍들 = 792 연관된 특징 쌍들이된다.
실시예에서, 분석된 전역 특징 쌍들의 수를 감소시키는 알고리즘은 카메라의 시야 또는 시각 범위에서 볼 수 있는 전역 특징들만을 선택하는데 사용될 수 있다. 예를 들면, 도 7은 카메라의 시각 범위 내에 있는 볼드체의 시각 범위 쌍들을 도시한다. 수학식 1이 도 7의 볼드체 항목들에 적용되면, 상기 수학식은 6(관찰된 쌍들) * 45(볼드체 전역 쌍들) = 270 연관된 특징 쌍들이 된다. 다시 도 6을 참조하면, 영역(802)으로부터의 시각 범위는 점선 원형 라인(804) 내의 영역으로서 도 8의 플롯(800)에 개략적으로 도시되어있다. 중앙 전역 특징 지점과 상기 점선 원형 라인의 가시 범위 내의 모든 다른 전역 특징 지점들 사이에 쌍들이 생성된다. 볼드체의 시각 범위 쌍들은 분석할 전역 특징 쌍들로 선택되며, 수학식 1을 적용하여 다음 결과를 생성한다:
수학식 2:
Figure 112017009676561-pct00007
관찰된 UV 쌍들 *
Figure 112017009676561-pct00008
전역 쌍들 = 180 연관된 측성 쌍들.
따라서 총 792 개의 연관된 특징 쌍들을 분석하는 대신, 도 8의 카메라의 시각 범위 내에서 연관된 특징 쌍들만을 분석할 때 이러한 수가 180 개의 연관된 특징 쌍들의 분석으로 축소된다.
각각의 분석된 연관된 특징 쌍으로부터 산업용 차량의 각 포즈의 산출을 도시하는 도 4의 단계(404)와 관련하여, 도 9 내지 도 11b는 이러한 단계(404)에 관한 더 상세한 설명을 제공한다. 예를 들면, 연관된 특징들의 쌍으로, 산업용 차량의 전역 포즈가 산출될 수 있다. 제 1의 관련 특징 쌍은 UV-공간 특징 쌍과 전역 특징 쌍 사이의 정확한 연관인 것으로 가정될 수 있다. 도 9에 도시된 바와 같이, 산업용 차량이 UV 공간 관측과 매칭할 수 있는 모든 가능한 위치들을 포함하는 전역 특징 지점 주위에 원형 경로가 있을 수 있다.
산업용 차량이 도 9에 도시된 원형 경로 주위를 이동하면, 연관된 카메라가 제 1 전역 특징 지점(1002a) 주위의 원형 경로를 추적하는 제 2 전역 특징 지점을 관측할 것이다. 전역 특징 지점들 모두가 실질적으로 동일한 높이에 있을 때, 도시된 경로는 도 10a의 플롯(1000a)에 도시된 원(1004a)이 될 것이다. 전역 특징 지점들이 상이한 높이들에 있을 때에는, 도 10b의 플롯(1000b)에 도시된 바와 같이, 경로(1004b)는 더욱 왜곡되고 점(1002b) 주위에서 덜 원형이될 것이다. P1은 정확하게 위치되는 것으로 가정되는 제 1 전역 특징 지점일 수 있고, P2는 연관된 특징 쌍의 예측된 제 2 전역 특징 지점에 대한 P1 주위의 경로일 수 있다.
도 11a의 플롯(1100a)을 참조하면, 도 10a의 P1 지점(1102a) 주위의 경로(1104a)로서 플로팅된 바와 같은 제 2 전역 특징 지점의 예측된 UV 공간 경로(P2)는 추가적으로 산업용 차량의 헤딩 또는 방향을 보여주는 라인(1110a)과 함께 관측된 또는 실제의 P2 UV 공간 지점(1106)으로 도시된다. 예를 들면, P1과 관측된 P2 지점 사이의 라인의 각(α)은 UV-공간 플롯 상의 지점(P1)을 가로지르는 수평 라인(1108)에 대한 산업용 차량의 헤딩을 나타낸다. 공지된 산업용 차량의 헤딩으로, 도 9의 원형 경로 상에 또는 내에 산업용 차량의 정확한 위치가 산출될 수 있다.
도 11b의 플롯(1100b)을 참조하면, 유효하지 않은 연관된 특징 쌍이 도시된다. 예를 들면, 라인(1108)에 대한 헤딩의 요(yaw) 또는 각(α)은 도 11a에 도시된 것과 여전히 동일하다. 그러나, (P1 지점(1102b)에 대해 도시된 바와 같이) 경로(1104b)를 따른 P2의 예측된 값은 라인(1110b)을 따라 관측된 P2 지점(1106)과 다르다. 이러한 에러는 단계(406)의 필터링 및 등급과 관련하여 하기에 기술되는 알고리즘에 발견되어 반영된다.
실시예들에서, 실행할 때, 전술한 휴리스틱 알고리즘과 유사하지만 훨씬 더 분석적인 알고리즘이 산업용 차량의 포즈 또는 잠재적 포즈들의 동일한 산출을 수행하기 위해 채용될 수 있다. 예를 들면, 관측 카메라로부터 확장되어 각각의 UV 공간 특징 지점들과 교차하는 두 개의 벡터들이 전역 공간에 생성된다. (카메라가 위치되어 있는) 산업용 차량이 도 9에 도시된 경로의 어느 곳이든 있게 되면 제 1 벡터가 제 1 전역 특징 지점을 통과한다.
아래의 수학식 3은 도 11a-11b와 관련하여 전술한 바와 유사한 분석을 이용하여 산업용 차량의 요를 산출하는데 사용될 알고리즘을 설명한다. 산업용 차량의 피치, 롤 및 높이를 알고 있어야하며, 고정된 특징(예를 들면, 상기 쌍의 제 1 UV 공간 특징 지점)에 대한 요 회전이 산출되어 제 2 벡터가 제 2 전역 특징 지점과 교차한다 .
수학식 3:
N을 두 개의 3D 벡터의 외적이라고 하고;
T를 요 회전의 목표 3D 지점이라고 함;
Figure 112017009676561-pct00009
;
Figure 112017009676561-pct00010
; 및
Figure 112017009676561-pct00011
산업용 차량의 산출된 요는 예를 들면 도 9에 도시된 원형 경로 내에 산업용 차량의 x 및 y 위치를 산출하는데 사용된다. 수식이 정의되지 않은 경우 및/또는 결과적 포즈가 제 2 전역 특징을 관측 카메라의 시각 범위 밖에 있게 되도록 하는 경우, 연관된 특징 쌍은 유효하지 않은 것으로 가정되며, 하기에 더 설명될 바와 같이, 낮은 등급으로 주어질 수 있거나 및/또는 잠재적인 현재 위치 포즈로부터 필터링될 수 있다.
산업용 차량의 각각의 포즈를 분석하고 산출하기 위해, 수학식 3에 기재된 알고리즘이 각각의 관련 특징 쌍에 대해 실행된다. 예를 들면, 수학 식 2를 참조하면, 분석할 180 개의 연관된 특징 쌍이 있다면, 수학식 3의 알고리즘은 산업용 차량에 대한 180 개의 각각의 산출된 잠재적 포즈를 찾도록 180회 실행될 것이다.
현재의 산업용 차량 전역 위치로서 선택하기 위해 단일의 포즈가 남을 때까지 산업용 차량의 산출된 포즈들의 필터링 및 등급 도시하는 도 4의 단계(406, 408 및 410)과 관련하여, 도 12a 및 도 12b는 이 단계들에 관해 더 상세한 설명을 제공한다. 예를 들면, 수학식 3의 알고리즘의 결과는 알고리즘이 실행되는 각각의 연관된 특징 쌍에 대한 산업용 차량에 대한 예측된 포즈이다. 단계(402)와 관련하여 상술한 바와 같은 연관된 특징 쌍들의 생성 방법으로 인해, 상기 연관된 특징 쌍들의 대부분은 관측된 전역 특징이 아닌 예측된 전역 특징을 갖고 부정확하게 매칭될 것이다. 이로 인해 산업용 차량의 위치 또는 방위가 부정확하게 된다. 예를 들면, 아래의 표 1은 필터링 프로세스를 진행하고 있는 복수의 연관된 특징 쌍들의 일부의 샘플 리스팅을 나타낸다.
Figure 112017009676561-pct00012
표 1 : 필터링 프로세스의 연관된 특징들
실시예에서, 필터링의 제 1 라운드는 단계(404)에서 만들어진 연관된 특징 쌍에 대한 잠재적 포즈의 각 산출의 끝에서 실행된다. 예를 들면, 연관된 특징 쌍으로부터의 산업용 차량의 잠재적 포즈가 산출된 후, 제 2 연관된 특징(예를 들면, 제 2 전역 특징 지점)의 유효성이 테스트된다. 상기 제 2 전역 특징 지점(1204a 또는 1204b)은 도 12a-12b의 플롯(1200a 또는 1200b)에 도시된 바와 같이 UV-공간 플롯 상에 예측된 지점으로서 투영되고 그 관측된 UV-공간 대응부(1202a 또는 1204b)와 비교된다. 예측된 제 2 전역 특징 지점들과 관측된 제 2 전역 특징 지점들 사이의 거리가 시스템의 최대 노이즈보다 크다면, 각각의 비교된 산출된 산업용 차량의 잠재적 포즈는 유효하지 않은 것으로 필터링된다.
산업용 차량의 남아있는 산출된 잠재적 포즈들은 각각의 산출된 포즈를 생성하는데 사용되는 UV 공간 특징들의 각 쌍과 매칭되며 다른 관측된 특징들의 어떠한 것도 고려하지 않는다. 도 12a-12b에 도시된 바와 같이, 산업용 차량의 각각의 포즈에서 예상되는 UV 공간 특징들은 산업 시설 또는 창고의 3D 전역 특징들의 맵을 사용하여 산출된다. 관측된 UV 공간 특징들은 가장 가까운 예상된 또는 예측된 UV 공간 특징과 매칭되고, (도 12a 및 도 12b의 d1 및 d2와 각각 같은) 모든 각각의 예상된 및 관측된 특징들 사이의 픽셀 거리가 산출되어 합 에러 값으로서 기록된다. 예를 들면, 도 12a는 89.5 픽셀의 합 에러를 보여주고, 도 12b는 242.8 픽셀의 합 에러를 보여준다. 래킹 시스템(racking system) 등을 통해 피처링의 뷰 가능성을 제공하면서 뚜렷한 뷰들로 산업용 차량의 포즈들에 올바르게 조력(favor)하도록 불분명한 뷰가 될 것으로 예상되는 각각의 관측된 UV-공간 특징에 대해 추가적인 에러가 부가된다.
최대 관측 노이즈의 합보다 높은 합 에러를 갖게 되는 산업용 차량의 산출된 포즈는 필터링된다. 남아있는 포즈들은 상기 포즈들을 평가하고 분류하도록 합 에러에 기초하여 내림차순으로 정렬된다. 단계(402)의 각 관찰 쌍은 따라서 동일한 포즈가 되도록 정확하게 연관될 수 있다. 하지만 각각의 실행에서, 카메라와 특징 추출 에러와 수학식 3의 알고리즘 한계에 기인하여, 그 결과적인 연관된 특징 쌍들 모두가 정확한 포즈될 수 있는 것은 아니다.
실시예들에서, 필터링되지 않았던 포즈들로부터 가장 낮은 합 에러를 갖는 별개의 트럭 포즈들이, 산업용 차량의 중복 포즈들을 제거하기 위해 포즈 간 거리 임계치를 사용하면서, 산업용 차량의 가능한 현재 위치들로서 선택된다. 예를 들면, 위의 표 1과 관련하여, 첫 번째 나열된 포즈는 다른 모든 나열된 포즈들 중 최저 합 에러를 갖기 때문에 산업용 차량의 가능한 현재 포즈로서 선택된다. 상기 첫 번째 선택된 포즈의 헤딩 공차 및 위치 공차 내에 있는 나머지 남아있는 포즈들은 중복된 것으로 간주되어 상기 산업용 차량의 가능한 포즈들의 리스트로부터 제거될 수 있다. 예를 들면, 표 1에 있는 산업용 차량의 남아있는 위치들 중 어떠한 것이 1.5 미터 내에 있고 상기 첫 번째로 선택된 포즈 위치의 1 도(degree) 내에 있으면, 이들 남아있는 위치들은 중복으로 간주될 것이고, 여기에서 필터링 및 평가(filtration and rating)이 적용된 후 상기 산업용 차량의 가능한 포즈들 또는 위치들의 최종 리스트에 포함되지 않을 것이다.
도 13을 참조하면, 상술한 GLM이 도 4에 도시된 바와 같이 작동하지만 산업용 차량이 여전히 이동될 수 있다는 사실을 설명하는 축적된 오도메트리 프로그램 플로우 또는 시스템(1300)이 도시된다. 많은 가능한 특징들(전역 및 UV 공간 모두에서)을 포함하는 대규모 산업 시설 현장 또는 창고에서, GLM은 상술한 바와 같이 각각의 선택된 및/또는 가능한 연관된 특징 쌍을 분석하기 위해 1분 미만에서 수 분까지와 같이 일정 시간이 걸릴 수 있다. 도 13의 오도메트리 축적 시스템은 GLM의 시작 위치와 산업용 차량의 현재 위치 사이의 이러한 시간 동안 상기 산업용 차량에 의해 주행된 거리를 추적할 수 있다.
도 13을 참조하면, 위치추정 시스템 소실 이벤트(1300a)가 발생하면, 축적된 오도메트리가 단계(1312)에서 소거된다. GLM은 단계(1314)에서 새로운 카메라 데이터(1316)를 통해 적용된다. 단계(1314)의 GLM이 단계(1324)에서 성공적이지 않은 것으로 판정되면, 프로세스는 단계(1312)로부터 반복된다. 새로운 오도메트리 데이터(1318)는 단계(1320)에서 축적된 오도메트리를 조절하고 단계(1322)에서 현재의 축적된 오도메트리를 산출하는데 사용된다. 단계(1314)의 GLM이 단계(1324)에서 성공한 것으로 판정되면, 단계(1322)의 축적된 오도메트리는 단계들(1314 및 1324)로부터의 GLM 결과와 결합되고, 단계(1326)에서 추측항법으로 된다. 단계(1326)의 결과는, 예를 들면 도 3의 검증 프로세스(300c)와 관련하여 전술한 바와 같이 및 도 14의 흐름도(1400)와 관련하여 이하에서 더 설명되는 바와 같이, 위치추정 시스템 검증 프로세스 단계(1300c)를 통해 검증되도록 전송된다.
실시예에서, GLM은 위치추정 시스템에서 별개의 스레드로서 작동된다. 예를 들면,도 4와 관련하여 기술된 바와 같이, GLM의 알고리즘이 작동되어 실행되는 동안, 주 위치추정 시스템 스레드는 원점으로부터 작동하도록 0도 헤딩(0 degree heading)을 갖는 (0,0) 지점으로부터 추측항법(dead reckon)이 시작될 수 있다. GLM이 성공적일 때, 원점으로부터의 새로운 현재의 추측항법 위치가, 상기 산업용 차량의 공지된 시작 위치, 더 정확히 말하면 GLM에 의해 산출된 현재 포즈 상으로 전치될 축적된 오도메트리에 반영된다. GLM이 실패하면, 주 위치추정 시스템 스레드 상의 추측항법(dead reckoning)은 프로세스가 시작되기 전에 축적된 오도메트리를 제로 아웃(zero out)하거나 또 다른 새로운(또는 최신의) 카메라 프레임에서 재 시도될 것이다.
도 14를 참조하면, 위치추정 시스템 검증 프로그램 흐름도(1400)가 도시되어 있으며, 포즈를 공개하고 위치추정 시스템에서 정상적인 동작을 계속하기 전에 GLM에 의해 산출된 산업용 차량의 포즈의 정확도 및 정확성을 확인하기 위해 제공될 수있다. 따라서 작업자에게 산업용 차량의 포즈를 알리기 전에 위치추정 시스템이 건강하고 정확한 작동 상태인지를 확인하기 위한 점검이 이루어진다. 검증을 통해, 위치추정 시스템은 단계(1426)에서 GLM으로부터의 포즈로 시드되지만(더 정확히 말하면 재 시드되지만), 현재 위치를 보고하거나 공개하지 않는다. 도 14의 단계(1428)에서, 도 14에서, 복수의 고유한 전역 특징들이 매칭되고 기록된다. 이러한 고유한 전역 특징들의 수가 임계치를 초과하면, 위치추정 시스템은 단계(1438)에서 검증 상태를 빠져 나와 위치 데이터를 공개하기 시작한다. 고유한 전역 특징들의 수에 대해 선택된 특정 임계값은 산업용 차량 및 산업용 차량이 사용되는 산업 설비와 연관된 다양한 작동 요구사항에 의존할 수 있음을 이해해야한다. 예를 들면, 창고와 같은 산업 시설의 전형적인 통로에서 천장 조명의 수와 임계값을 동일시하는 것이 바람직할 수 있다. 대안적으로 또는 부가적으로, 임계값은 검증 상태의 유효성을 모니터링하면서 시행착오를 통해 적어도 부분적으로 확립될 수 있다.
부정확한 산업용 차량의 시드 또는 GLM 산출된 현재 포즈에 대해, 도 14의 단계(1428)는 일치율이 제로로 떨어짐에 따라 새로운 전역 특징들과 매칭할 수 없게 되어, (단계(1400b)에서 복구 플로우로 되돌아 가도록) 단계(1436)에서 위치추정 시스템이 소실되고 및/또는 단계(1438)에서 검증이 실패한다. 단계(1438)에서 검증이 실패하면, 단계(1428)에서 정확한 시드가 분석되어 산출된 현재 위치추정 시스템 위치를 제공할 때까지 위치추정 시스템은 새로운 카메라 데이터 세트(1430)를 사용하여 GLM을 통해 단계(1426)에서 새로운 시드를 수신하려고 할 것이며, 단계(1436)에서 소실되지 않았다면, 단계(1438)에서 검증되어 완료된 검증으로 되고 단계(1400a)에서 정상 위치추정 시스템 동작으로 복귀한다.
여기에 기술된 GLM 알고리즘의 실시예들은 천장의 입력 이미지들에서 포착된 물체들로부터 특징들을 추출하도록 이용될 수 있다는 것을 이해해야한다. 따라서, 예를 들면, 천장 조명과 같이 천장에서 검출될 수 있는 물체는 위치추정 시스템에보고될 수 있는 특징을 생성하기 위해 이용될 수 있다. 위치추정 시스템은 차량의 포즈, 차량의 위치, 또는 둘 모두를 결정하기 위해 상기 입력 이미지로부터 보고된 특징들을 이용할 수 있다. 예를 들면, 보고된 특징들은 결합하여 이용될 수 있는 센터 라인 및 지점 특징을 포함할 수 있다. 따라서, 차량의 포즈 및 위치는 내비게이션, 동시 위치추정 및 매핑(SLAM) 등을 위한 파라미터로서 이용될 수 있다.
실시예에서, GLM은 위치추정 시스템과 함께 동작하는 복구 스레드 또는 메카니즘이 될 수 있다. 다른 실시예에서, GLM은 차량 포지셔닝(positioning) 또는 내비게이션 시스템을 위한 독립형 위치추정 알고리즘(standalone localization algorithm)이 될 수 있어, 종래의 위치추정 시스템 대신에 및/또는 그 이상의 일정한 환경 조건에 대해 보다 신뢰가능한 위치추정의 방법을 제공할 수 있다. 실시예에서, GLM의 알고리즘은 위치추정 시스템 위치를 검증하고 더 높은 안전 표준을 만족시키는 검증 메커니즘으로서 기능하도록 위치추정 시스템과 병렬로 실행될 수 있다. 여기에 설명된 하나 이상의 GLM 알고리즘은 이에 한정되지는 않지만 RFID 기반 위치추정 시스템을 포함하는 다양한 다른 차량 포지셔닝 및/또는 내비게이션 시스템과 함께 사용될 수 있음을 이해해야한다. 또한, 여기에 기술된 하나 이상의 GLM 알고리즘은 예를 들면 리프트 트럭과 같은 산업용 차량의 리프트 높이 및/또는 속도와 같은 산업용 차량의 특정 기능을 제어하는 것을 지원하기 위해 사용될 수 있다. 본 명세서에 설명된 GLM의 하나 이상의 알고리즘은 또한 다양한 차량 포지셔닝 및/또는 내비게이션 시스템을 위한 진단 도구로서 이용될 수 있음을 이해해야한다.
따라서, 위치추정 시스템 및/또는 GLM은 차량의 내비게이션을 위한 특징들을 제공하기 위해 이용될 수 있거나, 위치추정 시스템 및/또는 GLM에 통신 가능하게 결합된 디스플레이에 의해 제공될 수 있다. 차량에 의해 내비게이션되는 특정 사이트에 따라 GLM 알고리즘의 각 기능에 대해 구성될 수 있는 복수의 파라미터(예를 들면, 임계값)가 있음을 유의해야한다. 따라서, 본 명세서에 기재된 실시예들은 파라미터들에 대한 정확한 값을 결정하기 위한 교정 스테이지를 더 포함할 수 있다.
또한, 본 명세서에서 "적어도 하나의" 구성요소, 요소 등의 설명은 단수 표현의 대체 사용이 단일의 구성요소, 요소 등으로 제한되어야 한다는 추론을 야기하는데 사용되어서는 안 된다는 것을 유의해야한다. 예를 들면, "구동 메카니즘"의 설명은 단일의 구동 메카니즘에 한정되지 않으며, 복수의 독립적인 또는 통합된 구동 메카니즘들의 사용을 의도할 수 있다.
이하의 청구 범위들 중 하나 이상은 전이 또는 도입 구로서 "여기에서", "에 기초하여" 및 "에 의해서" 라는 용어를 사용한다는 것에 유의해야한다. 본 개시를 정의할 목적으로, 이들 용어들은 하나 이상의 청구항의 제한 없는 인용을 도입하기 위해 사용되는 제한 없는 과도기적 또는 도입 구로서 청구 범위에 도입되며, 더욱 보편적으로 사용되는 개방형 용어인 "포함하는"과 유사한 방식으로 해석되어야한다. 예를 들면, 설명된 변수에 기초하여 본 명세서에 기술된 산출은 적어도 부분적으로 이들 변수에 기초할 수 있다. 또한, 본 명세서에서 번호가 매겨진 청구항 단락은 단계의 특정 순서를 함축하지 않는다.
본 개시를 기술하고 정의할 목적으로, 본 명세서에서 파라미터의 "함수"인 변수는 또는 다른 변수에 대한 언급은 그 변수가 나열된 파라미터 또는 변수의 함수임을 배타적으로 나타내는 것은 아니라는 것을 유의해야한다. 오히려, 나열된 파라미터의 "함수"인 변수에 대한 본 명세서에서의 언급은 변수가 단일 파라미터 또는 복수의 파라미터의 함수가될 수 있도록 개방형으로 의도된다.
특정한 특징을 구체화하거나 특정 방식으로 기능하도록 특정 방식으로 "구성되는" 또는 "프로그램되는" 본 개시의 구성요소에 대한 본 명세서의 언급은 의도된 용도의 언급과는 대조적으로 구조적 언급이라는 것을 유의해야한다. 보다 구체적으로, 본 명세서에서 구성요소가 "구성되는" 또는 "프로그램되는" 방식의 본 명세서에서의 설명은 구성요소의 존재하는 물리적 조건을 나타내며, 그 자체로 구성요소의 구조적 특징의 명확한 인용으로 간주되어야한다.
본 개시를 기술하고 정의하기 위해, "실질적으로" 및 "대략적으로" 라는 용어는 임의의 정량적 비교, 값, 측정 또는 다른 표현에 기인할 수 있는 고유한 불확실성의 정도를 나타내기 위해 본 명세서에서 이용된다. "실질적으로" 및 "대략적으로"라는 용어는 또한 본 명세서에서 문제에서의 주제의 기본 기능을 변화시키지 않으면 서 정량적인 표현이 명시된 기준과 다를 수 있는 정도를 나타내기 위해 본원에서 이용된다.
본 명세서에서는 특정 실시예가 도시되고 설명되었지만 청구 범위의 요지 및 범위를 벗어나지 않고 다양한 다른 변경 및 수정이 이루어질 수 있음을 이해해야한다. 또한, 청구된 주제의 다양한 양태가 본 명세서에 설명되었지만, 그러한 양태는 조합하여 이용될 필요는 없다. 그러므로, 첨부된 청구 범위는 청구된 주제의 범위 내에 있는 그러한 모든 변경 및 수정을 포함하는 것으로 의도된다.

Claims (27)

  1. 카메라, 하나 이상의 차량용 프로세서들, 재고 이송 표면(inventory transit surface)을 따라 물류 운반 차량을 이동시키도록 구성된 구동 메카니즘, 산업 시설의 보관 구역(storage bay)에서 물품을 보관하고 회수하도록 구성된 물류 운반 메카니즘, 및 상기 구동 및 물류 운반 메카니즘들과 통신하는 차량 제어 아키텍처를 포함하는 상기 물류 운반 차량에 있어서:
    상기 카메라는 상기 하나 이상의 차량용 프로세서들에 통신 가능하게 결합되고 오버헤드 특징들의 입력 이미지를 포착(capture)하고;
    산업 시설 맵(industrial facility map)은 상기 오버헤드 특징들의 매핑과 연관된 복수의 3차원 오버헤드 전역 특징 지점들(three-dimensional overhead global feature points)을 포함하고;
    상기 물류 운반 차량의 하나 이상의 차량용 프로세서들은:
    (i) 복수의 오버헤드 연관된 특징 쌍들을 생성하는 것으로서,
    2차원 UV 공간 정보를 포함하는 카메라로부터의 오버헤드 특징들을 포함하는 초기의 입력 이미지를 검색하고 - U 및 V는 각각 2차원 공간에서의 차원에 대응함 -;
    상기 입력 이미지의 상기 2차원 UV 공간 정보의 오버헤드 특징들로부터의 지점들을 쌍으로 하여 복수의 오버헤드 특징 쌍들을 형성하고;
    상기 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들을 상기 산업 시설 맵의 상기 복수의 3차원 오버헤드 전역 특징 지점들을 쌍으로 하여 형성된 오버헤드 전역 특징 지점 쌍들과 연관시킴으로써 - 제 1 오버헤드 특징 쌍은 제 1 오버헤드 전역 특징 지점 쌍과 연관되어 복수의 오버헤드 연관된 특징 쌍들의 제 1 오버헤드 연관된 특징 쌍을 형성하도록, 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들의 제 1 오버헤드 특징 쌍은 3차원 오버헤드 전역 특징 특징 지점들의 제 1 쌍을 쌍으로 하여 형성된 제 1 오버헤드 전역 특징 지점 쌍과 연관됨 -, 복수의 오버헤드 연관된 특징 쌍들을 생성하고;
    (ii) 상기 카메라의 시각 범위 내에서, 상기 복수의 오버헤드 연관된 특징 쌍들 각각으로부터 차량 포즈(vehicle pose)를 산출하고;
    (iii) 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들과 산업 시설 맵으로부터 형성된 대응하는 오버헤드 전역 특징 지점 쌍들 사이의 매칭에 등급을 매겨, 상기 복수의 오버헤드 연관된 특징 쌍들 중 최고 매칭 등급의 쌍(highest match-rated pair)에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈(best estimate pose)를 산출하고;
    (iv) 상기 최상의 추정 포즈를 물류 운반 차량의 현재의 국부적으로 정해진 위치(current localized position)로 갱신하도록 상기 물류 운반 차량의 축적된 오도메트리(odometry)를 사용하고;
    (v) 상기 재고 이송 표면을 따라 상기 물류 운반 차량의 내비게이션을 추적하거나, 또는 적어도 부분적으로 자동화된 방식으로 상기 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하기 위해, 상기 현재의 국부적으로 정해진 위치를 이용하는,
    차량 기능들을 실행하는, 물류 운반 차량.
  2. 제 1 항에 있어서,
    상기 하나 이상의 차량용 프로세서들은 또한, 상기 현재의 국부적으로 정해진 위치를 갱신하기 전에, 상기 현재의 국부적으로 정해진 위치를 검증(validate)하는 차량 기능을 실행하며, 그러한 검증은:
    (i) 현재의 국부적으로 정해진 위치가 검증되도록 그 수치가 임계치를 초과할 때까지 각각의 데이터 연관 단계 후에 고유한 전역 특징 지점들의 수를 기록하는 기능을 포함하는, 물류 운반 차량.
  3. 제 1 항에 있어서,
    상기 하나 이상의 차량용 프로세서들은 또한, 상기 현재의 국부적으로 정해진 위치를 갱신한 후에, 디스플레이 상에 상기 현재의 국부적으로 정해진 위치를 공개(publish)하기 위한 차량 기능을 실행하는, 물류 운반 차량.
  4. 제 1 항에 있어서,
    상기 하나 이상의 차량용 프로세서들은 또한:
    (i) 상기 물류 운반 차량이 소실됐는지를 판정하고;
    (ii) 상기 물류 운반 차량이 소실된 것으로 판정되면, 상기 카메라로부터 후속하는 카메라 데이터 세트를 검색하고, 상기 물류 운반 차량이 발견될 때까지 상기 카메라로부터의 초기의 카메라 데이터 세트 대신에 상기 카메라로부터의 상기 후속하는 카메라 데이터 세트로 제 1 항의 기능들 (i) 내지 (v)를 반복하는,
    차량 기능들을 실행하는, 물류 운반 차량.
  5. 제 4 항에 있어서,
    상기 물류 운반 차량이 소실됐는지를 판정하는 것은 상기 현재의 국부적으로 정해진 위치가 부정확한 데이터를 포함하는지의 여부에 기초하여 상기 물류 운반 차량이 소실됐는지를 판정하는 것을 포함하는, 물류 운반 차량.
  6. 제 4 항에 있어서,
    상기 물류 운반 차량이 소실됐는지에 대한 판정은 상기 카메라 데이터가 상기 축적된 오도메트리와 연관된 에러를 수정하기에 불충분한지의 여부에 적어도 부분적으로 기초하는, 물류 운반 차량.
  7. 제 4 항에 있어서,
    상기 복수의 오버헤드 연관된 특징 쌍들은:
    (i) UV 공간 정보 쌍들을 생성하고;
    (ii) 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 1 UV 공간 특징과 연관시키고;
    (iii) 상기 카메라의 최대 시각 범위 내의 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 2 UV 공간 특징과 연관시키는 것을 포함하는,
    데이터 연관 단계들에 의해 생성되는, 물류 운반 차량.
  8. 제 1 항에 있어서,
    상기 카메라의 시각 범위 내에서 각각의 연관된 특징 쌍에 대한 차량 포즈의 산출은 전역 위치추정 알고리즘(global localization algorithm)의 사용에 적어도 부분적으로 기초하며, 상기 전역 위치추정 알고리즘은 고정된 특징(anchored feature)을 포함하는 연관된 특징 쌍의 제 1 UV 공간 특징에 대한 상기 차량의 요(yaw)를 산출하는 수식을 포함하고, 상기 수식은:
    (i) N은 두 3D 벡터의 외적(cross product)이고;
    (ii) T는 요 회전(yaw rotation)에 대한 목표 3D 지점이고;
    Figure 112017009676561-pct00013
    ,
    Figure 112017009676561-pct00014
    ; 및
    Figure 112017009676561-pct00015

    을 포함하는, 물류 운반 차량.
  9. 제 8 항에 있어서,
    상기 복수의 오버헤드 연관된 특징 쌍들 중 최고 등급의 쌍에 기초한 물류 운반 차량의 최상의 추정 포즈의 산출은 각각의 산출된 차량 포즈에 대한 포즈 합 에러(pose sum error)의 산출에 적어도 부분적으로 기초하며, 상기 최고 등급의 쌍은 최하 포즈 합 에러를 갖는, 물류 운반 차량.
  10. 물류 운반 차량 및 관리 서버를 포함하는 시스템에 있어서:
    상기 물류 운반 차량은 카메라, 하나 이상의 차량용 프로세서들, 재고 이송 표면을 따라 상기 물류 운반 차량을 이동시키도록 구성된 구동 메카니즘, 산업 시설의 보관 구역에서 물품을 보관하고 회수하도록 구성된 물류 운반 메카니즘, 및 상기 구동 및 물류 운반 메카니즘들과 통신하는 차량 제어 아키텍처를 포함하며;
    상기 카메라는 상기 하나 이상의 차량용 프로세서들 및 상기 관리 서버에 통신 가능하게 결합되고, 오버헤드 특징들의 입력 이미지를 포착하며;
    상기 하나 이상의 차량용 프로세서들은 상기 관리 서버와 통신 가능하게 결합되고;
    상기 관리 서버에 저장되는 산업 시설 맵이 상기 하나 이상의 차량용 프로세서들에 통신 가능하게 결합되고, 상기 산업 시설 맵은 상기 오버헤드 특징들의 매핑들과 연관된 복수의 3차원 오버헤드 전역 특징 지점들을 포함하며;
    상기 물류 운반 차량의 하나 이상의 차량용 프로세서들은:
    (i) 복수의 오버헤드 연관된 특징 쌍들을 생성하는 것으로서,
    2차원 UV 공간 정보를 포함하는 카메라로부터의 오버헤드 특징들을 포함하는 초기의 입력 이미지를 검색하고 - U 및 V는 각각 2차원 공간에서의 차원에 대응함 -;
    상기 입력 이미지의 상기 2차원 UV 공간 정보의 오버헤드 특징들로부터 지점들을 쌍들로 하여 복수의 오버헤드 특징 쌍들을 형성하고;
    상기 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들을 상기 산업 시설 맵의 상기 복수의 3차원 오버헤드 전역 특징 지점들을 쌍으로 하여 형성된 오버헤드 전역 특징 지점 쌍들과 연관시킴으로써 - 제 1 오버헤드 특징 쌍이 제 1 오버헤드 전역 특징 지점 쌍과 연관되어 복수의 오버헤드 연관된 특징 쌍들의 제 1 오버헤드 연관된 특징 쌍을 형성하도록, 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들의 제 1 오버헤드 특징 쌍은 3차원 오버헤드 전역 특징 특징 지점들의 제 1 쌍을 쌍으로 하여 형성된 제 1 오버헤드 전역 특징 지점 쌍과 연관됨 -, 상기 복수의 오버헤드 연관된 특징 쌍들을 생성하고;
    (ii) 상기 카메라의 시각 범위 내에서, 상기 복수의 오버헤드 연관된 특징 쌍들 각각으로부터 차량 포즈를 산출하고;
    (iii) 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들과 산업 시설 맵으로부터 형성된 대응하는 오버헤드 전역 특징 지점 쌍들 사이의 매칭의 등급을 매겨, 상기 복수의 오버헤드 연관된 특징 쌍들 중 최고 매칭-등급의 쌍에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈를 산출하고;
    (iv) 상기 최상의 추정 포즈를 물류 운반 차량의 현재의 국부적으로 정해진 위치로 갱신하도록 상기 물류 운반 차량의 축적된 오도메트리를 사용하고;
    (v) 상기 재고 이송 표면을 따라 상기 물류 운반 차량의 내비게이션을 추적하거나, 또는 적어도 부분적으로 자동화된 방식으로 상기 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하여, 상기 현재의 국부적으로 정해진 위치를 이용하는,
    차량 기능들을 실행하는, 시스템.
  11. 제 10 항에 있어서,
    상기 하나 이상의 차량용 프로세서들은 또한, 상기 현재의 국부적으로 정해진 위치를 갱신하기 전에, 상기 현재의 국부적으로 정해진 위치를 검증하는 차량 기능을 실행하며, 그러한 검증은:
    (i) 현재의 국부적으로 정해진 위치가 검증되도록 그 수치가 임계치를 초과할 때까지 각각의 데이터 연관 단계 후에 고유한 전역 특징 지점들의 수를 기록하는 기능을 포함하는, 시스템.
  12. 제 10 항에 있어서,
    상기 하나 이상의 차량용 프로세서들은 또한, 상기 현재의 국부적으로 정해진 위치를 갱신한 후에, 디스플레이 상에 상기 현재의 국부적으로 정해진 위치를 공개하기 위한 차량 기능을 실행하는, 시스템.
  13. 제 10 항에 있어서,
    상기 하나 이상의 차량용 프로세서들은 또한:
    (i) 상기 물류 운반 차량이 소실됐는지를 판정하고;
    (ii) 상기 물류 운반 차량이 소실된 것으로 판정되면, 상기 카메라로부터 후속하는 카메라 데이터 세트를 검색하고, 상기 물류 운반 차량이 발견될 때까지 상기 카메라로부터의 초기의 카메라 데이터 세트 대신에 상기 카메라로부터의 상기 후속하는 카메라 데이터 세트로 제 10 항의 기능들 (i) 내지 (v)를 반복하는,
    차량 기능들을 실행하는, 시스템.
  14. 제 13 항에 있어서,
    상기 물류 운반 차량이 소실됐는지에 대한 판정은 상기 현재의 국부적으로 정해진 위치가 부정확한 데이터를 포함하는지의 여부에 적어도 부분적으로 기초하는, 시스템.
  15. 제 13 항에 있어서,
    상기 물류 운반 차량이 소실됐는지에 대한 판정은 상기 카메라 데이터가 상기 축적된 오도메트리와 연관된 에러를 수정하기에 불충분한지의 여부에 적어도 부분적으로 기초하는, 시스템.
  16. 제 13 항에 있어서,
    상기 복수의 오버헤드 연관된 특징 쌍들은:
    (i) UV 공간 정보 쌍들을 생성하고;
    (ii) 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 1 UV 공간 특징과 연관시키고;
    (iii) 상기 카메라의 최대 시각 범위 내의 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 2 UV 공간 특징과 연관시키는 것을 포함하는,
    데이터 연관 단계들에 의해 생성되는, 시스템.
  17. 제 10 항에 있어서,
    상기 카메라의 시각 범위 내에서 각각의 연관된 특징 쌍에 대한 차량 포즈의 산출은 전역 위치추정 알고리즘의 사용에 적어도 부분적으로 기초하며, 상기 전역 위치추정 알고리즘은 고정된 특징을 포함하는 연관된 특징 쌍의 제 1 UV 공간 특징에 대한 상기 차량의 요를 산출하는 수식을 포함하고, 상기 수식은:
    (i) N은 두 3D 벡터의 외적이고;
    (ii) T는 요 회전에 대한 목표 3D 지점이고;
    Figure 112017009676561-pct00016
    ,
    Figure 112017009676561-pct00017
    ; 및
    Figure 112017009676561-pct00018

    을 포함하는, 시스템.
  18. 제 17 항에 있어서,
    상기 복수의 오버헤드 연관된 특징 쌍들 중 최고 등급의 쌍에 기초한 물류 운반 차량의 최상의 추정 포즈의 산출은 각각의 산출된 차량 포즈에 대한 포즈 합 에러의 산출에 적어도 부분적으로 기초하며, 상기 최고 등급의 쌍은 최하 포즈 합 에러를 갖는, 시스템.
  19. 재고 이송 표면을 따라 물류 운반 차량의 내비게이션을 내비게이션(navigating)하거나 또는 추적(track)하는 방법에 있어서:
    상기 물류 운반 차량을 산업 시설의 재고 이송 표면 상에 배치하는 단계로서, 상기 물류 운반 차량은 관리 서버와 통신하고, 상기 물류 운반 차량은 카메라, 하나 이상의 차량용 프로세서들, 상기 재고 이송 표면을 따라 상기 물류 운반 차량을 이동시키도록 구성된 구동 메카니즘, 상기 산업 시설의 보관 구역에 물품들을 보관하고 회수하도록 구성된 물류 운반 메카니즘, 및 상기 구동 및 물류 운반 메카니즘들과 통신하는 차량 제어 아키텍처를 포함하는, 상기 배치하는 단계;
    상기 재고 이송 표면을 따라 상기 물류 운반 차량을 이동시키기 위해 상기 구동 메커니즘을 이용하는 단계;
    상기 물류 운반 차량이 상기 재고 이송 표면을 따라 이동함에 따라 상기 카메라를 통해 상기 산업 시설의 오버헤드 특징들의 입력 이미지를 포착하는 단계;
    천장 조명의 매핑과 연관된 복수의 3차원 오버헤드 전역 특징 지점들을 포함하는 산업 시설 맵을 제공하는 단계;
    복수의 오버헤드 연관된 특징 쌍들을 생성하는 단계로서,
    2차원 UV 공간 정보를 포함하는 카메라로부터의 오버헤드 특징들을 포함하는 초기의 입력 이미지를 검색하는 단계 - U 및 V는 각각 2차원 공간에서의 차원에 대응함 -;
    상기 입력 이미지의 상기 2차원 UV 공간 정보의 오버헤드 특징들로부터의 지점들을 쌍으로 하여 복수의 오버헤드 특징 쌍들을 형성하는 단계;
    상기 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들을 상기 산업 시설 맵의 상기 복수의 3차원 오버헤드 전역 특징 지점들을 쌍으로 하여 형성된 오버헤드 전역 특징 지점 쌍들과 연관시킴으로써 - 제 1 오버헤드 특징 쌍이 제 1 오버헤드 전역 특징 지점 쌍과 연관되어 복수의 오버헤드 연관된 특징 쌍들의 제 1 오버헤드 연관된 특징 쌍을 형성하도록, 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들의 제 1 오버헤드 특징 쌍은 3차원 오버헤드 전역 특징 특징 지점들의 제 1 쌍을 쌍으로 하여 형성된 제 1 오버헤드 전역 특징 지점 쌍과 연관됨 -, 상기 복수의 연관된 특징 쌍들을 생성하는 단계;
    상기 하나 이상의 차량용 프로세서들을 통해, 상기 카메라의 시각 범위 내에서, 상기 복수의 오버헤드 연관된 특징 쌍들 각각으로부터 차량 포즈를 산출하는 단계;
    상기 하나 이상의 차량용 프로세서들을 통해, 2차원 UV 공간 정보로부터의 복수의 오버헤드 특징 쌍들과 산업 시설 맵으로부터 형성된 대응하는 오버헤드 전역 특징 지점 쌍들 사이의 매칭의 등급을 매겨, 상기 복수의 오버헤드 연관된 특징 쌍들 중 최고 매칭 등급의 쌍에 기초하여 상기 물류 운반 차량의 최상의 추정 포즈를 산출하는 단계;
    상기 최상의 추정 포즈를 물류 운반 차량의 현재의 국부적으로 정해진 위치로 갱신하기 위해 상기 물류 운반 차량의 축적된 오도메트리를 사용하는 단계; 및
    상기 하나 이상의 차량용 프로세서들 및 상기 관리 서버를 통해, 상기 재고 이송 표면을 따라 상기 물류 운반 차량의 내비게이션을 추적하거나, 또는 적어도 부분적으로 자동화된 방식으로 상기 재고 이송 표면을 따라 상기 물류 운반 차량을 내비게이션하거나, 또는 양쪽을 수행하기 위해, 상기 현재의 국부적으로 정해진 위치를 이용하는 단계를 포함하는,
    상기 복수의 오버헤드 연관된 특징 쌍들을 생성하는 단계를 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 현재의 국부적으로 정해진 위치를 갱신하기 전에, 상기 현재의 국부적으로 정해진 위치를 검증하는 단계를 더 포함하며,
    상기 검증은:
    현재의 국부적으로 정해진 위치가 검증되도록 그 수치가 임계치를 초과할 때까지 각각의 데이터 연관 단계 후에 고유한 전역 특징 지점들의 수를 기록하는 단계를 포함하는, 방법.
  21. 제 19 항에 있어서,
    상기 현재의 국부적으로 정해진 위치를 갱신한 후에, 디스플레이 상에 상기 현재의 국부적으로 정해진 위치를 공개하는 단계를 더 포함하는, 방법.
  22. 제 19 항에 있어서,
    상기 물류 운반 차량이 소실됐는지를 판정하는 단계;
    상기 물류 운반 차량이 소실된 것으로 판정되면, 2차원 UV 공간 정보를 포함하는 카메라로부터의 후속하는 카메라 데이터 세트를 검색하고, 상기 2차원 UV 공간 정보로부터 쌍들을 형성하고, 복수의 새로운 오버헤드 연관된 특징 쌍들을 생성하기 위해 상기 2차원 UV 공간 정보로부터의 각각의 쌍을 상기 산업 시설 맵의 복수의 3차원 오버헤드 전역 특징 지점들 각각으로부터의 쌍들과 연관시킴으로써, 상기 물류 운반 차량을 찾는 단계;
    상기 하나 이상의 차량용 프로세서들을 통하여, 상기 카메라의 시각 범위 내에서, 각각의 새로운 연관된 특징 쌍들에 대한 차량 포즈를 산출하는 단계;
    상기 하나 이상의 차량용 프로세서들을 통하여, 상기 복수의 새로운 오버헤드 연관된 특징 쌍들 중 최고 등급의 쌍에 기초하여 상기 물류 운반 차량의 새로운 최상의 추정 포즈를 산출하는 단계;
    상기 새로운 최상의 추정 포즈를 새로운 현재의 국부적으로 정해진 위치로 갱신하도록 상기 물류 운반 차량과 연관된 축적된 오도메트리를 사용하는 단계; 및
    상기 새로운 현재의 국부적으로 정해진 위치를 설정하는 단계를 더 포함하는, 방법.
  23. 제 22 항에 있어서,
    상기 물류 운반 차량이 소실됐는지에 대한 판정은 상기 현재의 국부적으로 정해진 위치가 부정확한 데이터를 포함하는지의 여부에 적어도 부분적으로 기초하는, 방법.
  24. 제 22 항에 있어서,
    상기 물류 운반 차량이 소실됐는지에 대한 판정은 상기 카메라 데이터가 상기 축적된 오도메트리와 연관된 에러를 수정하기에 불충분한지의 여부에 적어도 부분적으로 기초하는, 방법.
  25. 제 22 항에 있어서,
    상기 복수의 오버헤드 연관된 특징 쌍들은:
    UV 공간 정보 쌍들을 생성하고;
    각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 1 UV 공간 특징과 연관시키고;
    상기 카메라의 최대 시각 범위 내의 각각의 전역 특징 지점을 각각의 UV 공간 정보 쌍 내의 제 2 UV 공간 특징과 연관시키는 것을 포함하는,
    데이터 연관 단계들에 의해 생성되는, 방법.
  26. 제 19 항에 있어서,
    상기 카메라의 시각 범위 내에서 각각의 연관된 특징 쌍에 대한 차량 포즈의 산출은 전역 위치추정 알고리즘의 사용에 적어도 부분적으로 기초하며, 상기 전역 위치추정 알고리즘은 고정된 특징을 포함하는 연관된 특징 쌍의 제 1 UV 공간 특징에 대한 상기 차량의 요를 산출하는 수식을 포함하고, 상기 수식은:
    (i) N은 두 3D 벡터의 외적이고;
    (ii) T는 요 회전에 대한 목표 3D 지점이고;
    Figure 112017009676561-pct00019
    ,
    Figure 112017009676561-pct00020
    ; 및
    Figure 112017009676561-pct00021

    을 포함하는, 방법.
  27. 제 26 항에 있어서,
    상기 복수의 오버헤드 연관된 특징 쌍들 중 최고 등급의 쌍에 기초한 물류 운반 차량의 최상의 추정 포즈의 산출은 각각의 산출된 차량 포즈에 대한 포즈 합 에러의 산출에 적어도 부분적으로 기초하며, 상기 최고 등급의 쌍은 최하 포즈 합 에러를 갖는, 방법.
KR1020177002627A 2014-06-27 2015-06-25 연관된 특징 쌍들을 이용한 차량 포지셔닝 또는 내비게이션 KR102436081B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462018094P 2014-06-27 2014-06-27
US62/018,094 2014-06-27
PCT/NZ2015/050079 WO2015199554A2 (en) 2014-06-27 2015-06-25 Vehicle positioning or navigation utilizing associated feature pairs

Publications (2)

Publication Number Publication Date
KR20170024072A KR20170024072A (ko) 2017-03-06
KR102436081B1 true KR102436081B1 (ko) 2022-08-25

Family

ID=54072925

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177002627A KR102436081B1 (ko) 2014-06-27 2015-06-25 연관된 특징 쌍들을 이용한 차량 포지셔닝 또는 내비게이션
KR1020177002339A KR101769284B1 (ko) 2014-06-27 2015-06-25 연계된 형태 쌍들을 사용하는 미확인 차량 회수

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177002339A KR101769284B1 (ko) 2014-06-27 2015-06-25 연계된 형태 쌍들을 사용하는 미확인 차량 회수

Country Status (7)

Country Link
US (3) US9349181B2 (ko)
EP (2) EP3161573B1 (ko)
KR (2) KR102436081B1 (ko)
CN (2) CN106461400B (ko)
AU (2) AU2015280775B2 (ko)
BR (1) BR112016030104A2 (ko)
WO (2) WO2015199554A2 (ko)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012224107A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zum Bestimmen einer Referenzposition als Startposition für ein Trägheitsnavigationssystem
US9523582B2 (en) 2014-02-07 2016-12-20 Crown Equipment Corporation Systems, methods, and mobile client devices for supervising industrial vehicles
WO2015199554A2 (en) * 2014-06-27 2015-12-30 Crown Equipment Limited Vehicle positioning or navigation utilizing associated feature pairs
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
AU2016268034B2 (en) 2015-05-26 2018-02-08 Crown Equipment Corporation Systems and methods for materials handling vehicle odometry calibration
MX2017015063A (es) 2015-05-26 2018-05-07 Crown Equip Corp Sistemas y metodos para la calibracion del dispositivo de captura de imagenes para un vehiculo de manejo de materiales.
AU2016316037B2 (en) 2015-09-04 2020-07-02 Crown Equipment Corporation Industrial vehicle with feature-based localization and navigation
EP3200482B1 (en) 2016-01-22 2019-12-18 The Raymond Corporation Systems and methods for a material handling vehicle network
US10352689B2 (en) * 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US10402675B2 (en) * 2016-08-30 2019-09-03 The Boeing Company 2D vehicle localizing using geoarcs
US9928432B1 (en) 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10579949B2 (en) * 2016-11-16 2020-03-03 Wipro Limited Methods and systems for facilitating transportation of articles in warehouses using video analytics
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10585440B1 (en) * 2017-01-23 2020-03-10 Clearpath Robotics Inc. Systems and methods for using human-operated material-transport vehicles with fleet-management systems
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
WO2018204308A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Method and apparatus for object status detection
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10430695B2 (en) 2017-06-16 2019-10-01 Nauto, Inc. System and method for contextualized vehicle operation determination
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
US10417816B2 (en) 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
CN111133275B (zh) * 2017-07-28 2022-04-01 克朗设备公司 一种物料搬运车辆以及导航物料搬运车辆的系统和方法
JP6761786B2 (ja) * 2017-08-10 2020-09-30 本田技研工業株式会社 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US11235778B2 (en) 2018-01-24 2022-02-01 Clearpath Robotics Inc. Systems and methods for maintaining vehicle state information
US11256270B2 (en) 2018-02-07 2022-02-22 Clearpath Robotics Inc. Communication systems for self-driving vehicles, and methods of providing thereof
IT201800002718A1 (it) * 2018-02-15 2019-08-15 Italcarrelli S R L Veicolo semovente per la movimentazione di cavalletti porta-lastre
KR20200124263A (ko) * 2018-02-23 2020-11-02 크라운 이큅먼트 코포레이션 광학 타겟 기반 실내 차량 내비게이션을 위한 시스템 및 방법
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
KR102605595B1 (ko) * 2018-04-24 2023-11-23 현대자동차주식회사 장치, 이를 포함하는 차량, 및 차량의 제어방법
FR3083607A1 (fr) * 2018-07-06 2020-01-10 Balyo Procede et dispositif de positionnement pour vehicule, et vehicule comportant un tel dispositif
CA3106406A1 (en) 2018-07-17 2020-01-23 Crown Equipment Corporation Systems and methods for vehicle position calibration using rack leg identification
CA3108380A1 (en) 2018-08-01 2020-02-06 Crown Equipment Corporation Systems and methods for warehouse environment speed zone management
US10496100B1 (en) * 2018-09-11 2019-12-03 Universal City Studios Llc Ultraviolet paint-based vehicle guidance
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
CN110335305A (zh) * 2018-11-01 2019-10-15 驭势科技（北京）有限公司 一种拖车位姿的确定方法、装置、车载设备及存储介质
CN210418988U (zh) * 2018-11-07 2020-04-28 上海图森未来人工智能科技有限公司 移动吊装设备控制系统、服务器、移动吊装设备
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN113557207B (zh) 2019-02-06 2022-10-21 克朗设备公司 使用货架支柱标识和门架摆动补偿进行车辆位置校准的系统和方法
CN113661505A (zh) 2019-02-19 2021-11-16 克朗设备公司 用于校准与物料搬运车辆相关的传感器的姿态的系统和方法
CN110182718A (zh) * 2019-04-25 2019-08-30 上海快仓智能科技有限公司 搬运机器人的控制方法及货物搬运系统
EP3963418B1 (en) * 2019-05-02 2023-12-27 Crown Equipment Corporation Industrial vehicle with feature-based localization and navigation
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11693420B2 (en) 2019-08-09 2023-07-04 Universal City Studios Llc Vehicle guidance via infrared projection
US11885893B2 (en) 2019-08-12 2024-01-30 Motional Ad Llc Localization based on predefined features of the environment
US11820397B2 (en) * 2019-11-16 2023-11-21 Uatc, Llc Localization with diverse dataset for autonomous vehicles
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、系统及计算机可读存储介质
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
CN111486849B (zh) * 2020-05-29 2021-08-27 北京大学 一种基于二维码路标的移动视觉导航方法及系统
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
CN112344933B (zh) * 2020-08-21 2023-04-07 北京京东乾石科技有限公司 一种信息生成的方法、装置和存储介质
MX2023003898A (es) 2020-10-05 2023-04-24 Crown Equip Corp Sistemas y metodos para la deteccion de la posicion relativa y la aplicacion de campo de vehiculos de manipulacion de materiales que utilizan tecnologia de radio de banda ultraancha.
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN112907636B (zh) * 2021-03-30 2023-01-31 深圳市优必选科技股份有限公司 多目标跟踪方法、装置、电子设备及可读存储介质
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113985867B (zh) * 2021-09-22 2024-07-12 北京旷视机器人技术有限公司 载具控制方法、系统、电子设备、介质及一种载具
GB202117123D0 (en) * 2021-11-26 2022-01-12 Ocado Innovation Ltd Detecting a transport device in a workspace
US12103186B2 (en) 2022-06-29 2024-10-01 Hong Kong Applied Science And Technology Research Institute Co., Ltd Method of controlling movement of a mobile robot in the event of a localization failure

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140058612A1 (en) * 2011-08-26 2014-02-27 Crown Equipment Limited Method and apparatus for using unique landmarks to locate industrial vehicles at start-up

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1429016A1 (de) 1960-10-21 1969-06-12 Bosch Gmbh Robert Verfahren zum Verbinden von thermoplastischen Kunststoffteilchen
US5155684A (en) * 1988-10-25 1992-10-13 Tennant Company Guiding an unmanned vehicle by reference to overhead features
DE4429016A1 (de) * 1994-08-16 1996-02-22 Linde Ag Navigation für fahrerlose Fahrzeuge
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
RU2220643C2 (ru) 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
US6952488B2 (en) * 2001-08-27 2005-10-04 Carnegie Mellon University System and method for object localization
EP1502896A4 (en) * 2002-01-23 2009-11-18 Toyota Jidoshokki Kk POSITION CONTROL DEVICE AND POSITION CONTROL PROCESS FOR LOADING DEVICE IN INDUSTRIAL VEHICLE
WO2004063991A1 (ja) * 2003-01-14 2004-07-29 The Circle For The Promotion Of Science And Engineering 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム
EP1524622A1 (en) * 2003-10-17 2005-04-20 Koninklijke Philips Electronics N.V. Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
DE602004019275D1 (de) * 2004-06-07 2009-03-19 St Microelectronics Srl Verfahren zur Kompression von Bilddaten erfasst von einer Bayer-Farbfilteranordnung
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
US20080042805A1 (en) * 2005-05-17 2008-02-21 Morhard Robert C System and method for detecting, monitoring, tracking and identifying explosive materials
US7565029B2 (en) * 2005-07-08 2009-07-21 Seiko Epson Corporation Method for determining camera position from two-dimensional images that form a panorama
US7634336B2 (en) * 2005-12-08 2009-12-15 Electronics And Telecommunications Research Institute Localization system and method of mobile robot based on camera and landmarks
CN1996194A (zh) * 2005-12-31 2007-07-11 清华大学 一种运动物体定位纠偏系统及其运动跟踪方法
US7681796B2 (en) 2006-01-05 2010-03-23 International Business Machines Corporation Mobile device tracking
US20070213869A1 (en) * 2006-02-08 2007-09-13 Intermec Ip Corp. Cargo transporter with automatic data collection devices
WO2007101114A2 (en) * 2006-02-23 2007-09-07 Imaginestics Llc Method of enabling a user to draw a component part as input for searching component parts in a database
CN101957994B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP4550927B2 (ja) * 2006-03-28 2010-09-22 パナソニック株式会社 ナビゲーション装置
US8170712B2 (en) * 2007-06-26 2012-05-01 Amazon Technologies, Inc. Method and apparatus for non-linear unit-level sortation in order fulfillment processes
KR100877071B1 (ko) * 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US7941244B2 (en) * 2007-09-25 2011-05-10 Amazon Technologies, Inc. Stow and sortation system
US7594441B2 (en) * 2007-09-27 2009-09-29 Caterpillar Inc. Automated lost load response system
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
EP2297703A1 (en) * 2008-06-03 2011-03-23 ETH Zurich Method and system for generating a pictorial reference database using geographical information
AT509118B1 (de) * 2008-07-16 2011-12-15 Zeno Track Gmbh Verfahren und vorrichtung zum erfassen der position eines fahrzeuges in einem definierten bereich
KR101538775B1 (ko) * 2008-09-12 2015-07-30 삼성전자 주식회사 전방 영상을 이용한 위치 인식 장치 및 방법
US20100091094A1 (en) * 2008-10-14 2010-04-15 Marek Sekowski Mechanism for Directing a Three-Dimensional Camera System
KR101072876B1 (ko) * 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
US8798786B2 (en) * 2009-12-23 2014-08-05 Amazon Technologies, Inc. System and method for processing waste material
AT509438A1 (de) * 2010-01-18 2011-08-15 Zeno Track Gmbh Verfahren und system zum erfassen der position eines fahrzeuges in einem definierten bereich
US8508590B2 (en) * 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US8855806B2 (en) * 2010-05-26 2014-10-07 Amazon Technologies, Inc. Managing shipment release from a storage area to a packing station in a materials handling facility
US8682474B2 (en) * 2010-05-26 2014-03-25 Amazon Technologies, Inc. System and method for managing reassignment of units among shipments in a materials handling facility
JP5745067B2 (ja) * 2010-09-24 2015-07-08 アイロボット・コーポレーション Ｖｓｌａｍ最適化のためのシステムおよび方法
US20120123614A1 (en) 2010-11-17 2012-05-17 INRO Technologies Limited Method and apparatus for virtualizing industrial vehicles to automate task execution in a physical environment
US8561897B2 (en) * 2010-11-18 2013-10-22 Sky-Trax, Inc. Load tracking utilizing load identifying indicia and spatial discrimination
KR102041093B1 (ko) 2011-04-11 2019-11-06 크라운 이큅먼트 코포레이션 조정된 경로 계획기를 사용하는 다수의 자동화 비-홀로노믹 차량들을 효율적으로 스케줄링하는 방법 및 장치
EP3495908B1 (en) * 2011-08-29 2022-12-07 Crown Equipment Corporation Multimode vehicular navigation control
US9056754B2 (en) 2011-09-07 2015-06-16 Crown Equipment Limited Method and apparatus for using pre-positioned objects to localize an industrial vehicle
US8934672B2 (en) * 2011-10-19 2015-01-13 Crown Equipment Corporation Evaluating features in an image possibly corresponding to an intersection of a pallet stringer and a pallet board
US9224066B2 (en) * 2013-03-01 2015-12-29 Adobe Systems Incorporated Object detection via validation with visual search
WO2014197787A1 (en) * 2013-06-07 2014-12-11 Intelligrated Headquarters Llc Conveyor speed control
CN103442436B (zh) * 2013-08-27 2017-06-13 华为技术有限公司 一种室内定位终端、网络、系统及其方法
US9354070B2 (en) 2013-10-31 2016-05-31 Crown Equipment Corporation Systems, methods, and industrial vehicles for determining the visibility of features
US9110464B2 (en) 2013-11-21 2015-08-18 Intelligrated Headquarters Llc Route builder
US20150250137A1 (en) * 2013-11-27 2015-09-10 Dansk Mink Papir A/S Motorized feeding vehicle and a method of operating an animal farming system
EP2878193A1 (en) * 2013-11-27 2015-06-03 Dansk Mink Papir A/S Motorized feeding vehicle
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
WO2015199554A2 (en) * 2014-06-27 2015-12-30 Crown Equipment Limited Vehicle positioning or navigation utilizing associated feature pairs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140058612A1 (en) * 2011-08-26 2014-02-27 Crown Equipment Limited Method and apparatus for using unique landmarks to locate industrial vehicles at start-up

Also Published As

Publication number Publication date
WO2015199554A3 (en) 2016-03-31
US20150379715A1 (en) 2015-12-31
AU2015280775A1 (en) 2016-12-22
EP3161572A2 (en) 2017-05-03
BR112016030104A2 (pt) 2017-08-22
WO2015199554A2 (en) 2015-12-30
KR20170016010A (ko) 2017-02-10
CN106461400B (zh) 2019-08-16
AU2015280776A1 (en) 2017-01-19
EP3161573A2 (en) 2017-05-03
AU2015280776A2 (en) 2017-02-09
US9349181B2 (en) 2016-05-24
CN106662451A (zh) 2017-05-10
US20150379704A1 (en) 2015-12-31
US9984467B2 (en) 2018-05-29
CN106461400A (zh) 2017-02-22
KR101769284B1 (ko) 2017-08-18
AU2015280776B2 (en) 2019-08-22
CN106662451B (zh) 2018-04-24
WO2015199553A3 (en) 2016-03-31
US20180247428A1 (en) 2018-08-30
EP3161573B1 (en) 2020-02-26
US10614588B2 (en) 2020-04-07
KR20170024072A (ko) 2017-03-06
EP3161572B1 (en) 2019-01-23
AU2015280775B2 (en) 2017-01-05
WO2015199553A2 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
KR102436081B1 (ko) 연관된 특징 쌍들을 이용한 차량 포지셔닝 또는 내비게이션
US11181925B2 (en) Systems and methods for optical target based indoor vehicle navigation
AU2017302833B2 (en) Database construction system for machine-learning
US10429833B2 (en) Method and industrial truck for ascertaining and representing the position of storage bins in a warehouse
US7336805B2 (en) Docking assistant
US9170115B2 (en) Method and system for generating road map using data of position sensor of vehicle
US11846949B2 (en) Systems and methods for calibration of a pose of a sensor relative to a materials handling vehicle
US11288526B2 (en) Method of collecting road sign information using mobile mapping system
CN112424721A (zh) 使用机架腿标识进行车辆位置校准的系统和方法
CN114475615A (zh) 用于基于多个传感器识别行驶车道的设备和方法
DE102017121000A1 (de) Verfahren und Vorrichtung zur Navigation eines Flurförderzeugs
CN118687558A (zh) 混合多传感器融合里程估算的高精度自主移动机器人定位系统及其定位方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant