KR101623359B1 - 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치 - Google Patents

산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101623359B1
KR101623359B1 KR1020137034552A KR20137034552A KR101623359B1 KR 101623359 B1 KR101623359 B1 KR 101623359B1 KR 1020137034552 A KR1020137034552 A KR 1020137034552A KR 20137034552 A KR20137034552 A KR 20137034552A KR 101623359 B1 KR101623359 B1 KR 101623359B1
Authority
KR
South Korea
Prior art keywords
vehicle
data
sensor
industrial vehicle
delete delete
Prior art date
Application number
KR1020137034552A
Other languages
English (en)
Other versions
KR20140036264A (ko
Inventor
앤드류 에반 그라함
크리스토퍼 더블유. 구드
리사 웡
Original Assignee
크라운 이큅먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/116,600 external-priority patent/US20120303255A1/en
Application filed by 크라운 이큅먼트 코포레이션 filed Critical 크라운 이큅먼트 코포레이션
Publication of KR20140036264A publication Critical patent/KR20140036264A/ko
Application granted granted Critical
Publication of KR101623359B1 publication Critical patent/KR101623359B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Abstract

산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치가 설명되고, 복수의 센서 디바이스로부터 관측된 환경 특징에 관한 정보를 포함하는 적어도 하나의 센서 입력 메시지를 프로세싱하는 단계와, 적어도 하나의 센서 입력 메시지에 응답하여 산업 차량과 연관된 위치 측정치를 결정하는 단계로서, 복수의 센서 디바이스는 2차원 레이저 스캐너와, 주행기록계, 초음파 센서, 나침반, 가속도계, 자이로스코프, 관성 측정 유닛 또는 이미징 센서로부터 선택된 적어도 하나의 다른 센서 디바이스를 포함하는, 위치 측정치 결정 단계와, 위치 측정치를 사용하여 차량 상태를 업데이트하는 단계를 포함한다.

Description

산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING ACCURATE LOCALIZATION FOR AN INDUSTRIAL VEHICLE}
본 발명의 실시예는 일반적으로 산업 차량 자동화에 관한 것으로서, 더 구체적으로는 산업 차량을 위한 정확한 로컬리제이션(localization)을 제공하기 위한 방법 및 장치에 관한 것이다.
기업체들(entities)은 공급 및/또는 수요 목표에 부합하기 위해 수많은 시설을 운영한다. 예를 들어, 소기업부터 대기업, 정부 기관 등은 물체(예를 들어, 원재료, 상품, 기계 등)를 다양한 물리적 환경(예를 들어, 창고, 냉장룸, 공장, 설비, 저장소 등)으로 이동하기 위해 다양한 물류 관리 및 재고 관리 패러다임을 이용한다. 다국적 회사는 지역 소매 시장으로의 분배를 위해 다른 국가의 창고 내에 수납되어 있는 상품들 내로 제조를 위한 원재료를 보관하기 위해 하나의 국가에 창고를 건축할 수 있다. 창고는 제조 및 판매를 유지하고 그리고/또는 향상시키기 위해 양호하게 편성되어야 한다. 원재료가 최적의 비율로 공장에 운송되지 않으면, 보다 적은 상품들이 제조된다. 그 결과, 원재료의 비용을 벌충하기 위한 수익이 미제조 상품에 대해 생성되지 않는다.
불행하게도, 창고와 같은 물리적 환경은 다양한 작업의 시기 적절한 완료를 방해하는 다수의 제한을 갖는다. 창고 및 다른 공유된 사용 공간은 예를 들어 인간 노동력에 대해 안전해야 한다. 몇몇 종업원은 심각한 또는 치명적인 상해를 유발하는 잠재성을 갖는 포크리프트와 같은 중장비 및 산업 차량을 작동한다. 그럼에도, 사람은 창고 내에서 상이한 위치에 상품의 팔레트(pallet)를 이동하는 것과 같은 물체 취급 작업을 포함하는 작업을 완료하기 위해 산업 차량을 사용하도록 요구된다. 대부분의 창고는 물체를 이동하기 위해 많은 수의 포크리프트 운전자 및 포크리프트를 채용한다. 생산성을 증가시키기 위해, 이들 창고는 간단히 더 많은 포크리프트 및 포크리프트 운전자를 추가한다.
전술된 문제점을 완화하기 위해, 몇몇 창고는 이들 작업을 자동화하기 위한 장비를 이용한다. 예로서, 이들 창고는 경로 상에서 물체를 운반하기 위해 포크리프트와 같은 자동화된 산업 차량을 이용할 수 있다. 산업 차량을 자동화할 때, 주요 요건은 창고 내에 차량을 정확하게 위치 지정하는 능력인데, 이를 성취하기 위해 복수의 센서가 종종 물리적 환경 내의 차량 위치(x, y 위치 및 배향)를 결정하는데 사용된다. 하나의 해결책은 특정의 규정된 또는 코딩된 마커까지의 거리를 측정하기 위해 회전 레이저 또는 고정 카메라를 사용한다. 그러나, 이 접근법은 규정된 또는 코딩된 마커의 포괄적 위치를 측정하기 위해 측량(survey)하는 상세한 환경을 요구하는 결점을 갖고, 이는 전체 시스템 전개 시간 및 비용을 증가시킨다. 다른 해결책은 산업 차량을 로컬라이즈(localize)하기 위해 3차원 레이저 및/또는 카메라로부터와 같은, 3차원 센서를 사용한다. 그러나, 이 접근법은 더 큰 정보 세트의 사용을 통해 증가되는 복잡한 계산을 필요로 하고, 참조 맵이 요구되면 정확성을 생성하고 검증하는데 수반된 상당한 비용 및 시간이 존재한다.
따라서, 산업 차량 상에 2차원(평면형) 감지를 사용하여 정확한 로컬리제이션을 제공하기 위한 방법 및 장치에 대한 요구가 당 기술 분야에 존재한다.
본 발명의 다양한 실시예는 일반적으로 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치를 포함하고, 복수의 센서 디바이스로부터 관측된 환경 특징에 관한 정보를 포함하는 적어도 하나의 센서 입력 메시지를 프로세싱하는 단계와, 적어도 하나의 센서 입력 메시지에 응답하여 산업 차량과 연관된 위치 측정치를 결정하는 단계로서, 복수의 센서 디바이스는 2차원 레이저 스캐너와, 주행기록계, 초음파 센서, 나침반, 가속도계, 자이로스코프, 관성 측정 유닛(IMU) 또는 이미징 센서로부터 선택된 적어도 하나의 다른 센서 디바이스를 포함하는, 위치 측정치 결정 단계와, 위치 측정치를 사용하여 차량 상태를 업데이트하는 단계를 포함한다.
본 발명의 전술된 특징들이 상세히 이해될 수 있는 방식으로, 상기에 간략히 요약 설명된 본 발명의 더 구체적인 설명은 그 일부가 첨부 도면에 도시되어 있는 실시예를 참조할 수 있다. 그러나, 첨부 도면은 단지 본 발명의 전형적인 실시예일 뿐이고, 본 발명이 다른 동등한 효과적인 실시예를 승인할 수 있기 때문에, 따라서 그 범주를 한정하는 것으로 고려되어서는 안된다는 것이 주목되어야 한다.
도 1은 본 발명의 다양한 실시예를 포함하는 물리적 환경의 사시도.
도 2는 하나 이상의 실시예에 따른 다양한 작업을 수행하기 위해 물리적 환경을 네비게이팅하기 위한 포크리프트의 사시도.
도 3은 하나 이상의 실시예에 따른 산업 차량을 위한 정확한 위치 로컬리제이션을 제공하기 위한 시스템의 구조 블록도.
도 4는 하나 이상의 실시예에 따른 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 시스템의 기능 블록도.
도 5는 하나 이상의 실시예에 따른 물리적 환경 내의 차량 이동과 연관된 움직임 및 시간 왜곡을 도시하는 도면.
도 6은 하나 이상의 실시예에 따른 시야 내에서 레이저 스캔을 수행하는 평면형 레이저 스캐너를 도시하는 도면.
도 7a 및 도 7b는 하나 이상의 실시예에 따른 산업 차량을 위한 로컬리제이션 프로세스를 도시하는 상호 작용 다이어그램들.
도 8은 하나 이상의 실시예에 따른 센서 입력 메시지 프로세싱을 도시하는 예시적인 타이밍 다이어그램.
도 9는 하나 이상의 실시예에 따른 센서 입력 메시지 프로세싱의 부분을 도시하는 도면.
도 10은 하나 이상의 실시예에 따른 물리적 환경 내에 산업 차량을 로컬라이즈하기 위한 로컬리제이션 및 맵핑 시스템을 도시하는 기능 블록 다이어그램.
도 11은 하나 이상의 실시예에 따른 산업 차량을 위한 정확한 로컬리제이션울 제공하기 위한 방법의 흐름도.
도 12는 하나 이상의 실시예에 따른 필터를 사용하여 산업 차량을 위한 차량 상태를 업데이트하기 위한 방법의 흐름도.
도 1은 본 발명의 하나 이상의 실시예를 포함하는 물리적 환경(100)의 사시도이다.
몇몇의 실시예에서, 물리적 환경(100)은 모바일 컴퓨터(104), 중앙 컴퓨터(106) 뿐만 아니라 센서 어레이(108)에 결합된 차량(102)을 포함한다. 센서 어레이(108)는 이하에 더 설명되는 바와 같이, 물리적 환경(100) 내의 다양한 물체를 분석하고 데이터(예를 들어, 2차원 거리 데이터, 3차원 거리 데이터, 이미지 데이터, 주행기록계 데이터, 초음파 거리 데이터, 가속도계 데이터, 자이로스코프 데이터, IMU 데이터 등)를 모바일 컴퓨터(104) 및/또는 중앙 컴퓨터(106)에 전송하기 위한 복수의 디바이스를 포함한다. 센서 어레이(108)는 레이저 거리 측정기(range finder), 인코더, 초음파 거리 측정기, 카메라, 압력 트랜스듀서, 나침반, 가속도계, 자이로스코프, 관성 측정 유닛(IMU) 등과 같은 다양한 유형의 센서를 포함한다.
물리적 환경(100)은 복수의 물체를 지지하는 플로어(110)를 추가로 포함한다. 복수의 물체는 이하에 더 설명되는 바와 같이 복수의 팔레트(112), 복수의 유닛(114) 등을 포함한다. 물리적 환경(100)은 차량(102)의 적절한 작동에 대한 다양한 장애물(도시 생략)을 포함할 수 있다. 복수의 물체 중 일부는 이러한 물체가 작업 완료를 혼란시키면 다양한 경로(예를 들어, 미리 프로그램된 또는 동적으로 컴퓨팅된 루트)를 따른 장애물로서 구성될 수 있다.
물리적 환경(100)은 복수의 마커(116)를 또한 포함한다. 복수의 마커(116)는 천정 및 플로어(110)에 부착된 물체로서 도시되어 있지만, 물리적 환경(100) 전체에 걸쳐 위치될 수도 있다. 몇몇의 실시예에서, 복수의 마커(116)는 이하에 더 설명되는 바와 같이 환경 기반 네비게이션을 용이하게 하는 표지(beacon)이다. 복수의 마커(116) 뿐만 아니라 물리적 환경(100) 주위의 다른 물체는 환경 특징을 형성한다. 모바일 컴퓨터(104)는 환경 특징을 추출하고, 정확한 현재 차량 위치를 결정한다.
물리적 환경(100)은 미래의 운송을 위한 준비시에 복수의 유닛(114)을 수납하기 위한 창고 또는 냉장 저장소를 포함할 수 있다. 창고는 상용 차량, 철도, 공항 및/또는 항구로부터 복수의 유닛을 하역하기 위한 하역장을 포함할 수 있다. 복수의 유닛(114)은 일반적으로 다양한 상품, 제품 및/또는 원재료 등을 포함한다. 예를 들어, 복수의 유닛(114)은 ISO 표준 팔레트 상에 배치되고 포크리프트에 의해 팔레트 래크 내에 적재된, 소매 상점으로 분배될 소비재일 수 있다. 차량(102)은 상용 차량(예를 들어, 트럭)이 소비재를 적재하여 하나 이상의 타겟 목적지로 이후에 배송하는 지정된 위치로 소비재를 이동시킴으로써 이러한 분배를 용이하게 한다.
하나 이상의 실시예에 따르면, 차량(102)은 플로어(110)에 대해 복수의 유닛(114)을 취급하고 그리고/또는 이동하도록 구성된 자동화 포크리프트와 같은 자동화 유도 차량(AGV)일 수 있다. 차량(102)은 하나 이상의 유닛(114)을 리프트하여 이어서 지정된 위치에 배치되도록 경로를 따라 이들 유닛(114)을 운송하는 포크와 같은 하나 이상의 리프팅 요소를 이용한다. 대안적으로, 하나 이상의 유닛(114)이 차량(102)이 리프트하여 지정된 위치로 이동시키는 팔레트(112) 상에 배열될 수 있다.
복수의 팔레트(112)의 각각은 차량(102) 및/또는 다른 잭킹(jacking) 디바이스(예를 들어, 팔레트 잭 및/또는 프론트 로더)에 의해 리프트되는 동안 안정한 방식으로 상품을 지지하는 편평한 운송 구조체이다. 팔레트(112)는 물체 하중의 구조적 기초이고, 취급 및 저장 효율을 허용한다. 복수의 팔레트(112) 중 다양한 것들이 래크 시스템(도시 생략) 내에 이용될 수 있다. 통상의 래크 시스템 내에서, 중력 롤러 또는 트랙이 하나 이상의 팔레트(112) 상의 하나 이상의 유닛(114)이 전방으로 흐르게 한다. 하나 이상의 팔레트(112)는 지연 디바이스, 물리적 정지부 또는 다른 팔레트(112)에 의해 감속되거나 정지될 때까지 전방으로 이동한다.
몇몇의 실시예에서, 모바일 컴퓨터(104) 및 중앙 컴퓨터(106)는 차량(102)을 제어하고 물리적 환경(100) 내에서 다양한 작업을 수행하는 컴퓨팅 디바이스이다. 모바일 컴퓨터(104)는 도시된 바와 같이 차량(102)과 결합하도록 적용된다. 모바일 컴퓨터(104)는 또한 센서 어레이(108)에 의해 전송된 데이터(예를 들어, 레이저 스캐너 데이터, 이미지 데이터 및/또는 임의의 다른 관련 센서 데이터)를 수신하여 집성할 수 있다. 모바일 컴퓨터(104) 내의 다양한 소프트웨어 모듈은 이하에 더 설명되는 바와 같이 차량(102)과 연관된 하드웨어 구성 요소의 작동을 제어한다.
도 1은 레이저 스캐너, 인코더 또는 카메라와 같은 다양한 센서 디바이스를 구비한 포크리프트를 갖는 산업 영역을 도시한다. 이하에 더 설명된 바와 같이, 모바일 컴퓨터(104)는 차륜 회전과 같은 일련의 측정치를 사용하여 차량 위치 변화를 계산한다. 하나 이상의 센서 디바이스는 차륜에 결합되고 주행기록 데이터가 계산되는 이들 차륜의 각각에 의해 주행된 거리의 독립적인 측정을 제공한다. 대안적으로, 관성 측정 유닛(IMU)은 주행기록 데이터를 측정하는데 사용될 수 있다. 하나 이상의 2차원 레이저 스캐너가 차량(102)으로부터 거리 판독치 및 이들의 대응 각도의 형태의 물리적 환경(100)의 상세를 제공한다. 레이저 데이터로부터, 모바일 컴퓨터(104)는 직선, 코너, 원호, 마커 등과 같은 환경 특징을 추출한다. 카메라는 높이 측정치를 포함하는 3차원 정보를 제공할 수 있다. 랜드마크가 또한 추출된 특징에 부가하여 컬러, 크기, 깊이, 위치, 배향, 질감 등과 같은 다양한 특성에 기초하여 카메라 데이터로부터 추출될 수 있다.
필터[예를 들어, 확장 칼만 필터(EKF)]를 사용하여, 모바일 컴퓨터(104)는 확률 밀도로서 2차원 평면 내의 차량의 위치[즉, 차량(102)의 (x,y) 좌표 및 방위]를 모델링한다. 주행기록 데이터는 차량의 예측된 위치를 업데이트하기 위해 사용되고, 레이저 스캔으로부터 추출된 환경 특징이 차량 위치의 에러를 보정하기 위해 필터에 의해 유지된 동적 환경 특징 및/또는 알려진 환경 특징을 포함하는 알려진 맵과 비교될 수 있다.
도 2는 본 발명의 하나 이상의 실시예에 따른 물리적 환경 내에서 다양한 작업을 수행하기 위한 포크리프트(200)의 사시도를 도시한다.
포크리프트(200)(즉, 리프트 트럭, 하이/로우, 스태커-트럭, 트레일러 로더, 사이드-로더 또는 포크 호이스트)는 다양한 하중 용량을 갖고 다양한 물체를 리프트하여 운송하는데 사용된 동력식 산업 트럭이다. 몇몇의 실시예에서, 포크리프트(200)는 물리적 환경[예를 들어, 도 1의 물리적 환경(100)] 내의 경로를 따른 유닛[예를 들어, 도 1의 유닛(114)]의 하나 이상의 팔레트[예를 들어, 도 1의 팔레트(112)]를 이동시키도록 구성된다. 경로는 작업이 수신됨에 따라 사전 규정되거나 동적으로 컴퓨팅될 수 있다. 포크리프트(200)는 팔레트를 배치하거나 회수하기 위해 깊은 다수의 팔레트 위치인 저장 베이(bay) 내부에서 주행할 수 있다. 종종, 포크리프트(200)는 외팔보 또는 레일 상에 팔레트를 배치한다.
포크리프트(200)는 통상적으로 물리적 환경 내에서 유닛을 리프트하고 운반하기 위한 2개 이상의 포크[즉, 스키드(skid) 또는 타인(tine)]를 포함한다. 대안적으로, 2개 이상의 포크 대신에, 포크리프트(200)는 특정 유닛(예를 들어, 카페트 두루마리, 금속 코일 등)을 리프트하기 위해 하나 이상의 금속 기둥(도시 생략)을 포함할 수 있다. 하나의 실시예에서, 포크리프트(200)는 2개 이상의 팔레트가 이들 팔레트 사이에 통로 없이 서로의 후방에 배치되게 허용하는 유압 작동식 신축식 포크를 포함한다.
포크리프트(200)는 하나 이상의 실시예에 따른 다양한 기계, 유압 및/또는 전기 작동식 액추에이터를 추가로 포함할 수 있다. 몇몇의 실시예에서, 포크리프트(200)는 포크리프트에 공통인 바와 같은 2개 이상의 포크의 측방향 및/또는 회전 이동을 허용하는 하나 이상의 유압 액추에이터(도면 부호 없음)를 포함한다. 하나의 실시예에서, 포크리프트(200)는 포크를 함께 이격하여 이동시키기 위한 유압 액추에이터(도면 부호 없음)를 포함한다. 다른 실시예에서, 포크리프트(200)는 운송될 유닛(예를 들어, 배럴, 작은 나무통, 종이 두루마리 등)을 압착하기 위한 기계적 또는 유압 구성 요소를 포함한다.
포크리프트(200)는 하나 이상의 작업에 따라 포크리프트(200)를 작동하기 위한 소프트웨어 모듈을 포함하는 모바일 컴퓨터(104)와 결합될 수 있다. 포크리프트(200)는 또한 센서 데이터(예를 들어, 2차원 거리 데이터, 이미지 데이터, 3차원 거리 데이터 등)를 환경 특징과 연관된 정보를 추출하기 위해 모바일 컴퓨터(104)에 전송하는 다양한 센서 디바이스[예를 들어, 도 1의 센서 어레이(108)]를 포함하는 어레이와 결합된다. 이들 디바이스는 임의의 외부 및/또는 내부 위치에서 포크리프트(200)에 장착되거나 물리적 환경(100) 주위의 알려진 위치에 장착될 수 있다. 포크리프트(200)의 예시적인 실시예는 통상적으로 각각의 측면에 부착된 평면형 레이저 스캐너(204) 및/또는 각각의 차륜(208)에 부착된 인코더(206)를 포함한다. 다른 실시예에서, 포크리프트(200)는 카메라(202) 및/또는 평면형 레이저 스캐너(204) 및/또는 인코더(206)를 포함한다. 인코더(206)는 차량 이동에 관련된 움직임 데이터를 결정한다. 외부 장착 센서는 이러한 센서로부터 입수 가능한 풍부한 데이터 세트가 자동화 작동을 향상시키는 위치에 위치된 레이저 스캐너 또는 카메라를 포함할 수 있다. 외부 센서는 자동화된 차량이 차량 상태를 결정하기 위해 필터 내의 적절한 위치 및/또는 프로세스를 얻을 수 있는 제한된 세트의 트랜스폰더 및/또는 다른 능동 또는 수동 수단을 포함할 수 있다.
몇몇의 실시예에서, 다수의 센서 디바이스[예를 들어, 레이저 스캐너, 레이저 거리 측정기, 인코더(즉, 주행기록), 압력 트랜스듀서 등] 뿐만 아니라 포크리프트(200) 상의 이들의 위치는 차량 의존성이 있고, 이들 센서가 장착되는 위치는 측정된 데이터의 프로세싱에 영향을 미친다. 예를 들어, 모든 레이저 스캐너가 측정 가능한 위치에 배치되는 것을 보장함으로써, 센서 어레이는 레이저 스캔 데이터를 프로세싱하고 이를 포크리프트(200)의 중심점 또는 다른 공통 기준 프레임에 전치할 수 있다. 더욱이, 센서 어레이는 다수의 레이저 스캔을 단일의 가상 레이저 스캔에 조합할 수 있고, 이는 포크리프트(200)를 제어하기 위해 다양한 소프트웨어 모듈에 의해 사용될 수 있다.
도 3은 하나 이상의 실시예에 따른 산업 차량을 위한 정확한 위치 로컬리제이션을 제공하기 위한 시스템(300)의 구조적 블록 다이어그램이다. 몇몇의 실시예에서, 시스템(300)은 모바일 컴퓨터(104), 중앙 컴퓨터(106) 및 각각의 구성 요소가 네트워크(302)를 통해 서로 결합되어 있는 센서 어레이(108)를 포함한다.
모바일 컴퓨터(104)는 중앙 처리 유닛(CPU)(304), 다양한 지원 회로(306) 및 메모리(308)를 포함하는 소정 유형의 컴퓨팅 디바이스[예를 들어, 랩탑, 데스크탑, 개인 휴대 정보 단말(PDA), 아이패드, 태블릿, 스마트폰 등]를 포함할 수 있다. CPU(304)는 데이터 프로세싱 및 저장을 용이하게 하는 하나 이상의 상업적으로 입수 가능한 마이크로프로세서 또는 마이크로컨트롤러를 포함할 수 있다. 다양한 지원 회로(306)는 CPU(304)의 동작을 용이하게 하고, 클럭 회로, 버스, 전원, 입출력 회로 등을 포함할 수 있다. 메모리(308)는 판독 전용 메모리, 랜덤 액세스 메모리, 디스크 드라이브 저장 장치, 광학 저장 장치, 이동식 저장 장치 등을 포함할 수 있다. 메모리(308)는 센서 입력 메시지(312) 및 타임스탬프(312)를 갖는 우선순위 대기열(queue)(310), 센서 측정 데이터(316) 및 차량 상태 정보(318)와 같은 다양한 데이터를 포함할 수 있다. 각각의 타임스탬프(314)는 센서 입력 메시지(312)의 대응하는 것을 위한 취득 시간을 지시한다. 메모리(308)는 환경 기반 네비게이션 모듈(320)과 같은 다양한 소프트웨어 패키지를 포함한다.
중앙 컴퓨터(106)는 중앙 처리 유닛(CPU)(322), 다양한 지원 회로(324) 및 메모리(326)를 포함하는 소정 유형의 컴퓨팅 디바이스[예를 들어, 랩탑, 데스크탑, 개인 휴대 정보 단말(PDA), 아이패드, 태블릿, 스마트폰 등]이다. CPU(322)는 데이터 프로세싱 및 저장을 용이하게 하는 하나 이상의 상업적으로 입수 가능한 마이크로프로세서 또는 마이크로컨트롤러를 포함할 수 있다. 다양한 지원 회로(324)는 CPU(322)의 동작을 용이하게 하고, 클럭 회로, 버스, 전원, 입출력 회로 등을 포함할 수 있다. 메모리(326)는 판독 전용 메모리, 랜덤 액세스 메모리, 디스크 드라이브 저장 장치, 광학 저장 장치, 이동식 저장 장치 등을 포함할 수 있다. 메모리(326)는 관리자(328)와 같은 다양한 소프트웨어 패키지, 뿐만 아니라 작업(330) 및 맵 데이터(332)와 같은 다양한 데이터를 포함한다.
네트워크(302)는 허브, 스위치, 라우터 등과 같은 다양한 유형의 공지된 네트워크 요소에 의해 용이하게 되는 와이어, 케이블, 광 파이버 및/또는 무선 링크에 의해 컴퓨터에 접속되는 통신 시스템을 포함한다. 네트워크(302)는 네트워크 리소스들 중에 정보를 통신하기 위한 다양한 공지의 프로토콜을 이용할 수 있다. 예를 들어, 네트워크(302)는 이더넷, 와이파이, 와이맥스, 범용 패킷 무선 서비스(GPRS) 등과 같은 다양한 통신 인프라구조를 사용하는 인터넷 또는 인트라넷의 부분일 수 있고, 다양한 크라우드-컴퓨팅 인프라구조, 플랫폼 및 애플리케이션을 추가로 포함할 수 있다.
센서 어레이(108)는 포크리프트[예를 들어, 도 2의 포크리프트(200)]와 같은 자동화 차량에 부착된 모바일 컴퓨터(104)에 통신적으로 결합된다. 센서 어레이(108)는 센서 입력 메시지(312)로서 모바일 컴퓨터(104)에 의해 저장되는 물리적 환경을 모니터링하고 다양한 관측치를 캡처하기 위한 복수의 디바이스(332)를 포함한다. 몇몇의 실시예에서, 센서 어레이(108)는 하나 이상의 레이저 스캐너, 인코더, 카메라, 주행기록계, 초음파 센서, 나침반, 가속도계, 자이로스코프, 관성 측정 유닛(IMU) 및 이미징 센서 등과 같은 디바이스들의 임의의 조합을 포함할 수 있다. 예를 들어, 레이저 스캐너는 포크리프트 부근의 영역을 커버하도록 그 시야가 확장하는 포크리프트 차체 상의 고정 위치에 위치되는 평면형 레이저 스캐너일 수 있다. 복수의 디바이스(332)[예를 들어, 센서(108), 카메라(202), 레이저 스캐너(204), 인코더(206) 등]는 또한 고정된 및/또는 이동 위치에서 물리적 환경 전체에 걸쳐 분배될 수 있다.
몇몇의 실시예에서, 센서 측정 데이터(316)는 물리적 환경에 관한 복수의 디바이스(332)에 의해 전송되고 관측치를 표현하는 센서 데이터의 집성을 포함한다. 집성된 센서 데이터는 정적 및/또는 동적 환경 특징과 연관된 정보를 포함할 수 있다. 몇몇의 실시예에서, 센서 측정 데이터(316)는 이하에 더 설명되는 바와 같이, 현재 차량 위치를 결정하고 차량 상태 정보(318)를 업데이트하기 위해 시간 및/또는 움직임 왜곡에 대해 보정된다.
우선순위 대기열(310)은 데이터 소스 및 측정 타임스탬프(314)와 함께 센서 입력 메시지(312)의 형태의 시간 기간에 걸쳐 관측된 센서 데이터를 저장한다. 몇몇의 실시예에서, 환경 기반 네비게이션 모듈(320)은 각각의 센서 입력 메시지(312)를 우선순위에 기초하여 우선순위 대기열(310) 내에 삽입한다. 환경 기반 네비게이션 모듈(320)은 몇몇 실시예에 따른 각각의 센서 입력 메시지(312)를 위한 우선순위를 결정하기 위해, 취득 시간과 같은 다양한 팩터를 사용한다.
차량 상태 정보(318)는 다양한 시간(ki)에 차량의 하나 이상의 상태(예를 들어, 이전의 및/또는 현재 차량 상태)를 기술한다. 몇몇의 실시예에서, 차량 상태 정보(318)는 본 명세서에서 위치 예측이라 칭할 수 있는 차량 위치(x,y 위치 및 배향)의 추정치를 포함한다. 몇몇의 실시예에서, 차량 상태 정보(318)는 이전의 차량 위치, 주행기록 데이터 및/또는 평면형 레이저 스캐너 데이터의 견지에서 위치 예측의 업데이트를 포함한다. 몇몇의 실시예에서, 차량 상태 정보(318)는 차량 속도 및 차량 이동에 관련된 다른 움직임 데이터를 포함한다. 예를 들어, 다른 움직임 데이터는 레이저 스캔 중에 차량 이동에 의해 발생된 왜곡을 표현하는 시간적 특성이다.
환경 기반 네비게이션 모듈(320)은 이전의 차량 상태에 기초하여 위치 예측을 생성하고, 이어서 위치 측정 데이터(310)를 사용하여 위치 예측을 업데이트하기 위해 필터(예를 들어, 확장 칼만 필터와 같은 프로세스 필터)를 사용한다. 차륜에 부착된 인코더와 같은 센서 어레이(108)로부터의 주행기록 데이터, 또는 관성 측정 유닛으로부터의 데이터와 같은 다른 위치 예측 데이터에 기초하여, 환경 기반 네비게이션 모듈(320)은 현재 차량 상태를 추정한다. 예를 들어, 차륜 직경을 사용하여, 환경 기반 네비게이션 모듈(320)은 이전의 차량 위치로부터 산업 차량(102)에 의해 주행된 거리를 컴퓨팅한다. 다른 예로서, 인코더는 차륜의 표면 속도를 직접 측정하고, 환경 기반 네비게이션 모듈(320)에 이러한 측정치를 통신한다. 주행된 거리에 대한 이 정보는 새로운 차량 상태 추정치를 제공하기 위해 이전에 계산된 차량 상태 추정치와 통합된다. 환경 기반 네비게이션 모듈(320)은 또한 현재 차량 상태(예를 들어, 차량 위치)와 연관된 불확실성 및/또는 노이즈를 추정하기 위해 필터를 사용할 수 있다.
환경 기반 네비게이션 모듈(320)은 우선순위 대기열(310)을 액세스하고 수신 시간의 순서로 센서 입력 메시지(312)를 검사한다. 몇몇의 실시예에서, 환경 기반 네비게이션 모듈(320)은 차량 상태 정보(318)를 업데이트하기 전에 센서 입력 메시지(312)를 재배열한다(예를 들어, 분류한다). 센서 입력 메시지(312)는 센서와 연관된 내부 시스템 지연 및/또는 특성 측정 지연에 따라 재배열되어야 한다. 각각의 데이터 소스는 측정 시간의 추정치로서 사용될 수 있는 측정 가능한 내부 시스템 지연을 갖는다. 재배열된 센서 입력 메시지(312)를 프로세싱하는 것은 센서 입력 메시지(312)가 검색되는 순서가 센서 입력 메시지(312) 내의 데이터가 센서 디바이스(332)에 의해 취득되는 동일한 순서이기 때문에 정확한 위치 로컬리제이션 및 맵핑을 가능하게 한다.
몇몇의 실시예에서, 환경 기반 네비게이션 모듈(320)은 수신 시간 대신에 취득 시간의 순서로 관측-업데이트 단계를 수행한다. 이전의 차량 상태 및 현재 위치 예측에 기초하여, 환경 기반 네비게이션 모듈(320)은 이용 가능한 주행기록 데이터를 통합하고 현재 위치 예측을 보정하기 위해 데이터 융합(data fusion) 기술을 실행한다. 환경 기반 네비게이션 모듈(320)은 정확한 차량 위치(x,y 위치 및 방위)로 차량 상태 정보(318)를 업데이트하기 위해 현재 위치 예측을 사용한다.
도 4는 하나 이상의 실시예에 따른 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 시스템(400)의 기능 블록 다이어그램이다. 시스템(400)은 포크리프트 뿐만 아니라 센서 어레이(108)와 같은 산업 차량에 결합하는 모바일 컴퓨터(104)를 포함한다. 모바일 컴퓨터(104) 내의 다양한 소프트웨어 모듈은 환경 기반 네비게이션 모듈[예를 들어, 도 3의 환경 기반 네비게이션 모듈(320)]을 집합적으로 형성한다.
모바일 컴퓨터(104)는 로컬리제이션 모듈(402), 맵핑 모듈(404), 보정 모듈(408) 및 차량 컨트롤러(410)와 같은 네비게이션 기능을 수행하기 위한 다양한 소프트웨어 모듈(즉, 구성 요소)을 포함한다. 모바일 컴퓨터(104)는 산업 차량을 위한 정확한 위치를 제공하고, 환경 특징과 연관된 정보로 맵 데이터(406)를 업데이트할 수 있다. 로컬리제이션 모듈(402)은 차량 상태(418)를 결정하기 위한 필터(414) 및 특징 추출 모듈(416)과 같은 다양한 구성 요소를 또한 포함한다. 맵 모듈(404)은 동적 환경 특징(422) 및 정적 환경 특징(424)과 같은 다양한 데이터를 포함한다. 맵 모듈(404)은 특징 선택 모듈(420)과 같은 다양한 구성 요소를 또한 포함한다.
몇몇의 실시예에서, 보정 모듈(408)은 하나 이상의 센서 입력 데이터 메시지를 프로세싱하고, 그 내부의 관측된 센서 데이터를 검사한다. 보정 모듈(408)은 데이터가 필터(414)에 의해 프로세싱되기 전에 움직임 및/또는 시간 왜곡 아티팩트를 제거한다.
도 5는 하나 이상의 실시예에 따른 시야 내의 레이저 스캔(500)을 수행하는 평면형 레이저 스캐너(204)를 도시한다. 전술된 바와 같이, 포크리프트(200)는 레이저 스캔(500) 중에 특정 방향(예를 들어, 전방)으로 이동할 수 있다. 이하에 더 상세히 설명되는 바와 같이, 모바일 컴퓨터[예를 들어, 도 1의 모바일 컴퓨터(104)]는 차량 이동을 고려하기 위해 레이저 스캐너 데이터를 보정하는 환경 기반 네비게이션 모듈(320)을 실행하여, 정확한 로컬리제이션을 야기한다.
P1 내지 P2의 시야 사이에서, 평면형 레이저 스캐너(204)는 스캔 시간(Ts)(502) 중에 레이저 스캔을 수행한다. 대안적으로, 평면형 레이저 스캐너가 P1 내지 P2에 측정을 행하는 시계방향으로 회전하는 단거리 방위각 측정 디바이스를 갖는 회전형 스캐너일 때, 순간 스캔 시간(Ts)(502)은 이산 스캔 판독치와 연관될 수 있어, 연관된 거리 및 방위각 데이터점을 갖는 스캔 시간에 대한 시간의 어레이를 야기한다. 레이저 스캐너 데이터를 프로세싱하기 위해 요구된 시간 기간은 프로세싱 시간(Tp)으로서 저장된다. 다음에, 레이저 스캐너 데이터는 전송 시간(Tt)(506) 중에 센서 입력 메시지의 형태의 프로세스 필터에 전송된다. 집합적으로, Ts(502), Tp(504) 및 Tt(506)는 차량 상태를 업데이트하기 위해 프로세스 필터에 대한 레이저 스캐너 데이터의 이용 가능성과 취득 사이의 지연 시간을 구성한다. 환경 기반 네비게이션 모듈은 일정한 값[예를 들어, Ts(502), Tp(504) 및 Tt(506)의 절반을 구성하는 값의 합]을 사용하여 이러한 지연 시간을 고려한다. 레이저의 내부 프로세싱이 알려지지 않기 때문에 Tp(504)가 컴퓨팅될 수 없으면, 프로세스 필터는 Tp(504)를 추정하기 위해 센서 입력 메시지 및 발표 레이트(즉, 레이저 스캐닝의 주기성)의 이용 가능성과 연관된 시간을 사용한다.
도 6은 하나 이상의 실시예에 따른 물리적 환경(100) 내의 차량(102) 이동과 연관된 움직임 왜곡을 도시한다. 구체적으로, 차량(102)은 회전형의 평면형 레이저 스캐너와 같은 다양한 센서 디바이스에 의한 스캔 중에, 예를 들어 벽(604)과 같은 특징에 더 근접하게 이동하는 것으로서 도시되어 있다. 이들 센서 디바이스가 레이저 스캐너 데이터를 캡처함에 따라, 차량(102)은 위치(600)에서 시작하고, 직선 전방으로 이동하여 마지막으로 위치(602)에서 종료한다. 차량(102) 이동은 다양한 환경 특징의 좌표를 왜곡하는 레이저 스캐너 데이터 내의 움직임 아티팩트를 유발한다. 스캔 중에 차량의 움직임은 벽의 각도의 추정 에러(608)를 유발하여 벽 위치가 도면 부호 606으로서 도시된 것과 같이 추정되게 한다. 당 기술 분야의 숙련자들은 레이저 스캐너의 회전 움직임이 보정되지 않으면 차량 위치 추정치의 상당한 에러를 생성하는 관측된 특징의 더 복잡한 왜곡을 유발할 수 있다는 것을 이해할 수 있을 것이다. 이들 에러는 차량의 속도가 증가함에 따라 성장한다.
환경 기반 네비게이션 모듈은 스캔 시간(Ts)(502) 중에 주행기록 데이터와 같은 차량 움직임 데이터를 수집하고, 평면형 레이저 스캐너 데이터를 보정한다. 몇몇의 실시예에서, 차량 움직임 데이터는 다양한 환경 특징과 연관된 좌표를 조정하는데 사용되는, 주행된 거리 및/또는 방향을 결정하기 위한 파라미터를 포함한다. 차량 이동에 의해 발생된 움직임 아티팩트를 제거한 후에, 환경 기반 네비게이션 모듈은 이전의 차량 위치 예측을 업데이트하고 현재 차량 상태를 결정하기 위해 Ts(502)를 사용한다.
몇몇의 실시예에서, 보정 모듈(408)은 하나 이상의 센서 입력 데이터 메시지를 대기열 내에 삽입한다. 보정 모듈(408)은 이후에 보정된 취득 시간에 기초하여 센서 입력 메시지를 분류한다. 트리거 데이터 소스로부터 센서 입력 메시지가 보정 모듈(408)에 이용 가능하게 될 때, 필터 업데이트 프로세스가 로컬리제이션 모듈(402)에 의해 대기열 상에 수행되고, 이 로컬리제이션 모듈은 현재 차량 위치를 결정하기 위해 잔여 센서 데이터를 위치 측정치에 통합한다. 예를 들어, 트리거 데이터 소스는 레이저 스캐너와 같은 특정 유형의 센서 디바이스일 수 있다.
차량 상태(418)를 계산하기 위한 필터(414)에 추가하여, 로컬리제이션 모듈(402)은 보정된 센서 데이터로부터 특징을 추출하기 위한 특징 추출 모듈(416)을 또한 포함한다. 맵 모듈(404)은 관련되지 않은 특징을 제거하여 검사를 위한 특징의 총 개수를 감소시키기 위해 동적 특징(422) 및/또는 정적 특징(424)과 차량 상태(418)를 비교한다. 특징 선택 모듈(420)은 맵 데이터(406)에 대한 동적 특징(422)의 추가 및 수정을 관리한다. 특징 선택 모듈(420)은 알려진 배치되고 취출된 아이템과 같은 특정 특징을 최근에 점유하고 클리어된 영역을 지시하기 위해 맵 데이터(406)를 업데이트할 수 있다.
필터(414)는 알려진 맵핑된 환경 특징을 갖는 보정된 센서 데이터로부터 추출된 특징들을 비교하고 그리고/또는 센서 데이터를 통합하고 위치 예측을 보정하여 부정확한 예측 및/또는 관측된 환경 특징 불확실성을 고려하고 차량 상태(418)를 업데이트한다. 필터(414)는 차량 상태(418)를 결정하고, 동적 특징(422)과 연관된 정보로 맵 데이터(406)를 업데이트하도록 맵핑 모듈(404)에 명령할 수 있다. 필터(414)에 의해 모델링된 차량 상태(418)는 현재 차량 상태를 참조하고, 차량 위치(예를 들어, x,y에 대한 좌표 및 배향) 뿐만 아니라 이동(예를 들어, 차량 속도, 가속도 등)을 지시하는 데이터를 포함한다. 로컬리제이션 모듈(402)은 차량 컨트롤러(410)에 이러한 데이터를 또한 통신하면서 차량 상태(418)와 연관된 데이터를 맵핑 모듈(404)에 통신한다. 차량 위치에 기초하여, 차량 컨트롤러(410)는 산업 차량을 목적지로 네비게이팅한다.
시스템(400)은 환경 기반 네비게이션을 수행하기 위한 몇몇의 컴퓨팅 디바이스를 이용할 수 있다는 것이 이해된다. 컴퓨팅 디바이스(104) 내의 임의의 소프트웨어 모듈은 다른 컴퓨팅 디바이스와 같은 상이한 또는 다수의 물리적 하드웨어 구성 요소 상에서 배치될 수 있다. 맵핑 모듈(404)은 예를 들어 현재 차량 위치로 맵 데이터(406)를 공유하고 업데이트하기 위해 다수의 모바일 컴퓨팅 디바이스와 접속하기 위해 네트워크[도 3의 네트워크(302)]를 통해 서버 컴퓨터[예를 들어, 도 1의 중앙 컴퓨터(102)] 상에서 실행될 수 있다.
몇몇의 실시예에서, 보정 모듈(408)은 차량 상태(418)를 위한 상이한 샘플/발표 레이트 뿐만 아니라 상이한(내부) 시스템 지연을 갖는 센서 어레이(108)와 같은 이종 데이터 소스로부터 센서 입력 메시지를 프로세싱한다. 상이한 샘플링 주기 및 시스템 지연에 기인하여, 센서 입력 메시지가 취득되는 순서는 센서 입력 메시지가 결국에는 컴퓨팅 디바이스(104)에 이용 가능해지는 순서와 동일하지 않다. 특징 추출 모듈(416)은 이들 메시지 내의 센서 데이터로부터 관측된 환경 특징을 추출한다. 로컬리제이션 모듈(402)은 각각의 관측의 일관성을 보존하기 위해 각각의 메시지를 개별적으로 검사한다. 이러한 검사는 임의의 추측 항법 에러를 회피하기 위해 센서 데이터를 융합하는 대신에 수행될 수 있다.
도 7a는 하나 이상의 실시예에 따른 산업 차량을 위한 로컬리제이션 및 맵핑 프로세스(700)를 도시하는 상호 작용 다이어그램이다. 구체적으로, 로컬리제이션 및 맵핑 프로세스(700)는 센서 데이터 보정부(702), 인터페이스(704), 특징 추출부(706), 데이터 연관부(708), EKF(710) 및 동적 맵(712)과 같은 구성 요소 또는 계층들 사이에 다양한 데이터를 프로세싱하고 통신하는 것을 포함한다. 로컬리제이션 및 맵핑 프로세스(700)는 주로 환경 특징을 사용하여 산업 차량 작동을 지원한다. 인터페이스(704)는 계층들에 대한 제어를 용이하게 하고 환경 기반 네비게이션 모듈에 추가된다.
특징 추출부(706)는 센서 디바이스에 의해 입력된 데이터를 검사하고, 관측된 환경 특징(예를 들어, 라인 및 코너)을 추출한다. 데이터 연관부(708)는 알려진 정적(424) 및/또는 동적(422) 환경 특징 정보와 관측된 특징을 비교하여 알려진 맵 데이터와의 정합 특징을 식별한다. EKF(710)는 정합 특징 및 이전의 차량 위치와 연관된 측정치가 주어지면, 가장 가능한 현재 차량 위치를 제공하는 확장 칼만 필터이다. 동적 맵 관리자(712)는 선험적 정적 맵에서 발견되지 않는 로컬리제이션에 대해 사용된 동적 환경 특징의 최신 동적 맵을 유지한다. 동적 맵(712)은 정적 및 동적 환경 특징의 모두가 검사되도록 특징부를 데이터 연관부(708)에 대해 이용 가능하게 한다.
도 7b는 하나 이상의 실시예에 따른 산업 차량과 연관된 차량 움직임 데이터를 사용하는 로컬리제이션 프로세스(714)를 도시하는 상호 작용 다이어그램이다. 차량 움직임 데이터는 EKF(710)에 의해 결정된 위치 예측을 왜곡할 수 있는 산업 차량 이동을 참조한다. 예를 들어, 산업 차량은 센서 입력 메시지가 센서 디바이스로부터 취득됨에 따라(예를 들어, 레이저 스캔 중에) 이동할 수 있다. 이들 센서 입력 메시지는 결국에는 왜곡된 위치 예측 및 다음의 차량 상태의 부정확한 추정을 야기하는 부정확한 센서 데이터를 포함한다. 차륜 및/또는 IMU 등으로부터의 주행기록과 같은 차량 움직임 데이터가 센서 어레이(108) 상의 센서에 의해 측정될 수 있다.
센서 데이터 보정(702)은 타이밍 및/또는 움직임 아티팩트가 몇몇 실시예에 따른 차량 위치 예측에 앞서 센서 데이터로부터 제거되는 로컬리제이션 프로세스(714)의 단계이다. 센서 데이터 보정(702)은 다양한 센서 데이터로부터 결정된 차량 움직임 데이터를 프로세싱하고, 이어서 인터페이스(704)에 통신된다. 예를 들어, 센서 데이터 보정(702)은 속도 측정치를 컴퓨팅하기 위해 차륜 직경 및 주행기록 데이터를 사용하고, 데이터 취득 시간을 보정한다. 차량 움직임 데이터는 인터페이스(704)를 통해 EKF(710)로 통과된다. EKF(710)는 이에 응답하여, 차량 움직임 데이터에 기초하여 현재 위치 데이터 및 위치 불확실성을 추정하기 위해 위치 예측을 수행한다. 인터페이스(704)를 경유하여, 보정된 현재 위치 데이터는 차량에 재차 통신된다.
도 8은 하나 이상의 실시예에 따른 센서 입력 메시지 프로세싱(800)을 도시하는 타이밍 다이어그램이다. 몇몇의 실시예에서, 센서 어레이[예를 들어, 도 1의 센서 어레이(108)] 내의 레이저 스캐너(802), 레이저 스캐너(804) 및 주행기록계(806)와 같은 다양한 센서 디바이스가 환경 기반 네비게이션 모듈(808)에 센서 입력 메시지를 통신한다. 레이저 스캐너(802) 및 레이저 스캐너(804)는 상이한 발표 레이트 및/또는 상이한 판매자를 갖는 2개의 상이한 평면형 레이저 디바이스를 표현할 수 있다.
시간 및 움직임 왜곡에 의해 발생된 에러를 완화하거나 보정하기 위해, 환경 기반 네비게이션 모듈(808)은 센서 입력 메시지의 각각의 취득 시간에 응답하여 위치 측정치를 결정한다. 센서는 통상적으로 디바이스 내에 내부에서 데이터 취득시에 정보를 제공하고, 또는 데이터가 센서로부터 이용 가능해질 때 타임스탬프가 생성된다. 이러한 데이터는 이후에 프로세싱을 위한 환경 기반 네비게이션 모듈(808)을 형성하는 소프트웨어 모듈에 통신되고, 여기서 다양한 데이터 공유 기술(예를 들어, 직렬 링크, 이더넷 또는 소프트웨어 프로세스)에 기인하여, 데이터는 다른 센서 데이터와 비교할 때 시간 순서를 이탈하여 도달한다.
T802, T804 및 T806은 레이저 스캐너(802), 레이저 스캐너(804) 및 주행기록계(806) 각각의 브로드캐스트 시간 기간이다. δ802, δ804, δ806은 센서 입력 메시지를 프로세싱하여 환경 기반 네비게이션 모듈(808)에 전송하기 위한 시스템 지연이다. 상이한 샘플링 주기 및 상이한 시스템 지연에 기인하여, 센서 데이터가 센서 디바이스에 의해 취득되는 순서는 메시지가 환경 기반 네비게이션(808)에 이용 가능해지는 순서와 동일하지 않다. 예를 들어, 레이저 스캐너(802)로부터의 제 1 센서 입력 메시지는 가장 조기의 시간에 차량 상태에 관한 관측된 환경 특징을 포함한다. 그러나, 이 메시지는 이후의 시점에 차량 상태에 관한 움직임 추정치 및/또는 관측된 환경 특징을 포함하는 레이저 스캐너(804) 및/또는 주행기록계(806)로부터의 적어도 하나의 후속의 센서 입력 메시지 후에 도달한다. 제 1 센서 입력 메시지가 최종적으로 EBN(808)에 이용 가능해질 때, 주행기록계 디바이스(806)로부터의 2개의 센서 입력 메시지는 미리 이용 가능해진다.
몇몇의 실시예에서, 발표 레이트(T) 및/또는 시스템 지연(δ)은 고정되지 않는다. 환경 기반 네비게이션(EBN) 모듈(808)은 센서 입력 메시지에 어드레스하기 위해 우선순위 대기열[예를 들어, 도 3의 우선순위 대기열(310)]을 이용한다. EBN은 이전의 예측-업데이트 프로세스에 또한 후속하는 최저속 센서 입력 메시지 브로드캐스트를 프로세싱한 후에 예측-업데이트 프로세스를 실행한다. 각각의 메시지와 연관된 취득 시간에 응답하여, EBN 모듈(808)은 관측된 환경 특징 측정치를 수정하기 위해 센서 데이터를 사용한다. 각각의 센서 입력 메시지를 검사한 후에, EBN 모듈(808)은 산업 차량을 위한 위치 예측을 보정한다.
따라서, 각각의 모든 미래 예측-업데이트 프로세스는 우선순위 대기열 내의 각각의 센서 입력 메시지가 취득 타임스탬프[예를 들어, 도 3의 취득 타임스탬프(314)]의 순서로 프로세싱되는 일련의 필터 위치 예측 및 업데이트 단계이다. 업데이트 단계 중에, EBN 모듈(808)은 위치 예측/추정을 보정한다. 대안적으로, EBN 모듈(808)은 정확한 위치 측정치를 결정하기 위해 센서 데이터를 통합한다. 예를 들어, EBN 모듈(808)은 시간 경과에 따라 주행기록 데이터를 통합한다(즉, 추측 항법).
도시된 바와 같이, 주행기록계(806)로부터의 메시지는 센서 디바이스 사이에 최소 시스템 지연, 뿐만 아니라 최고 샘플링 주파수를 갖는다. 주행기록계(806) 메시지들이 우선순위 대기열 내에 삽입되는 동안, EBN 모듈(808)은 하나 이상의 위치 예측 단계를 수행하고, 차량 위치(예를 들어, 현재 또는 이력 위치) 추정치를 연속적으로 업데이트한다. 다음에, EBN 모듈(808)은 그 동안에 EBN 모듈(808)이 주행기록 데이터를 통합하는 업데이트 단계의 수행을 지연하지만, 업데이트 단계가 트리거링(trigger)될 때까지 차량 위치 추정치를 보정하지 않는다. 몇몇의 실시예에서, 레이저 스캐너(802)와 같은 특정 유형의 센서 디바이스로부터의 메시지는 업데이트 단계를 개시하는 트리거 메시지를 구성한다.
예측-업데이트 프로세스의 결과로서, EBN 모듈(808)은 차량 위치 추정치를 업데이트한다. 몇몇의 실시예에서, EBN 모듈(808)은 차량 위치에 관련된 2차원 x,y 좌표 및 방위를 보정한다. 이들 좌표는 공유된 사용 물리적 환경과 연관된 맵 데이터라 칭한다. 몇몇의 실시예에서, 차량 위치는 트리거 메시지로부터의 센서 데이터가 EBN 모듈(808)에 이용 가능해질 때(즉, 브로드캐스트 시간) 업데이트된다. 트리거 메시지의 이용 가능성 시에, EBN 모듈(808)은 취득 시간의 순서로 우선순위 대기열 내의 각각의 모든 센서 입력 메시지를 프로세싱한다. 업데이트된 차량 위치는 트리거 메시지의 취득 시간에 관측된 위치 측정치를 반영할 것이다.
몇몇의 실시예에서, 업데이트 단계는 추측 항법 에러가 사전 규정된 임계치를 초과하기 전에 트리거링된다. EBN 모듈(808)은 어느 상황 하에서, 추측 항법 에러가 너무 큰지를 결정한다. 예를 들어, 우선순위 대기열이 특정 길이(즉, 다수의 센서 입력 메시지)를 초과하면, 센서 입력 메시지 프로세싱은 광대한 양의 시간을 필요로 한다. EBN 모듈(808)은 어떠한 메시지도 취득 시간의 순서 외로 프로세싱되지 않는 것을 보장하기 위해 충분한 양의 시간 동안 업데이트 단계를 지연한다. 몇몇의 실시예에서, 업데이트 단계는 가장 긴 시스템 지연과 연관된 데이터 소스로부터의 센서 입력 메시지가 이용 가능해질 때까지 지연된다. 이러한 데이터가 수신되지 않으면, EBN 모듈(808)은 각각의 이용 가능한 센서 입력 메시지의 취득 시간에 기초하여 업데이트 단계를 수행한다. 몇몇의 실시예에서, EBN 모듈(808)은 현재 차량 위치 추정이 높은 신용을 갖고 그리고/또는 리소스 작업부하를 감소시키는 목적을 가지면 하나 이상의 센서 입력 메시지를 삭제한다.
도 9는 하나 이상의 실시예에 따른 센서 입력 메시지 프로세싱(900)의 부분을 도시한다. 구체적으로, 센서 입력 메시지 프로세싱(900)의 부분은 레이저 스캐너(902)의 수신 시간(T902) 및 시간 보정(C918)에 대응한다. 다양한 센서 디바이스로부터의 판독치(910)는 프로세싱되고, 보정되고, 라벨이 소스 센서 디바이스를 지정하는 센서 입력 메시지로서 대기열(912)에 저장된다. 레이저 스캐너(902) 및 레이저 스캐너(904)로부터의 센서 입력 메시지는 각각 라벨 "레이저 A" 및 "레이저 B"를 포함한다. 유사하게, 주행기록 데이터를 갖는 센서 입력 메시지는 주행기록계(906)가 소스인 것을 지시하기 위해 "Odom"이라 표기되어 있다. 더욱이, 대기열(912) 내의 센서 입력 메시지는 수신 시간이 아니라, 취득 시간에 따라 순서화된다.
제 1 판독치는 레이저 스캐너(902)로부터 시간 t=0.5에 수신되고, 이어서 t=0.1의 취득 시간에 따라 센서 입력 메시지로서 대기열(912)에 저장되어, 전술된 시간 보정(918)을 구현한다. 몇몇의 실시예에서, 대기열(912)은 센서 입력 메시지가 조기에 이용 가능해지지만 제 1 판독치보다 이후에 센서 디바이스에서 취득되는 메시지 대신에 프로세싱될 다음의 메시지가 되도록 재배열된다. 몇몇의 실시예에서, EKF(914)는 시간 t=0.1에 대한 위치 예측을 결정하기 위해 조기의 취득 시간을 갖는 센서 입력 메시지 내에 저장된 주행기록 데이터를 사용한다. 레이저 스캐너(902)는 트리거 데이터 소스이기 때문에, 센서 입력 메시지는 EKF(914)가 위치 예측을 업데이트하고 이력 위치를 결정하게 하는 트리거 메시지이다. 트리거 메시지 후에 대기열(912)에 저장되는 주행기록 데이터는 이력 위치의 견지에서 융합되고 시간 t=0.4에 현재 위치를 예측하는데 사용된다.
주행기록계(906)는 시간 t=0.7에 주행기록 데이터의 제 2 판독을 발표하고 t=0.6의 소정의 취득 시간에 주행기록 취득 지연(920)을 갖고 보정된다. 제 2 판독치가 센서 입력 메시지로서 EBN(908)에 이용 가능해지자마자, EKF(914)는 시간 t=0.6에 차량 위치를 예측한다. 다음에, EBN(908)은 대기열(912)의 종료에서 제 3 판독치와 연관된 센서 입력 메시지를 저장한다. 다음에, 레이저 스캐너(904)로부터의 제 3 판독치가 EBN(908)에 도달하고 취득 지연(922)을 사용하여 취득 시간에 따라 대기열(912) 내에 저장된다. 제 3 판독치는 레이저 스캐너(904)가 트리거 데이터 소스가 아니기 때문에 프로세싱되지 않는다. 이후에, 주행기록계(906)로부터의 제 4 판독치가 수신되고, 보정되고, 시간 t=0.8에 차량 위치를 추정하는데 사용된다. EBN(908)은 제 4 판독치와 연관된 주행기록 데이터를 제 2 판독치와 연관된 주행기록 데이터와 통합한다.
마지막으로, 레이저 스캐너(902)로부터의 제 5 판독치가 프로세싱되고 취득 시간에 따라 대기열(912) 내에 센서 입력 메시지로서 저장된다. 제 5 판독치는 취득 시간 t=0.5를 갖기 때문에, 센서 입력 메시지는 이후의 취득 시간(즉, 시간 t=0.6 내지 0.8)을 갖는 메시지 이전 및 이전의 취득 시간(즉, 시간 t=0.1 내지 0.4)을 갖는 메시지 이후의 위치에 삽입된다. 센서 입력 메시지는 트리거 메시지이기 때문에, 이전의 취득 시간을 갖는 메시지로부터 센서 데이터는 제 5 판독치와 연관된 레이저 스캐너 데이터와 조합된다.
다음에, 레이저 스캐너 데이터는 최종 알려진 차량 상태를 포함하는 시간 t=0.1에 대한 차량 상태를 업데이트하기 위해 시간 t=0.5에 대한 위치 측정치를 결정하는데 사용된다. 제 4 판독치로부터 주행기록 데이터를 사용하여, EKF(914)는 몇몇 실시예에 따라 최종 알려진 차량 상태에 기초하는 시간 t=0.4에 대한 위치 예측을 보정한다. 마지막으로, EBN(908)은 시간 t=0.8에 현재 차량 위치를 정방향 예측하기 위해 이후의 취득 시간을 갖는 메시지를 사용한다. 몇몇의 실시예에서, EBN(908)은 이들 메시지 내에 저장된 주행기록 데이터를 융합하고 융합된 주행기록 데이터를 현재 차량 위치 예측에 통합한다.
도 10은 하나 이상의 실시예에 따른 물리적 환경 내의 산업 차량을 로컬라이즈하기 위한 로컬리제이션 및 맵핑 시스템(1000)을 도시하는 기능 블록 다이어그램이다. 평면형 레이저 스캐너 디바이스와 같은 복수의 센서 디바이스가 환경 특징에 관한 정보를 제공한다. 주행기록계 및/또는 IMU와 같은 복수의 센서 디바이스의 일부로부터의 판독치는 위치, 속도, 가속도 및//도는 다른 차량 움직임 데이터와 같은 다양한 데이터의 상대 변화를 기술하는 차량 움직임 데이터를 제공한다.
다양한 센서 데이터가 통신될 때, 시간 및 움직임 왜곡 보정 프로세스(1002)는 몇몇 실시예에 따라, 시간 내의 또는 움직임에 기인하는 왜곡으로부터 임의의 계산된 에러를 제거하고, 평면형 레이저 스캐너 데이터와 같은 보정된 센서 데이터로부터 환경 특징을 추출하도록 프로세스(1004)에 명령하고, 우선순위 대기열(1006) 내에 순서화된 센서 데이터를 저장할 수 있다. 추출 환경 특징 프로세스(1004)는 순서화된 센서 데이터를 검사하고, 필터(1010) 내에 알려진 정적 및/또는 동적 환경 특징을 포함하는 알려진 특징 리스트(1008)에 비교되는 표준 환경 특징을 식별하여 차량 위치를 결정한다. 추출 환경 특징 프로세스(1004)는 필터(1010)에 사용을 위한 표준 포맷으로 제공되는 라인, 코너, 원호 또는 마커와 같은 이들 환경 특징에 관한 정보를 결정한다. 순서화된 센서 데이터를 사용하여, 필터(1010)는 이하에 더 설명되는 바와 같이, 관측된 추출된 환경 특징에 기초하여 산업 차량을 위한 현재 위치 예측을 업데이트한다.
몇몇의 실시예에서, 시간 및 움직임 왜곡 보정 프로세스(1002)는 또한 움직임 아티팩트에 의해 발생된 부정확성의 견지에서 최종적인 레이저 스캐너 데이터(예를 들어, 측정된 점에 대한 거리 및 방위각)를 보정하기 위해 레이저 스캔에 대응하는 차량 움직임 데이터를 사용한다. 예를 들어, 레이저 스캐너 데이터의 취득 시간에 또는 그 근방에(예를 들어, 직후 또는 직전에) 측정된 속도 파라미터에 기초하여, 시간 및 움직임 보정 왜곡 프로세스(1002)는 환경 특징에 관한 관측치를 조정한다.
일반적으로, 필터(1010)는 자동화형 산업 차량 또는 수동 구동식 차량을 위한 실시간 위치 설정 정보를 제공한다. 필터(1010)는 또한 차량 위치 측정치와 연관된 불확실성을 지시하는 데이터를 제공할 수 있다. 따라서, 산업 차량이 이용 가능한 환경 특징 또는 마커가 없이 비어 있는 공간 내에서 일시적으로 주행하면, 필터(1010)는 불확실성의 결정 표식과 함께 차량 움직임 데이터를 사용하여 차량 위치를 업데이트함으로써 정확한 로컬리제이션을 계속 제공한다. 필터(1010)는 우선순위 대기열로부터 다음의 센서 입력 메시지(예를 들어, 가장 빠른 취득 시간을 갖는 메시지)를 추출하고, 추출된 표준 환경 특징에 관한 정보를 검사한다. 알려진 특징 리스트(1008)는 물리적 환경의 맵과 연관된 정적 및/또는 동적 환경 특징을 포함한다. 필터(810)는 차량 위치를 추정하기 위해 추출된 표준 특징과 알려진 특징 리스트(1008)로부터의 선택된 특징을 비교한다.
안전 요구에 따라, 산업 차량은 에러가 경보(1014)를 트리거링하기 전에 차량 상태에 대한 규정된 불확실성의 정도 내에서 작동할 수 있다. 프로세스(1012)가 불확실성이 사전 규정된 임계치를 초과하는 것으로 판정하면, 경보(1014)는 산업 차량에 결합된 모바일 컴퓨터 또는 물리적 환경을 모니터링하기 위한 중앙 컴퓨터와 같은 컴퓨터에 에러 메시지를 통신한다. 다른 한편으로, 프로세스(1012)가 불확실성이 사전 규정된 임계치를 초과하는 것으로 판정하면, 정방향 예측 프로세스(1016)가 이하에 더 설명되는 바와 같이 현재 차량 상태를 추정하고, 발표 차량 상태 프로세스(1018)는 발표된 차량 상태를 업데이트한다.
시간 및 움직임 왜곡 보정 프로세스(1002) 중에, 판독치(즉, 관측치)는 각각의 센서 디바이스로부터 전송된다. 이들 판독치는 평면형 레이저 및/또는 3차원 레이저 및/또는 카메라 또는 환경 특징을 추출하기 위한 임의의 다른 유형의 센서 디바이스에 의해 제공될 수 있다. 시간 및 움직임 왜곡 보정 프로세스(1002)는 또한 산업 차량의 주행 속도 및/또는 유한 측정 시간에 기인할 수 있는 임의의 왜곡을 보정한다. 이 왜곡은 산업 차량 및 센서가 이동함에 따라(예를 들어, 스캔 중에) 발생하고, 이는 시간적 특징을 판독치로부터 추출된 데이터와 연관시킨다.
몇몇의 실시예에서, 차량 상태는 맵 내의 차량 위치와 연관된 위치(x, y 좌표 및 배향)를 포함한다. 몇몇의 실시예에서, 차량 상태는 다양한 속도 측정치를 포함한다. 주행기록 데이터는 선형 속도 및 회전 속도를 제공한다. 선형 속도는 인코더 또는 다른 속도 측정 디바이스가 설치되는 차륜의 평균 선형 속도를 칭한다. 회전 속도는 대향 차륜들의 선형 속도들 사이의 차이에 비례하고, 차량의 얼마나 많은 방위(heading)가 전체 좌표계에 대해 변경되었는지를 지시한다. 필터(1010)는 환경적 관측치(예를 들어, 평면형 레이저 거리 측정으로부터의 관측치)로부터 노이즈와 모델링된 움직임 프로세스 노이즈를 비교함으로써 프로세스 노이즈(예를 들어, 차륜 슬립 및 각도 슬립과 같은 주행기록 노이즈)를 보정하고, 더 정확한 위치 추정을 통계적으로 결정한다.
필터(1010)는 취득 시간에 따라 센서 입력 메시지를 프로세싱하기 때문에, 필터(1010)는 현재 시간에 앞서는 시점에서의 차량 위치를 포함하도록 차량 상태를 업데이트할 수 있다. 전술된 바와 같이, 필터(1010)는 트리거 메시지에 응답하여 차량 상태를 업데이트한다. 업데이트된 차량 상태는 이력 차량 상태라 칭할 수도 있다. 차량 상태를 업데이트한 후에, 정방향 예측 프로세스(1016)는 몇몇의 선택적 실시예에 따라 주행기록 데이터를 통합함으로써 현재 차량 위치를 포함하기 위해 이력 차량 상태를 더 업데이트하도록 트리거 메시지의 취득 시간 후의 시간에 대응하는, 주행기록 대기열(1022)로부터의 주행기록 데이터를 사용한다. 정방향 예측 프로세스(1016) 전에, 주행기록계로부터의 센서 입력 메시지는 몇몇의 실시예에 따라 주행기록 대기열(1022)에 통신된다. 주행기록 데이터는 정방향 예측 프로세스(1016)를 실행하는데 사용될 수 있다.
필터(1010)는 알려진 특징 리스트(1008) 내에 나타나지 않는 추출된 환경 특징(1004)이 도 4의 맵(406)과 같은 맵과 연관된 알려진 동적 환경 특징의 리스트에 추가되거나, 네거티브 관측의 경우에 그로부터 제거되게 할 수 있는데, 이 환경 특징은 이어서 알려진 특징 리스트(1008)가 액세스된 다음에 알려진 특징 리스트(1008)의 부분으로서 사용될 것이다.
도 11은 하나 이상의 실시예에 따른 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법(1100)의 흐름도이다. 몇몇의 실시예에서, 환경 기반 네비게이션 모듈[예를 들어, 도 4의 환경 기반 네비게이션 모듈(420)]은 방법(1100)의 각각의 모든 단계를 수행한다. 다른 실시예에서, 몇몇 단계는 생략되거나 스킵된다. 방법(1100)은 단계 1102에서 시작되고, 단계 1104로 진행한다.
단계 1104에서, 방법(1100)은 다양한 센서 디바이스를 초기화한다. 예를 들어, 방법(1100)은 하나 이상의 평면형 레이저 스캐너 및/또는 카메라 및/또는 주행기록계 등을 초기화한다. 단계 1106에서, 방법(1100)은 임의의 센서 디바이스가 센서 입력 메시지에 통신되는지 여부를 판정한다. 센서 입력이 센서 디바이스들 중 하나로부터 수신되면, 방법(1100)은 단계 1110으로 진행한다. 다르게는, 단계 1108에서, 방법(1100)은 센서 입력 메시지의 브로드캐스트를 대기한다. 일단, 센서 입력 메시지가 이용 가능해지면(예를 들어, 환경 기반 네비게이션 모듈에), 방법(1100)은 단계 1110으로 진행한다.
단계 1110에서, 방법(1100)은 센서 입력 메시지를 프로세싱한다. 단계 1112에서, 방법(1100)은 센서 입력 메시지로부터 표준 특징(즉, 환경 특징)을 추출한다. 단계 1114에서, 방법(1100)은 센서 입력 메시지에 취득 시간 스탬프를 첨부한다.
단계 1116에서, 방법(1100)은 우선순위 대기열 내에 센서 입력 메시지를 저장한다. 방법(1100)은 수신 시간 대신에 취득 시간에 따라 우선순위 대기열 내에 센서 입력 메시지를 재배열한다. 따라서, 각각의 센서 입력 메시지를 위한 취득 시간은 센서 입력 메시지를 순서화하기 위해 사용되는 우선순위(즉, 값)를 구성한다. 방법(1100)은 가장 빠른 취득 시간을 갖는 우선순위 대기열 내의 다음의 센서 입력 메시지를 검사함으로써 각각의 센서 입력 메시지와 연관된 취득 시간에 응답하여 위치 측정치를 결정한다. 몇몇의 실시예에서, 방법(1100)은 센서 디바이스에 의해 관측된 위치 측정치에 기초하여 위치 예측을 보정한다.
단계 1118에서, 방법(1100)은 우선순위 대기열 내의 다음의 대기열 엔트리가 주행기록 데이터를 포함하는지 여부를 판정한다. 대기열 엔트리가 주행기록 데이터이면, 방법(1100)은 단계 1120으로 진행한다. 단계 1120에서, 방법(1100)은 우선순위 대기열 내에 주행기록 데이터를 통합하고 차량 위치를 업데이트한다. 다른 한편으로, 다음의 대기열 엔트리 측정이 주행기록 데이터를 포함하지 않으면, 방법 1100은 단계 1122로 진행한다. 단계 1122에서, 방법(1100)은 센서 입력 메시지가 생성되어 트리거 데이터 소스에 의해 통신되었는지 여부를 판정한다. 센서 입력 메시지가 트리거 데이터 소스로부터 오면, 방법(1100)은 단계 1124로 진행한다. 다른 한편으로, 센서 입력 메시지가 트리거 데이터 소스로부터 오지 않으면, 방법(1100)은 단계 1106으로 복귀한다. 단계 1124에서, 방법(1100)은 정확한 위치 측정을 결정하고 차량 상태를 업데이트하기 위해 필터 업데이트 프로세스를 수행한다. 몇몇의 실시예에서, 방법(1100)은 센서 데이터 및 이전의 차량 상태를 사용하여 결정된 위치 예측을 보정한다.
단계 1126에서, 방법(1100)은 차량 상태 정보[예를 들어, 도 3의 차량 상태 정보(318)]에 보정된 차량 위치를 저장한다. 단계 1128에서, 방법(1100)은 로컬리제이션 프로세스를 종료해야 하는지 여부를 판정한다. 로컬리제이션 프로세스가 종료되어야 하면, 방법(1100)은 단계 1130으로 진행한다. 로컬리제이션 프로세스가 종료되지 않아야 하면, 방법(1100)은 단계 1106으로 복귀한다. 단계 1130에서, 방법(1100)은 종료한다.
도 12는 하나 이상의 실시예에 따른 필터를 사용하여 산업 차량을 위한 차량 상태를 업데이트하기 위한 방법(1200)의 흐름도이다. 몇몇의 실시예에서, 환경 기반 네비게이션 모듈은 방법(1200)의 각각의 모든 단계를 수행한다. 다른 실시예에서, 몇몇 단계는 생략되거나 스킵된다. 몇몇의 실시예에서, 방법(1200)은 도 11에 의해 도시된 바와 같이 방법(1100)의 단계(924)를 구현한다. 이에 따라, 방법(1200)은 트리거 데이터 소스로부터의 센서 입력 메시지(즉, 트리거 메시지)가 수신되거나 이용 가능해질 때 실행된다. 차량 상태를 위한 필터 업데이트를 수행하기 전에, 필터(예를 들어, 확장 칼만 필터와 같은 프로세스 필터)는 이전의 차량 상태(예를 들어, 이전의 차량 위치)에 기초하여 현재 위치 예측을 결정한다. 방법(1200)은 단계 1202에서 시작하여 단계 1204로 진행한다.
단계 1204에서, 방법(1200)은 다음의 센서 입력 메시지를 프로세싱한다. 몇몇의 실시예에서, 방법(1200)은 대기열(예를 들어, 취득 시간에 의해 순서화된 우선순위 대기열)로부터 다음의 센서 입력 메시지를 추출한다. 몇몇의 실시예에서, 방법(1200)은 가장 빠른 취득 시간을 갖는 다음의 센서 입력 메시지를 검사하고, 레이저 스캐너 데이터로부터 표준 정적 및/또는 동적 환경 특징에 관한 정보를 추출한다. 방법(1200)은 또한 임의의 이용 가능한 주행기록 데이터를 통합하고 현재 차량 위치를 예측한다. 방법(1200)은 몇몇 실시예에 따라, 인코더와 같은 다른 센서 디바이스로부터 환경 특징에 관한 부가의 정보를 생성한다는 것이 이해된다.
단계 1206에서, 방법(1200)은 다음의 센서 입력 메시지가 트리거 메시지인지 여부를 판정한다. 본 명세서에 설명되는 바와 같이, 트리거 메시지는 몇몇 실시예에 따라 트리거 데이터 소스(예를 들어, 특정 센서 디바이스)에 의해 통신된다. 다음의 센서 입력 메시지가 또한 트리거 메시지이면, 방법(1200)은 다음의 센서 입력 메시지와 연관된 위치 측정 데이터가 검사되는 단계 1208로 진행한다. 몇몇의 실시예에서, 방법(1200)은 트리거 메시지에 앞서 취득되고 트리거 메시지를 포함하는 레이저 스캐너 데이터 및 주행기록 데이터를 사용하여 위치 예측을 업데이트한다.
단계 1210에서, 방법(1200)은 잔여 주행기록 데이터를 현재 차량 이동이 제공된 현재 위치를 예측하는 것과 차량 상태[예를 들어, 도 3의 차량 상태 정보(318)]를 업데이트하는 것에 통합한다. 단계 1210은 본 발명의 정방향 예측 프로세스라 칭할 수 있다. 센서 입력 이미지가 트리거 메시지가 아니면, 방법(1200)은 단계 1204로 복귀하고, 취득 시간의 순서로 대기열로부터 다른 센서 입력 메시지를 추출한다. 단계 1212에서, 방법(1200)은 종료한다.
다양한 요소, 디바이스 및 모듈이 그 각각의 기능과 연관하여 전술되었다. 이들 요소, 디바이스 및 모듈은 본 명세서에 설명된 바와 같은 그 각각의 기능을 수행하기 위한 수단으로 고려된다.
상기 설명은 본 발명의 실시예에 관련되지만, 본 발명의 다른 및 추가의 실시예가 그 기본 범주로부터 벗어나지 않고 안출될 수 있고, 그 범주는 이어지는 청구범위에 의해 결정된다.

Claims (32)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 물리적 환경에서 산업 차량을 작동하는 방법에 있어서,
    상기 산업 차량은 모바일 컴퓨터 및 복수의 센서 디바이스들을 포함하고;
    상기 복수의 센서 디바이스들은 차륜 인코더, IMU 또는 둘 다 및 하나 이상의 2차원 레이저 스캐너들을 포함하고;
    상기 차륜 인코더, IMU 또는 둘 다는 상기 산업 차량의 주행기록 데이터를 제공하고;
    상기 2차원 레이저 스캐너는 상기 물리적 환경의 상세들을 제공하고;
    상기 모바일 컴퓨터는 상기 복수의 센서 디바이스들로부터 입력 메시지들을 수신하고 각각의 입력 메시지를 데이터 소스 및 취득 타임스탬프와 연관짓는 우선순위 대기열을 이용하는 EBN 모듈을 포함하고;
    상기 복수의 센서 디바이스들은, 상기 복수의 센서 디바이스들로부터의 센서 데이터가 취득되는 순서가 상기 센서 데이터가 상기 EBN 모듈에 대해 이용 가능해지는 순서와 동일하지 않도록 상이한 샘플링 주기들 및 상이한 샘플링 지연들을 갖고;
    상기 산업 차량은, 확률 밀도로서 2차원 평면 내의 상기 산업 차량의 위치를 모델링하고, 상기 산업 차량의 예측된 위치를 업데이트하기 위해 상기 주행기록 데이터를 사용하고, 상기 2차원 레이저 스캐너로부터 추출된 환경 특징들을 사용하여 상기 추출된 환경 특징들과 상기 물리적 환경의 공지된 맵을 비교함으로써 상기 산업 차량의 예측된 위치에서의 에러를 보정하도록 상기 모바일 컴퓨터의 확장 칼만 필터를 이용하여 차량 경로에 따라 이동되고;
    상기 확장 칼만 필터에 의한 상기 예측된 차량 위치 업데이트는 상기 차량 위치 업데이트를 개시하는 트리거 메시지가 상기 EBN 모듈에 의해 수신될 때까지 지연되고;
    상기 EBN 모듈은 상기 트리거 메시지의 이용 가능시 취득 시간의 순서로 상기 우선순위 대기열 내의 상기 입력 메시지들을 프로세싱하는, 산업 차량 작동 방법.
  17. 제 18 항에 있어서,
    상기 트리거 메시지는 상기 주행기록 데이터와 연관된 추측 항법 에러(dead reckoning error)가 사전 규정된 임계치를 초과할 때 생성되는, 산업 차량 작동 방법.
  18. 제 18 항에 있어서,
    상기 트리거 메시지는 상기 우선순위 대기열이 특정 길이를 초과할 때 생성되는, 산업 차량 작동 방법.
  19. 제 18 항에 있어서,
    상기 확장 칼만 필터에 의한 예측된 차량 위치 업데이트는 상기 입력 메시지들 중 어느 것도 취득 시간의 순서를 벗어나서 프로세싱되지 않는 것을 보장하는 데 충분한 시간 양만큼 지연되는, 산업 차량 작동 방법.
  20. 제 18 항에 있어서,
    상기 복수의 센서 디바이스들 중 하나는 가장 긴 샘플링 지연을 갖고;
    상기 확장 칼만 필터에 의한 예측된 차량 위치 업데이트는 상기 입력 메시지가 상기 가장 긴 샘플링 지연을 가진 상기 센서 디바이스로부터 수신될 때까지 지연되는, 산업 차량 작동 방법.
  21. 제 18 항에 있어서,
    상기 EBN 모듈은 현재 차량 위치 추정이 높은 신용을 가질 때 상기 우선순위 대기열로부터 하나 이상의 입력 메시지들을 삭제하는, 산업 차량 작동 방법.
  22. 제 18 항에 있어서,
    상기 EBN 모듈은 리소스 작업부하들을 감소시키도록 상기 우선순위 대기열로부터 하나 이상의 입력 메시지들을 삭제하는, 산업 차량 작동 방법.
  23. 제 18 항에 있어서,
    상기 차량 위치 업데이트를 개시하는 상기 트리거 메시지는 상기 2차원 레이저 스캐너들 중 하나로부터 수신되는, 산업 차량 작동 방법.
  24. 제 18 항에 있어서,
    상기 우선순위 대기열 내의 연속적인 입력 메시지들은:
    입력 메시지가 주행기록 데이터라면, 차량 상태를 업데이트하도록 통합되어 사용되고, 트리거 메시지의 수신시 프로세싱에 이용 가능하게 되고;
    상기 입력 메시지가 트리거 메시지라면, 상기 예측된 차량 위치 업데이트를 개시하도록 사용되고;
    상기 입력 메시지가 주행기록 데이터 또는 트리거 메시지가 아니라면, 상기 차량 상태를 업데이트하거나 상기 예측된 차량 위치 업데이트를 개시하지 않고서 하나 이상의 연속적인 입력 메시지들로 상기 우선순위 대기열에 저장되는, 산업 차량 작동 방법.
  25. 제 18 항에 있어서,
    상기 우선순위 대기열 내의 상기 입력 메시지들을 프로세싱하기 전에, 상기 EBN 모듈은 각각의 입력 메시지와 연관된 데이터 소스 지연을 사용하여 연관된 취득 타임스탬프에 따라 상기 입력 메시지들을 재배열하는, 산업 차량 작동 방법.
  26. 제 27 항에 있어서,
    상기 데이터 소스 지연은 특정 센서 디바이스와 연관된 내부 시스템 지연을 포함하는, 산업 차량 작동 방법.
  27. 제 27 항에 있어서,
    상기 데이터 소스 지연은 특정 데이터 소스와 연관된 특성 측정 지연을 포함하는, 산업 차량 작동 방법.
  28. 제 18 항에 있어서,
    상기 물리적 환경의 공지된 맵은 공지된 환경 특징들을 포함하는, 산업 차량 작동 방법.
  29. 제 18 항에 있어서,
    상기 물리적 환경의 공지된 맵은 동적 환경 특징들의 리스트를 포함하는, 산업 차량 작동 방법.
  30. 제 18 항에 있어서,
    상기 EBN은 시간에 걸쳐 주행기록 데이터를 통합하여 상기 산업 차량의 상기 예측된 위치를 업데이트하는, 산업 차량 작동 방법.
  31. 물리적 환경에서 산업 차량을 작동하는 방법에 있어서,
    상기 산업 차량은 모바일 컴퓨터 및 복수의 센서 디바이스들을 포함하고;
    상기 복수의 센서 디바이스들은 차륜 인코더, IMU 또는 둘 다 및 복수의 2차원 레이저 스캐너들을 포함하고;
    상기 차륜 인코더, IMU 또는 둘 다는 상기 산업 차량의 주행기록 데이터를 제공하고;
    상기 2차원 레이저 스캐너들은 상기 물리적 환경의 상세들을 제공하고 상기 산업 차량 상의 상이한 측정 가능한 위치들에서 장착되고;
    상기 모바일 컴퓨터는 2차원 레이저 스캐너들로부터의 레이저 스캔 데이터를 공통 기준 프레임으로 전치(transpose)하고 상기 전치된 레이저 스캔 데이터를 단일의 가상 레이저 스캔에 조합하는 EBN 모듈을 포함하고;
    상기 EBN 모듈은 차량 경로를 따라 상기 산업 차량의 움직임을 제어하도록 상기 단일의 가상 레이저 스캔을 이용하는, 산업 차량 작동 방법.
  32. 물리적 환경에서 산업 차량을 작동하는 방법에 있어서,
    상기 산업 차량은 모바일 컴퓨터 및 복수의 센서 디바이스들을 포함하고;
    상기 복수의 센서 디바이스들은 상기 산업 차량의 주행기록 데이터를 제공하기 위해 차륜 인코더, IMU 또는 둘 다를 포함하고;
    적어도 하나의 추가의 센서 디바이스가 상기 물리적 환경의 상세들을 제공하고;
    상기 모바일 컴퓨터는 상기 복수의 센서 디바이스들로부터 입력 메시지들을 수신하고 각각의 입력 메시지를 데이터 소스 및 취득 타임스탬프와 연관짓는 우선순위 대기열을 이용하는 EBN 모듈을 포함하고,
    상기 복수의 센서 디바이스들은, 상기 복수의 센서 디바이스들로부터의 센서 데이터가 취득되는 순서가 상기 센서 데이터가 상기 EBN 모듈에 대해 이용 가능해지는 순서와 동일하지 않도록 상이한 샘플링 주기들 및 상이한 샘플링 지연들을 갖고;
    상기 산업 차량은, 확률 밀도로서 2차원 평면 내의 상기 산업 차량의 위치를 모델링하고, 상기 산업 차량의 예측된 위치를 업데이트하기 위해 상기 주행기록 데이터를 사용하고, 상기 추가의 센서 디바이스로부터 추출된 환경 특징들을 사용하여 상기 추출된 환경 특징들과 상기 물리적 환경의 공지된 맵을 비교함으로써 상기 산업 차량의 예측된 위치에서의 에러를 보정하도록 상기 모바일 컴퓨터의 확장 칼만 필터를 이용하여 차량 경로에 따라 이동되고;
    상기 확장 칼만 필터에 의한 상기 예측된 차량 위치 업데이트는 상기 차량 위치 업데이트를 개시하는 트리거 메시지가 상기 EBN 모듈에 의해 수신될 때까지 지연되고;
    상기 EBN 모듈은 상기 트리거 메시지의 이용 가능시 취득 시간의 순서로 상기 우선순위 대기열 내의 상기 입력 메시지들을 프로세싱하는, 산업 차량 작동 방법.
KR1020137034552A 2011-05-26 2012-05-22 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치 KR101623359B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/116,600 2011-05-26
US13/116,600 US20120303255A1 (en) 2011-05-26 2011-05-26 Method and apparatus for providing accurate localization for an industrial vehicle
US13/300,041 US8655588B2 (en) 2011-05-26 2011-11-18 Method and apparatus for providing accurate localization for an industrial vehicle
US13/300,041 2011-11-18
PCT/NZ2012/000075 WO2012161597A2 (en) 2011-05-26 2012-05-22 Method and apparatus for providing accurate localization for an industrial vehicle

Publications (2)

Publication Number Publication Date
KR20140036264A KR20140036264A (ko) 2014-03-25
KR101623359B1 true KR101623359B1 (ko) 2016-05-23

Family

ID=47217937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034552A KR101623359B1 (ko) 2011-05-26 2012-05-22 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치

Country Status (9)

Country Link
US (1) US8655588B2 (ko)
EP (1) EP2715393B1 (ko)
KR (1) KR101623359B1 (ko)
CN (1) CN103733084B (ko)
AU (1) AU2012259536B9 (ko)
BR (1) BR112013030237A2 (ko)
CA (1) CA2854756C (ko)
RU (1) RU2570571C2 (ko)
WO (1) WO2012161597A2 (ko)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2010124265A (ru) * 2010-06-16 2011-12-27 Алексей Владиславович Жданов (RU) Способ и устройство определения направления начала движения
WO2013059147A1 (en) 2011-10-19 2013-04-25 Crown Equipment Corporation Identifying and evaluating multiple rectangles that may correspond to a pallet in an image scene
US9347205B2 (en) * 2012-02-10 2016-05-24 Topcon Positioning Systems, Inc. Estimation of the relative attitude and position between a vehicle body and an implement operably coupled to the vehicle body
US10707971B2 (en) * 2012-12-10 2020-07-07 Apple Inc. Ultrasound ranging for mobile devices
CN103076804B (zh) * 2012-12-27 2015-10-21 深圳先进技术研究院 基于超声测距仪的自动引导车、系统及导航方法
CN103048996A (zh) * 2012-12-27 2013-04-17 深圳先进技术研究院 基于激光扫描测距仪的自动引导车、系统及导航方法
US9354070B2 (en) 2013-10-31 2016-05-31 Crown Equipment Corporation Systems, methods, and industrial vehicles for determining the visibility of features
DE102014211166A1 (de) 2013-11-20 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren, Fusionsfilter und System zur Fusion von Sensorsignalen mit unterschiedlichen zeitlichen Signalausgabeverzügen zu einem Fusionsdatensatz
US9785152B2 (en) 2014-02-07 2017-10-10 Crown Equipment Corporation Systems, methods, and mobile client devices for supervising industrial vehicles
KR102263731B1 (ko) 2014-11-11 2021-06-11 현대모비스 주식회사 주변차량의 위치정보 보정 시스템 및 방법
US9541409B2 (en) 2014-12-18 2017-01-10 Nissan North America, Inc. Marker aided autonomous vehicle localization
CN104535061A (zh) * 2015-01-06 2015-04-22 常州先进制造技术研究所 一种基于多传感器数据融合的导航系统
US9625906B2 (en) 2015-01-15 2017-04-18 Nissan North America, Inc. Passenger docking location selection
US9519290B2 (en) * 2015-01-15 2016-12-13 Nissan North America, Inc. Associating passenger docking locations with destinations
US9436183B2 (en) 2015-01-15 2016-09-06 Nissan North America, Inc. Associating passenger docking locations with destinations using vehicle transportation network partitioning
US9448559B2 (en) 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
US9151628B1 (en) 2015-01-30 2015-10-06 Nissan North America, Inc. Associating parking areas with destinations
US9697730B2 (en) 2015-01-30 2017-07-04 Nissan North America, Inc. Spatial clustering of vehicle probe data
US9568335B2 (en) 2015-01-30 2017-02-14 Nissan North America, Inc. Associating parking areas with destinations based on automatically identified associations between vehicle operating information and non-vehicle operating information
US9599480B2 (en) 2015-03-06 2017-03-21 Umm Al-Qura University Vehicle localization and transmission method and system using a plurality of communication methods
US10120381B2 (en) 2015-03-13 2018-11-06 Nissan North America, Inc. Identifying significant locations based on vehicle probe data
US9778658B2 (en) 2015-03-13 2017-10-03 Nissan North America, Inc. Pattern detection using probe data
WO2016187759A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
BR112017025107A2 (pt) * 2015-05-26 2018-07-31 Crown Equipment Corporation sistema e método para calibrar um dispositivo de captura de imagem para um veículo de manuseamento de materiais, e, veículo de manuseamento de materiais
RU2668459C1 (ru) * 2015-05-28 2018-10-01 Ниссан Мотор Ко., Лтд. Устройство оценки положения и способ оценки положения
EP3109589B1 (en) * 2015-06-23 2019-01-30 Volvo Car Corporation A unit and method for improving positioning accuracy
KR101690882B1 (ko) * 2015-07-16 2016-12-28 한국과학기술원 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법
ITUB20153295A1 (it) * 2015-08-31 2017-03-03 Marposs Spa Sistema e metodo di elaborazione e trasmissione dati
US10235817B2 (en) * 2015-09-01 2019-03-19 Ford Global Technologies, Llc Motion compensation for on-board vehicle sensors
US9945956B2 (en) * 2015-09-08 2018-04-17 Apple Inc. GNSS positioning using three-dimensional building models
CN105547288A (zh) * 2015-12-08 2016-05-04 华中科技大学 一种煤矿井下移动设备自主定位的方法及系统
CN105607633A (zh) * 2015-12-18 2016-05-25 中国印钞造币总公司 一种垛区环境中移动扫描车的自主寻径方法及系统
US10580842B2 (en) 2016-03-03 2020-03-03 Pioneer Corporation Light-emitting device and light-emitting system
CN106796433A (zh) * 2016-03-31 2017-05-31 株式会社小松制作所 作业机械的控制系统、作业机械和作业机械的控制方法
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
CN106123890A (zh) * 2016-06-14 2016-11-16 中国科学院合肥物质科学研究院 一种多传感器数据融合的机器人定位方法
US9817402B1 (en) * 2016-07-12 2017-11-14 The Boeing Company Application of factory automation for an airline assembly and build process
RU2658092C2 (ru) * 2016-10-13 2018-06-19 Общество с ограниченной ответственностью "РобоСиВи" Способ и система навигации подвижного объекта с использованием трехмерных датчиков
EP3324208B1 (en) * 2016-11-21 2020-09-23 HTC Corporation Positioning device and positioning method
US10382348B2 (en) * 2016-11-23 2019-08-13 General Motors Llc Time ordered message serializer
US11513211B2 (en) * 2016-11-29 2022-11-29 Continental Automotive Gmbh Environment model using cross-sensor feature point referencing
CN106482739B (zh) * 2016-11-30 2020-07-17 英华达（上海）科技有限公司 自动导引运输车导航方法
US10311456B2 (en) 2017-01-19 2019-06-04 Quick Bites, Inc. Dispensation delay prediction systems and methods
JPWO2018143237A1 (ja) * 2017-01-31 2019-11-14 パイオニア株式会社 情報処理装置、サーバ装置、情報処理システム、情報処理方法、およびプログラム
JP6259171B1 (ja) * 2017-02-28 2018-01-10 株式会社小松製作所 作業車両の制御装置、作業車両、及び作業車両の制御方法
US10252710B2 (en) 2017-05-10 2019-04-09 Toyota Motor Engineering & Manufacturing North America, Inc. Utilizing missed prediction
US10496104B1 (en) * 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
WO2019019136A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE
ES2946763T3 (es) * 2017-08-10 2023-07-25 Siemens Mobility GmbH Adaptación de parámetros de pesos de fusión de datos, controlada por sensores, a condiciones meteorológicas en una unidad de odometría de un vehículo ferroviario
US11686934B2 (en) * 2017-08-31 2023-06-27 Faro Technologies, Inc. Remote control of a scanner using movement of a mobile computing device
DE102017216554A1 (de) * 2017-09-19 2019-03-21 Robert Bosch Gmbh Verfahren und Anordnung zum Lokalisieren und/oder Bewegen eines Objekts in einer Umgebung
CN109579830A (zh) * 2017-09-29 2019-04-05 长沙理工大学 智能机器人的导航方法和导航系统
US11558601B2 (en) * 2017-11-06 2023-01-17 Symbol Technologies, Llc Methods and apparatus for initializing object dimensioning systems
CN109870156B (zh) * 2017-12-04 2020-12-08 北京自动化控制设备研究所 一种车用低成本微机械惯导系统自主导航定位方法
CN109959381B (zh) * 2017-12-22 2021-06-04 深圳市优必选科技有限公司 一种定位方法、装置、机器人及计算机可读存储介质
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
US10789848B2 (en) * 2018-04-20 2020-09-29 Toyota Jidosha Kabushiki Kaisha Multi-level hybrid vehicle-to-anything communications for cooperative perception
DE102018206786A1 (de) * 2018-05-03 2019-11-07 Robert Bosch Gmbh Verfahren zur satellitengestützten Ermittlung einer Fahrzeugposition mittels eines Bewegungs- und Positionssensors
CN110515089B (zh) * 2018-05-21 2023-06-02 华创车电技术中心股份有限公司 基于光学雷达的行车辅助方法
CN108981688B (zh) * 2018-05-29 2022-07-19 苏州极客嘉智能科技有限公司 基于激光导航agv惯导航向角原点变换及误差补偿算法
JP7167982B2 (ja) * 2018-05-31 2022-11-09 日本電気株式会社 出力装置、出力方法及び出力プログラム
US10740965B2 (en) 2018-06-01 2020-08-11 Trx Systems, Inc. Mapping complex building models
CN109191492B (zh) * 2018-07-11 2021-07-27 东南大学 一种基于轮廓分析的智能视频黑烟车检测方法
TWI671610B (zh) 2018-09-28 2019-09-11 財團法人工業技術研究院 自動引導車、自動引導車控制系統、以及自動引導車之控制方法
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11105927B2 (en) 2018-11-29 2021-08-31 Waymo Llc Localization initialization for autonomous vehicles
US20200225363A1 (en) * 2019-01-16 2020-07-16 GM Global Technology Operations LLC Maintaining vehicle position accuracy
DE102019101569A1 (de) * 2019-01-23 2020-07-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum fahrerlosen Umsetzen eines Fahrzeugs über eine Strecke innerhalb eines abgeschlossenen Geländes
DE102019110803B3 (de) 2019-04-26 2020-07-30 Sick Ag Sicherheitslaserscanner zur Erfassung von Objekten in einem Überwachungsbereich
TWI701423B (zh) * 2019-07-01 2020-08-11 東元電機股份有限公司 反射貼紙輔助定位系統
CN110398251B (zh) * 2019-08-16 2021-02-09 北京邮电大学 一种基于多传感器融合的无轨导航agv定位系统及其定位方法
US11262759B2 (en) 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time
US11391807B2 (en) 2020-01-27 2022-07-19 Honda Motor Co., Ltd. Systems and methods for use in transmitting data
US11372397B2 (en) 2020-01-27 2022-06-28 Honda Motor Co., Ltd. Systems and methods for use in facilitating a manufacturing operation
DE102020105804A1 (de) 2020-03-04 2021-09-09 Jungheinrich Aktiengesellschaft System zur Inspektion eines Lagers
CN111457918B (zh) * 2020-05-06 2023-05-23 辽宁工程技术大学 一种基于多传感器信息融合的连续采煤机导航与定位系统
DK3926300T3 (da) * 2020-06-18 2022-09-26 Sick Ag Bestemmelse af egenposition og navigationsanordning
CN112066982B (zh) * 2020-09-07 2021-08-31 成都睿芯行科技有限公司 一种在高动态环境下的工业移动机器人定位方法
RU2754961C1 (ru) * 2020-12-17 2021-09-08 Общество с ограниченной ответственностью «Технокар» Способ и система определения параметров геометрического положения колес транспортного средства по данным трехмерного сканирования поверхностей колес транспортного средства
WO2023287829A1 (en) * 2021-07-12 2023-01-19 Cyngn, Inc. Adaptive motion compensation of perception channels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012493A1 (en) * 2002-12-17 2006-01-19 Karlsson L N Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
US20070118286A1 (en) * 2005-11-23 2007-05-24 The Boeing Company Ultra-tightly coupled GPS and inertial navigation system for agile platforms
US20100204974A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-Assisted Stero Imager

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4043418A (en) 1975-11-06 1977-08-23 Logisticon Inc. Reverse direction guidance system for lift truck
US4782920A (en) 1987-02-04 1988-11-08 Cascade Corporation Load-lifting mast especially adapted for use with automatically-guided vehicles
US4855915A (en) 1987-03-13 1989-08-08 Dallaire Rodney J Autoguided vehicle using reflective materials
US4858132A (en) 1987-09-11 1989-08-15 Ndc Technologies, Inc. Optical navigation system for an automatic guided vehicle, and method
US5011358A (en) 1988-10-25 1991-04-30 Andersen Eric T Height indicator for a fork lift truck
US5179329A (en) 1989-04-25 1993-01-12 Shinko Electric Co., Ltd. Travel control method, travel control device, and mobile robot for mobile robot systems
US5051906A (en) 1989-06-07 1991-09-24 Transitions Research Corporation Mobile robot navigation employing retroreflective ceiling features
US5646845A (en) 1990-02-05 1997-07-08 Caterpillar Inc. System and method for controlling an autonomously navigated vehicle
US5170352A (en) 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
US5202832A (en) 1991-01-29 1993-04-13 R. R. Donnelley & Sons Co. Material handling automation system using portable transfer module
US5208753A (en) 1991-03-28 1993-05-04 Acuff Dallas W Forklift alignment system
US5491670A (en) 1993-01-21 1996-02-13 Weber; T. Jerome System and method for sonic positioning
US5539638A (en) 1993-08-05 1996-07-23 Pavilion Technologies, Inc. Virtual emissions monitor for automobile
US5471393A (en) 1994-01-26 1995-11-28 Bolger; Joe Driver's associate: a system for vehicle navigation and driving assistance
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US5916285A (en) 1995-10-18 1999-06-29 Jervis B. Webb Company Method and apparatus for sensing forward, reverse and lateral motion of a driverless vehicle
DE19613386A1 (de) * 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist
SE9601440D0 (sv) 1996-04-15 1996-04-15 Apogeum Ab Förfarande för positionsbestämning av ett flertal fasta objekt
DE69739160D1 (de) 1996-10-18 2009-01-22 Yaskawa Denki Seisakusho Kk Autonomes roboterfahrzeug für arbeiten and spannungsführenden stromleitungen
US6092010A (en) 1997-09-03 2000-07-18 Jervis B. Webb Company Method and system for describing, generating and checking non-wire guidepaths for automatic guided vehicles
SE511504C2 (sv) 1997-10-17 1999-10-11 Apogeum Ab Sätt och anordning för associering av anonyma reflektorer till detekterade vinkellägen
DE19757333C1 (de) 1997-12-22 1999-09-16 Litef Gmbh Selbsttätige, schnelle Kalibrierung einer bordautonomen Messung eines Geschwindigkeitsvektors
JPH11296229A (ja) 1998-02-13 1999-10-29 Komatsu Ltd 車両の誘導装置
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
JP3316842B2 (ja) 1998-08-06 2002-08-19 村田機械株式会社 無人搬送車システムと無人搬送車の誘導方法
JP3316841B2 (ja) 1998-08-06 2002-08-19 村田機械株式会社 無人搬送車システム
US6461355B2 (en) 1999-05-27 2002-10-08 Ams Research Corporation Insulated electrode and method of assembly
US7123166B1 (en) 2000-11-17 2006-10-17 Haynes Michael N Method for managing a parking lot
JP2002048579A (ja) 2000-04-28 2002-02-15 Matsushita Electric Ind Co Ltd 通信型ナビゲーションシステム
US6917839B2 (en) 2000-06-09 2005-07-12 Intellectual Assets Llc Surveillance system and method having an operating mode partitioned fault classification model
JP2002108446A (ja) 2000-09-29 2002-04-10 Nippon Seiki Co Ltd 移動体の誘導方法
US6428439B1 (en) 2000-10-04 2002-08-06 Gkn Automotive, Inc. Integrated viscous transmission in a differential
FR2815932B1 (fr) 2000-10-27 2004-07-16 Max Jouves Dispositif de parcage de bateaux, avec mise au sec et mise a flot automatisees
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
DE10117650A1 (de) * 2001-04-09 2002-10-10 Daimler Chrysler Ag Verfahren und Vorrichtung zum Verbringen eines Kraftfahrzeuges in eine Zielposition
US6952488B2 (en) 2001-08-27 2005-10-04 Carnegie Mellon University System and method for object localization
JP3968501B2 (ja) 2001-11-30 2007-08-29 ソニー株式会社 ロボットの自己位置同定システム及び自己位置同定方法
JP3945279B2 (ja) 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7844364B2 (en) 2002-04-16 2010-11-30 Irobot Corporation Systems and methods for dispersing and clustering a plurality of robotic devices
EP2463627B1 (en) 2002-04-30 2017-07-19 Intel Corporation Navigation system using corridor maps
US20050149256A1 (en) 2002-05-10 2005-07-07 Siemens Aktiengesellschaft Device for determining the position by means of fixed and/or variable landmarks
DE10220936A1 (de) 2002-05-10 2003-12-04 Siemens Ag Vorrichtung zur Lokalisierung mit festen und/oder veränderlichen Landmarken
US6842692B2 (en) 2002-07-02 2005-01-11 The United States Of America As Represented By The Department Of Veterans Affairs Computer-controlled power wheelchair navigation system
GB2389947B (en) 2002-07-25 2004-06-02 Golden River Traffic Ltd Automatic validation of sensing devices
DE10234730A1 (de) 2002-07-30 2004-02-19 Josef Schreiner Verfahren zur Positionsbestimmung eines Transportfahrzeuges
WO2004016400A2 (en) 2002-08-16 2004-02-26 Evolution Robotics, Inc. Systems and methods for the automated sensing of motion in a mobile robot using visual data
KR100506533B1 (ko) 2003-01-11 2005-08-05 삼성전자주식회사 이동로봇 및 그에 따른 자율주행 시스템 및 방법
US6934615B2 (en) 2003-03-31 2005-08-23 Deere & Company Method and system for determining an efficient vehicle path
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
JP4409904B2 (ja) 2003-10-08 2010-02-03 株式会社日立製作所 経路情報提供システムおよび経路情報提供方法
US7689321B2 (en) 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US8280398B2 (en) 2004-03-03 2012-10-02 Nec Corporation Positioning system, positioning method, and program thereof
KR100571837B1 (ko) 2004-03-05 2006-04-17 삼성전자주식회사 자율주행기기의 주행제어방법 및 장치
US7148458B2 (en) 2004-03-29 2006-12-12 Evolution Robotics, Inc. Circuit for estimating position and orientation of a mobile object
WO2005098476A1 (en) 2004-03-29 2005-10-20 Evolution Robotics, Inc. Method and apparatus for position estimation using reflected light sources
KR20070033972A (ko) 2004-05-03 2007-03-27 저비스비웹컴퍼니 수송기구 자동 적재 시스템 및 방법
KR100703692B1 (ko) 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
US7228230B2 (en) * 2004-11-12 2007-06-05 Mitsubishi Denki Kabushiki Kaisha System for autonomous vehicle navigation with carrier phase DGPS and laser-scanner augmentation
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
WO2006065563A2 (en) 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US7610123B2 (en) 2005-01-04 2009-10-27 Deere & Company Vision-aided system and method for guiding a vehicle
US8497761B2 (en) 2005-01-13 2013-07-30 Rite-Hite Holding Corporation System and method for remotely controlling docking station components
US7451030B2 (en) 2005-02-04 2008-11-11 Novariant, Inc. System and method for interactive selection and determination of agricultural vehicle guide paths offset from each other with varying curvature along their length
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US7650231B2 (en) 2005-04-25 2010-01-19 The Boeing Company AGTM airborne surveillance
US20060276958A1 (en) * 2005-06-02 2006-12-07 Jervis B. Webb Company Inertial navigational guidance system for a driverless vehicle utilizing laser obstacle sensors
EP1920326A4 (en) 2005-09-02 2014-01-08 Neato Robotics Inc ROBOT MULTIFUNCTION DEVICE
GB0520576D0 (en) 2005-10-10 2005-11-16 Applied Generics Ltd Using traffic monitoring information to provide better driver route planning
WO2007048003A2 (en) 2005-10-21 2007-04-26 Deere & Company Versatile robotic control module
US8381982B2 (en) 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
US7634336B2 (en) 2005-12-08 2009-12-15 Electronics And Telecommunications Research Institute Localization system and method of mobile robot based on camera and landmarks
US7616642B2 (en) 2006-01-04 2009-11-10 Sap Ag Priority assignment and transmission of sensor data
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7646336B2 (en) 2006-03-24 2010-01-12 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
US7739006B2 (en) 2007-02-07 2010-06-15 Disney Enterprises, Inc. System and method for autonomous navigation in a ride vehicle
JP4975503B2 (ja) 2007-04-06 2012-07-11 本田技研工業株式会社 脚式移動ロボット
JP4328813B2 (ja) 2007-04-06 2009-09-09 本田技研工業株式会社 移動装置、ならびにその制御方法および制御プログラム
DE102007021693A1 (de) 2007-05-09 2008-11-13 Götting jun., Hans-Heinrich, Dipl.-Ing. (FH) Hilfssystem zur Lagebestimmung eines Fahrzeugs
ITVI20070143A1 (it) 2007-05-21 2008-11-22 Euroimpianti S P A Metodo e apparecchiatura per la movimentazione automatica dei carichi.
US20090005986A1 (en) 2007-06-26 2009-01-01 Honeywell International Inc. Low power inertial navigation processing
WO2009007983A2 (en) 2007-07-12 2009-01-15 Carmel - Haifa University Economic Corp Ltd. Localization method for mobile robots based on landmarks
US20090140887A1 (en) 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
US20090216438A1 (en) 2008-02-21 2009-08-27 Microsoft Corporation Facility map framework
DE102008011539B3 (de) * 2008-02-28 2009-06-18 Noell Mobile Systems Gmbh Vollautomatischer Portalhubstapler mit lokaler Funkortung und Laserlenkung
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
JP4655139B2 (ja) 2008-11-19 2011-03-23 トヨタ自動車株式会社 移動体位置測位装置
KR101214143B1 (ko) 2008-12-22 2012-12-20 한국전자통신연구원 이동체의 위치 및 방향 인식 장치 및 그 방법
JP5062364B2 (ja) 2009-11-27 2012-10-31 トヨタ自動車株式会社 自律移動体及びその制御方法
US8340438B2 (en) 2009-12-17 2012-12-25 Deere & Company Automated tagging for landmark identification
US20110153338A1 (en) 2009-12-17 2011-06-23 Noel Wayne Anderson System and method for deploying portable landmarks
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
US20120101784A1 (en) 2010-10-25 2012-04-26 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
US20120191272A1 (en) 2011-01-24 2012-07-26 Sky-Trax, Inc. Inferential load tracking
US8594923B2 (en) 2011-06-14 2013-11-26 Crown Equipment Limited Method and apparatus for sharing map data associated with automated industrial vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012493A1 (en) * 2002-12-17 2006-01-19 Karlsson L N Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
US20070118286A1 (en) * 2005-11-23 2007-05-24 The Boeing Company Ultra-tightly coupled GPS and inertial navigation system for agile platforms
US20100204974A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-Assisted Stero Imager

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Joel A. Hesch et al. A Laser-Aided Inertial Navigation System (L-INS) for human localization in unknown indoor environments. 2010 IEEE International Conference on Robotics and Automation(ICRA). 2010 M*

Also Published As

Publication number Publication date
RU2013156780A (ru) 2015-07-10
BR112013030237A2 (pt) 2016-12-06
EP2715393A2 (en) 2014-04-09
WO2012161597A2 (en) 2012-11-29
CN103733084B (zh) 2016-08-17
CA2854756C (en) 2017-01-03
CN103733084A (zh) 2014-04-16
US20120303176A1 (en) 2012-11-29
AU2012259536A1 (en) 2013-05-02
EP2715393B1 (en) 2017-04-26
WO2012161597A3 (en) 2013-03-28
US8655588B2 (en) 2014-02-18
KR20140036264A (ko) 2014-03-25
AU2012259536B9 (en) 2015-04-16
AU2012259536B2 (en) 2014-11-20
RU2570571C2 (ru) 2015-12-10
CA2854756A1 (en) 2012-11-29
EP2715393A4 (en) 2014-12-17

Similar Documents

Publication Publication Date Title
KR101623359B1 (ko) 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치
EP2718777B1 (en) Method for automatically calibrating vehicle parameters
EP2753997B1 (en) Method and apparatus for using pre-positioned objects to localize an industrial vehicle
US9056754B2 (en) Method and apparatus for using pre-positioned objects to localize an industrial vehicle
US20120303255A1 (en) Method and apparatus for providing accurate localization for an industrial vehicle
US10611613B2 (en) Systems and methods for pose development using retrieved position of a pallet or product load to be picked up
KR101663977B1 (ko) 자동화된 산업 차량들과 연관된 맵 데이터를 공유하기 위한 방법 및 장치
EP2748687B1 (en) Method and apparatus for using unique landmarks to locate industrial vehicles at start-up
US8589012B2 (en) Method and apparatus for facilitating map data processing for industrial vehicle navigation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 4