KR20220000951A - 창고 환경에서 차량 추적 - Google Patents
창고 환경에서 차량 추적 Download PDFInfo
- Publication number
- KR20220000951A KR20220000951A KR1020217042725A KR20217042725A KR20220000951A KR 20220000951 A KR20220000951 A KR 20220000951A KR 1020217042725 A KR1020217042725 A KR 1020217042725A KR 20217042725 A KR20217042725 A KR 20217042725A KR 20220000951 A KR20220000951 A KR 20220000951A
- Authority
- KR
- South Korea
- Prior art keywords
- environment
- forklift
- stereoscopic
- recognized object
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000007613 environmental effect Effects 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000003278 mimic effect Effects 0.000 claims description 3
- 239000004033 plastic Substances 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 33
- 230000009471 action Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 239000003550 marker Substances 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000002274 desiccant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0833—Tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G06K9/00771—
-
- G06K9/00785—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Electromagnetism (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Laser Beam Processing (AREA)
- Laminated Bodies (AREA)
Abstract
본 명세서는 창고 환경에서 차량 위치를 추적하는 기술을 개시한다. 시스템은 일부 구현예에서 지게차의 카메라로부터 입체 이미지 데이터를 수신한다. 이 시스템은 입체 이미지 데이터 내에 표현된 물체를 인식하고, 환경 내의 복수의 물체 각각에 대해 그 환경에서의 물체의 대응 위치를 식별하는 공간 모델에서의 인식된 물체의 표현을 식별하고, 환경에서의 인식된 물체의 위치를 판정하고, 인식된 물체를 나타내는 수신된 입체 이미지 데이터의 일 부분을 기초로 하여 지게차와 인식된 물체 사이의 상대적 위치를 판정하고, 그리고 환경에서의 인식된 물체의 판정된 위치 및 지게차와 인식된 물체 사이의 판정된 상대적 위치를 기초로 하여 환경에서의 지게차의 위치를 판정한다.
Description
(관련 출원에 대한 상호 참조)
본 출원은 2018년 5월 30일에 출원된 미국 출원 번호 제15/993,343호 및 2019년 2월 15일에 출원된 미국 출원 번호 제16/277,338호의 우선권의 이익을 주장하며, 이들 모두 본 명세서에 그 전체가 참조로써 포함된다.
(기술 분야)
본 명세서는 창고 환경에서 차량 위치를 추적하는 기술을 설명한다.
창고는 상품의 팔레트를 보관하기 위한 창고 랙을 포함한다. 팔레트는 일반적으로 상품을 안정된 상태로 지지하고 팔레트를 옮기는 지게차 및/또는 기타 장치/기계에 맞게 조정된 평평한 운반 구조이다. 다양한 제품의 패키지들이 팔레트 위에 쌓여질 수 있다. 창고는 지게차가 필요에 따라 팔레트를 랙에 넣고 랙으로부터 빼내는 것을 가능하게 하도록 설계된다. 지게차 및 기타 종류의 차량은 창고를 통해 이동하고 팔레트 및 패키지를 운반한다.
본 명세서는 창고 환경에서 차량 위치를 추적하기 위한 컴퓨터 기반 기술을 설명한다.
시스템은 일부 구현예에서 지게차 상의 카메라로부터 입체 이미지 데이터를 수신한다. 이 시스템은 입체 이미지 데이터 내에 표현된 물체를 인식하고, 환경 내의 복수의 물체 각각에 대해, 환경에서의 물체의 대응 위치를 식별하는 공간 모델에서 인식된 물체의 표현을 식별하고, 환경에서 인식된 물체의 위치를 판정하고, 인식된 물체를 나타내는 수신된 입체 이미지 데이터의 일 부분을 기초로 하여 지게차와 인식된 물체 사이의 상대적 위치를 판정하고, 그리고 환경에서 인식된 물체의 판정된 위치 및 지게차와 인식된 물체 사이의 판정된 상대적 위치를 기초로 하여 환경에서의 지게차의 위치를 판정한다.
본 명세서 전반에 걸쳐 설명된 시스템, 장치, 프로그램 제품 및 프로세스는 일부 경우에 아래의 이점들 중 하나 이상을 제공할 수 있다. 입체 카메라 시스템은 냉장 시설과 같은 창고 환경에 카메라를 적응시키는 개선사항을 포함할 수 있다. 창고 환경 내의 물체를 표현하기 위한 공간 모델의 일 부분은 로컬식으로 유지될 수 있으므로, 지속적인 네트워크 연결없이 차량 위치 판정을 용이하게 할 수 있다. 전처리된 이미지 데이터가 네트워크를 통해 입체 카메라 시스템에 의해 제공되어 대역폭을 절약할 수 있다. 이미지 데이터는 이미지를 캡처하는 카메라의 프레임 레이트보다 낮은 빈도의 인터벌로 입체 카메라 시스템에 의해 제공되어 대역폭을 절약할 수 있다. 차량의 매크로 위치는 하나 이상의 환경 신호를 사용하여 판정될 수 있고, 차량의 마이크로 위치는 매크로 위치에 대응하는 공간 모델의 일 부분만 분석하여 판정될 수 있으므로, 처리 시간을 줄이고 위치 신뢰도를 높일 수 있다.
본 명세서에 설명된 주제의 몇몇 양태는 컴퓨터 구현 방법을 포함한다. 이 방법은 하나 이상의 컴퓨터의 시스템에 의해 수행될 수 있으며, 액션들을 포함할 수 있다. 상기 액션은 지게차에 부착된 입체 카메라에 의해 캡처된 적어도 하나의 입체 이미지를 기초로 하여 입체 이미지 데이터를 수신하는 단계; 입체 이미지 데이터 내에 표현된 물체를 인식하는 단계; 환경 내의 복수의 물체 각각에 대해, 환경 내의 물체의 대응 위치를 식별하는 공간 모델에서의 인식된 물체의 표현을 식별하는 단계; 공간 모델에 의해 표시된, 환경에서의 인식된 물체의 위치를 판정하는 단계; 인식된 물체를 나타내는 수신된 입체 이미지 데이터의 일 부분을 기초로 하여, 지게차와 인식된 물체 사이의 상대적 위치를 판정하는 단계; 및 환경에서 인식된 물체의 판정된 위치 및 지게차와 인식된 물체 사이의 판정된 상대적 위치를 기초로 하여, 환경에서의 지게차의 위치를 판정하는 단계를 포함한다.
이들 및 다른 양태들은 아래의 특징들 중 하나 이상을 선택적으로 포함할 수 있다.
입체 이미지 데이터는 이미지가 입체 카메라에 의해 캡처될 때 실시간으로 수신된 일련의 입체 이미지를 기초로 할 수 있으며, 각각의 입체 이미지는 고정된 시간 인터벌로 캡처된다.
상기 액션은 물체의 위치가 미리 정해진 시간 동안 변경되지 않았는지 판정하는 단계를 포함하여, 인식된 물체가 환경 내의 고정 위치와 연관되어 있는지 판정하는 단계를 더 포함할 수 있다.
상기 액션은 인식된 물체가 고정 위치 물체로서 지정되었는지 판정하는 단계를 포함하여, 인식된 물체가 환경 내의 고정 위치와 연관되어 있는지 판정하는 단계를 더 포함할 수 있다.
상기 액션은 지게차가 인식된 물체와 관련된 미리 정해진 영역 내에 있는 동안, 미리 정해진 영역에 대응하는 공간 모델의 일 부분만 처리하는 단계를 포함하여, 환경에서 추가로 인식된 물체의 위치를 판정하는 단계를 더 포함할 수 있다.
상기 액션은 입체 카메라 이외의 적어도 하나의 환경 센서로부터 환경 신호를 수신하는 단계를 더 포함할 수 있으며, 환경에서의 지게차의 위치를 판정하는 단계는 적어도 부분적으로 환경 신호를 기초로 한다.
본 명세서에 설명된 주제의 몇몇 양태는 시스템을 포함한다. 이 시스템은 지게차에 부착된 입체 카메라 및 입체 카메라에 통신적으로 결합된 컴퓨팅 장치를 포함할 수 있다. 이 컴퓨팅 장치는 동작들을 수행하도록 구성될 수 있다. 상기 동작은: 지게차에 부착된 입체 카메라에 의해 캡처된 적어도 하나의 입체 이미지를 기초로 하는 입체 이미지 데이터를 수신하는 단계; 입체 이미지 데이터 내에 표현된 물체를 인식하는 단계; 환경 내의 복수의 물체 각각에 대해, 환경에서의 물체의 대응 위치를 식별하는 공간 모델에서의 인식된 물체의 표현을 식별하는 단계; 공간 모델에 표시된, 환경에서의 인식된 물체의 위치를 판정하는 단계; 인식된 물체를 나타내는 수신된 입체 이미지 데이터의 일 부분을 기초로 하여, 지게차와 인식된 물체 사이의 상대적 위치를 판정하는 단계; 및 환경에서 인식된 물체의 판정된 위치 및 지게차와 인식된 물체 사이의 판정된 상대적 위치를 기초로 하여, 환경에서의 지게차의 위치를 판정하는 단계를 포함한다.
이들 및 다른 양태들은 아래의 특징들 중 하나 이상을 선택적으로 포함할 수 있다.
입체 이미지 데이터는 이미지가 입체 카메라에 의해 캡처될 때 실시간으로 수신된 일련의 입체 이미지를 기초로 할 수 있으며, 각각의 입체 이미지는 고정된 시간 인터벌로 캡처된다.
입체 카메라는 입체 카메라가 지게차 뒤쪽을 향하도록 지게차의 오버헤드 가드에 부착된다.
입체 카메라는 렌즈 히터를 포함할 수 있다.
본 명세서에 설명된 주제의 몇몇 양태는 하나 이상의 컴퓨터에 의해 구현되는 방법을 포함할 수 있다. 이 방법은 액션들을 포함할 수 있다. 상기 액션은 차량에 부착된 제 1 입체 카메라로부터 수신된 하나 이상의 입체 이미지를 기초로 하는 제 1 입체 이미지 데이터 내에 표현된 제 1 물체를 인식하는 단계; 차량에 부착 된 제 2 입체 카메라로부터 수신된 하나 이상의 입체 이미지를 기초로 하는 제 2 입체 이미지 데이터 내에 표현된 제 2 물체를 인식하는 단계; 복수의 물체 각각에 대해, 환경에서의 대응 위치 및 대응 위치가 물체의 실제 위치인 것의 신뢰 수준을 추적하는 공간 모델에서의 제 1 물체 및 제 2 물체의 각각의 표현을 식별하는 단계; 공간 모델에 따라, 환경에서의 제 1 물체의 제 1 위치 및 제 1 위치가 제 1 물체의 실제 위치인 것의 제 1 신뢰 수준을 판정하는 단계; 공간 모델에 따라, 환경에서의 제 2 물체의 제 2 위치 및 제 2 위치가 제 2 물체의 실제 위치인 것의 제 2 신뢰 수준을 판정하는 단계; 및 제 1 물체의 위치에 대한 제 1 신뢰 수준이 제 2 물체의 위치에 대한 제 2 신뢰 수준보다 크다는 판정에 응답하여: (i) 제 1 물체를 나타내는 제 1 입체 이미지 데이터의 일 부분을 기초로 하여, 차량과 제 1 물체 사이의 상대적 위치를 판정하는 단계 및 (ii) 환경에서의 제 1 물체의 판정된 제 1 위치 및 차량과 제 1 물체 사이의 판정된 상대적 위치를 기초로 하여, 환경에서의 차량의 위치를 판정하는 단계를 포함한다.
이들 및 다른 양태들은 아래의 특징들 중 하나 이상을 선택적으로 포함할 수 있다.
대응 위치가 물체의 실제 위치인 것의 신뢰 수준은 공간 모델에 따른, 물체가 대응 위치에 있었던 시간의 크기에 비례할 수 있다.
대응 위치가 물체의 실제 위치인 것의 신뢰 수준은 물체가 고정 위치 물체로서 지정되어 있는 경우 최고 신뢰 수준일 수 있다.
상기 액션은 입체 카메라 이외의 적어도 하나의 환경 센서로부터 환경 신호를 수신하는 단계를 더 포함할 수 있으며, 환경에서의 차량의 위치를 판정하는 단계는 적어도 부분적으로 환경 신호에 기초한다.
물체의 위치가 미리 정해진 시간 동안 변경되지 않은 경우 그 물체는 고정 위치 물체로 지정될 수 있다.
상기 액션은 차량이 고정 위치 물체와 연관된 미리 정해진 영역 내에 있는 동안, 미리 정해진 영역에 대응하는 공간 모델의 일 부분만을 처리하는 단계를 포함하여, 환경에서 추가로 인식된 물체의 위치를 판정하는 단계를 더 포함할 수 있다.
본 명세서에 개시된 주제의 몇명 양태는 시스템을 포함할 수 있다. 이 시스템은 차량, 차량에 부착된 제 1 카메라(예를 들어, 제 1 입체 카메라), 차량에 부착된 제 2 카메라(예를 들어, 제 2 입체 카메라) 및 제 1 및 제 2 카메라 각각에 통신적으로 결합된 컴퓨팅 장치를 포함할 수 있다. 이 컴퓨팅 장치는 액션(예컨대, 동작)들을 수행하도록 구성될 수 있다. 상기 액션은 차량에 부착된 제 1 입체 카메라로부터 수신된 하나 이상의 입체 이미지를 기초로 하여 제 1 입체 이미지 데이터 내에 표현된 제 1 물체를 인식하는 단계; 차량에 부착된 제 2 입체 카메라로부터 수신된 하나 이상의 입체 이미지를 기초로 하여 제 2 입체 이미지 데이터 내에 표현된 제 2 물체를 인식하는 단계; 복수의 물체 각각에 대해, 환경에서의 대응 위치 및 대응 위치가 물체의 실제 위치인 것의 신뢰 수준을 추적하는 공간 모델에서 제 1 물체 및 제 2 물체의 각각의 표현을 식별하는 단계; 공간 모델에 따라, 환경에서의 제 1 물체의 제 1 위치 및 제 1 위치가 제 1 물체의 실제 위치인 것의 제 1 신뢰 수준을 판정하는 단계; 공간 모델에 따라, 환경에서의 제 2 물체의 제 2 위치 및 제 2 위치가 제 2 물체의 실제 위치인 것의 제 2 신뢰 수준을 판정하는 단계; 및 제 1 물체의 위치에 대한 제 1 신뢰 수준이 제 2 물체의 위치에 대한 제 2 신뢰 수준보다 크다는 판정에 응답하여: (i) 제 1 물체를 나타내는 제 1 입체 이미지 데이터의 일 부분을 기초로 하여, 차량과 제 1 물체 사이의 상대적 위치를 판정하는 단계; 및 (ii) 환경에서의 제 1 물체의 판정된 제 1 위치 및 차량과 제 1 물체 사이의 판정된 상대적 위치를 기초로 하여, 환경에서의 차량의 위치를 판정하는 단계를 포함한다.
이들 및 다른 양태들은 아래의 특징들 중 하나 이상을 선택적으로 포함할 수 있다.
차량은 지게차일 수 있다.
제 1 카메라가 지게차로부터 먼 쪽을 향하고 지게차 환경의 제 1 측면에 대응하는 시야를 갖고, 제 2 카메라가 지게차로부터 먼 쪽을 향하고 지게차 환경의 제 2 측면에 대응하는 시야를 갖도록 지게차의 오버헤드 가드에 제 1 및 제 2 카메라가 각각 부착될 수 있다. 제 2 측면은 제 1 측면의 반대편일 수 있다.
제 1 및 제 2 카메라는 각각 렌즈 히터를 포함할 수 있다.
상기 액션은 입체 카메라 이외의 적어도 하나의 환경 센서로부터 환경 신호를 수신하는 단계를 더 포함할 수 있으며, 환경에서의 차량의 위치를 판정하는 단계는 적어도 부분적으로 환경 신호에 기초한다.
제 1 및 제 2 입체 이미지 데이터는 각각 이미지가 제 1 및 제 2 입체 카메라에 의해 캡처될 때 실시간으로 수신된 각각의 일련의 입체 이미지를 기초로 할 수 있고, 각각의 입체 이미지는 고정된 시간 인터벌로 캡처된다.
본 명세서에 기술된 주제의 몇몇 양태는 방법을 포함한다. 이 방법은 하나 이상의 컴퓨터(예컨대, 데이터 처리 장치)에 의해 구현될 수 있고, 액션들을 포함할 수 있다. 상기 액션은: 환경 내의 차량에 부착된 카메라에 의해 캡처된 적어도 하나의 이미지를 나타내는 이미지 데이터를 수신하는 단계; 이미지 데이터 내에 표현된 적어도 하나의 이미지에 표시된 제 1 물체 및 제 2 물체를 인식하는 단계; 환경의 공간 모델에서 제 1 물체 및 제 2 물체의 각각의 표현을 식별하는 단계로서, 이 공간 모델은 환경 내의 복수의 물체 각각에 대해, 환경에서의 물체의 대응 위치 및 대응 위치가 물체의 실제 위치인 것의 신뢰 수준을 나타내는 것인, 상기 단계; 환경에서의 제 1 물체의 제 1 위치 및 제 1 위치가 제 1 물체의 실제 위치인 것의 제 1 신뢰 수준을 판정하기 위해 공간 모델을 평가하는 단계; 환경에서의 제 2 물체의 제 2 위치 및 제 2 위치가 제 2 물체의 실제 위치인 것의 제 2 신뢰 수준을 판정하기 위해 공간 모델을 평가하는 단계; 및 제 1 물체의 위치에 대한 제 1 신뢰 수준이 제 2 물체의 위치에 대한 제 2 신뢰 수준보다 크다는 판정에 응답하여: 제 2 물체가 아니라 제 1 물체를, 환경에서의 차량의 위치를 판정하기 위한 기준으로서 선택하는 단계; 및 환경 내의 제 1 물체의 제 1 위치에 대한 차량의 위치를 기초로 하여 환경에서의 차량의 위치를 판정하는 단계를 포함한다.
이들 및 다른 양태들은 아래의 특징들 중 하나 이상을 선택적으로 포함할 수 있다.
이미지 데이터는 이미지가 카메라에 의해 캡처될 때 실시간으로 수신되는 일련의 입체 이미지를 기초로 할 수 있으며, 각각의 입체 이미지는 고정된 시간 인터벌로 캡처된다.
주어진 위치가 주어진 물체의 실제 위치라는 것에 대한, 공간 모델 내에 표시된 주어진 신뢰 수준은 주어진 물체가 공간 모델에 따라 환경 내의 주어진 위치에 있었던 시간의 양에 비례하는 영구 값을 기초로 할 수 있다.
상기 액션은 제 1 물체가 공간 모델에 따라 환경 내의 고정 위치와 연관되어 있는지 판정하는 단계, 및 (ii) 제 2 물체가 공간 모델에 따라 환경 내의 고정 위치와 연관되지 않았는지 판정하는 단계를 더 포함할 수 있다.
공간 모델에 따라 제 1 물체가 고정 위치와 연관되어 있는지 판정하는 단계는 제 1 물체의 위치가 미리 정해진 시간 동안 변경되지 않았는지 판정하는 단계를 포함할 수 있다.
공간 모델에 따라 제 1 물체가 고정 위치와 연관되어 있는지 판정하는 단계는 제 1 물체가 고정 위치 물체로서 지정되었는지 판정하는 단계를 포함할 수 있다.
상기 동작은 차량이 제 1 물체와 연관된 미리 정해진 영역 내에 있는 동안, 미리 정해진 영역에 대응하는 공간 모델의 일 부분만을 처리하는 단계를 포함하여, 환경에서 추가로 인식된 물체의 위치를 판정하는 단계를 더 포함할 수 있다.
상기 액션은 카메라 이외의 적어도 하나의 환경 센서로부터 환경 신호를 수신하는 단계를 더 포함할 수 있으며, 환경에서의 차량의 위치를 판정하는 단계는 적어도 부분적으로 환경 신호를 기초로 한다.
본 명세서에 설명된 주제의 일부 양태는 방법을 포함한다. 이 방법은 하나 이상의 컴퓨터(예컨대, 데이터 처리 장치)에 의해 구현될 수 있으며, 액션들을 포함할 수 있다. 상기 액션은 차량에 부착되어 있고 그 시야가 차량의 좌측을 향하도록 위치 조절된 제 1 카메라로부터 수신된 하나 이상의 이미지를 나타내는 제 1 이미지 데이터를 수신하는 단계; 차량에 부착되어 있고 그 시야가 차량의 우측을 향하도록 위치 조절된 제 2 카메라로부터 수신된 하나 이상의 이미지를 나타내는 제 2 이미지 데이터를 수신하는 단계; 제 1 이미지 데이터 또는 제 2 이미지 데이터 내에 표현된 물체를 인식하는 단계; 환경 내의 복수의 물체 각각에 대해, 환경 내의 물체의 대응 위치를 식별하는 공간 모델에서 인식된 물체의 표현을 식별하는 단계; 공간 모델에 의해 표시된, 환경에서의 인식된 물체의 위치를 판정하는 단계; 인식된 물체를 나타내는 수신된 이미지 데이터의 일 부분을 기초로 하여 지게차와 인식된 물체 사이의 상대적 위치를 판정하는 단계; 및 환경에서의 인식된 물체의 판정된 위치 및 차량과 인식된 물체 사이의 판정된 상대적 위치를 기초로 하여, 환경에서의 차량의 위치를 판정하는 단계를 포함한다.
이들 및 다른 양태들은 아래의 특징들 중 하나 이상을 선택적으로 포함할 수 있다.
제 1 카메라의 시야는 제 2 카메라의 시야와 겹치지 않을 수 있다.
제 1 카메라의 시야는 제 2 카메라의 시야와 부분적으로 겹칠 수 있다.
제 1 이미지 데이터 및 제 2 이미지 데이터는 각각의 카메라에 의해 이미지가 캡처될 때 실시간으로 수신되는 각각의 일련의 입체 이미지를 나타낼 수 있으며, 각각의 입체 이미지는 고정된 시간 인터벌로 캡처된다.
상기 액션은 물체의 위치가 미리 정해진 시간 동안 변경되지 않았는지 판정하는 단계를 포함하여, 인식된 물체가 환경의 고정 위치와 연관되어 있는지 판정하는 단계를 더 포함할 수 있다.
상기 액션은 인식된 물체가 고정 위치 물체로서 지정되었는지 판정하는 단계를 포함하여, 인식된 물체가 환경의 고정 위치와 연관되어 있는지 판정하는 단계를 더 포함할 수 있다.
상기 액션은 차량이 인식된 물체와 연관된 미리 정해진 영역 내에 있는 동안, 미리 정해진 영역에 대응하는 공간 모델의 일 부분만을 처리하는 단계를 포함하여, 환경에서 추가로 인식된 물체의 위치를 판정하는 단계를 더 포함할 수 있다.
상기 액션은 입체 카메라 이외의 적어도 하나의 환경 센서로부터 환경 신호를 수신하는 단계를 더 포함할 수 있으며, 환경에서의 차량의 위치를 판정하는 단계는 적어도 부분적으로 환경 신호를 기초로 한다.
본 명세서에 기술된 주제의 몇몇 양태는 데이터 처리 장치(예를 들어, 하나 이상의 프로세서/처리 장치 또는 컴퓨터)에 의해 실행될 때, 데이터 처리 장치로 하여금 본 명세서에 설명된 임의의 방법 또는 프로세스의 동작들을 수행하게 만드는 명령을 갖도록 인코딩된 하나 이상의 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 일시적이거나 또는 비 일시적일 수 있다.
하나 이상의 실시예의 세부 사항은 첨부된 도면 및 아래의 설명에서 설명된다. 다른 특징 및 이점은 설명 및 도면, 그리고 청구 범위로부터 명백해질 것이다.
도 1은 창고 환경의 예시적인 뷰를 보여준다.
도 2a 내지 도 2b는 입체 카메라를 차량에 부착하기 위한 예시적인 구성을 도시한다.
도 3은 창고 환경의 예시적인 카메라 뷰를 보여준다.
도 4는 환경에서의 차량의 위치를 판정하기 위한 예시적인 시스템의 블록도이다.
도 5 및 도 6은 환경에서의 차량의 위치를 판정하기 위한 예시적인 기술의 흐름도이다.
도 7은 본 명세서에 설명된 시스템 및 방법을 구현하는데 사용될 수 있는 예시적인 컴퓨팅 장치의 블록도이다.
다양한 도면에서 유사한 부재번호는 유사한 요소를 나타낸다.
도 2a 내지 도 2b는 입체 카메라를 차량에 부착하기 위한 예시적인 구성을 도시한다.
도 3은 창고 환경의 예시적인 카메라 뷰를 보여준다.
도 4는 환경에서의 차량의 위치를 판정하기 위한 예시적인 시스템의 블록도이다.
도 5 및 도 6은 환경에서의 차량의 위치를 판정하기 위한 예시적인 기술의 흐름도이다.
도 7은 본 명세서에 설명된 시스템 및 방법을 구현하는데 사용될 수 있는 예시적인 컴퓨팅 장치의 블록도이다.
다양한 도면에서 유사한 부재번호는 유사한 요소를 나타낸다.
본 명세서는 창고 환경에서 다양한 차량의 위치를 추적하기 위한 시스템, 장치 및 기술을 설명한다. 예를 들어, 차량은 지게차, 퍼스널 캐리어, 짐 캐리어, 스톡 체이서 및 기타 종류의 수동 작동 차량, 자율 차량 및/또는 창고 환경 내 로봇을 포함할 수 있다. 일반적으로, 차량 추적은 차량에 부착된 하나 이상의 카메라를 이용하여 입체 이미지를 캡처하는 단계, 입체 이미지 내의 물체를 인식하는 단계, 및 공간 모델에 따라 인식된 물체의 위치를 판정하는 단계를 포함한다. 인식된 물체의 입체 이미지를 기초로 하여, 차량과 인식된 물체 간의 상대적 위치가 판정될 수 있으므로, 창고 환경에서의 차량의 위치가 판정될 수 있다. 예를 들어, 입체 이미지 및 공간 모델을 사용하여 창고 차량의 위치를 실시간으로 추적함으로써, 차량 위치 정보는 다른 기술(예컨대, 일관성이 없는 운전자 데이터 입력)을 사용하여 판정된 차량 위치 정보보다 더 최신이고 더 정확한 것으로 신뢰될 수 있다. 이러한 차량 위치 정보는 창고에 보관될 제품의 저장 위치를 판정하고, 창고에서 차량 이동을 위한 최적의 경로를 판정하고, 그리고 창고에서 복수의 차량들을 조율하는 다른 시스템 및 프로세스에 의해 신뢰성 있게 사용될 수 있다. 예를 들어, 운전자 데이터 입력과 같은, 창고에서 차량 위치를 찾는 기존의 접근 방식은 에러율이 높고, 그 결과 팔레트가 부정확한 창고 위치에 배치되었다고 잘못 기록됨으로 인해 팔레트가 "오배치" 또는 "분실"될 가능성이 높았다. 본 명세서에 설명된 기술에 따라, 차량은 차량에 부착된 카메라 시스템을 사용하여 환경을 분석하고 창고에서의 실제 위치를 판정할 수 있다. 차량, 예컨대, 지게차가 창고 내 랙 상의 지정된 위치에 팔레트를 배치할 때, 컴퓨팅 시스템이 차량의 위치를 체크하고 차량이 팔레트를 적절한 위치에 놓는지 검증할 수 있다. 그렇지 않은 경우, 지게차는 (예컨대, 자동으로 또는 사람 운전자에게 프롬프팅함으로써) 올바른 내림(drop-off) 위치로 전향될 수 있다. 마찬가지로, 지게차가 팔레트를 픽업하도록 지시받은 경우, 이 시스템은 지게차의 판정된 위치를 팔레트가 내려졌던 위치를 나타내는 데이터베이스 엔트리에서 식별된 위치와 비교하여 지게차가 픽업을 위한 올바른 위치에 있는지 체크할 수 있다.
도 1은 창고 환경(102)의 예시적인 뷰(100)를 도시한다. 예를 들어, 예시적인 뷰(100)는 창고 환경(102)의 오버헤드 맵 뷰이고, 환경(102)을 통해 이동하는 다양한 차량(예를 들어, 지게차(104a, 104b, 104c))의 현재 위치를 보여준다. 창고 환경(102)은 스스로 움직일 수 있는 다양한 차량(예컨대, 지게차(104a-c)), 환경(102) 전체에서 이동할 수 있는 다양한 이동 가능한 물체(예컨대, 팔레트(106)), 및 환경(102) 전체에서 일반적으로 이동하지 않는 다양한 고정 물체(예를 들어, 랙 위치(108a, 108b 및 108c))를 포함할 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 창고 환경(102)은 차량, 이동 가능한 물체 및 환경(102) 내의 고정 물체의 위치를 실시간으로 추적하는 공간 모델에 의해 표현될 수 있다. 일부 구현예에서, 그리고 아래에서 더 상세히 논의되는 바와 같이, 창고 환경(102)의 뷰(100)는 하나 이상의 디스플레이 장치(예컨대, 도 4와 관련하여 설명된 디스플레이 장치)에 의해 출력되도록 렌더링될 수 있다. 예를 들어, 각각의 지게차(104a-c)는 뷰(100)를 디스플레이하는 모바일 컴퓨팅 장치(예를 들어, 태블릿 장치)를 포함할 수 있다. 다른 예로서, 중앙 시스템은 뷰(100)를 디스플레이하는 하나 이상의 디스플레이 장치를 포함할 수 있다.
도 2a 및 도 2b를 참조하면, 입체(stereoscopic) 카메라를 차량에 부착하기 위한 예시적인 구성이 도시되어 있다. 일반적으로, 입체 카메라는 각 렌즈에 대해 개별 이미지 센서를 갖는 2개 이상의 렌즈를 포함할 수 있으므로, 카메라가 장면의 깊이와 카메라로부터의 물체의 상대적 거리를 인식하도록 사람의 양안 시력을 모방할 수 있다. 일부 구현예에서, 입체 카메라는 고정된 시간 인터벌(예를 들어, 초당 15 프레임, 초당 30 프레임, 초당 60 프레임, 또는 다른 적절한 시간 인터벌)로 실시간으로 이미지를 캡처하는 디지털 비디오 카메라일 수 있다. 캡처된 이미지에 기초한 입체 이미지 데이터는, 예를 들어, 추가 처리를 위해 컴퓨팅 장치에 제공될 수 있다.
일부 구현예에서, 입체 카메라는 냉장 시설과 같은 창고 환경에 카메라를 적응시키기 위한 하나 이상의 개선사항을 포함할 수 있다. 예를 들어, 입체 카메라는 춥고 및/또는 습한 환경에서 응결을 방지하기 위해 렌즈 히터를 포함할 수 있다. 다른 예로서, 카메라 렌즈는 밀봉될 수 있고, 및/또는 습기를 줄이기 위한 건조제가 사용될 수도 있다. 다른 예로서, 플라스틱 및/또는 고무가 카메라 장착 유닛에 포함되어 차량 움직임으로 인해 발생할 수 있는 진동을 감쇠시키고 스트립 커튼 플랩의 접촉을 견딜 수 있다. 카메라 장착 유닛 용으로 선택된 플라스틱 및/또는 고무 재료는 균열이나 부서짐에 강하고 온도 변화를 견딜 수 있는 특성을 가질 수 있다.
도 2a는 단일 입체 카메라(202)가 차량(예를 들어, 지게차(204))에 부착된 예시적인 구성을 도시한다. 본 예에서, 단일 입체 카메라(202)는 입체 카메라(202)가 지게차(204) 뒤쪽 방향(208)을 향하도록 지게차(204)의 오버헤드 가드(206)(예를 들어, 가드의 상부 또는 하부)에 부착된다. 예를 들어, 입체 카메라(202)가 지게차(204) 뒤쪽을 향하게 함으로써, 카메라에 의해 캡처된 이미지는 지게차(204) 및 지게차 운전자에 의해 방해받지 않을 수 있다. 그러나, 일부 상황에서, 지게차(204) 및 지게차 운전자로부터의 장애물이 회피될 수 있다면 전면 카메라(202)도 적절할 수 있다.
도 2b는 복수의 입체 카메라(예를 들어, 입체 카메라(252a 및 252b))가 차량(예를 들어, 지게차(254))에 부착된 예시적인 구성을 도시한다. 본 예에서, 듀얼 입체 카메라(252a 및 252b)는 입체 카메라(252a 및 252b)가 반대 방향으로 조준되도록 각각 지게차(254)의 오버헤드 가드(256)(예를 들어, 가드의 상부 또는 하부)에 부착된다. 예를 들어, 입체 카메라(252a)는 방향(258a)으로 조준되도록 지게차(254)의 좌측을 향할 수 있고, 입체 카메라(252b)는 방향(258b)으로 조준되도록 지게차(254)의 우측을 향할 수 있다. 일부 구현예에서, 듀얼 입체 카메라는 하나의 카메라의 시야가 다른 카메라의 시야와 겹치지 않도록 배치될 수 있다. 예를 들어, 카메라(252a, 252b)는 상이한 카메라 방향 사이에 형성된 각도가 실질적으로 180 도가 되도록 반대 방향을 향하도록 구성될 수 있다. 일부 구현예에서, 듀얼 입체 카메라는 하나의 카메라의 시야가 다른 카메라의 시야와 부분적으로 겹치도록 배치될 수도 있다. 예를 들어, 상이한 카메라 방향 사이에 형성된 각도가 직각 또는 둔각이 되도록, 카메라(252a)는 지게차(254)의 좌측 뒤쪽을 향하도록 구성될 수 있고, 카메라(252b)는 지게차(254)의 우측 뒤쪽을 향하도록 구성될 수 있다. 예를 들어, 입체 카메라(252a 및 252b)를 지게차(254)의 전방으로부터 먼 쪽을 향하게 함으로써, 각각의 카메라에 의해 캡처된 이미지는 지게차(204) 및 지게차 운전자에 의해 방해받지 않을 수 있다.
도 3은 창고 환경의 예시적인 카메라 뷰(300)를 도시한다. 예를 들어, 예시적인 카메라 뷰(300)는 입체 카메라의 제 1 렌즈에 의해 캡처된 제 1 이미지를 나타낼 수 있다. 입체 카메라의 제 1 렌즈에 의해 캡처된 제 1 이미지 및 입체 카메라의 제 2 렌즈(도시되지 않음)에 의해 캡처된 제 2 이미지와 관련된 이미지 데이터, 뷰 내의 물체의 깊이를 평가함으로써, 카메라와 물체 사이의 거리가 컴퓨터 비전 기술 및 삼각측량 기술을 이용하여 판정될 수 있다.
일부 구현예에서, 물체 인식 및 거리 판정을 용이하게 하기 위해 다양한 물체 식별 마커가 사용될 수 있다. 일반적으로, 물체 식별 마커는 컴퓨터 비전 시스템에 의해 뚜렷하게 인식될 수 있는 크기, 모양 및 색상 특성을 포함할 수 있고, 및/또는 데이터베이스 내의 특정 물체 인스턴스에 링크될 수 있는 다양한 식별 코드를 포함할 수 있다. 예를 들어, 물체 식별 마커는 특정 크기(예컨대, 가로 1 인치, 가로 2 인치, 가로 4 인치 또는 다른 적절한 크기), 특정 모양(예컨대, 원형, 삼각형, 정사각형 또는 다른 적절한 모양), 및/또는 마커를 식별 마커로 지정하는 특정 색상(예컨대, 빨간색, 녹색, 파란색, 검은색/흰색 또는 다른 적절한 색상)일 수 있다. 다른 예로서, 물체 식별 마커는 마커가 부착된 특정 물체를 식별하기 위한 특정 식별 심볼(예를 들어, 문자, 숫자, 바코드, QR 코드 또는 다른 적절한 심볼)을 포함할 수 있다. 차량, 이동 가능한 물체 및/또는 고정 물체는 부착된 식별 마커를 가질 수 있다. 본 예시적인 카메라 뷰(300)에서, 식별 마커(302)는 이동 가능한 물체(예를 들어, 패키지, 팔레트 또는 다른 이동 가능한 물체)에 부착된 것으로 도시되어 있고, 식별 마커(304, 306 및 308)는 다양한 고정 물체(예컨대, 랙 위치 또는 기타 고정 물체)에 부착된 것으로 도시되어 있다. 예를 들어, 컴퓨팅 장치(예를 들어, 도 4와 관련하여 더 자세히 설명된 장치)는 컴퓨터 비전 기술 및 삼각측량 기술을 사용하여 식별 마커(302-308) 각각을 인식할 수 있으며, 입체 카메라에서 각 식별 마커까지의 거리를 판정할 수 있다.
도 4를 참조하면, 환경에서의 차량의 위치를 판정하기 위한 예시적인 시스템(400)의 블록도가 도시되어 있다. 예시적인 시스템(400)은 환경 조건을 감지하고, 센서 데이터를 수신, 처리 및 전송하고, 중앙 시스템(420)으로부터 공간 모델 정보를 수신 및 처리하기 위한 다중 서브 시스템 및 구성요소를 포함하는 차량 시스템(402)을 포함한다. 예를 들어, 차량 시스템(402)의 서브 시스템 및 구성요소는 차량(예컨대, 지게차 또는 다른 종류의 수동 작동 또는 자율 차량 및/또는 로봇)과 통합될 수 있고, 차량과 통신적으로 결합되고 및/또는 차량에 의해 운송될 수 있다.
예를 들어, 차량 시스템(402)은 (예컨대, 유선 및/또는 무선 연결을 사용하여) 카메라 시스템(406), 하나 이상의 차량 센서(408), 하나 이상의 입/출력 장치(410) 및 무선 인터페이스(412)와 통신적으로 결합될 수 있는 로컬 컴퓨터 시스템(404)을 포함한다. 예를 들어, 로컬 컴퓨터 시스템(404)은 데이터를 수신, 처리 및 전송하기 위해 하나 이상의 프로세서, 메모리 장치, 저장 장치 및 통신 포트를 포함할 수 있다. 일부 구현예에서, 로컬 컴퓨터 시스템은 태블릿 컴퓨터 또는 다른 적절한 모바일 컴퓨팅 장치와 같은 모바일 컴퓨팅 장치이거나, 그것을 포함할 수 있다. 예를 들어, 카메라 시스템(406)은 하나 이상의 입체 카메라를 포함할 수 있다. 예를 들어, 차량 센서(408)는 차량의 상태 및/또는 차량의 환경을 모니터링할 수 있는 하나 이상의 센서를 포함할 수 있다. 일부 구현예에서, 차량 센서는 차량 버스에 연결될 수 있으며, 차량 버스는 또한 로컬 컴퓨터 시스템(404)에 연결될 수 있다. 예를 들어, 차량 버스(예를 들어, 지게차 버스)는 차량에 의해 운반되는 하중을 감지하는 로드 센서, 차량 배터리 레벨 센서, 가속도계, 진단 플러그인 및 기타 적절한 차량 센서를 포함할 수 있다. 입/출력 장치(410)는 다양한 입력 장치(예를 들어, 터치 스크린, 마이크로폰, 포인팅 장치, 키보드, 스캐너 및 기타 적절한 입력 장치) 및 다양한 출력 장치(예를 들어, 디스플레이 스크린, 스피커, 촉각 출력 장치, 및 기타 적절한 출력 장치)를 포함할 수 있다. 예를 들어, 무선 인터페이스(412)는 하나 이상의 장거리 및/또는 단거리 통신 프로토콜을 사용하는 다른 차량 시스템 및/또는 중앙 시스템(420)과의 무선 통신을 위한 통신 인터페이스를 포함할 수 있다.
중앙 시스템(420)은 하나 이상의 컴퓨터 서버 및 하나 이상의 데이터베이스를 포함할 수 있다. 예를 들어, 중앙 시스템(420)은 애플리케이션 서버, 웹 서버, 웹 서버, 프록시 서버 또는 서버 팜을 포함하지만 이에 제한되지 않는 다양한 유형의 서버이거나, 그것을 포함할 수 있다. 본 예에서, 중앙 시스템(420)은 공간 모델(422)을 유지한다. 예를 들어, 공간 모델(422)은 X, Y, Z 좌표를 이용하여 3 차원 좌표계에서 데이터 포인트를 정의하는 포인트 클라우드 시스템으로 구현될 수 있다. 예를 들어, 창고 환경 내의 다양한 물체는 공간 모델(422) 내에 표현될 수 있으며, 물체의 대응 위치는 3차원 좌표계를 사용하여(예를 들어, SLAM(Simultaneous Location and Mapping) 알고리즘을 사용하여) 추적될 수 있다. 중앙 시스템(420)은 또한 하나 이상의 입/출력 장치(424)를 포함하고 및/또는 이들과 통신할 수 있다. 입/출력 장치(424)는 다양한 입력 장치(예를 들어, 터치 스크린, 마이크로폰, 포인팅 장치, 키보드, 스캐너 및 다른 적절한 입력 장치) 및 다양한 출력 장치(예를 들어, 디스플레이 스크린, 스피커, 촉각 출력 장치 및 다른 적절한 출력 장치)를 포함할 수 있다.
차량 시스템(402)과 중앙 시스템(420) 간의 통신은 하나 이상의 네트워크(430)를 통해 발생할 수 있다. 네트워크(430)의 예는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다. 본 예에서, 카메라 시스템(406)에 의해 캡처된 이미지를 기초로 하는 입체 이미지 데이터(432)는 네트워크(들)(430)를 통해 차량 시스템(402)에 의해 중앙 시스템(420)에 제공된다. 예를 들어, 중앙 시스템(420)은 입체 이미지 데이터(432)를 수신한 후, 입체 이미지 데이터(432) 및 공간 모델(422)을 참조하고, 환경에서의 차량의 현재 위치에 대응하는 위치 정보(434)를 차량 시스템(402)에 제공할 수 있다.
일부 구현예에서, 공간 모델(422)의 적어도 일부는 로컬 컴퓨터 시스템(404)에 의해 유지될 수 있다. 예를 들어, 중앙 시스템(420)은 위치 정보와 함께 차량을 둘러싼 미리 정해진 영역에 대응하는 공간 모델(422)의 일부를 차량 시스템(402)에 제공할 수 있다. 예를 들어, 차량이 미리 정해진 영역 내에 있는 동안, 차량 시스템(402)은 입체 이미지 데이터(432)를 중앙 시스템으로 전송하지 않고 차량의 현재 위치를 판정하기 위해 로컬 컴퓨터 시스템(404)을 사용할 수 있다. 예를 들어, 부분 공간 모델을 유지함으로써, 차량의 위치는 신속하게 판정될 수 있고, 및/또는 네트워크(들)(430)에 지속적인 연결 없이 판정될 수 있다.
일부 구현예에서, 입체 이미지 데이터(432)는 카메라 시스템(406)에 의해 캡처된 원시 이미지 데이터를 포함할 수 있다. 일부 구현예에서, 카메라 시스템(406)에 의해 캡처된 원시 이미지 데이터의 전처리는 로컬 컴퓨터 시스템(404)에 의해 수행될 수 있고, 입체 이미지 데이터(432)는 전처리된 이미지 데이터를 포함할 수 있다. 예를 들어, 로컬 컴퓨터 시스템(404)은 카메라 시스템(406)에 의해 캡처된 원시 이미지 데이터 내에 대해 물체 인식 기술을 수행할 수 있고, 차량과 인식된 물체 사이의 상대적 거리를 판정할 수 있으며, 인식된 물체의 식별자 및 물체까지의 상대적 거리를 포함하는 입체 이미지 데이터(432)를 제공할 수 있다. 예를 들어, 전처리된 이미지 데이터를 제공함으로써, 차량 시스템(402)과 중앙 시스템(420) 사이의 네트워크(들)(430)를 통해 제공되는 데이터의 양이 감소되어 대역폭을 보존할 수 있다.
도 5는 환경에서의 차량의 위치를 판정하기 위한 예시적인 기술(500)의 흐름도이다. 차량은, 예를 들어, 지게차일 수 있지만, 예시적인 기술(500)은 환경(예를 들어, 창고 환경)에서 다른 종류의 수동 작동 및 자율 차량 및/또는 로봇의 위치를 판정하는 데에도 사용될 수 있다. 예시적인 기술(500)은 (도 4에 도시된) 시스템(400)과 같은 다양한 적절한 시스템 중 임의의 것에 의해 수행될 수 있다.
입체 이미지 데이터가 수신된다(502). 입체 이미지 데이터는 차량(예를 들어, 지게차)에 부착된 입체 카메라에 의해 캡처된 적어도 하나의 입체 이미지를 기초로 할 수 있다. 예를 들어, (도 4에 도시된) 차량 시스템(402)은 카메라 시스템(406)을 사용하여 환경의 이미지를 캡처할 수 있다. 차량 시스템(402)은 무선 인터페이스(412)를 사용하여 네트워크(들)(430)를 통해 중앙 시스템(420)에 입체 이미지 데이터(432)를 제공할 수 있다. 선택사항으로서, 입체 이미지 데이터(432)는 네트워크(들)(430)를 통해 데이터를 전송하기 전에 로컬 컴퓨터 시스템(404)에 의해 수신되고 전처리될 수 있다.
일부 구현예에서, 입체 이미지 데이터는 이미지가 입체 카메라에 의해 캡처 될 때 실시간으로 수신된 일련의 입체 이미지를 기초로 할 수 있다. 예를 들어, 카메라 시스템(406)은 고정된 시간 인터벌(예를 들어, 초당 15 프레임, 초당 30 프레임, 초당 60 프레임, 또는 다른 적절한 시간 인터벌)로 실시간으로 이미지를 캡처하는 디지털 입체 비디오 카메라일 수 있다. 예를 들어, 입체 이미지 데이터(432)는 이미지를 캡처하는 디지털 입체 비디오 카메라의 프레임 레이트에 대응하는 시간 인터벌로 제공될 수도 있고, 더 낮은 빈도의 시간 인터벌로 제공될 수도 있다. 예를 들어, 차량 시스템(402)은 입체 카메라의 프레임 레이트에 따라 카메라 시스템(406)으로부터 입체 이미지를 수신할 수 있고, 더 낮은 빈도의 인터벌로(예를 들어, 초당 2 회, 1 회당 1 회, 수 초당 1회), 또는 프레임을 건너뜀으로써 다른 적절한 시간 인터벌로 원시 또는 전처리된 입체 이미지 데이터(432)를 제공할 수 있다. 이미지를 캡처하는 입체 카메라의 프레임 레이트보다 더 낮은 빈도의 인터벌로 입체 이미지 데이터를 제공함으로써, 예를 들어, 차량 시스템(402)과 중앙 시스템(420) 사이의 네트워크(들)(430)를 통해 제공되는 데이터의 양이 감소될 수 있으므로, 대역폭을 절약할 수 있다.
입체 이미지 데이터 내에 표현된 물체가 인식된다(504). 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 물체를 식별하기 위해 물체 인식 기술을 수행할 수 있다. 예를 들어, 물체 인식 기술은 외형 기반 방법(예컨대, 에지 매칭, 그레이스케일 매칭, 그래디언트 매칭, 모델베이스 또는 기타 적절한 외형 기반 방법), 특징 기반 방법(예컨대, 해석 트리, 포즈 클러스터링, 기하학적 해싱, 불변성 방법(invariance method) 또는 기타 적절한 특징 기반 방법) 및/또는 유전 알고리즘을 포함할 수 있다. 일부 구현예에서, 물체 인식 기술은 환경에서의 차량, 이동 가능한 물체 및/또는 고정 물체에 부착된 물체 식별 마커에 의해 용이해질 수 있다. 예를 들어, 도 3을 참조하면, 창고 환경의 예시적인 카메라 뷰(300)는 다양한 물체 식별 마커(예를 들어, 마커(302-308))를 보여준다. 예를 들어, 물체 인식 기술은 환경에서 사용하기 위해 선택된 마커 유형의 인식을 위해 최적화될 수 있다.
인식된 물체의 표현이 공간 모델에서 식별된다(506). 다시 도 4를 참조하면, 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분)을 참조할 수 있고 모델에서의 인식된 물체의 표현을 식별할 수 있다. 일반적으로, 공간 모델(422)은 환경 내의 복수의 물체 각각에 대해 환경에서의 물체의 대응 위치를 식별할 수 있다. 예를 들어, 차량 시스템(402)(및 다른 차량 시스템)이 환경 도처에서 이동함에 따라, 물체(예컨대, 차량, 이동 가능한 물체 및 고정 물체)의 이미지가 캡처될 수 있고, 물체가 인식될 수 있으며, 물체의 위치가 판정될 수 있고, 현재 물체 위치를 반영하기 위해 공간 모델(422)이 업데이트될 수 있다. 시간이 흐름에 따라, 예를 들어, 특정 물체가 환경에서 이동 가능한 물체인지 또는 고정 물체인지 여부의 가능성을 반영하는 영구 값과 특정 물체가 연관되도록 공간 모델(422)이 개선될 수 있다.
이 기술(500)은 선택사항으로서 인식된 물체가 환경 내의 고정 위치와 연관되어 있는지 판정하는 단계(508)를 포함할 수 있다. 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분) 및 위치 이력 및/또는 인식된 물체와 연관된 영구 데이터 값을 참조하여 그 물체가 차량인지, 이동 가능한 물체인지 또는 고정 물체인지 판정할 수 있다.
일부 구현예에서, 인식된 물체가 환경 내의 고정 위치와 연관되어 있는지 판정하는 단계는 물체의 위치가 미리 정해진 길이의 시간 동안 변경되지 않았는지 판정하는 단계를 포함한다. 예를 들어, 공간 모델(422)은 환경에서 인식되는 각 물체에 대한 관찰 시간 및 위치를 추적할 수 있다. 물체의 위치가 미리 정해진 길이의 시간(예를 들어, 일주일, 한 달, 3 개월 또는 다른 적절한 시간) 동안 변경되지 않은 경우, 그 물체는 고정 위치를 갖는 것으로 지정될 수 있다. 다른 예로서, 물체가 한 위치에 있었던 시간의 양에 비례하는 영구 값이 물체에 할당될 수 있고, 따라서 짧은 기간 동안 같은 위치에 있었던 물체는 낮은 영구 값이 할당될 수 있고, 긴 기간 동안 같은 위치에 있었던 물체는 높은 영구 값이 할당될 수 있다.
일부 구현예에서, 인식된 물체가 환경에서 고정 위치와 연관되어 있는지 판정하는 단계는 인식된 물체가 고정 위치 물체로 지정되었는지 판정하는 단계를 포함한다. 예를 들어, 공간 모델(422)은 인식된 물체에 대한 물체 식별자를 고정된 위치를 갖는 것으로 물체를 지정하는 데이터 값(예를 들어, 플래그)과 연관시킬 수 있다. 예를 들어, 도 3을 참조하면, 각각의 식별 마커(304, 306 및 308)(예를 들어, 랙 위치에 부착된 식별 마커)는 공간 모델(422)에서 고정된 위치 물체로서 플래깅될 수 있고, 반면 식별 마커(302)(예컨대, 패키지 또는 팔레트에 부착된 식별 마커)는 플래깅되지 않을 수 있다.
공간 모델에 표시된, 환경에서의 인식된 물체의 위치가 판정된다(510). 다시 도 4를 참조하면, 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분)을 참조하고 모델에 따라 인식된 물체의 현재 위치를 판정할 수 있다. 일부 구현예에서, 인식된 물체의 위치는 고정 위치 물체로 지정된 물체에 대해서만 판정될 수 있다. 일부 구현예에서, 인식된 물체의 위치는 미리 정해진 임계 값을 충족하는 영구 값을 갖는 물체(예를 들어, 비교적 높은 영구 값을 갖는 물체)에 대해서만 판정될 수 있다. 일부 구현예에서, 복수의 인식된 물체의 위치가 판정될 수 있다.
인식된 물체를 나타내는 수신된 입체 이미지 데이터의 일부를 기초로 하여, 차량(예를 들어, 지게차)과 인식된 물체 사이의 상대적 위치가 판정된다(512). 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 컴퓨터 비전 기술(예를 들어, 대응하는 입체 이미지에서의 물체의 위치 차이에 의존하는 삼각측량 기술을 포함)을 사용하여 입체 이미지 쌍을 분석할 수 있고, 차량과 인식된 물체 사이의 상대적 위치를 판정할 수 있다. 일부 구현예에서, 물체 식별 마커의 기지의 속성(예를 들어, 크기 및 형상 속성)은 상대적 위치를 판정하는데 사용되는 컴퓨터 비전 기술을 향상시키는데 사용될 수 있다. 예를 들어, 주어진 식별 마커가 특정 크기(예컨대, 4 제곱 인치)를 갖고 특정 형상(예컨대, 정사각형)임을 알고 있다면, 이러한 물체 속성은 컴퓨터 비전 기술과 함께 물체까지의 거리를 판정하고 차량과 식별 마커 사이의 상대적 위치를 보다 정확하게 판정하기 위한 요소로서 사용될 수 있다.
환경에서의 인식된 물체의 판정된 위치 및 차량과 인식된 물체 사이의 판정된 상대적 위치를 기초로 하여, 환경에서의 차량(예를 들어, 지게차)의 위치가 판정된다(514). 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 하나 이상의 인식된 물체의 판정된 위치 및 차량에 대한 물체의 상대적 위치를 기초로 하여 환경에서의 차량의 위치를 판정하고 플로팅할 수 있다. 예를 들어, 도 1을 참조하면, 랙 위치(108b)(예를 들어, 고정 위치 물체)의 판정된 위치 및 지게차(104a)와 랙 위치(108b) 사이의 판정된 상대적 위치를 기초로 하여, 지게차(104a)의 위치가 판정되고 뷰(100) 상에 플로팅될 수 있다.
일부 구현예에서, 뷰(100)는 도 4에 도시된 차량 시스템(402)의 디스플레이 장치(예를 들어, 입/출력 장치(410)들 중 하나) 및/또는 중앙 시스템(420)의 디스플레이 장치(예를 들어, 입/출력 장치(424)들 중 하나)에 의해 제공될 수 있다. 예를 들어, 디스플레이 장치는 차량 시스템(402)에 포함될 수 있고, 차량 및 이동 가능한 물체가 환경을 통해 이동함에 따라 환경의 실시간 뷰를 제공할 수 있다. 예를 들어, 경로가 차량에 할당될 때, 차량의 디스플레이 장치에 의해 제공되는 뷰(100)는 (예를 들어, 경로를 따르는 길을 나타내는 라인을 표시함으로써) 할당된 경로를 나타내도록 업데이트될 수 있다. 일부 구현예에서, 디스플레이 장치는 경로 및/또는 배송과 관련된 추가 정보를 제공할 수 있다. 예를 들어, 추가 정보는 차량에 의해 운송되는 팔레트 또는 하나 이상의 패키지에 대한 정보를 포함할 수 있다.
일부 구현예에서, 디스플레이 장치는 또한 입력 장치(예를 들어, 터치 스크린)의 역할을 할 수 있고, 운전자 입력이 수신되어 환경에서의 차량 위치를 쉽게 찾기 위해 사용될 수 있다. 예를 들어, 차량 위치를 판정하기 위한 기술이 기능하지 않거나 불확실한 위치를 생성하는 경우, 운전자는 디스플레이 장치를 통해 시스템(400)에 안내를 제공하도록 프롬프팅될 수 있다. 예를 들어, 운전자가 차량이 위치한 뷰(100)에서 일반 영역을 선택하면, 시스템(400)은 차량의 정확한 위치를 판정할 때 운전자 선택에 의해 한정된 공간 모델(422)의 일 부분을 사용할 수 있다.
일부 구현예에서, 하나 이상의 환경 신호가 수신되고 차량의 매크로 위치 영역(예를 들어, 환경에서의 차량의 일반적인 추정 위치)을 판정하는데 사용될 수 있고, 그 매크로 위치에 대응하는 공간 모델의 일 부분은 입체 이미지 데이터를 기초로 하여 마이크로 위치(예컨대, 환경에서의 차량의 정밀한 위치)를 판정할 때 사용될 수 있다. 예를 들어, 차량의 매크로 위치를 판정하는데 사용되는 환경 신호는 하나 이상의 와이파이(Wi-Fi) 강도 신호, 자기 신호, 사운드 신호(예컨대, 초음파) 및/또는 광 신호(예컨대, 특정 색상, 주파수 및/또는 깜박임 패턴)를 포함할 수 있다. 예를 들어, 매크로 위치는 5-10 입방미터 정도의 일반 영역일 수 있으며, 매크로 위치에 대응하고 및/또는 매크로 위치에서 발생하는 것으로 알고 있는 하나 이상의 환경 신호의 수신을 기초로 하여 판정될 수 있다. 예를 들어, 마이크로 위치는 0.5-1.0 입방 센티미터 정도의 정확한 위치일 수 있으며, 수신된 입체 이미지 데이터(432)를 사용하여 판정된 매크로 위치에 대응하는 공간 모델(422)의 일 부분만 분석함으로써 판정될 수 있다. 매크로 위치를 판정하고 분석을 위한 공간 모델의 일 부분을 한정한 후 마이크로 위치를 판정함으로써, 예를 들어, 계산 횟수가 감소함에 따라 처리 시간이 크게 감소되고 위치 신뢰도가 크게 향상될 수 있다.
예를 들어, Wi-Fi 강도 신호는 적어도 하나의 Wi-Fi 액세스 포인트로부터 수신될 수 있고, 환경에서의 차량(예를 들어, 지게차)의 위치를 판정하는 것은 적어도 부분적으로 Wi-Fi 강도 신호를 기초로 할 수 있다. (도 4에 도시된) 차량 시스템(402)의 무선 인터페이스(412)는, 예를 들어, 창고 환경 도처에 분산된 하나 이상의 Wi-Fi 액세스 포인트로부터의 강도 신호를 판정할 수 있고, 그 강도 신호를 WiFi 액세스 포인트의 기지의 위치를 유지할 수 있고, 강도 신호를 기초로 하여 차량의 추정된 위치를 제공할 수 있는 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)에 제공할 수 있다. 예를 들어, 복수의 Wi-Fi 액세스 포인트의 강도 신호가 삼각측량되어 차량의 예상 위치를 제공할 수 있다. 예를 들어, 추정된 위치는 환경에서의 차량의 위치를 판정할 때 분석을 위한 공간 모델(422)의 일 부분을 식별하는데 사용될 수 있으므로, 처리 자원을 보존함과 동시에 위치 판정을 용이하게 한다.
일부 구현예에서, 차량이 환경 내의 고정 위치와 연관된 인식된 물체와 연관된 미리 정해진 영역 내에 있는 동안, 환경에서 추가로 인식된 물체의 위치를 판정하는 단계는 미리 정해진 영역에 대응하는 공간 모델의 일 부분만을 처리하는 단계를 포함할 수 있다. 예를 들어, 도 1을 참조하면, 지게차(104a)는 고정 위치 물체(110)의 범위 내에서 통과할 수 있는데(예를 들어, 지게차가 출입구를 통과하는 것), 이는 (도 4에 도시된) 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)에 의해 환경(102)의 일 섹션(112)(예를 들어, 창고의 특정 방)과 연관되어 있는 것으로 인식될 수 있다. 차량이 환경 구간(예컨대, 창고 내의 룸)에 들어오고 및/또는 나가는 시기를 판정하는 기술은 입체 카메라 이외의 센서를 사용하여 하나 이상의 환경 신호를 감지하는 단계(예컨대, Wi-Fi 강도 신호, 자기 신호, 사운드 신호 및/또는 광 신호 중 하나 이상을 감지하는 단계)를 포함할 수 있고, 및/또는 입체 이미지 데이터를 기초로 할 수 있다. 예를 들어, 고정 위치 물체(110)는 섹션(112)(예를 들어, 환경(102) 내의 룸)으로의 출입구로서 고정 위치 물체(110)를 식별하기 위한 하나 이상의 물체 식별 마커(예를 들어, 문자, 숫자, 바코드, QR 코드 또는 다른 적절한 심볼 포함)로 표시될 수 있고, 이것은 지게차(104a)가 출입구를 통과할 때 입체 이미지 데이터를 기초로 하여 식별될 수 있다. 본 예에서, 지게차(104a)가 환경(102)의 섹션(112) 내에 있는 동안(예를 들어, 지게차가 다시 출입구를 통과할 때까지), 섹션(112)과 연관된 공간 모델(422)의 일 부분은 환경(102)에서의 지게차(104a)의 위치를 판정할 때 분석을 위해 사용될 수 있으므로, 처리 자원을 보존함과 동시에 위치 판정을 용이하게 한다.
도 6은 환경에서 차량의 위치를 판정하기 위한 예시적인 기술(600)의 흐름도이다. 차량은, 예를 들어, 지게차일 수 있지만, 예시적인 기술(600)은 또한 환경(예를 들어, 창고 환경)에서 다른 종류의 수동 작동 및 자율 차량 및/또는 로봇의 위치를 판정하는데 사용될 수 있다. 예시적인 기술(600)은 (도 4에 도시된) 시스템(400)과 같은 다양한 적절한 시스템 중 임의의 것에 의해 수행될 수 있다.
차량에 부착된 제 1 입체 카메라로부터 수신된 하나 이상의 입체 이미지를 기초로 하여, 제 1 입체 이미지 데이터 내에 표현된 제 1 물체가 인식된다(602). 예를 들어, (도 4에 도시된) 차량 시스템(402)은 카메라 시스템(406)을 사용하여 환경의 이미지를 캡처할 수 있고, 무선 인터페이스(412)를 사용하여 네트워크(들)(430)를 통해 중앙 시스템(420)에 입체 이미지 데이터(432)를 제공할 수 있다. 선택사항으로서, 입체 이미지 데이터(432)는 네트워크(들)(430)를 통해 데이터를 전송하기 전에 로컬 컴퓨터 시스템(404)에 의해 수신되고 전처리될 수 있다. 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 물체 인식 기술을 수행하여 제 1 물체를 식별할 수 있다. 도 2b를 참조하면, 예를 들어, 지게차(254)에 부착된 입체 카메라(252a)(예를 들어, 카메라 시스템(406)의 일부)는 지게차(254)의 왼쪽에 있는 하나 이상의 물체들의 이미지를 캡처할 수 있고, 그 후 물체(들)이 인식될 수 있다.
차량에 부착된 제 2 입체 카메라로부터 수신된 하나 이상의 입체 이미지를 기초로 하여, 제 2 입체 이미지 데이터 내에 표현된 제 2 물체가 인식된다(604). 예를 들어, (도 4에 도시된) 차량 시스템(402)은 카메라 시스템(406)을 사용하여 환경의 이미지를 캡처할 수 있고, 무선 인터페이스(412)를 사용하여 네트워크(들)(430)를 통해 중앙 시스템(420)에 입체 이미지 데이터(432)를 제공할 수 있다. 선택사항으로서, 입체 이미지 데이터(432)는 네트워크(들)(430)를 통해 데이터를 전송하기 전에 로컬 컴퓨터 시스템(404)에 의해 수신되고 전처리될 수 있다. 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 물체 인식 기술을 수행하여 제 2 물체를 식별 할 수 있다. 다시 도 2b를 참조하면, 예를 들어, 지게차(254)에 부착된 입체 카메라(252b)(예를 들어, 카메라 시스템(406)의 일부)는 지게차(254)의 오른쪽에 있는 하나 이상의 물체들의 이미지를 캡처할 수 있고, 그 후 물체(들)이 인식될 수 있다.
제 1 물체 및 제 2 물체의 각각의 표현이 공간 모델에서 식별된다(606). 예를 들어, 도 4를 참조하면, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분)을 참조할 수 있고, 그 모델 내에서 제 1 물체 및 제 2 물체의 표현을 식별할 수 있다. 일반적으로, 공간 모델(422)은, 복수의 물체 각각에 대해, 환경 내의 대응 위치 및 그 대응 위치가 물체의 실제 위치인 것의 신뢰 수준을 추적할 수 있다. 예를 들어, 차량 시스템(402)(및 기타 차량 시스템)이 환경 전체에서 이동함에 따라 물체(예컨대, 차량, 이동 가능한 물체 및 고정 물체)의 이미지가 캡처될 수 있고, 그 물체가 인식될 수 있고, 그 물체의 위치가 판정될 수 있고, 공간 모델(422)이 현재의 물체 위치를 반영하도록 업데이트될 수 있다. 시간이 흐름에 따라, 공간 모델(422)은, 예를 들어, 각각의 인식된 물체가 물체에 대한 판정된 위치가 물체의 실제 위치인 것의 신뢰 수준과 연관되도록 개선될 수 있다. 예를 들어, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분) 및 위치 이력 및/또는 인식된 물체와 관련된 영구 데이터 값을 참조하여 인식된 물체의 판정된 위치에 대한 신뢰 수준을 판정할 수 있다.
일부 구현예에서, 대응 위치가 물체의 실제 위치인 것의 신뢰 수준은 공간 모델에 따라 물체가 대응 위치에 있었던 시간의 양에 비례할 수 있다. 예를 들어, 공간 모델(422)은 환경에서 인식된 각 물체에 대한 관측 시간 및 위치를 추적할 수 있다. 물체는 그 물체가 한 위치에 있었던 시간의 양에 비례하는 신뢰 수준과 연관될 수 있으므로, 짧은 기간 동안 동일한 위치에 있었던 물체는 낮은 신뢰 수준과 연관될 수 있고, 긴 기간 동안 동일한 위치에 있었던 물체는 높은 신뢰 수준과 연관될 수 있다.
일부 구현예에서, 대응 위치가 물체의 실제 위치인 것의 신뢰 수준은 물체가 고정 위치 물체로 지정된 경우 최고 신뢰 수준일 수 있다. 예를 들어, 공간 모델(422)은 인식된 물체에 대한 물체 식별자를 고정 위치를 갖는 것으로 물체를 지정하는 데이터 값(예를 들어, 플래그)과 연관시킬 수 있다. 도 1을 참조하면, 예를 들어, 물체(110)(예를 들어, 도어 프레임)는 공간 모델(422)에서 고정 위치 물체로서 지정될 수 있고, 팔레트(106)는 그러한 지정을 수신하지 않을 수 있다. 본 예에서, 고정 위치 물체(110)는 공간 모델(422)로부터의 물체의 판정된 위치가 물체의 실제 위치인 것의 최고 신뢰 수준을 가질 수 있다.
공간 모델에 따라, 환경에서의 제 1 물체의 제 1 위치, 및 제 1 위치가 제 1 물체의 실제 위치인 것의 제 1 신뢰 수준이 판정된다(608). 예를 들어, 도 4를 참조하면, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분)을 참조하고, 그 모델에 따라 제 1 인식된 물체의 현재 위치를, 제 1 위치가 제 1 물체의 실제 위치인 것의 제 1 신뢰 수준과 함께 판정할 수 있다. 도 1을 참조하면, 예를 들어, 지게차(104b)는 (예를 들어, 좌향 입체 카메라를 사용하여) 고정 위치 물체(110)의 이미지를 캡처할 수 있고, 물체(110)의 위치가 환경(102)에서 판정될 수 있으며, 그 위치가 물체의 실제 위치인 것의 제 1 신뢰 수준(예를 들어, 높은 신뢰 수준)이 판정될 수 있다.
공간 모델에 따라, 환경에서의 제 2 물체의 제 2 위치, 및 제 2 위치가 제 2 물체의 실제 위치인 것의 제 2 신뢰 수준이 판정된다(610). 예를 들어, 도 4를 참조하면, 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은 공간 모델(422)(또는 공간 모델의 로컬 부분)을 참조하고 그 모델에 따라 제 2 인식된 물체의 현재 위치를, 제 2 위치가 제 2 물체의 실제 위치인 것의 제 2 신뢰 수준과 함께 판정할 수 있다. 도 1을 참조하면, 예를 들어, 지게차(104b)는 (예를 들어, 우향 입체 카메라를 사용하여) 팔레트(106)와 같은 이동 가능한 물체의 이미지를 캡처할 수 있으며, 팔레트(106)의 위치가 환경(102)에서 판정될 수 있고, 그리고 그 위치가 물체의 실제 위치인 것의 제 2 신뢰 수준(예를 들어, 낮은 신뢰 수준)이 판정될 수 있다.
(612)에서, 제 1 신뢰 수준 및 제 2 신뢰 수준이 평가된다. 예를 들어, 물체(110)(예를 들어, 도어 프레임)의 판정된 위치가 물체의 실제 위치인 것의 제 1 신뢰 수준은 물체(106)(예를 들어, 팔레트)의 판정된 위치에 대한 제 2 신뢰 수준과 비교 평가될 수 있다.
(614)에서, 제 1 물체의 위치에 대한 제 1 신뢰 수준이 제 2 물체의 위치에 대한 제 2 신뢰 수준보다 크다는 판정에 응답하여, 차량과 제 1 물체 사이의 상대적 위치가 제 1 물체를 나타내는 제 1 입체 이미지 데이터의 일 부분을 기초로 하여 판정된다. 예를 들어, 물체(110)의 위치에 대한 신뢰 수준이 물체(106)의 위치에 대한 신뢰 수준보다 크다는 판정에 응답하여, 차량과 물체(110) 사이의 상대적 위치가 판정될 수 있다.
(616)에서, 환경에서의 제 1 물체의 판정된 제 1 위치 및 차량과 제 1 물체 간의 판정된 상대적 위치를 기초로 하여, 환경에서의 차량의 위치가 판정된다. 예를 들어, 지게차(104b)의 위치는 물체(110)의 판정된 위치 및 지게차(104b)와 물체(110) 간의 판정된 상대적 위치를 기초로 하여 환경(102)에서 판정될 수 있다.
(618)에서, 제 2 물체의 위치에 대한 제 2 신뢰 수준이 제 1 물체의 위치에 대한 제 1 신뢰 수준보다 크다는 판정에 응답하여, 차량과 제 2 물체 사이의 상대적 위치는 제 2 물체를 나타내는 제 2 입체 이미지 데이터의 일 부분을 기초로 하여 판정된다. 예를 들어, 물체(106)의 위치에 대한 신뢰 수준이 물체(110)의 위치에 대한 신뢰 수준보다 더 크다면, 차량과 물체(106) 사이의 상대적 위치가 판정될 수 있다.
(620)에서, 환경에서의 제 2 물체의 판정된 제 2 위치 및 차량과 제 2 물체 간의 판정된 상대적 위치를 기초로 하여, 환경에서의 차량의 위치가 판정된다. 예를 들어, 지게차(104b)의 위치는 물체(106)의 판정된 위치 및 지게차(104b)와 물체(106) 간의 판정된 상대적 위치를 기초로 하여 환경(102)에서 판정될 수 있다.
일부 구현예에서, Wi-Fi 강도 신호가 적어도 하나의 Wi-Fi 액세스 포인트로부터 수신될 수 있고, 환경에서의 차량의 위치를 판정하는 단계는 Wi-Fi 강도 신호를 적어도 부분적으로 기초로 할 수 있다. 예를 들어, (도 4에 도시된) 차량 시스템(402)의 무선 인터페이스(412)는 창고 환경 도처에 분산된 하나 이상의 Wi-F 액세스 포인트로부터의 강도 신호를 판정할 수 있으며, WiFi 액세스 포인트의 기지의 위치를 유지할 수 있고 강도 신호를 기초로 하여 차량의 추정된 위치를 제공할 수 있는 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)에 강도 신호를 제공할 수 있다. 예를 들어, 추정된 위치는 환경에서의 차량 위치를 판정할 때 분석을 위한 공간 모델(422)의 일 부분을 식별하는데 사용될 수 있으므로, 처리 자원을 보존함과 동시에 위치 판정을 용이하게 한다.
도 7은 클라이언트 또는 서버 또는 복수의 서버로서 본 명세서에 설명된 시스템 및 방법을 구현하는데 사용될 수 있는 컴퓨팅 장치(700, 750)의 블록도이다. 컴퓨팅 장치(700)는 랩톱, 데스크톱, 워크스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인프레임 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내도록 의도된다. 컴퓨팅 장치(750)는 개인 휴대 정보 단말기, 셀룰러 전화, 스마트 폰 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타내도록 의도된다. 또한, 컴퓨팅 장치(700 또는 750)는 범용 직렬 버스(USB) 플래시 드라이브를 포함할 수 있다. USB 플래시 드라이브는 운영체제 및 기타 애플리케이션을 저장할 수 있다. USB 플래시 드라이브는 다른 컴퓨팅 장치의 USB 포트에 삽입될 수 있는 무선 송신기 또는 USB 커넥터와 같은 입/출력 컴포넌트를 포함할 수 있다. 여기에 도시된 구성요소, 그들의 연결 및 관계 및 그들의 기능은 예시일 뿐이며 본 명세서에서 설명되고 및/또는 청구된 구현예를 제한하기 위한 것이 아니다.
컴퓨팅 장치(700)는 프로세서(702), 메모리(704), 저장 장치(706), 메모리(704) 및 고속 확장 포트(710)에 연결된 고속 인터페이스(708), 및 저속 버스(714)에 연결된 저속 인터페이스(712), 및 저장 장치(706)를 포함한다. 각 구성요소(702, 704, 706, 708, 710, 712)들은 다양한 버스를 사용하여 상호 연결되며, 공통 마더 보드에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(702)는 고속 인터페이스(708)에 결합된 디스플레이(716)와 같은 외부 입/출력 장치 상에 GUI에 대한 그래픽 정보를 표시하기 위해 메모리(704) 또는 저장 장치(706)에 저장된 명령을 포함하여, 컴퓨팅 장치(700) 내에서 실행하기 위한 명령을 처리할 수 있다. 다른 구현예에서, 다중 프로세서 및/또는 다중 버스가 다중 메모리 및 메모리 유형과 함께 적절하게 사용될 수 있다. 또한, 복수의 컴퓨팅 장치(700)들이 필요한 동작의 일부를 제공하는 각 장치(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 다중 프로세서 시스템)들과 연결될 수 있다.
메모리(704)는 컴퓨팅 장치(700) 내에 정보를 저장한다. 일 구현예에서, 메모리(704)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현예에서, 메모리(704)는 비 휘발성 메모리 유닛 또는 유닛들이다. 메모리(704)는 또한 자기 또는 광학 디스크와 같은 다른 형태의 컴퓨터 판독 가능 매체일 수 있다.
저장 장치(706)는 컴퓨팅 장치(700)에 대용량 저장 장치를 제공할 수 있다. 일 구현예에서, 저장 장치(706)는 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치 또는 테이프 장치, 플래시 메모리 또는 기타 유사한 솔리드 스테이트 메모리 장치 또는 스토리지 영역 네트워크 또는 기타 구성의 장치를 포함한 장치의 어레이와 같은 컴퓨터 판독 가능 매체이거나 그러한 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체 내에 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상술한 것과 같은 하나 이상의 방법을 수행하는 명령을 포함할 수 있다. 정보 캐리어는 메모리(704), 저장 장치(706) 또는 프로세서(702)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 제어기(708)는 컴퓨팅 장치(700)에 대한 대역폭 집약적인 동작을 관리하는 반면, 저속 제어기(712)는 낮은 대역폭 집약적인 동작을 관리한다. 이러한 기능 할당은 예시일 뿐이다. 일 구현예에서, 고속 제어기(708)는 메모리(704), (예를 들어, 그래픽 프로세서 또는 가속기를 통해) 디스플레이(716) 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(710)에 결합된다. 이러한 구현예에서, 저속 제어기(712)는 저장 장치(706) 및 저속 확장 포트(714)에 결합된다. 다양한 통신 포트(예컨대, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 장치, 스캐너와 같은 하나 이상의 입/출력 장치에 또는, 예컨대, 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 장치에 결합될 수 있다.
컴퓨팅 장치(700)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(720)로 구현되거나 이러한 서버 그룹에서 여러 번 구현될 수 있다. 또한, 랙 서버 시스템(724)의 일부로 구현될 수도 있다. 또한, 랩톱 컴퓨터(722)와 같은 개인용 컴퓨터로 구현될 수 있다. 대안으로서, 컴퓨팅 장치(700)로부터의 구성요소는 장치(750)와 같은 모바일 장치(도시되지 않음)의 다른 구성요소와 결합될 수 있다. 이러한 장치들 각각은 하나 이상의 컴퓨팅 장치(700, 750)를 포함할 수 있고, 전체 시스템은 서로 통신하는 복수의 컴퓨팅 장치(700, 750)로 구성될 수 있다.
컴퓨팅 장치(750)는 여러 다른 구성요소 중에서도 특히 프로세서(752), 메모리(764), 디스플레이(754)와 같은 입/출력 장치, 통신 인터페이스(766) 및 송수신기(768)를 포함한다. 장치(750)는 또한 추가 저장을 제공하기 위해 마이크로 드라이브와 같은 저장 장치 또는 다른 장치와 함께 제공될 수 있다. 각 구성요소(750, 752, 764, 754, 766, 768)들은 다양한 버스를 사용하여 상호 연결되며, 여러 구성요소가 공통 마더 보드에 장착될 수 있고 또는 다른 적절한 방식으로 장착될 수도 있다.
프로세서(752)는 메모리(764)에 저장된 명령을 포함하여 컴퓨팅 장치(750) 내의 명령들을 실행할 수 있다. 프로세서는 별도의 다중 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩셋으로 구현될 수 있다. 추가적으로, 프로세서는 다수의 아키텍처 중 임의의 것을 사용하여 구현될 수 있다. 예를 들어, 프로세서(752)는 CISC(Complex Instruction Set Computers) 프로세서, RISC(Reduced Instruction Set Computer) 프로세서 또는 MISC(Minimal Instruction Set Computer) 프로세서일 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스의 제어, 장치(750)에 의해 실행되는 애플리케이션, 및 장치(750)에 의한 무선 통신과 같은 장치(750)의 다른 구성요소의 조정을 제공할 수 있다.
프로세서(752)는 디스플레이(754)에 연결된 제어 인터페이스(758) 및 디스플레이 인터페이스(756)를 통해 사용자와 통신할 수 있다. 디스플레이(754)는, 예를 들어, TFT(박막 트랜지스터 액정 디스플레이) 디스플레이 또는 OLED(유기 발광 다이오드) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(756)는 그래픽 및 다른 정보를 사용자에게 제공하도록 디스플레이(754)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(758)는 사용자로부터 명령을 수신하고 그것을 프로세서(752)에 제출하기 위해 변환할 수 있다. 또한, 외부 인터페이스(762)가 프로세서(752)와 통신하도록 제공되어 다른 장치와의 장치(750)의 근거리 통신을 가능하게 할 수 있다. 외부 인터페이스(762)는, 예를 들어, 일부 구현예에서 유선 통신을, 또는 다른 구현예에서 무선 통신을 제공할 수 있으며, 다중 인터페이스가 사용될 수도 있다.
메모리(764)는 컴퓨팅 장치(750) 내에 정보를 저장한다. 메모리(764)는 컴퓨터 판독 가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들 또는 비 휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로 구현될 수 있다. 확장 메모리(774)는 또한 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(772)를 통해 장치(750)에 제공되고 연결될 수 있다. 이러한 확장 메모리(774)는 장치(750)에 대한 추가 저장 공간을 제공할 수 있고, 장치(750)에 대한 애플리케이션 또는 기타 정보를 저장할 수 있다. 구체적으로, 확장 메모리(774)는 전술한 프로세스를 수행하거나 보충하기 위한 명령을 포함할 수 있고, 보안 정보를 포함할 수도 있다. 따라서, 예를 들어, 확장 메모리(774)는 장치(750)를 위한 보안 모듈로서 제공될 수 있고, 장치(750)의 안전한 사용을 허용하는 명령으로 프로그래밍될 수 있다. 또한, 해킹 불가능한 방식으로 SIMM 카드 상에 식별 정보를 배치하는 것과 같이, 추가 정보와 함께 SIMM 카드를 통해 보안 애플리케이션이 제공될 수 있다.
메모리는, 예를 들어, 아래에서 논의되는 바와 같이 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 매체 내에 유형적으로 구현된다. 컴퓨터 프로그램 제품은 실행 시 상술한 것과 같은 하나 이상의 방법을 수행하는 명령을 포함한다. 정보 캐리어는, 예를 들어, 송수신기(768) 또는 외부 인터페이스(762)를 통해 수신될 수 있는 메모리(764), 확장 메모리(774) 또는 프로세서(752)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
장치(750)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(766)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(766)는 특히 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은, 예를 들어, 무선 주파수 송수신기(768)를 통해 발생할 수 있다. 또한, 블루투스, 와이파이 또는 기타 송수신기(표시되지 않음)를 사용하는 등의 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(770)은 장치(750)에서 실행되는 애플리케이션에 의해 적절하게 사용될 수 있는 추가적인 내비게이션 및 위치 관련 무선 데이터를 장치(750)에 제공할 수 있다.
장치(750)는 또한 사용자로부터 음성 정보를 수신하고 그것을 사용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(760)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(760)은 마찬가지로, 예를 들어, 장치(750)의 핸드셋의 스피커를 통해 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 통화로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예를 들어, 음성 메시지, 음악 파일 등)를 포함할 수 있으며, 또한 장치(750)에서 동작하는 애플리케이션에 의해 생성된 사운드를 포함할 수 있다.
컴퓨팅 장치(750)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 휴대폰(780)으로 구현될 수 있다. 또한, 스마트 폰(782), 개인용 휴대 정보 단말 또는 다른 유사한 모바일 장치의 일부로서 구현될 수 있다.
본 명세서에 설명된 시스템 및 기술의 다양한 구현예는 디지털 전자 회로, 집적 회로, 특수 설계 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예는 특수 또는 범용일 수 있으며 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 데이터 및 명령을 전송하도록 결합된 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램으로의 구현을 포함할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 함)은 프로그래밍 가능한 프로세서에 대한 기계 명령을 포함하며, 높은 레벨의 절차적 및/또는 객체 지향적 프로그래밍 언어로, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용된 바와 같이, "컴퓨터 판독 가능 매체"라는 용어는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예컨대, 자기 디스크, 광학 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 나타내며, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하는데 사용되는 임의의 신호를 나타낸다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에 설명된 시스템 및 기술은 사용자에게 정보를 표시하기 위한 디스플레이 장치(예컨대, CRT(음극선 관) 또는 LCD(액정 디스플레이) 모니터), 및 사용자가 컴퓨터에 입력을 제공할 수 있게 해주는 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)을 갖춘 컴퓨터 상에 구현될 수 있다. 사용자와의 상호 작용을 제공하기 위해 다른 종류의 장치도 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예컨대, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있다. 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함한 임의의 형태로 수신될 수 있다.
본 명세서에 설명된 시스템 및 기술은 백엔드 컴포넌트(예컨대, 데이터 서버)를 포함하거나, 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 또는 프론트엔드 컴포넌트(예컨대, 사용자가 본 명세서에 설명된 시스템 및 기술의 구현과 상호 작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터)를 포함하거나, 또는 이러한 백엔드, 미들웨어, 또는 프론트엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 이러한 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체(예컨대, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예는 근거리 통신망("LAN"), 광역 통신망("WAN"), 피어-투-피어 네트워크(애드혹 또는 정적 멤버 포함), 그리드 컴퓨팅 인프라 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있고 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각 컴퓨터 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램으로 인해 발생한다.
앞서 몇 가지 구현예가 상세히 설명되었지만, 다른 변형도 가능하다. 또한 본 명세서에 설명된 시스템 및 방법을 수행하는 다른 메커니즘이 사용될 수 있다. 또한, 도면에 도시된 논리 흐름은 원하는 결과를 얻기 위해 도시된 특정 순서 또는 순차적 순서를 필요로 하지 않는다. 설명된 흐름으로부터 다른 단계가 제공되거나 또는 일부 단계들이 제거될 수 있으며, 설명된 시스템에 다른 구성요소가 추가되거나 일부 구성요소가 제거될 수도 있다. 따라서, 다른 구현예 또한 아래의 청구항의 범위 내에 속한다.
Claims (10)
- 로컬 컴퓨터 시스템(404) 및 중앙 시스템(420)을 포함하는 컴퓨터 구현 방법으로서,
지게차에 부착된 입체 카메라에 의해 캡쳐된 복수의 입체 이미지를 수신하는 단계로서, 상기 입체 카메라는 상기 복수의 입체 이미지를 동시에 캡쳐하여 인간의 양안 시력을 모방함으로써 상기 복수의 입체 이미지 내에 묘사된 물체까지의 거리를 판정하는 복수의 이미지 센서를 포함하고, 상기 로컬 컴퓨터 시스템(404) 또는 중앙 시스템(420)은 상기 입체 카메라에 통신적으로 연결된 것인, 상기 복수의 입체 이미지를 수신하는 단계;
상기 복수의 입체 이미지 내에 표현된 물체를 물체 인식 기술에 의해 인식하는 단계;
환경 내의 복수의 물체 각각에 대해, 상기 환경 내의 상기 물체의 대응 위치를 식별하는, 상기 중앙 시스템 상에 유지되는 공간 모델 내에서 인식된 물체의 표현을 식별하는 단계;
상기 중앙 시스템 상에 유지되는 상기 공간 모델이 나타내는, 상기 환경 내에서의 상기 인식된 물체의 기록된 위치를 판정하는 단계;
상기 입체 카메라에 의해 동시에 캡쳐된 상기 복수의 입체 이미지 내의 상기 인식된 물체의 위치 차이에 기초하여, 상기 지게차와 상기 인식된 물체 사이의 상대적 위치를 판정하는 단계; 및
(i) 상기 환경 내에서의 상기 인식된 물체의 상기 기록된 위치, 및
(ii) 상기 지게차와 상기 인식된 물체 사이의 상기 판정된 상대적 위치에 기초하여, 컴퓨터 비전 기술을 사용하여 상기 환경 내에서의 상기 지게차의 위치를 판정하는 단계를 포함하는 것을 특징으로 하는 로컬 컴퓨터 시스템(404) 및 중앙 시스템(420)을 포함하는 컴퓨터 구현 방법.
- 제 1 항에 있어서,
상기 입체 카메라는 상기 이미지가 상기 입체 카메라에 의해 캡쳐될 때 실시간으로 수신되는 일련의 입체 이미지들을 캡쳐하며, 각 입체 이미지는 고정된 시간 인터벌로 캡쳐되는 것을 특징으로 하는 포함하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서,
상기 인식된 물체 위치의 상기 기록된 위치가 미리 정해진 시간 동안 변경되지 않았는지 판정하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서,
상기 인식된 물체가 고정 위치 물체로서 지정되었는지 판정하는 단계를 포함하여, 상기 인식된 물체가 상기 환경 내의 고정 위치와 연관되어 있는지 판정하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
- 제 4 항에 있어서,
상기 지게차가 상기 인식된 물체와 연관된 미리 정해진 영역 내에 있는지 판정하는 단계; 및
상기 공간 모델 중 일부분 만이 상기 미리 정해진 영역에 대응함으로 인해, 상기 공간 모델의 상기 일부분 만을 상기 공간 모델에 액세스할 수 있는 상기 중앙 시스템으로부터, 상기 지게차에 연결된 상기 로컬 컴퓨터 시스템으로 전송하는 단계를 더 포함하고,
상기 공간 모델 내에서 인식된 물체의 표현을 식별하는 단계는 상기 지게차에 연결된 상기 로컬 컴퓨터 시스템이, 상기 미리 정해진 영역에 대응하고 상기 지게차에 연결된 상기 로컬 컴퓨터 시스템으로 전송된 상기 공간 모델의 상기 일부분 내에서 상기 인식된 물체의 상기 표현을 식별하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
- 제 5 항에 있어서, 상기 입체 카메라가 아닌 적어도 하나의 환경 센서로부터 환경 신호를 수신하는 단계를 더 포함하고, 상기 지게차가 상기 인식된 물체와 연관된 미리 정해진 영역 내에 있는지 판정하는 단계는 적어도 부분적으로 상기 환경 신호를 기초로 하는 것을 특징으로 하는 컴퓨터 구현 방법.
- 시스템으로서,
지게차에 부착된 입체 카메라; 및
상기 입체 카메라에 통신적으로 연결된 로컬 컴퓨터 시스템(404) 및 중앙 시스템(420)을 포함하고, 상기 로컬 컴퓨터 시스템(404) 및/또는 중앙 시스템(420)은:
상기 지게차에 부착된 상기 입체 카메라에 의해 캡쳐된 복수의 입체 이미지를 수신하는 단계로서, 상기 입체 카메라는 상기 복수의 입체 이미지를 동시에 캡쳐하여 양안 시력을 모방함으로써 상기 복수의 입체 이미지 내에 묘사된 물체까지의 거리를 판정하는 복수의 이미지 센서를 포함하는 것인, 상기 복수의 입체 이미지를 수신하는 단계;
상기 복수의 입체 이미지 내에 표현된 물체를 물체 인식 기술에 의해 인식하는 단계;
환경 내의 복수의 물체 각각에 대해, 상기 환경 내의 물체의 대응 위치를 식별하는, 상기 중앙 시스템 상에 유지되는 공간 모델 내에서 인식된 물체의 표현을 식별하는 단계;
상기 공간 모델이 나타내는, 상기 환경 내에서의 상기 인식된 물체의 기록된 위치를 판정하는 단계;
상기 입체 카메라에 의해 동시에 캡쳐된 상기 복수의 입체 이미지 내의 상기 인식된 물체의 위치 차이에 기초하여, 상기 지게차와 상기 인식된 물체 사이의 상대적 위치를 판정하는 단계; 및
(i) 상기 환경 내에서의 상기 인식된 물체의 상기 기록된 위치, 및
(ii) 상기 지게차와 상기 인식된 물체 사이의 판정된 상대적 위치에 기초하여, 컴퓨터 비전 기술을 사용하여 상기 환경에서의 상기 지게차의 위치를 판정하는 단계
를 포함하는 오퍼레이션들을 수행하도록 구성된 것을 특징으로 하는 시스템.
- 제 7 항에 있어서, 상기 입체 카메라는 상기 이미지가 상기 입체 카메라에 의해 캡쳐될 때 실시간으로 수신되는 일련의 입체 이미지들을 캡쳐하고, 각 입체 이미지는 고정된 시간 인터벌로 캡쳐되는 것을 특징으로 하는 시스템.
- 제 7 항 또는 제 8 항에 있어서, 상기 입체 카메라는 상기 입체 카메라가 상기 지게차의 뒤쪽을 향하도록 상기 지게차의 오버헤드 가드에 부착된 것을 특징으로 하는 시스템.
- 제 7 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 입체 카메라는 렌즈 히터를 포함하고; 그리고
상기 입체 카메라는 상기 지게차의 움직임으로 인한 진동을 감쇠시키기 위해 플라스틱 및/또는 고무를 포함하는 카메라 장착 유닛에 부착되는 것을 특징으로 하는 시스템.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/993,343 | 2018-05-30 | ||
| US15/993,343 US10242273B1 (en) | 2018-05-30 | 2018-05-30 | Tracking vehicles in a warehouse environment |
| US16/277,338 US10528828B2 (en) | 2018-05-30 | 2019-02-15 | Tracking vehicles in a warehouse environment |
| US16/277,338 | 2019-02-15 | ||
| PCT/US2019/034735 WO2019232264A1 (en) | 2018-05-30 | 2019-05-30 | Tracking vehicles in a warehouse environment |
| KR1020207037924A KR102347015B1 (ko) | 2018-05-30 | 2019-05-30 | 창고 환경에서의 차량 추적 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207037924A Division KR102347015B1 (ko) | 2018-05-30 | 2019-05-30 | 창고 환경에서의 차량 추적 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220000951A true KR20220000951A (ko) | 2022-01-04 |
Family
ID=65811888
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217042725A KR20220000951A (ko) | 2018-05-30 | 2019-05-30 | 창고 환경에서 차량 추적 |
| KR1020207037924A KR102347015B1 (ko) | 2018-05-30 | 2019-05-30 | 창고 환경에서의 차량 추적 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207037924A KR102347015B1 (ko) | 2018-05-30 | 2019-05-30 | 창고 환경에서의 차량 추적 |
Country Status (12)
| Country | Link |
|---|---|
| US (3) | US10242273B1 (ko) |
| EP (1) | EP3803734B1 (ko) |
| KR (2) | KR20220000951A (ko) |
| CN (2) | CN114331282A (ko) |
| AU (1) | AU2019277576A1 (ko) |
| BR (1) | BR112020024333A2 (ko) |
| CA (2) | CA3101978C (ko) |
| GB (1) | GB2593029B (ko) |
| MX (1) | MX2020012962A (ko) |
| NZ (1) | NZ771639A (ko) |
| PL (1) | PL3803734T3 (ko) |
| WO (1) | WO2019232264A1 (ko) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11625664B2 (en) * | 2013-08-15 | 2023-04-11 | Crc R&D, Llc | Apparatus and method for freight delivery and pick-up |
| US11775892B2 (en) | 2013-10-03 | 2023-10-03 | Crc R&D, Llc | Apparatus and method for freight delivery and pick-up |
| WO2021176317A1 (en) * | 2020-03-03 | 2021-09-10 | Accelerated Systems Inc. | A vehicle with a protective warning system |
| WO2018187691A1 (en) | 2017-04-07 | 2018-10-11 | BXB Digital Pty Limited | Systems and methods for tracking promotions |
| WO2018204499A1 (en) | 2017-05-02 | 2018-11-08 | BXB Digital Pty Limited | Systems and methods for pallet identification |
| US10832208B2 (en) | 2017-05-02 | 2020-11-10 | BXB Digital Pty Limited | Systems and methods for facility matching and localization |
| WO2018204912A1 (en) | 2017-05-05 | 2018-11-08 | BXB Digital Pty Limited | Pallet with tracking device |
| SG11202001533YA (en) | 2017-08-21 | 2020-03-30 | Bxb Digital Pty Ltd | Systems and methods for pallet tracking using hub and spoke architecture |
| EP3698270B1 (en) | 2017-10-20 | 2022-05-11 | BXB Digital PTY Limited | Systems and methods for tracking goods carriers |
| US10242273B1 (en) * | 2018-05-30 | 2019-03-26 | Lineage Logistics, LLC | Tracking vehicles in a warehouse environment |
| CN109002027B (zh) * | 2018-08-31 | 2020-06-23 | 北京图森智途科技有限公司 | 一种中控方法和中控系统 |
| JP7022671B2 (ja) * | 2018-09-12 | 2022-02-18 | 日鉄ソリューションズ株式会社 | 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 |
| DE102018131267A1 (de) * | 2018-12-07 | 2020-06-10 | Sick Ag | Transportsystem für Waren und Verfahren zum Entfernen einer herabgefallenen Ware |
| US10816637B2 (en) | 2018-12-27 | 2020-10-27 | Chep Technology Pty Limited | Site matching for asset tracking |
| US11062256B2 (en) | 2019-02-25 | 2021-07-13 | BXB Digital Pty Limited | Smart physical closure in supply chain |
| BR112021020336A2 (pt) | 2019-04-08 | 2021-12-14 | Lineage Logistics Llc | Transporte automático de paletes de mercadorias |
| US12047715B2 (en) | 2019-04-24 | 2024-07-23 | Crc R&D, Llc | Systems and methods for automatic recognition of vehicle information |
| CA3137885A1 (en) | 2019-04-24 | 2020-10-29 | Crc R&D, Llc | Systems and methods for automatic recognition of vehicle information |
| EP4107112A1 (en) | 2020-02-21 | 2022-12-28 | Crown Equipment Corporation | Lighting floor on sides of material handling vehicle to indicate limited or non-limited area |
| CN111479217B (zh) * | 2020-04-17 | 2022-03-04 | 新石器慧通（北京）科技有限公司 | 隧道内无人驾驶车辆的定位方法、系统和电子设备 |
| US11977392B2 (en) * | 2020-05-11 | 2024-05-07 | Mobile Industrial Robots Inc. | Identifying elements in an environment |
| CN111674800B (zh) * | 2020-06-03 | 2021-07-09 | 灵动科技（北京）有限公司 | 用于自动驾驶系统的智能仓储技术 |
| US11323624B2 (en) | 2020-09-01 | 2022-05-03 | Lineage Logistics, LLC | Image sensing assembly |
| KR102425529B1 (ko) * | 2020-12-08 | 2022-07-25 | 한남대학교 산학협력단 | 카메라를 이용한 자율주행 지게차 |
| WO2022180453A1 (en) * | 2021-02-25 | 2022-09-01 | Ricoh Company, Ltd. | Information processing apparatus, information processing system, information processing method, and recording medium |
| US11703861B1 (en) * | 2021-03-24 | 2023-07-18 | Amazon Technologies, Inc. | Inventory system with high-speed corridors for autonomous surface vehicles |
| DE102021204075A1 (de) | 2021-04-23 | 2022-10-27 | Volkswagen Aktiengesellschaft | Verfahren zum Ermitteln und Bereitstellen einer Lagerposition eines Lagerobjekts in einem Lagersystem sowie Lagersystem |
| US11816859B2 (en) | 2021-06-30 | 2023-11-14 | Ford Motor Company | Systems and methods for determining a vehicle location in a manufacturing environment |
| US11629009B2 (en) | 2021-07-14 | 2023-04-18 | Newteq Holding B.V. | Automated warehouse systems, assemblies, apparatuses, and methods for assembling mixed pallets and facilitating order picking |
| US11932396B1 (en) * | 2021-08-09 | 2024-03-19 | Bluehalo, Llc | System and apparatus for a high-power microwave sensor using an unmanned aerial vehicle |
| US20230297947A1 (en) * | 2022-03-17 | 2023-09-21 | Quantiphi Inc | Method and system for order picking |
| US20240192357A1 (en) * | 2022-12-13 | 2024-06-13 | Qualcomm Incorporated | Visual sensing for positioning |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1009094A (en) | 1909-02-17 | 1911-11-21 | Theodore C Prouty | Weighing-scale. |
| US6690268B2 (en) * | 2000-03-02 | 2004-02-10 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US9323250B2 (en) * | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US9317037B2 (en) * | 2011-10-03 | 2016-04-19 | Vocollect, Inc. | Warehouse vehicle navigation system and method |
| JP2015225450A (ja) * | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | 自律走行車、及び自律走行車における物体認識方法 |
| EP3000773B1 (en) * | 2014-09-25 | 2017-04-12 | Toyota Material Handling Manufacturing Sweden AB | Method in forklift truck for determining a load position in a load rack |
| US10422870B2 (en) | 2015-06-15 | 2019-09-24 | Humatics Corporation | High precision time of flight measurement system for industrial automation |
| US20180231651A1 (en) | 2015-11-11 | 2018-08-16 | Humatics Corporation | Microwave radar system on a substrate |
| US20170179570A1 (en) | 2015-12-17 | 2017-06-22 | Humatics Corporation | Dual-band antenna on a substrate |
| US9840253B1 (en) * | 2016-06-14 | 2017-12-12 | Delphi Technologies, Inc. | Lane keeping system for autonomous vehicle during camera drop-outs |
| US10071856B2 (en) * | 2016-07-28 | 2018-09-11 | X Development Llc | Inventory management |
| US10353395B2 (en) * | 2016-09-26 | 2019-07-16 | X Development Llc | Identification information for warehouse navigation |
| US10090944B1 (en) | 2018-02-12 | 2018-10-02 | Humatics Corporation | Wide band radio-frequency localization devices and associated systems and methods |
| US10242273B1 (en) * | 2018-05-30 | 2019-03-26 | Lineage Logistics, LLC | Tracking vehicles in a warehouse environment |
-
2018
- 2018-05-30 US US15/993,343 patent/US10242273B1/en active Active
-
2019
- 2019-02-15 US US16/277,338 patent/US10528828B2/en active Active
- 2019-05-30 CA CA3101978A patent/CA3101978C/en active Active
- 2019-05-30 GB GB2020716.3A patent/GB2593029B/en active Active
- 2019-05-30 NZ NZ771639A patent/NZ771639A/en unknown
- 2019-05-30 CN CN202111656713.XA patent/CN114331282A/zh active Pending
- 2019-05-30 KR KR1020217042725A patent/KR20220000951A/ko not_active Application Discontinuation
- 2019-05-30 CA CA3138243A patent/CA3138243C/en active Active
- 2019-05-30 BR BR112020024333-7A patent/BR112020024333A2/pt unknown
- 2019-05-30 CN CN201980046747.1A patent/CN112771561A/zh active Pending
- 2019-05-30 MX MX2020012962A patent/MX2020012962A/es unknown
- 2019-05-30 WO PCT/US2019/034735 patent/WO2019232264A1/en unknown
- 2019-05-30 EP EP19732175.5A patent/EP3803734B1/en active Active
- 2019-05-30 PL PL19732175.5T patent/PL3803734T3/pl unknown
- 2019-05-30 KR KR1020207037924A patent/KR102347015B1/ko active IP Right Grant
- 2019-05-30 AU AU2019277576A patent/AU2019277576A1/en not_active Abandoned
- 2019-12-03 US US16/702,281 patent/US11176388B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| GB202020716D0 (en) | 2021-02-10 |
| KR20210020945A (ko) | 2021-02-24 |
| CN112771561A (zh) | 2021-05-07 |
| EP3803734A1 (en) | 2021-04-14 |
| NZ771639A (en) | 2021-02-26 |
| GB2593029B (en) | 2022-02-23 |
| US10242273B1 (en) | 2019-03-26 |
| EP3803734B1 (en) | 2024-07-24 |
| AU2019277576A1 (en) | 2021-01-28 |
| MX2020012962A (es) | 2021-06-23 |
| WO2019232264A1 (en) | 2019-12-05 |
| US20190370567A1 (en) | 2019-12-05 |
| CA3138243A1 (en) | 2019-12-05 |
| CN114331282A (zh) | 2022-04-12 |
| BR112020024333A2 (pt) | 2021-02-23 |
| GB2593029A (en) | 2021-09-15 |
| US10528828B2 (en) | 2020-01-07 |
| KR102347015B1 (ko) | 2022-01-04 |
| US20200218912A1 (en) | 2020-07-09 |
| CA3101978A1 (en) | 2019-12-05 |
| US11176388B2 (en) | 2021-11-16 |
| PL3803734T3 (pl) | 2024-09-09 |
| CA3101978C (en) | 2021-12-07 |
| CA3138243C (en) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102347015B1 (ko) | 창고 환경에서의 차량 추적 | |
| US11703345B2 (en) | Hands-free augmented reality system for picking and/or sorting assets | |
| US11660749B2 (en) | Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots | |
| US10438371B2 (en) | Three-dimensional bounding box from two-dimensional image and point cloud data | |
| US11703334B2 (en) | Mobile robots to generate reference maps for localization | |
| US11508078B2 (en) | Point cloud annotation for a warehouse environment | |
| CN113632117A (zh) | 仓库管理方法和系统 | |
| EP4071684A1 (en) | Warehouse monitoring system | |
| WO2020137311A1 (ja) | 測位装置及び移動体 | |
| JP2013532451A (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
| KR20180066668A (ko) | 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법 | |
| KR101834336B1 (ko) | 자재적치장 영상모니터링을 통한 자재위치 인식시스템 및 지게차 | |
| US20240255285A1 (en) | Systems and methods of lift to find augmented reality guidance | |
| CN117570977A (zh) | 机器人的定位方法、定位装置、机器人及存储介质 | |
| Basso | RGB-D people tracking by detection for a mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal |