KR102216498B1 - 상점의 선반 상의 제품의 배치를 추적하기 위한 방법 - Google Patents
상점의 선반 상의 제품의 배치를 추적하기 위한 방법 Download PDFInfo
- Publication number
- KR102216498B1 KR102216498B1 KR1020187035807A KR20187035807A KR102216498B1 KR 102216498 B1 KR102216498 B1 KR 102216498B1 KR 1020187035807 A KR1020187035807 A KR 1020187035807A KR 20187035807 A KR20187035807 A KR 20187035807A KR 102216498 B1 KR102216498 B1 KR 102216498B1
- Authority
- KR
- South Korea
- Prior art keywords
- shelf
- product
- image
- features
- template
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 147
- 230000004044 response Effects 0.000 claims abstract description 105
- 230000000007 visual effect Effects 0.000 claims abstract description 43
- 238000004806 packaging method and process Methods 0.000 claims description 97
- 239000013598 vector Substances 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims 3
- 239000000047 product Substances 0.000 description 530
- 230000000875 corresponding effect Effects 0.000 description 52
- 230000008569 process Effects 0.000 description 21
- 238000013507 mapping Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000001932 seasonal effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- MHWLWQUZZRMNGJ-UHFFFAOYSA-N nalidixic acid Chemical compound C1=C(C)N=C2N(CC)C=C(C(O)=O)C(=O)C2=C1 MHWLWQUZZRMNGJ-UHFFFAOYSA-N 0.000 description 1
- -1 packaging direction Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/22—Electrical actuation
- G08B13/24—Electrical actuation by interference with electromagnetic field distribution
- G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
- G08B13/2451—Specific applications combined with EAS
- G08B13/2462—Asset location systems combined with EAS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system
- G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/00771—
-
- G06K9/033—
-
- G06K9/6201—
-
- G06K9/6217—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/22—Electrical actuation
- G08B13/24—Electrical actuation by interference with electromagnetic field distribution
- G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
- G08B13/2465—Aspects related to the EAS system, e.g. system components other than tags
- G08B13/248—EAS system combined with another detection technology, e.g. dual EAS and video or other presence detection system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
Abstract
상점에서 제품들의 배치를 추적하는 방법의 일 변형예는: 상점 내의 모바일 로봇 시스템에 의해 기록되는 이미지를 액세스하는 단계; 이미지의 영역에서 선반을 검출하는 단계; 선반의 어드레스에 기초하여, 상점의 플래노그램에 의해 선반에 할당되는 제품들의 리스트를 검색하는 단계; 제품들의 리스트에 특정되는 제품들의 시각적 피처들을 정의하는 - 템플릿 이미지들의 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 검색하는 단계; 이미지의 영역으로부터 한 세트의 피처들을 추출하는 단계; 제품의 유닛이 한 세트의 피처들과 제품을 표현하는, 한 세트의 템플릿 이미지들 내의, 템플릿 이미지의 피처들 사이의 편차에 응답하여 선반 상에 잘못 재고된 것으로 결정하는 단계; 및 제품의 유닛이 선반 상에 잘못 재고된 것으로 결정하는 단계에 응답하여, 제품에 대한 재입고 프롬프트를 생성하는 단계를 포함한다.
Description
관련 출원들에 대한 교차 참조
본 출원은 2016년 5월 19일자로 출원된 미국 가출원 번호 제62/339,039호의 이익을 주장하며, 이는 그 전체가 본 참조로 통합된다.
본 출원은 2016년 11월 9일자로 출원된 미국 특허 출원 번호 제15/347,689호에 관련되며, 이는 그 전체가 본 참조로 통합된다.
본 발명은 일반적으로 재고 추적 분야에 관한 것으로서 보다 구체적으로는 재고 추적 분야에서 상점의 선반들 상의 제품들의 배치를 추적하기 위한 새롭고 유용한 방법에 관한 것이다.
도 1은 본 방법의 흐름도 표현이다.
도 2는 본 방법의 일 변형예의 그래픽 표현이다.
도 3은 본 방법의 일 변형예의 개략적 표현이다.
도 4는 본 방법의 일 변형예의 흐름도 표현이다.
도 5는 본 방법의 일 변형예의 흐름도 표현이다.
도 2는 본 방법의 일 변형예의 그래픽 표현이다.
도 3은 본 방법의 일 변형예의 개략적 표현이다.
도 4는 본 방법의 일 변형예의 흐름도 표현이다.
도 5는 본 방법의 일 변형예의 흐름도 표현이다.
본 발명의 실시예들의 이어지는 설명은 본 발명을 이들 실시예들에 제한하도록 의도되지 않고 오히려 당업자가 본 발명을 구성하고 사용할 수 있게 하도록 의도된다. 본원에서 설명되는 변형들, 구성들, 구현들, 예시적 구현들, 및 예시들은 선택적이고 그들이 설명하는 변형들, 구성들, 구현들, 예시적 구현들, 및 예시들에 배타적이지 않다. 본원에서 설명되는 발명은 이들 변형들, 구성들, 구현들, 예시적 구현들, 및 예시들의 임의의 및 모든 치환들(permutations)을 포함할 수 있다.
1. 방법
도 1에 도시된 바와 같이, 상점의 선반들 상의 제품들의 배치를 추적하는 방법(S100)은: 블록(S120)에서 제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 제1 이미지는 제1 시간에 상점 내의 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관되는 단계; 블록(S122)에서 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계; 제1 이미지 내의 제1 선반의 제1 위치, 제1 방향, 및 수직 위치에 기초하여 블록(S130)에서 제1 선반의 어드레스를 액세스하는 단계; 제1 선반의 어드레스에 기초하여, 블록(S130)에서 상점의 플래노그램(planogram)에 의해 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계; 블록(S140)에서 템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 제1 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함하는 단계; 블록(S124)에서 제1 이미지 내의 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계; 제1 세트의 피처들 내의 피처들과 제1 제품을 표현하는, 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 블록(S150)에서 제1 선반 상의, 제1 제품들의 리스트들 내의, 제1 제품의 유닛의 존재를 확인하는 단계; 제1 제품의 유닛이 제1 세트의 피처들 내의 피처들과 제1 템플릿 이미지 내의피처들 사이의 편차에 응답하여 블록(S152)에서 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및, 제1 제품의 유닛이 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 블록(S160)에서 제1 선반 상의 제1 제품에 대한 제1 재입고 프롬프트(prompt)를 생성하는 단계를 포함한다.
도 4에 도시된 바와 같이, 방법(S100)의 일 변형예는: 로봇 시스템에서, 블록(S110)에서 미리 설정된 웨이포인트(waypoint)에 의해 정의되는 위치 근위의 상점 내 위치로 네비게이션하는 단계; 미리 설정된 웨이포인트에 의해 정의되는 이미지 사양에 기초하여, 블록(S112)에서 로봇 시스템에 배치되는 한 세트의 카메라들의 제1 카메라를 통해 사진 이미지를 캡처하는 단계; 미리 설정된 웨이포인트에 기초하여, 블록(S130)에서 위치에 근접한 선반 상의 재고를 위해 지정되는 제품의 제품 식별자(identifier)를 액세스하는 단계; 블록(S140)에서 제품 식별자에 대응하는, 템플릿 이미지들의 데이터베이스로부터, 한 세트의 템플릿 이미지들을 선택하는 단계; 블록(S150)에서 한 세트의 템플릿 이미지들 내의, 특정 템플릿 이미지와 사진 이미지의 영역 사이의 유사성에 기초하여 선반 상의 제품 유닛의 존재를 확인하는 단계; 블록(S152)에서 특정 템플릿 이미지와 연관되는 제품 방향에 기초하여 선반 상의 제품 유닛의 오정렬(misalignment)을 식별하는 단계; 및 블록(S160)에서 선반 상의 제품 유닛의 위치를 수동식으로 정정하기 위한 프롬프트(prompt)를 발행하는 단계를 포함한다.
도 5에 도시된 바와 같이, 방법(S100)의 다른 변형예는: 로봇 시스템에서, 블록(S110)에서 미리 설정된 웨이포인트에 의해 정의되는 위치 근위의 상점 내 위치로 네비게이션하는 단계; 미리 설정된 웨이포인트에 의해 정의되는 이미지 사양에 기초하여, 블록(S112)에서 로봇 시스템에 배치되는 한 세트의 카메라들 내의 제1 카메라를 통해 사진 이미지를 캡처하는 단계; 미리 설정된 웨이포인트에 기초하여, 블록(S130)에서 위치 근위의 선반들에 대해 지정되는 제품들의 한 세트의 제품 식별자들을 액세스하는 단계; 블록(S140)에서 템플릿 이미지들의 데이터베이스로부터 한 세트의 템플릿 이미지를 선택하는 단계로서, 한 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 한 세트의 제품 식별자들 내의 제품 식별자에 대응하는 단계; 블록(S124)에서 한 세트의 영역들 내의 영역들과 한 세트의 템플릿 이미지들 내의 템플릿 이미지들 사이의 유사성들에 기초하여 한 세트의 사진 이미지들의 영역과 한 세트의 제품 식별자들 내의 제품 식별자들과 상관시키는 단계; 블록(S152)에서 위치 근위의 선반들에 대응하는 플래노그램과 사진 이미지 내의 한 세트의 영역들의 배열 사이의 차이에 기초하여 상점의 선반들 상의 제품들의 특정 배치로부터 편차를 식별하는 단계; 및 블록(S160)에서 식별된 편차에 기초하여 상점의 선반들 상의 제품들의 위치들을 수동적으로 정정하기 위한 프롬프트를 발행하는 단계를 포함한다.
2. 애플리케이션들
일반적으로, 방법(S100)의 블록들은: 소매점(예를 들어, 식품점) 도처의 선반들 상에 배치되는 제품들의 이미지들을 캡처하기 위해 로봇 시스템을 파견하고; 로봇 시스템으로부터 수신되는 이미지 및 소매점 도처의 제품 위치들을 정의하는 플래노그램에 기초하여 소매점 도처의 선반들 상의 슬롯들에 할당되는 제품들의 재고 상태(stocking status)를 결정하고; 소매점 도처의 빈 슬롯들을 재적재(reload)하기 위해 소매점의 점원에게 자동으로 프롬프트하는 컴퓨터 시스템에 의해 실행된다. 특히, 컴퓨터 시스템은 자동으로; 상점 내의 선반들의 이미지를 수집하고; 이들 이미지들로부터 이들 선반들 상의 제품 유닛들의 존재 및 배열을 결정하고; 상점 도처의 실제 제품 배열과 상점의 플래노그램에 정의되는 목표 제품 제시 요건들 사이의 편차들을 식별하고; 상점의 점원들(예를 들어, 종업원들)에 의한 소비 및 취급을 위해 그러한 편차들을 패키징하기 위해 방법(S100)의 블록들을 실행할 수 있다. 따라서, 컴퓨터 시스템은: 블록(S110)에서 상점 내의 선반들의 이미지들을 수집하기 위해 로봇 시스템을 파견하고; 블록(S112)에서 실시간으로 일괄적으로 로봇 시스템으로부터 이미지들을 수신하고; 블록들(S130, S132, 및 S134)에서 상점의 선반들 상의 제품들의 존재들, 위치들, 및/또는 방향들을 결정하고 이들 제품의 존재들, 위치들, 및/또는 방향들에 기초하여 상점 플래노그램들로부터 편차를 식별하기 위해 이들 이미지들을 처리하고; 블록들(S140 및 S150)에서 이들 편차들을 정정하기 위해 상점의 점원들에게 자동으로 프롬프트할 수 있다.
시스템은 로봇 시스템이 스캐닝 사이클 동안 네비게이션하고 하나 이상의 이미지들을 캡처할 상점 내의 위치들을 정의하는 한 세트의 웨이포인트들을 구현할 수 있고, 시스템은 웨이포인트에 또는 그것에 가까이 있는 동안 로봇 시스템에 의해 캡처되는 이미지에 웨이포인트(또는 웨이포인트의 콘텐츠)를 링크시킬 수 있다. 예를 들어, 로봇 시스템은 소매점(또는 창고 등) 내에 배치될 수 있고, 원격 컴퓨터 시스템(예를 들어, 인터넷을 통해 로봇 시스템에 연결되는 원격 서버)은 1 AM에서 시작하는 매일 밤과 같은, 가계 영업 시간 외에서 소매점 도처의 웨이포인트들에서 이미지들을 수집하기 위해 로봇 시스템을 파견할 수 있다. 따라서, 로봇 시스템은 소매점이 몇 시간 후에 개장되기 전에 스캔 사이클을 완료할 수 있다. 대안적으로, 시스템은 고객들이 상점 도처의 선반들 상에, 선반들로부터, 및 선반들로 제품들을 이동시키고, 제거하고, 때때로 반환함에 따라 실시간으로 상점의 재고 상태를 나타내는 데이터를 수집하기 위해 가계 영업 시간 동안에 모바일 로봇 시스템을 파견할 수 있다.
그 다음, 시스템은 상점의 선반들 상의 현재 제품 배치의 그래프, 맵, 또는 테이블을 생성하고/하거나, 상점의 전반적인 재고 생태를 생성하고/하거나, 상점 도처에서 분실, 오배치, 또는 오배향된 제품들을 정정하기 위한 한 세트의 프롬프트들 또는 작업들을 포함하는 전역(global) 재입고 리스트를 생성하기 위해 스캔 사이클 동안에 수집되는 이미지들을 처리할 수 있다. 예를 들어, 이러한 이미지의 메타 데이터에 저장될 수 있는, 선반 세그먼트의 이미지가 기록된 때 모바일 로봇 시스템의 웨이포인트, 위치, 및/또는 방향에 기초하여, 시스템은 이미지가 캡처된 때 로봇 시스템의 시야에서 선반 구조에 할당되는 모든 SKU들, 선반 세그먼트에 할당되는 모든 SKU들, 단일 선반에 할당되는 모든 SKU들, 또는 특정 슬롯에 할당되는 SKU 등과 같은, 웨이포인트에 가까운 하나 이상의 선반들 상의 재고를 위해 지정되는 제품들의 재고 보유 유닛들(stock keeping units(SKUs)) 또는 다른 식별자들의 리스트를 검색할 수 있다. 이들 SKU들에 기초하여, 시스템은 상대적으로 큰 데이터베이스(예를 들어, 수백만)의 템플릿 이미지들을 상점의 플래노그램에 따라 이러한 단일 선반, 선반 세그먼트, 또는 선반 구조를 점유할 것으로 예상되거나 가장 가능성이 있는 제품들의 상대적으로 작은 세트의(예를 들어, 15개) 템플릿 이미지들에 이르기까지 필터링할 수 있다. 이러한 상대적으로 작은 세트의 템플릿 이미지들을 이미지의 서브영역들에 비교하기 위한 컴퓨터 비전 기술들을 구현함으로써, 시스템은 상대적으로 신속하고 상대적으로 높은 정확도로 상점의 선반들 상의 다양한 제품들의 존재, 방향, 및/또는 위치를 결정할 수 있다.
특히, 시스템은: 상점의 단일 선반 구조 내의 단일 선반 세그먼트의 단일 선반에 대응하는 이미지의 영역을 식별하고; 이미지가 기록된 때 로봇 암에 의해 점유되는 웨이포인트, 위치, 및/또는 방향에 기초하고 이미지 내의 영역의 위치에 기초하여 이러한 선반을 식별하고; 이러한 선반에 할당되는 제품들의 매우 작은 세트의 템플릿 이미지들로 - 별개 물리 제품들을 나타내는 피처들의 별개 그룹을 포함하는 - 이미지의 이러한 영역 내의 그 서브영역의 비교를 제한할 수 있다. 상점에 대한 현재 플래노그램에 의해 이러한 선반에 할당되는 제품들의 리스트를 집계하고 그 다음, 독점적으로 이들 제품들의 한 세트의 템플릿 이미지들을 검색함으로써, 시스템은 또한 이미지를 처리하기 위해 자원 소비(예를 들어, 처리 시간, 처리 능력)를 제한하는 동안에 이러한 선반 상의 제품들을 검출시 높은 정확도를 유지할 수 있다. 그러나, 시스템이 - 별개 제품을 표현하는 - 이미지의 특정 서브영역과 이러한 제1 세트의 템플릿 이미지들 내의 임의의 템플릿 이미지들 사이의 매칭을 식별하지 못하면, 시스템은 이미지의 특정 서브영역에 표현되는 제품이 동일한 선반 세그먼트 상의 근처의 선반으로부터 그것의 현재 위치로 이동되었을 수 있으므로, 선반 세그먼트 내의 모든 선반들에 할당되는 제품들의 더 큰 세트의 템플릿 이미지들로 한 세트의 템플릿 이미지들을 에스컬레리션(즉, 확대)할 수 있다. 더욱이, 시스템이 이미지의 특정 서브영역과 이러한 제2 세트의 템플릿 이미지들 내의 임의의 템플릿 이미지 사이의 매칭을 식별하지 못하면, 시스템은 매칭이 검출될 때까지 또는 자원들의 임계량이 이미지의 특정 서브 영역에 표현되는 제품을 식별하기 위해 시도시 소비될 때까지 동일한 선반 구조 내의 모든 선반 세그먼트에, 그 다음, 동일한 통로를 대면하는 양 선반 구조들에, 그 다음, 상점의 동일한 영역 또는 구역에, 그리고 그 다음, 전체 상점에 할당되는 제품들을 포함하기 위해 한 세트의 템플릿 이미지들을 에스컬레이션할 수 있다. 그 다음, 시스템은 상점 도체에 재고되는 실질적 모든 제품들을 식별하고, 이들 제품들의 위치를 추적하고, 상점에 할당되는 플래노그램으로부터 이들 제품들의 존재 및 위치들의 편차들을 식별하기 위해 상점의 각각의 다른 슬롯, 선반, 선반 세그먼트, 및/또는 선반 구조에 대해 이러한 과정을 반복할 수 있다.
그 다음, 시스템은 상점 도처의 식별된 제품들과 상점의 현재 플래노그램 사이의 정렬 및 편차들을 상점 도처의 특정 슬롯들을 정정하는 프롬프트들을 포함하는 것과 같은, 그래프, 맵, 테이블, 재고 리스트, 작업 리스트, 및/또는 다른 컨테이너로 패키징하고; 그 다음, 상점의 직원들에게, 예컨대 그들이 소매점이 개장되기 전 다음 아침에 소매점에 도착시 또는 이미지들이 가계 영업 시간 동안 로봇 시스템으로부터 수신 및 처리됨에 따라 실시간으로, 이러한 컨테이너를 제공할 수 있다.
3. 로봇 시스템
로봇 시스템은 웨이포인트로 네비게이션하고 상점의 선반들의 이미지들을 캡처하기 위해 방법(S100)의 블록들(S110 및 S112)을 실행한다. 일반적으로, 로봇 시스템은 상점을 자율적으로 횡단하고, 상점 내의 선반들의 이미지들을 캡처하고, 그들 이미지들을 분석용 원격 컴퓨터 시스템에 업로드 할 수 있는 네트워크 가능 모바일 로봇을 정의할 수 있다.
일 구현예에서, 로봇 시스템은 도 3에 도시된 바와 같이, 하기를 포함하는 자율 이미징 차량을 정의한다: 베이스; 베이스에 배열되는 구동 시스템(예를 들어, 한 쌍의 2개의 구동 휠들 및 2개의 선회 캐스터들); 전원(예를 들어, 전기 배터리); 한 세트의 매핑 센서들(예를 들어, 전방 및 후방 스캐닝 LIDAR 시스템들); 매핑 센서들에 의해 수집되는 데이터를 로봇 시스템 주위의 공간의 2차원 또는 3차원 맵들로 변형시키는 프로세서; 베이스로부터 수직 연장되는 마스트; 마스트 상에 배열되는 한 세트의 카메라들; 지리 공간 위치 센서(예를 들어, GPS 센서); 및 원격 컴퓨터 시스템(예를 들어, 원격 서버)으로부터 상점의 웨이포인트들 및 마스터 맵을 다운로드하고 카메라에 의해 캡처되는 사진 이미지들 및 프로세서에 의해 생성되는 맵들을 원격 컴퓨터 시스템에 업로드하는 무선 통신 모듈. 이러한 구현예에서, 로봇 시스템은 도 3에 도시된 바와 같이, 마스트의 좌측 상의 2개의 수직 오프셋 카메라들 및 마스트의 우측 상의 2개의 수직 오프셋 카메라들과 같은, 마스트에 정적으로 장착되는 카메라들을 포함할 수 있다. 로봇 시스템은 유기적으로 연관될 수 있는 카메라들, 예컨대: 마스트의 좌측 상에 있고 제1 수직 스캐닝 액츄에이터에 의해 지지되는 하나의 카메라; 및 마스트의 우측 상에 있고 제2 수직 스캐닝 액츄에이터에 의해 지지되는 하나의 카메라를 추가적으로 또는 대안적으로 포함할 수 있다. 로봇 시스템은 또한 각각의 카메라 상에 줌 렌즈, 광학 렌즈, 또는 임의의 다른 타입의 렌즈를 포함할 수 있다. 그러나, 로봇 시스템은 임의의 다른 형태를 정의할 수 있고 상점 환경 도처의 자율 네비게이팅 및 이미지 캡처를 지지하는 임의의 다른 서브시스템들 또는 요소들을 포함할 수 있다.
시스템은 또한 단일 상점에 배치되고 상점 내의 이미지 선반들에 대해 협력하도록 구성되는 다수의 로봇 시스템들을 포함할 수 있다. 예를 들어, 2개의 로봇 시스템들은 큰 단일 층 소매점에 배치될 수 있고 임계 기간 내에서(예를 들어, 1시간 내에서) 상점의 모든 선반들의 이미지들을 수집하기 위해 협력할 수 있다. 다른 예에서, 1개의 로봇 시스템은 다층 상점의 각각의 층 상에 배치될 수 있고, 각각의 로봇 시스템은 그것의 대응하는 층 상의 선반들의 이미지들을 각각 수집할 수 있다. 그 다음, 원격 컴퓨터 시스템은 하나의 상점에 배치되는 다수의 로봇 시스템들에 의해 캡처되는 이미지들을 집계하여 상점 내에 적절하게 및 부적절하게 재고된 슬롯들의 그래프, 맵, 테이블, 및/또는 작업 리스트를 생성할 수 있다.
4. 계층 및 용어들
"제품 페이싱(facing)"은 본원에서 슬롯에 대해 지정되는 제품의(예를 들어, 특정 SKU 또는 다른 제품 식별자의) 측면으로 지칭된다. "플래노그램"은 본원에서 상점 내의 다수의 선반 구조물 각각에 걸친(예를 들어, 전체 상점에 걸친) 다수의 제품 페이싱들의 그래픽 표현으로 지칭된다. 플래노그램에 시각적으로 기록되는 제품 식별, 배치, 및 방향 데이터는 또한 대응하는 텍스트 제품 배치 스프레드시트, 슬롯 인덱스, 또는 다른 저장 데이터베이스(이하, "제품 배치 데이터베이스")에 기록될 수 있다.
"슬롯"은 본원에서 하나 이상의 제품 유닛들의 행(row)을 포함하는, 하나의 제품 페이싱에 의한 점유를 위해 지정되는 선반의 섹션으로서 지칭된다. "선반"은 본원에서 하나 이상의 슬롯들에 걸치는 하나의 측면(예를 들어, 하나의 4 피트 폭의 수평면)으로서 지칭된다. "선반 세그먼트"는 본원에서 하나 이상의 선반들을 포함하는, 선반 구조의 하나의 열(column)로서 지칭된다. "선반 구조"는 본원에서 하나 이상의 선반 세그먼트들의 행으로서 지칭된다. "통로"는 본원에서 2개의 대향 선반 구조들 사이의 도로(thoroughfare)로서 지칭된다. "상점"은 본원에서 하나 이상의 선반 구조들 및 하나 이상의 통로들을 포함하는 (정적 또는 이동) 시설로서 지칭된다.
"제품"은 본원에서 특정 제품 식별자(예를 들어, SKU)와 연관되는 패키지화된 상품(good)의 타입으로서 지칭된다. "유닛" 또는 "제품 유닛"은 본원에서 하나의 SKU 값과 연관되는 일련의 패키지화된 물품들 내의 하나의 패키지화된 물품과 같은, 제품의 인스턴스(instance)로서 지칭된다.
방법(S100)은 본원에서 원격 컴퓨터 시스템(예를 들어, 원격 서버, 이하 "컴퓨터 시스템")에 의해 실행되는 것으로 설명된다. 그러나, 방법(S100)의 블록들은 소매점(또는 상점, 창고 등)에 배치되는 하나 이상의 로봇 시스템들, 로컬 컴퓨터 시스템, 또는 임의의 다른 컴퓨터 시스템 - 이하 "시스템"에 의해 실행될 수 있다.
더욱이, 방법(S100)의 블록들은 상점 내의 선반 구조들 상에서 개방된 선반들 상에 재고되는 제품들을 식별하기 위해 시스템에 의해 실행되는 것으로 아래에 설명된다. 그러나, 시스템은 작은 공간들(cubbies) 내에, 냉장 장치 내에, 월 랙(wall rack) 상에, 독립형 플로어 랙 내에, 테이블 상에, 또는 소매점의 임의의 다른 제품 오거나이저(organizer) 상에 또는 그 내에 재고되는 제품들을 식별하기 위해 유사한 방법들 및 기술들을 구현할 수 있다.
5.
웨이포인트들
컴퓨터 시스템은 로봇 시스템이 스캔 사이클 동안에 하나 이상의 이미지들을 네비게이션하고 캡처하는 상점 내의 위치들을 정의하는 한 세트의 웨이포인트들을 구현할 수 있고, 컴퓨터 시스템은 웨이포인트에 또는 그 가까이 있는 동안에 로봇 시스템에 의해 캡처되는 이미지에 웨이포인트(또는 웨이포인트의 콘텐츠)를 링크시킬 수 있다. 웨이포인트에 특정되는 위치에 기초하여, 컴퓨터 시스템은 이미지가 캡처된 때 카메라의 시야에서 선반 구조에 대해 지정되는 모든 SKU들, 선반 세그먼트의 모든 SKU들, 한 세트의 선반들 상의 모든 SKU들, 또는 특정 슬롯에 대한 SKU 등과 같은, 웨이포인트에 가까운 선반들 상의 재고를 위해 지정되는 제품들의 재고 보유 유닛들(SKUs) 또는 다른 식별자들의 리스트를 검색할 수 있다. SKU들에 기초하여, 컴퓨터 시스템은 상대적으로 큰 데이터베이스(예를 들어, 수백만)의 템플릿 이미지들을 특히 이미지와 관련된 상대적으로 작은 세트의(예를 들어, 15개) 템플릿 이미지들에 이르기까지 필터링할 수 있다. 이러한 상대적으로 작은 세트의 템플릿 이미지들을 이미지의 서브영역들에 비교하기 위한 컴퓨터 비전 기술들을 구현함으로써, 컴퓨터 시스템은 상대적으로 신속하고 상대적으로 높은 정확도로 상점의 선반들 상의 다양한 제품들의 존재, 방향, 및/또는 위치를 결정할 수 있다.
예를 들어, 로봇 시스템은 소매점(또는 창고 등) 내에 배치될 수 있고, 컴퓨터 시스템(예를 들어, 인터넷을 통해 로봇 시스템에 연결되는 원격 서버)은 1 AM에서 시작하는 매일 밤과 같은, 가계 영업 시간 외에서 소매점 도처의 웨이포인트들에서 이미지들을 수집하기 위해 로봇 시스템을 파견할 수 있다. 따라서, 로봇 시스템은 소매점이 몇 시간 후에 개장되기 전에 스캔 사이클을 완료할 수 있다. 더욱이, 컴퓨터 시스템은 상점의 선반들 상의 현재 제품 배치의 그래프, 맵, 또는 테이블을 생성하고/하거나 정정할 오배치된 또는 오배향된 제품들의 작업 리스트를 생성하기 위해 스캔 사이클 동안에 수집된 이미지들을 처리할 수 있고, 컴퓨터 시스템은 점원들이 소매점이 개장되기 전의 다음 아침에 소매점에 도착시 점원들에게 이러한 그래프, 맵, 테이블, 및/또는 작업 리스트를 제공할 수 있다. 대안적으로, 컴퓨터 시스템은 가계 영업 시간 동안 상점 내의 웨이포인트들로 로봇 시스템을 파견할 수 있고 로봇 시스템으로부터 수신되는 이미지들을 실질적으로 실시간으로 처리하여 거의 실시간으로 현재의 그러한 그래프들, 맵들, 테이블들, 및/또는 작업 리스트들을 생성할 수 있다.
따라서, 컴퓨터 시스템은 로봇 시스템에 한 세트의 웨이포인트들을 유지, 갱신 및 분배할 수 있으며, 여기서, 각각의 웨이포인트는 로봇 시스템이 하나 이상의 이미지들을 캡처할 상점 내의 위치를 정의한다. 일 구현예에서, 컴퓨터 시스템은 상점에 배치되는 - 로봇 시스템에 대한 -충전 스테이션(또는 도 5에 도시된 바와 같은, "도크")에서 상점에 대한 2차원 데카르트 좌표 시스템의 원점을 정의하고, 상점에 대한 웨이포인트는 원점으로부터의 횡방향 ("x") 거리 및 종방향 ("y") 거리와 같은, 좌표 시스템 내의 위치를 정의한다. 따라서, 웨이포인트를 실행할 때, 로봇 시스템은 웨이포인트에 정의되는 바와 같이 상점의 (x,y) 좌표로 (예를 들어, 그것의 3인치 이내로) 네비게이션할 수 있다. 예를 들어, 4 피트 폭 선반 세그먼트들을 갖는 선반 구조들 및 6 피트 폭 통로들을 포함하는 상점에 대해, 컴퓨터 시스템은 각각의 대향하는 선반 세크먼트 쌍 사이의 - 대응하는 통로에 - 가로 및 세로 방향으로 중심이 형성된 하나의 웨이포인트를 정의할 수 있다. 웨이포인트는 또한 도 5에 도시된 바와 같이, 좌표 시스템에서 통로 또는 선반 구조의 각도 위치에 기초하여, 상점의 원점에 대해 목표 각도("∂")의 형태에서와 같은, 목표 방향을 정의할 수 있다. 웨이포인트를 실행할 때, 로봇 시스템은 인접한 선반 구조에 카메라를 정렬시키기 위해 웨이포인트에 정의되는 목표 방향으로(예를 들어, 그것의 1.5°이내에) 배향될 수 있다.
웨이포인트로 네비게이션할 때, 로봇 시스템은 매핑 센서(예를 들어, 상술한 바와 같은 LIDAR 센서)로 인근의 환경을 스캔하고, 스캔들을 로봇 시스템의 환경의 새로운 맵으로 컴파일링하고, 새로운 맵을 상점의 좌표 시스템을 정의하는 상점의 마스터 맵에 비교함으로써 상점 내의 그것의 위치를 결정하고, 매핑 센서의 출력이 웨이포인트에 정의되는 (x,y,∂) 위치 및 목표 방향에 대응하는 마스터 맵의 영역과 - 임계 거리 및 각도 내에서 -정렬하는 상점 내의 위치 및 방향으로 네비게이션할 수 있다. 웨이포인트는 또한 백업 또는 중복 위치의 형태에서와 같은, 지리 공간 위치(예를 들어, GPS 위치)를 포함할 수 있다. 예를 들어, 웨이포인트로 네비게이션할 때, 로봇 시스템은 웨이포인트에 정의되는 지리 공간 위치에 접근할 수 있으며; 지리 공간 위치로부터 임계 거리(예를 들어, 5피트) 내에 있으면, 컴퓨터 시스템은 매핑 센서의 출력이 웨이포인트에 정의되는 (x,y,∂) 위치 및 목표 방향에 대응하는 마스터 맵의 영역과 - 임계 거리 및 각도 내에서 -정렬하는 위치 및 방향으로 네비게이션할 수 있다.
더욱이, 웨이포인트는 로봇 시스템이 웨이포인트로 네비게이션할 수 있으면 이미지를 캡처할 각각의 카메라의 어드레스를 포함할 수 있다. 예를 들어, 상부 좌측 카메라, 하부 좌측 카메라, 상부 우측 카메라, 및 하부 우측 카메라를 포함하는 로봇 시스템의 경우, 웨이포인트는 상부 좌측 카메라, 하부 좌측 카메라, 상부 우측 카메라, 및 하부 우측 카메라 각각에 대응하는 카메라 어드레스들[1, 2, 3, 4]의 전부 또는 서브세트를 포함할 수 있다. 이러한 예에서: 2개의 대면하는 전체 높이 선반 세그먼트들 사이에 중심에 있는 위치를 지정하는 제1 웨이포인트는 로봇 시스템의 모두 4개의 카메라들(예를 들어, 카메라 어드레스들[1, 2, 3, 4])을 어드레스할 수 있고; 2개의 대면하는 반부 높이 선반 세그먼트들 사이에 중심에 있는 위치를 지정하는 제2 웨이포인트는 로봇 시스템의 하부 좌측 및 하부 우측 카메라들(예를 들어, 카메라 어드레스들[2, 4])을 어드레스할 수 있고; 단일 전체 높이 선반 세그먼트에 인접한 위치 및 90°의 목표 방향을 지정하는 제3 웨이포인트는 로봇 시스템의 상부 우측 및 하부 우측 카메라들(예를 들어, 카메라 어드레스들[3, 4])을 어드레스할 수 있다. 대안적으로, 유기적으로 연관될 수 있는 카메라들을 포함하는 로봇 시스템의 경우, 웨이포인트는 웨이포인트에서 이미지를 캡처할 각각의 카메라의 어드레스 및 아치형 위치를 정의할 수 있다.
웨이포인트는 또한 웨이포인트에서 이미지를 캡처하도록 지정되는 특정 카메라의 시야에 있을 것으로 예상되는 카테고리, 통로, 선반 구조, 선반 세그먼트, 하나 이상의 선반들, 및/또는 하나 이상의 슬롯들의 어드레스를 특정하거나 (이에 링크될 수) 있다. 예를 들어, 웨이포인트는 웨이포인트에 특정되는 위치에서 이미지들을 캡처하기 위해 로봇 시스템의 모두 4개의 카메라들을 지정할 수 있고, 웨이포인트는: 하부 좌측 카메라에 의한 제1 이미지 캡처에 대한 [세탁물 섹션, 통로 2, 선반 구조 1, 선반 세그먼트 2, 선반들 1-4] 어드레스; 상부 좌측 카메라에 의한 제2 이미지 캡처에 대한 [세탁물 섹션, 통로 2, 선반 구조 1, 선반 세그먼트 2, 선반들 5-8] 어드레스; 하부 우측 카메라에 의한 제3 이미지 캡처에 대한 [세탁물 섹션, 통로 2, 선반 구조 2, 선반 세그먼트 2, 선반들 1-4] 어드레스; 및 하부 좌측 카메라에 의한 제4 이미지 캡처에 대한 [세탁물 섹션, 통로 2, 선반 구조 2, 선반 세그먼트 2, 선반들 5-8] 어드레스를 지정할 수 있다.
6. 로봇 시스템 네비게이션
방법(S100)의 블록(S110)은 로봇 시스템에서, 미리 설정된 웨이포인트에 의해 정의되는 위치에 근접한 상점 내의 위치로 네비게이션하는 것을 상술한다. 일반적으로, 블록(S110)의 스캔 사이클 동안, 로봇 시스템은 웨이포인트에 특정된 바와 같이, 하나 이상의 이미지들을 캡처하기 위한 준비로 현재 웨이포인트에 특정되는 - 위치 및 목표 방향의 임계 거리 및 각도 내의 - 위치 및 방향으로 자율적으로 네비게이션한다. 대안적으로, 블록(S110)은 상점 내의 슬롯, 선반, 선반 세그먼트, 및/또는 선반 구조에 대응하는 웨이포인트로 원격 컨트롤러를 파견하는 것을 설명할 수 있고; 원격 컴퓨터 시스템은 예컨대 컴퓨터 네트워크를 걸쳐, 로봇 시스템에 하나 이상의 웨이포인트들을 통신함으로써 블록(S110)을 실행할 수 있다.
일 구현예에서, 새로운 스캔 사이클을 개시하기 전에, 로봇 시스템은 한 세트의 웨이포인트들, 웨이포인트들에 대한 우선 순위(preferred order), 및 상점의 좌표 시스템을 정의하는 상점의 마스터 맵을 - 원격 컴퓨터 시스템으로부터 - 다운로드할 수 있다. 로봇 시스템이 스캔 사이클의 시작에서 그것의 할당된 충전 스테이션을 떠나면, 로봇 시스템은 그것의 통합된 매핑 센서들(예를 들어, LIDAR 센서)을 반복적으로 샘플링하고 매핑 센서들에 의해 수집되는 데이터에 기초하여 그것의 환경의 새로운 맵을 구성할 수 있다. 새로운 맵을 마스터 맵에 비교함으로써, 로봇 시스템은 스캔 사이클 도처에서 상점 내의 그것의 위치를 추적할 수 있다. 더욱이, 다음 웨이포인트로 네비게이션하기 위해, 로봇 시스템은 상술한 바와 같이, 현재 웨이포인트에 정의되는 (x,y,∂) 위치 및 목표 방향에 대응하는 마스터 맵의 영역과 매핑 센서들의 현재 출력 사이의 정렬에 기초하여 - 임계 거리 및 각도 오프셋 내에서 - 웨이포인트에 대한 그것의 달성을 확인할 수 있다.
대안적으로, 로봇 시스템은 GPS 위치 및 나침판 방향(compass heading)을 정의하는 웨이포인트를 실행할 수 있고 로봇 시스템 내의 GPS 센서 및 나침판 센서의 출력들에 기초하여 웨이포인트의 달성을 확인할 수 있다. 그러나, 로봇 시스템은 웨이포인트에 정의되는 위치 및 목표 방향으로부터 임계 거리 및 각도 오프셋 내에서 상점 내의 위치 및 방향으로 네비게이션하기 위해 임의의 다른 방법들 또는 기술들을 구현할 수 있다.
7. 사진 이미지 및 이미지 메타데이터
방법(S100)의 블록(S112)은 미리 설정된 웨이포인트에 의해 정의되는 이미지 사양에 기초하여, 로봇 시스템에 배열되는 한 세트의 카메라들의 제1 카메라를 통해 사진 이미지를 캡처하는 것을 설명한다. 일반적으로, 블록(S112)에서, 로봇 시스템은 도 1 및 도 5에 도시된 바와 같이, 로봇 시스템이 블록(S110)에서 현재 웨이포인트로 네비게이션하였으면 현재 웨이포인트에 지정되는 각각의 카메라를 통해 디지털 사진 이미지(또는 "이미지")를 캡처한다. 특히, 로봇 시스템이 웨이포인트에 특정되는 (x,y,∂) 위치 및 방향으로부터 각도 오프셋의 임계 거리 내에서 상점 내의 위치에 도달하면, 로봇 시스템은 웨이포인트에 정의되는 카메라 어드레스들에 따라 이미지들을 캡처하고 그 다음 이들 이미지들을 로컬 메모리에 저장하기 위해 선택 통합 광 센서들(예를 들어, RGB CMOS 또는 CCD 카메라들)을 트리거할 수 있다. (대안적으로, 로봇 시스템이 웨이포인트에 정의되는 위치에 도달하면, 로봇 시스템은 웨이포인트에 정의되는 위치들에 선택 카메라들을 유기적으로 구성하고 그 다음 이들 이미지들을 로컬 메모리에 저장할 수 있다).
로봇 시스템이 이미지를 캡처하면, 로봇 시스템은 이미지에 다양한 메타데이터, 예컨대: 로봇 시스템의 식별자("ID"); 이미지가 캡처된 날짜 및 시간을 나타내는 타임스탬프; 이미지가 캡처된 시간에서 로봇 시스템의 실제 위치(예를 들어, GPS 위치 및/또는 마스터 맵과 매핑 센서들의 출력들 사이의 비교로부터 결정되는 (x,y,∂) 위치 및 목표 방향); 및 이미지를 캡처한 카메라의 어드레스를 기록할 수 있다. 로봇 시스템은 또한 대응하는 웨이포인트 전체 또는 대응하는 웨이포인트의 식별자(예를 들어, UUID, 고유한 수치 라벨)를 이미지 메타데이터에 기록할 수 있다. 대안적으로, 로봇 시스템은 웨이포인트로부터 다양한 데이터 - 예컨대 이미지를 캡처한 특정 카메라의 시야에 있을 것으로 예상되는 통로, 선반 구조, 선반 세그먼트, 선반들, 및/또는 슬롯들의 위치, 목표 방향, 및 어드레스들 -를 추출하고 이들 데이터를 이미지 메타데이터에 기록할 수 있다. 그러나, 로봇 시스템은 상점 내의 스캔 사이클 동안 캡처되는 이미지와 함께 임의의 다른 데이터를 저장할 수 있다.
그 다음, 로봇 시스템은 후술하는 바와 같이, 이들 이미지들을 처리를 위해 원격 컴퓨터 시스템에 업로드한다. 예를 들어, 로봇 시스템은 도 1 및 도 5에 도시된 바와 같이, 이미지가 캡처되고 메타 데이터로 태그되면 이미지를 실질적으로 실시간으로 로컬 인터넷 접속 무선 라우터에 송신한다. 다른 예에서, 로봇 시스템은 스캔 사이클 동안 또는 그 완료시 이미지들의 배치들을 비동기식으로 무선 라우터에 송신할 수 있다. 대안적으로, 로봇 시스템은 이미지들을 국부적으로 처리하기 위해 후술하는 방법(S100)의 전체 또는 선택 블록들을 실행할 수 있다.
8. 이미지 수집
방법(S100)의 블록(S120)은 블록(S120)에서 제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 것 상술하며, 제1 이미지는 제1 시간에서 상점 내의 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관된다. 일반적으로, 블록(S120)에서, 시스템은 상점 내의 웨이포인트를 점유하거나상점 내의 경로를 횡단하는 동안에(예를 들어, 스캔 사이클 동안) 로봇 시스템에 의해 수집되는 시각적 데이터를 액세스한다.
블록(S120)에서, 컴퓨터 시스템은 로봇 시스템에 통합되는 하나 이상의 카메라들을 통해 기록되는 디지털 사진 이미지들(예를 들어, "원시(raw) 이미지들")을 로봇 시스템으로부터 다운로드할 수 있으며, 여기서, 각각의 원시 이미지는 도 1 및 도 5에 도시된 바와 같이, 다양한 메타데이터, 예컨대 이미지가 기록된 때 로봇 시스템에 의해 점유되는 위치, 방향, 및/또는 웨이포인트, 이미지가 기록된 시간, 이미지를 기록한 로봇 시스템 상의 카메라의 식별자 또는 위치 등을 포함한다. 예를 들어, 로봇 시스템은 실질적으로 실시간으로 셀룰러 접속에 걸쳐 또는 컴퓨터 네트워크(예를 들어, 인터넷)를 통해 이들 이미지들을 컴퓨터 시스템에 업로드할 수 있다. 대안적으로, 로봇 시스템은 이들 원시 이미지들을 로컬 메모리에 저장하고 원시 이미지들의 그룹들을 (예를 들어, 상점의 하나의 선반 구조를 따라 또는 하나의 통로를 따라 기록되는 이미지들의 블록으로서) 일괄적으로 컴퓨터 시스템에 업로드할 수 있다.
로봇 시스템으로부터 이미지들을 수신시, 시스템(예를 들어, 원격 컴퓨터 시스템)은 후속 처리를 위해 이들 원시 이미지들을 동화시킬 수 있다. 일 예에서, 시스템은 이미지를 기록한 카메라에 연결되는 광학 렌즈에서 기인하는 어안 효과들을 제거하기 위해 원시 이미지를 디워프하고(dewarp) 그 다음, 방법(S100)의 후속 블록들에서 이러한 정정된 이미지를 처리한다. 다른 예에서, 시스템은: 원시 이미지가 캡처된 시간에(예를 들어, 이미지 메타데이터에 저장된 바와 같은) 로봇 시스템의 실제 위치 및 방향을 최단 웨이포인트에 정의되는 목표 위치 및 목표 방향에 비교하고; 카메라의 시야가 웨이포인트에 정의되는 목표 위치 및 방향에 위치되는 로봇 시스템이었던 것을 표현하기 위해 원시 데이터를 변형(예를 들어 스큐(skew), 디워프)하고; 그 다음, 방법(S100)의 후속 블록들에서 이러한 정정된 이미지를 처리할 수 있다. 그러나, 시스템은 임의의 다른 방식으로 로봇 시스템에 의해 캡처되는 이미지를 수정하거나, 디워프하거나, 달리 조작할 수 있다.
다른 구현예에서, 시스템(예를 들어, 원격 컴퓨터 시스템)은 하나의 웨이포인트에서 또는 다수의 인접한 웨이포인트들을 따라 로봇 시스템에 의해 기록되는 다수의 원시 이미지들을 하나의 완전한 선반 세그먼트 또는 선반 구조의 더 큰(예를 들어, 파노라마) 이미지로 스티치한다(stiches). 일 실시예에서, 시스템은: 로봇 시스템이 상점 내의 제1 선반 세그먼트에 인접한 제1 웨이포인트(예를 들어, 제1 시간에서 로봇 시스템의 제1 위치 및 제1 방향)를 점유하는 동안에 대략 제1 시간에서 모바일 로봇 시스템에 통합되는 한 세트의 별개 컬러 카메라들에 의해 기록되는 한 세트의 디지털 사진 이미지들을 수신하고; 모바일 로봇 시스템 내의 한 세트의 별개 컬러 카메라들의 공지된 위치에 기초하여 한 세트의 디지털 사진 이미지들을 제1 합성 이미지로 어셈블링한다. 이러한 실시예에서, 그 다음, 시스템은: 제1 웨이포인트의 어드레스(또는 한 세트의 원시 이미지들이 기록된 때 로봇 시스템의 제1 위치 및 제1 방향) 및 제1 시간을 제1 정정 이미지의 메타 데이터에 기록하고; 방법(S100)의 후속 블록들에서 이러한 더 큰, 합성 이미지를 처리할 수 있다.
대안적으로, 전술한 구현예에서, 시스템은 - 로봇 시스템의 마스트를 따라 수직으로 오프셋되는 카메라들에 의해 기록되고 특정 선반 구조를 따라 인접한 웨이포인트의 시퀀스를 따라 기록되는 - 이미지들을 특정 선반 구조의 단일 파노라마 이미지로 스티치할 수 있다. 그 다음, 시스템은 파노라마 이미지를 예컨대 후술하는 방법들 및 기술들에 따라, 각각의 영역이 특정 선반 구조 내의 하나의 선반 세그먼트, 하나의 선반, 또는 하나의 슬롯에 대응하는, 별개 영역들로 분할할 수 있다.
9. 이미지 세분화
일 변형예에서, 시스템은 하나의 선반 구조 내의 인접한 선반 세그먼트들, 하나의 선반 세그먼트 내의 인접한 선반들, 하나의 선반에 할당되는 인접한 슬롯들, 및/또는 하나의 선반에 배열되는 별개 제품들의 묘사(delineation)을 나타내는 이미지(예를 들어, 정정된 원시 이미지 또는 합성 이미지)로부터의 피처들을 검출하고 추출하기 위해 컴퓨터 비전 기술들을 구현한다. 그 다음, 시스템은 이미지를 적절히 별개 영역들로 분할하고 각각의 이미지 영역에서 하나 이상의 제품들의 존재, 부재, 및/또는 방향을 식별하기 위해 이미지의 각각의 영역을 개별적으로 처리할 수 있다.
9.1 선반
세그먼트
세분화
일 구현예에서, 시스템은 이미지(예를 들어, 다수의 선반 세그먼트들을 포함하는 선반 구조의 파노라마 이미지) 내에 표현되는 선반 세그먼트를 구별하기 위해 컴퓨터 비전 기술들을 구현한다. 일 예에서, 시스템은 선반 구조를 포함하는 관심 영역에 대한 이미지를 스캔하고 선반 구조의 정면의 바닥면과 선반 구조 위의 천장 및 개방 볼륨을 표현하는 이미지의 영역들을 제거하기 위해 최하부 선형 에지 둘레 및 최상부(선형 또는 비선형) 에지 둘레의 이미지를 절단하는 것과 같이, 이러한 관심 영역 둘레의 이미지를 절단한다(crops). 이러한 예에서, 그 다음, 시스템은: 예컨대 이미지의 피처들을 검출하고 관심 영역의 하단 근위로 상단 근위로 연장되는 실질적으로 수직인, 실질적으로 선형인 곡선들을 추출함으로써, (실질적으로, 대략) 연속적인 수직 라인들에 대해 이미지 내의 관심 영역을 스캔하고; 선반 구조에서 선반 세그먼트들의 대략 공지된 폭의 실제 거리만큼 오프셋 되는 2개의 인접한 수직 라인들 사이의 이미지에서 관심 구역(area)의 영역을 추출하고(또는 이미지 내의 관심 영역을 절단하고); 단일 선반 세그먼트를 표현하는 이미지의 이러한 관심 영역 또는 구역을 라벨링할 수 있다. 시스템은 또한 선반 세그먼트의 어드레스를 이러한 이미지 영역에 기록하기 위해 후술하는 방법들 및 기술들을 구현할 수 있다.
시스템은 선반 구조 내의 별개 선반 세그먼트들을 묘사하는 2개의 수직 라인들(예를 들어, 이미지에서 관심 영역의 하단 근위로부터 상단 근위로 연장되는 실질적으로 선형인 곡선들) 사이의 이미지의 각각의 다른 영역에 대해 이러한 과정을 반복할 수 있다.
9.2 선반 세분화
도 1 및 도 4에 도시된 일 변형예에서, 방법(S100)은 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 것을 상술하는, 블록(S122)을 포함한다.일반적으로, 블록(S122)에서, 시스템은 이미지(예를 들어, 정정된 이미지, 선반 세그먼트 주위에서 절단된 합성 이미지)를 이러한 이미지에 표현되는 선반 세그먼트 내의 개별 선반들 위의 구역들 또는 볼륨들에 대응하는 영역들로 분할할 수 있다.
일 예에서, 시스템은 제1 선반 세그먼트 주위의 제1 선반 구조의 전부 또는 일부의 합성 이미지를 절단하기 위해 상술한 방법들 및 기술들을 구현한다. 이러한 실시예에서, 그 다음, 시스템은: 이미지의 피처들을 검출하고; 이미지의 (실질적으로 전체 폭)에 걸쳐 측방으로 연장되는 제1 선형 피처를 - 이러한 피처들의 세트로부터 -추출하고; 이미지의 (실질적으로 전체 폭)에 걸쳐 방면으로 연장되고 상점 도처의 선반 구조들의 공통 선반 두께 또는 공지된 선반 두께를 근사하는 거리만큼 제1 선형 피처 아래로 오프셋되는 제2 선형 피처를 - 이러한 피처들의 세트로부터 -추출하고; 제1 선형 피처 및 제2 선형 피처를 제1 선반 세그먼트 내의 제1 선반- 즉, 제1 선반의 상부 리딩 에지 및 하부 리딩 에지와 상관시킨다. 이러한 예에서, 시스템은 유사하게: 이미지에 걸쳐 측방으로 연장되고 제1 선형 피처 위로 오프셋되는 제3 선형 피처를 - 이러한 피처들의 세트로부터 -추출하고; 이미지에 걸쳐 측방으로 연장되고 공통 또는 공지된 선반 두께를 근사하는 거리만큼 제3 선형 피처 아래로 오프셋되는 제4 선형 피처를 - 이러한 피처들의 세트로부터 -추출하고; 제3 선형 피처 및 제4 선형 피처를 제1 선반 세그먼트 내의 제1 선반 위의 제1 선반 세그먼트 내의 제2 선반과 상관시킬 수 있다.
전술한 예에서, 그 다음, 시스템은 제1 선형 피처 근위로부터 제4 선형 피처 근위 위로 연장되고 제1 선반 세그먼트의 폭으로 절단되는 이미지의 전체 폭에 걸쳐 연장되는 이미지의 제1 영역을 정의한다. 따라서, 시스템은 제1 선반 구조의 제1 선반 세그먼트 내의 제1 선반 위로 액세스 가능한 볼륨에 대응하는 - 제1 세그먼트 주위에서 절단되거나 달리 경계가 표시되는 - 제1 이미지의 제1 영역을 추출할 수 있다. 시스템은 각각이 상점의 하나의 선반 위의 구역 또는 볼륨을 표현하는, 한 세트의 이미지 영역들을 생성하기 위해 제1 선반 세그먼트 및 상점 도처의 각각의 다른 선반 세그먼트 내의 각각의 다른 선반에 대해 이러한 과정을 반복할 수 있다.
시스템은 또한 각각의 이미지 영역에 표현되는 선반의 어드레스를 기록하기 위해 후술하는 방법들 및 기술들을 구현할 수 있다. 그러나, 시스템은 이미지에 표현되는 단일 선반 주위의 선반 구조 또는 선반 세그먼트의 이미지를 분할하기 위해 임의의 다른 방법들 또는 기술들을 구현할 수 있다.
9.3 제품 세분화
이러한 변형예에서, 방법(S100)은 또한 제1 이미지의 제1 영역으로부터 제1 세트의 피처들을 추출하는 것을 상술하는, 블록(S124)을 포함할 수 있다. 일반적으로, 블록(S124)에서, 시스템은 이러한 선반 구조, 선반 세그먼트, 또는 선반 상에 배치되는 별개 객체들에 의해 - 선반 주위에서, 선반 세그먼트 주위에서, 또는 단일 선반 위로 절단되거나 달리 경계가 표현되는 - 이미지를 분할할 수 있다.
일 예에서, 시스템은 컴퓨터 비전 기술을 구현하여: 제1 선반 위의 구역 또는 볼륨 주위에서 절단되는 제1 이미지의 제1 영역 내의 피처들을 검출하고; 예컨대 이들 객체들 각각의 경계들을 묘사하는 에지 피처들을 식별함으로써, 제1 이미지의 제1 영역 내의 제1 선반에 걸쳐 배열되는 한 세트의 별개 객체들을 검출한다. 그 다음, 시스템은: 제1 이미지의 제1 영역 내의 제1 서브영역을 추출하거나 제1 이미지의 제1 선반 상의 제1 위치에 도시된 - 한 세트의 별개 객체들 내의 - 제1 별개 객체에 대응하는 제1 서브영역 주위에서 제1 이미지의 제1 영역을 절단하고; 각각이 제1 선반 상의 고유한 위치에 배열되는 하나의 별개 객체를 표현하는, 한 세트의 별개 이미지 서브영역들을 생성하기 위해 제1 이미지의 제1 영역에서 검출되는 다른 별개 객체들에 대해 이러한 과정을 반복할 수 있다.
이미지의 서브영역이 이미지에 표현되는 객체 주위에서 절단되거나 달리 경계가 표현되면, 시스템은 이러한 서브영역으로부터 피처들을 추출하고 그 다음, 이들 피처들과 특정 제품을 표현하는 템플릿 이미지의 피처들 사이의 상관에 응답하여 이러한 객체를 특정 제품 유닛으로서 식별하기 위해 후술하는 방법들 및 기술들을 구현할 수 있다. 그러나, 시스템은 이미지에 표현되는 단일 선반 주위의 선반 구조 또는 선반 세그먼트의 이미지를 분할하기 위해 임의의 다른 방법들 또는 기술들을 구현할 수 있다.
9.4 슬롯 세분화
이러한 변형예에서, 시스템은 또한 슬롯들에 의해 - 선반 구조, 선반 세그먼트, 또는 선반 주위에서 절단되거나 달리 경계가 표현되는 - 이미지를 분할할 수 있다.
일 예에서, 시스템은: 제1 선반 세그먼트 주위에서 절단되는 제1 이미지에서 제1 선반의 상부 리딩 에지 및 하부 리딩 에지를 검출하고; 제1 선반의 상부 리딩 에지와 하부 리딩 에지 사이의 제1 이미지의 섹션에서 피처들을 검출하고; 제1 이미지의 이러한 섹션을 따른 피처들의 그룹들을 제1 선반에 부착되는 선반 태그들로서 식별하고; 각각의 식별된 선반 태그의 좌측 에지를 검출하기 위해 상술한 방법들 및 기술들을 구현한다. 제1 선반 세그먼트 내의 제1 선반을 표현하는 제1 이미지의 제1 영역에 대해, 그 다음, 시스템은 1) 제1 선반 태그의 우측 에지로(또는 이미지의 우측 에지로) 제1 선반 태그의 좌측 에지로부터 제2 선반 태그의 좌측 에지로 측방으로 연장하고 2) 단일 슬롯 내에서 제2 선반 위로(또는 이미지의 상단 에지로) 제1 선반의 상부 리딩 에지로부터 하부 리딩 에지로 수직 연장되는 이미지의 서브영역을 연관시킬 수 있다. 시스템은 선반 상의 다수의 별개 슬롯들을 검출하기 위해 이미지의 제1 영역 내의 다른 서브영역들에 대해 이러한 과정을 반복할 수 있다.
이러한 예에서, 시스템은 또한 제1 선반 세그먼트의 이미지의 이러한 섹션으로부터 이들 선반 태그들의 상대적인 위치들을 추출하고 이들 상대적인 위치들을 이들 선반 태그들의 실제 위치들이 상점의 현재 재고 평면도에 정렬하는지 확인하기 위해 플래노그램에 의해 제1 선반에 할당되는 상대적인 슬롯 위치들에 비교한다. 이러한 예에서, 시스템은 이들 선반 태그들의 개수 및 상대적인 위치들이 플래노그램과 매칭되면, 상술한 바와 같이, 선반 태그 위치들에 기초하여 제1 선반을 따라 슬롯 위치들을 정의할 수 있으며; 그렇지 않으면, 시스템은 후술하는 바와 같이, 플래노그램에 정의되는 슬롯 위치들을 제1 선반 세그먼트의 이미지 상으로 또는 제1 선반의 - 이미지 내의 - 제1 영역 상으로 투영할 수 있다.
이러한 예에서, 시스템은 또한: 바코드를 판독하고/하거나, SKU 또는 다른 제품 식별자를 추출하고/하거나, 제1 이미지에서 검출되는 제1 선반 태그로부터 가격을 판독하고; 제1 선반 태그로부터 판독되는 이들 데이터가 플래노그램에 의해 인접한 슬롯에(예를 들어, 제1 선반 태그의 위 및 그 우측에) 할당되는 데이터에 정렬하는지를 확인할 수 있다. 제1 선반 태그로부터 판독되는 데이터가 플래노그램에 특정되는 데이터에 정렬하면, 시스템은 상술한 바와 같이, 이미지의 제1 선반 태그에 대해 제1 슬롯 위치를 정의하고, 이들 선반 태그 데이터를 슬롯에 대한 실측 자료(ground truth)로서 처리할 수 있다. 그렇지 않으면, 시스템은 블록(S160)에서 정정을 위해 제1 선반 태그에 플래그하고 후술하는 바와 같이, 예컨대 플래노그램에 정의되는 슬롯 위치들을 이미지 상으로 투영하여 제1 슬롯을 정의함으로써, 플래노그램을 제1 슬롯에 대한 실측 자료로서 처리할 수 있다.
다른 예에서, 시스템은 플래노그램에 의해 슬롯 인덱스에 저장되거나 정의되는 바와 같은, 선반용 슬롯 치수들에 따라 이미지의 영역들을 자동으로 묘사함으로써 슬롯에 대응하는 이미지의 영역을 식별한다. 이러한 구현예에서, 시스템은: 이미지 메타데이터로부터(예를 들어, 이미지에 링크되는 웨이포인트로부터 또는 이미지가 플래노그램에 기록된 때 로봇 시스템의 위치 및 방향을 참조함으로써) 직접적으로 - 후술하는 바와 같이, 이미지를 캡처한 카메라의 시야에서 선반에 대한 - 선반 어드레스를 검색하고; 선반 어드레스를 슬롯 인덱스(예를 들어, 스프레드시트)로 전달함으로써 특정 선반 상의 슬롯들에 대한 슬롯 치수들(예를 들어, 슬롯 폭들) 및 슬롯 위치들을 검색하고; 선반에 할당되는 슬롯 치수들, 슬롯 위치들, 및 슬롯 어드레스들을 이미지 상으로(예를 들어, 제1 선반에 대응하는 이미지의 제1 영역 상으로) 매핑할 수 있다. 이러한 예에서, 시스템은 로봇 시스템 상의 특정 카메라의 수직 위치에 링크되는, 특정 카메라의 어드레스에 기초하여, 그리고 상점의 특정 선반 구조 내의 공지된 위치의 특정 선반 세그먼트 내의 특정 선반의 수직 위치에 링크되는, 특정 선반의 어드레스에 기초하여 이미지 내의 특정 선반의 수직 위치를 예상할 수 있다. 이러한 예에서, 그 다음, 시스템은 이미지 내의 특정 선반의 예상된 수직 위치에 기초하여 이미지 내의 특정 선반(예를 들어, 4 피트 길이 선반)의 전체 스팬(span)을 검출하고, 특정 선반에 대응하는 이미지의 영역에 - 슬롯 인덱스에 정의되는 - 일련의 슬롯 폭들을 매핑시키고, 따라서, 특정 선반 위의 이미지 내의 영역들을 일련의 슬롯 폭들에 따른 별개 슬롯들로서 묘사하기 위해 컴퓨터 비전 기술들(예를 들어, 에지 검출)을 구현할 수 있다.
따라서, 시스템은 이미지에 도시된 선반 상의 미리 정의된 슬롯들에 대응하는 이미지에서 "슬롯 영역들"(예를 들어, 일련의 직사각형 슬롯 영역들)을 묘사할 수 있다. 더욱이, 슬롯 인덱스(또는 제품 위치 데이터베이스 또는 플래노그램)는 SKU를 각각의 슬롯 어드레스에 할당할 수 있고, 시스템은 대응하는 슬롯 어드레스를 표현하는 이미지 내의 영역 상으로 슬롯 인덱스로부터의 SKU를 투영할 수 있다.
유사한 구현예에서, 시스템은 플래노그램의 섹션을 이미지에 직접 매핑하고 플래노그램에 도시된 제품 페이싱들에 따라 이미지의 영역들을 묘사함으로써 이미지에 표현되는 선반 상의 슬롯에 대응하는 이미지 내의 영역을 식별할 수 있다. 이러한 구현예에서, 시스템은: 이미지 메타데이터로부터(또는 대응하는 웨이포인트로부터) 선반 구조 어드레스 및 선반 섹션 어드레스를 검색하고; 선반 구조 어드레스에 대한 플래노그램을 검색하고; 이미지에 표현되는 선반 세그먼트에 대응하는 플래노그램의 영역을 선택하고; 그 다음, 예컨대 선반들의 면들(faces)에 대응하는 이미지들 내의 에지들을 검출하고 플래노그램 내의 선반 에지들을 이미지에서 검출되는 선반 에지들에 정렬시킴으로써, 플래노그램의 선택된 영역을 이미지에 도시된 필드와의 정렬로 스큐, 스케일, 변환, 및/또는 회전시킬 수 있다. 그 다음, 시스템은 플래노그램의 선택된 영역에 특정되는 각각의 페이싱에 대한 하나의 슬롯 영역으로 이미지를 분할하고 이미지 내의 대응하는 슬롯 세그먼트들 상으로 플래노그램에 정의되는 슬롯들로부터의 SKU들을 기록할 수 있다.
10. 템플릿 이미지 선택
방법(S100)의 블록(S130)은: 제1 이미지 내의 제1 선반의 제1 위치, 제1 방향, 및 수직 위치에 기초하여 제1 선반의 어드레스를 액세스하는 단계; 및 제1 선반의 어드레스에 기초하여 상점의 플래노그램에 의해 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계를 상술한다. 방법(S100)의 블록(S140)은 템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계를 상술하며, 여기서, 제1 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함한다. 일반적으로, 블록(S130)에서, 시스템은 이미지의 영역에 표현되는 선반의 어드레스를 식별하고 이러한 선반에 할당되는 제품들의 리스트(예를 들어, 제품들의 리스트)를 검색하며; 블록(S140)에서, 시스템은 광범위한 제품들을 나타내는 템플릿 이미지들의 큰 데이터베이스(예를 들어, 수백만)로부터 이러한 리스트 내의 제품들을 나타내는 상대적으로 작은 서브세트(예를 들어, 수십 개)를 검색할 수 있다. 특히, 블록들(S130 및 S140)에서, 시스템은 이용 가능한 템플릿 이미지들의 상대적으로 큰 데이터베이스를 이미지에 표현되는 이러한 선반에 할당되고 - 그것에 의해 이러한 선반 상에 실질적으로 존재할 가능성이 있는 - 제품들의 작은 세트의 템플릿 이미지들에 이르기까지 감소시킨다. 그 다음, 시스템은 블록들(S150 및 S152)에서 선반 위(또는 아래의) 이미지의 영역으로부터 추출되는 피처들을 이러한 상대적으로 작은 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들에 비교하여 이러한 선반에 할당되는 제품 유닛들의 존재, 부재, 및/또는 방향을 확인할 수 있다.
(시스템은: 블록(S130)에서 이미지에 표현되는 슬롯, 선반 세그먼트, 또는 선반 구조의 어드레스를 식별하고 이러한 슬롯, 선반 세그먼트, 또는 선반 구조에 할당되는 제품들의 리스트(예를 들어, 제품들의 리스트)를 검색하고; 블록(S140)에서 템플릿 이미지들의 데이터베이스로부터 이러한 리스트 내의 제품들을 나타내는 상대적으로 작은 세트의 템플릿 이미지들을 검색하고; 블록들(S150 및 S152)에서 이미지로부터 추출되는 피처들과 템플릿 이미지들의 세트 내의 피처들 사이의 상관에 기초하여 이러한 슬롯, 선반 세그먼트, 또는 선반 구조에 할당되는 제품 유닛들의 존재, 부재, 및/또는 방향을 확인하기 위해 유사한 방법들 및 기술들을 수행할 수 있다).
10.1 템플릿 이미지 데이터베이스
시스템은 템플릿 이미지들의 데이터베이스를 유지하며, 여기서, 템플릿 이미지 데이터베이스 내의 각각의 템플릿 이미지는: 제품의 식별자(예를 들어, SKU)와 연관되고; 제품 또는 제품의 패키징의 전부 또는 일부의 사진 또는 그래픽(예를 들어, 컴퓨터 드래프트된) 표현을 포함한다. 템플릿 이미지 데이터베이스 내의 각각의 템플릿 이미지는 또한 제품 설명, 공급자, 공급 기간, 그래픽 출시 날짜, 보조 그래픽, 바코드, 컬러 팔레트, 패키징 프로필(예를 들어, 패키징 형상 및 크기), 및/또는 다른 정량적 또는 정성적 제품 패키징 피처 또는 기술어(descriptor)로 태그될 수 있다. 더욱이, 템플릿 이미지 데이터베이스 내의 각각의 템플릿 이미지는 제품 패키징 방향으로 태그될 수 있다. 예를 들어, 특정 SKU와 연관되고 6면 박스로 패키지화된 하나의 제품의 경우, 템플릿 이미지 데이터베이스는: 박스의 전면(또는 "주면")을 정면으로 도시하고 적절히 태그되는 제1 템플릿 이미지; 박스의 후면을 정면으로 도시하고 적절히 태그되는 제2 템플릿 이미지; 박스의 우측면을 정면으로 도시하고 적절히 태그되는 제3 템플릿 이미지; 박스의 좌측면을 정면으로 도시하고 적절히 태그되는 제4 템플릿 이미지; 박스의 상단면을 정면으로 도시하고 적절히 태그되는 제5 템플릿 이미지; 및 박스의 하단면을 정면으로 도시하고 적절히 태그되는 제6 템플릿 이미지를 포함할 수 있다. 이러한 예에서, 템플릿 이미지 데이터베이스는: 박스의 전면 및 우측면 둘 다를 균일하게 노출하도록 각진 박스를 도시하고 적절히 태그되는 제7 템플릿 이미지; 박스의 전면, 우측면 및 상단면을 노출하도록 각진 박스를 도시하고 적절히 태그되는 제8 템플릿 이미지 등을 더 포함할 수 있다. 템플릿 이미지 데이터베이스에 표현되는 각각의 제품의 경우, 템플릿 이미지 데이터베이스는 또한: 제품의 대표 유닛 상의 다양한 조명 조건들을 표현하는 다수의 템플릿 이미지들; 제품 패키징의 손상된 예들(예를 들어, 함몰된 캔들, 찢어진 박스들); 및/또는 시즌 제품 패키징(즉, 특정 시즌들 또는 기간들 동안 제공되는 제품 패키징) 등을 포함할 수 있다.
일 변형예에서, 시각적 데이터 외에, 템플릿 이미지 데이터베이스 내의 템플릿 이미지들은 제품 패키징 상의 시각적 피처들을 나타내는 다차원 매트릭스들 또는 벡터들을 포함할 수 있다. 예를 들어, 시스템은: 재고 및 필드 이미지 제품들의 데이터베이스를 집계 및 유지하고; 이들 재고 및 필드 이미지들로부터 피처들을 추출하고 이들 피처들을 다차원 벡태들로 변형하기 위해 컴퓨터 비전 기술들을 구현하고; 그 다음, 다차원 벡터 형태의 템플릿 이미지들로 템플릿 이미지 데이터베이스를 파퓰레이트(populate)할 수 있다. 따라서, 이러한 예에서, 시스템은: 블록(S130)에서 한 세트의 다차원 벡터들을 검색할 수 있으며, 한 세트의 다차원 벡터들 내의 각각의 다차원 벡터는 블록(S130)에서 선반, 선반 세그먼트, 또는 선반 구조 등에 할당되는 제품들의 리스트 내의 제품을 나타내는 피처들을 정의한다. 이러한 세트 내의 다차원 벡터를 선반, 선반 세그먼트, 또는 선반 구조의 이미지에 표현되는 제품에 매칭시킬 때, 시스템은: 불록(S122)에서 선반 세그먼트 내의 선반을 표현하는 이미지의 제1 서브영역을 분할하고; 이미지에서 제1 별개 객체와 경계를 표현하는 이미지의 제1 영역 내의 제1 서브영역을 식별하고; 컴퓨터 비전 기술들을 구현하여 - 이미지의 제1 영역 내의 제1 서브영역으로부터 기하학적 구조, 컬러, 및/또는 텍스트 피처들 등을 포함하는 - 제1 세트의 피처들을 검출 및 추출하고; 이미지의 제1 서브영역으로부터 추출되는 한 세트의 피처들 내의 피처들과 제1 제품을 표현하는, 템플릿 이미지 데이터베이스로부터 검색되는 한 세트의 다차원 벡터들의 내의, 제1 다차원 벡터에 의해 정의되는 피처들 사이의 상관에 대한 종합 스코어(composite score)를 산출하고; 그 다음, 종합 스코어가 블록(S152)에서 임계 스코어를 초과하면, 그리고 그 반대이면 블록(S150)에서 이미지의 제1 서브영역에 표현되는 제1 객체를 제1 제품의 유닛으로서 식별할 수 있다.
그러나, 템플릿 이미지 데이터베이스는 제품 또는 제품 패키징의 임의의 다른 뷰들을 표현하고 임의의 다른 관련 데이터를 포함하는(예를 들어, 이들과 태그되는) 템플릿 이미지들을 포함할 수 있다.
10.2 선반 구조에 의한 템플릿 이미지 데이터베이스를
필터링
일 구현예에서, 시스템은 선반 구조의 높이 및 길이를 따라 슬롯들에 할당되는 제품들의 시각적 피처를 표현하는 - 템플릿 이미지 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 선택한다. 이러한 구현예에서, 시스템은 블록(S130)에서 이미지의 메타데이터에 저장되는 선반 구조 어드레스(또는 "ID")를 판독하거나, 이미지(또는 관련 원시 이미지)가 기록된 때 로봇 시스템에 의해 (대략) 점유되는 웨이포인트와 연관되는 선반 구조 어드레스를 검색하거나, 이미지(또는 관련 원시 이미지)가 기록된 때 로봇 시스템의 위치 및 방향을 상점의 건축 평면도(architectural plan)로 투영하여 선반 구조의 어드레스를 결정할 수 있다. 그 다음, 시스템은 블록(S130)에서 이러한 선반 구조에 걸쳐 슬롯들에 할당되는 제품들의 리스트(예를 들어, 제품들의 리스트)를 검색하기 위해 선반 구조 어드레스를 플래노그램, 슬롯 인덱스, 제품 위치 스프레드시트, 또는 상점과 연관되는 다른 제품 위치 데이터베이스로 전달할 수 있다.
그 다음, 시스템은 블록(S140)에서 이러한 제품들의 리스트 내의 제품들의 하나 이상의 측면들을 도시하는 - 템플릿 이미지들의 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 검색할 수 있다. 예를 들어, 상점 내의 선반 구조는 80개의 고유한 제품 페이싱들로 재고될 수 있다. 이러한 예에서, 시스템은: 이미지 메타데이터 및 제품 위치 데이터베이스에 저장되는 선반 구조 어드레스에 기초하여 블록(S130)에서 이러한 선반 구조 상의 재고를 위해 지정되는 80개의 고유한 SKU들의 리스트를 축적하고; 블록(S140)에서 수백만의 고유한 제품들과 연관되는 수백만의 템플릿 이미지들의 데이터베이스로부터 한 세트의 80개의 템플릿 이미지들을 집계할 수 있으며, 여기서, 세트 내의 각각의 선택된 템플릿 이미지는 선반 구조 어드레스와 연관되는 제품들의 리스트 내의 하나의 제품에 대한 패키징의 주면(예를 들어, 박스, 백, 캔, 또는 병 등의 전면)을 나타낸다.
전술한 예에서, 선반 구조에 할당되는 80개의 고유한 제품들의 세트에 대해, 시스템은 이미지와의 후속 비교를 위해 - 수백만의 템플릿 이미지들의 데이터베이스로부터 - 480개의 템플릿 이미지들을 집계할 수 있으며, 여기서, 각각의 템플릿 이미지는 선반 구조에 할당되는 하나의 제품에 대한 패키징의 6개의 측면들 중 하나를 표현하고, 여기서, 480개의 템플릿 이미지들의 세트는 80개의 제품들 각각의 패키징의 각각의 측면의 하나의 템플릿 이미지를 포함한다. 대안적으로, 시스템은 플래노그램에 의해 선반 구조에 할당되는 제품들에 대해 모든 이용 가능한 템플릿 이미지들(또는 모든 우선 순위화된 또는 최상위 템플릿 이미지들), 예컨대: 병 또는 캔 제품에 대한 3개의 템플릿 이미지들(예를 들어, 사용 가능한, 제품의 수직축에 대해 0°, 120°, 및 240° 위치들에서의 템플릿 이미지들); 포장 제품에 대한 2개의 템플릿 이미지들(예를 들어, 사용 가능한, 전면 및 후면 템플릿 이미지들); 및 박스형 제품에 대한 6개의 템플릿 이미지들(예를 들어, 이용 가능한, 전면, 후면, 좌측, 우측, 상단, 및 하단 템플릿 이미지들)을 - 템플릿 이미지 데이터베이스로부터 - 검색할 수 있다. 시스템은 또한 선반에 할당되는 제품들의 현재 공지된 패키징 디자인들을 표현하는 템플릿 이미지들을 우선 순위화 하거나 선택할 수 있다. 예를 들어, 시스템은 템플릿 이미지들을 포함하기 위해 - 템플릿 이미지들의 데이터베이스로부터 검색되는 - 한 세트의 템플릿 이미지들을 필터링하거나: 현재 시즌에 대한 시즌 제품 패키징들만 표현하거나; 표준 제품 패키징과 상이하면, 현재 시즌에 대해 표준 제품 패키징 및 시즌 제품 패키징들 둘 다를 표현할 수 있다. 시스템은 또한 특정 제품에 대해 이전 제품 패키징으로부터 새로운 제품 패키징으로의 전환 동안 특정 제품의 이전 제품 패키징 및 특정 제품의 새로운 제품 패키징 둘 다를 표현하기 위해 - 템플릿 이미지 데이터베이스로부터 검색되는 - 템플릿 이미지들을 선택적으로 필터링할 수 있다. 더 다른 예에서, 시스템은 예컨대 이미지(또는, 원본 원시 이미지)가 기록된 때 선반 구조 근위의 공지된, 측정된, 또는 검출된 조명 조건을 매칭시키기 위해, 조명 조건에 의해 템플릿 이미지 데이터베이스 내의 템플릿 이미지들을 필터링할 수 있다.
그러나, 시스템은 선반 구조 상에 위치되고 이미지에 도시될 가능성이 가장 큰 제품들(즉, 제품들의 제품 패키징들)을 나타내는 시각 정보를 포함하는(또는 정의하는) 상대적으로 작은 세트의 템플릿 이미지들을 축적하기 위해 블록(S140)에서 임의의 다른 파라미터에 의해 템플릿 이미지 데이터베이스로부터 검색되는 이미지들의 템플릿 이미지들을 필터링할 수 있다.
10.3 선반
세그먼트에
의한 템플릿 이미지 데이터베이스
필터링
다른 구현예에서, 시스템은 선반 구조 내의 단일 선반 세그먼트의 슬롯들에 할당되는 제품들의 시각적 피처들을 표현하는 - 템플릿 이미지 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 선택한다. 이러한 구현예에서, 시스템은 예컨대: 이미지(또는 관련 원시 이미지)가 기록된 웨이포인트와 연관되는 선반 세그먼트 어드레스를 검색하거나; 이미지(또는 관련 원시 이미지)가 이러한 시간에 로봇 시스템을 대면하는 선반 세그먼트의 어드레스를 검색하기 위해 기록된 시간에서 로봇 시스템의 위치 및 방향으로 상점의 플래노그램 또는 건축 평면도에 질의함으로써, 블록(S130)에서 이미지에 표현되는 선반 세그먼트의 어드레스를 액세스하기 위해 상술한 방법들 및 기술들을 구현할 수 있다. 그 다음, 시스템은: 상술한 바와 같이, 블록(S130)에서 선반 세그먼트 내의 선반들에 할당되는 제품들의 리스트(예를 들어, 한 세트의 SKU들)를 검색하기 위해 선반 세그먼트 어드레스를 제품 위치 데이터베이스로 전달하고; 블록(S140)에서 선반 세그먼트에 할당되는 제품들의 리스트 내의 제품들(예를 들어, 제품 패키징들)을 표현하는 (예를 들어, 이미지, 벡터, 또는 매트릭스 포맷의) 데이터를 포함하는 - 템플릿 이미지 데이터베이스로부터 - 상대적으로 작은 세트의 템플릿 이미지들을 집계할 수 있다.
예를 들어, 특정 선반 세그먼트 어드레스와 연관되는 특정 선반 세그먼트에 할당되는 20개의 제품들의 리스트에 대해, 시스템은 블록들(S150 및 S152)에서 특정 선반 세그먼트의 이미지와 후속 비교를 위해 - 수백만 템플릿 이미지들의 데이터베이스로부터 - 20개의 템플릿 이미지들을 집계할 수 있으며, 여기서, 각각의 템플릿 이미지는 특정 선반 세그먼트에 할당되는 제품들의 리스트 내의 하나의 제품에 대한 제품 패키징의 주면(primary face)을 표현한다. 이러한 예에서, 시스템은 또한 상술한 바와 같이, 대체 또는 시즌 제품 패키징, 제품 패키징들의 다른 측면들, 또는 이들 제품들의 손상된 패키징들을 표현하는 것과 같은, 이러한 제품들의 리스트 내의 제품들의 추가적인 템플릿 이미지들을 집계할 수 있다.
10.4 선반에 의한 템플릿 이미지 데이터베이스
필터링
더 다른 구현예에서, 시스템은 상점의 단일 선반 세그먼트 내의 단일 선반의 슬롯들에 할당되는 제품들의 시각적 피처들을 표현하는 - 템플릿 이미지 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 선택한다. 이러한 구현예에서, 시스템은: 상술한 바와 같이, 선반 세그먼트 어드레스를 검색하고; (예를 들어, 블록(S122)에서) 이미지에 도시된 선반 세그먼트 내의 특정 선반의 수직 위치를 검출하고; 선반 세그먼트 어드레스 및 특정 선반의 수직 위치에 기초하여 특정 선반의 어드레스를 검색할 수 있다. 그 다음, 시스템은: 상술한 바와 같이, 블록(S130)에서 특정 선반에 할당되는 제품들의 리스트(예를 들어, 한 세트의 SKU들)를 검색하기 위해 선반 어드레스를 제품 위치 데이터베이스로 전달하고; 블록(S140)에서 특정 선반에 할당되는 제품들의 리스트 내의 제품들(예를 들어, 제품 패키징들)을 표현하는 데이터(예를 들어, 이미지, 벡터, 또는 매트릭스 포맷)를 포함하는 - 템플릿 이미지 데이터베이스로부터 - 상대적으로 작은 세트의 템플릿 이미지들을 집계할 수 있다.
예를 들어, 특정 선반에 할당되는 5개의 제품들의 리스트에 대해, 시스템은 이미지에 대한 후속 비교를 위해 5개의 템플릿 이미지들의 세트를 집계할 수 있으며, 여기서, 이러한 5개의 템플릿 이미지들의 세트 내의 각각의 템플릿 이미지는 제품들의 리스트 내의 하나의 제품의 전면(front face)을 표현한다. 이러한 예에서, 시스템은 또한 상술한 바와 같이, 예컨대 대체 또는 시즌 제품 패키징, 제품 패키징들의 다른 측면들, 또는 이들 제품들의 손상된 제품 패키징들을 표현하는, 이러한 제품들의 리스트 내의 제품들의 추가적인 템플릿 이미지들을 집계할 수 있다.
10.5 슬롯에 의한 템플릿 이미지 데이터베이스
필터링
다른 구현예에서, 시스템은 상점의 단일 선반 세그먼트 내의 하나의 선반 상의 단일 슬롯에 할당되는 단일 제품의 시각적 피처들을 표현하는 - 템플릿 이미지 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 선택한다. 이러한 구현예에서, 시스템은: 상술한 바와 같이, 특정 슬롯을 포함하는 선반의 어드레스를 검색하고; 이미지에 도시된 선반 세그먼트 내의 특정 선반의 수평 위치를 검출하고; 선반을 따라 선반 어드레스 및 특정 슬롯의 수평 위치에 기초하여 특정 슬롯의 어드레스를 검색할 수 있다. 블록(S140)에서, 그 다음, 시스템은: 상술한 바와 같이, 특정 슬롯에 할당되는 단일 제품의 SKU를 검색하기 위해 슬롯 어드레스를 제품 위치 데이터베이스로 전달하고; 특정 슬롯에 할당되는 이러한 단일 제품을 표현하는 (예를 들어, 이미지, 벡터, 또는 매트릭스 포맷의) 데이터를 포함하는 - 템플릿 이미지 데이터베이스로부터 - 단일 또는 상대적으로 작은 세트의 템플릿 이미지들을 검색할 수 있다.
10.6 선반 태그 데이터에 의한 템플릿 이미지 데이터베이스
필터링
일 변형예에서, 시스템은: 이미지 내의 선반 상의 제품 라벨을 검출하기 위해 컴퓨터 비전 기술들을 구현하고; 블록(S130)에서 바코드, QR 코드, SKU, 제품 설명, 및/또는 다른 제품 식별자를 판독하고; 블록(S140)에서 동일한 바코드, QR 코드, SKU, 제품 설명, 페이싱 카운트(facing count), 및/또는 다른 제품 식별자로 태그되는 한 세트의 템플릿 이미지들을 선택하고; 제품 라벨 근위의(예를 들어, 그 위의) 이미지 내의 슬롯 영역에 한 세트의 템플릿 이미지들을 할당한다. 이러한 변형예에서, 그 다음, 시스템은 선반에 적용되는 제품 라벨 상에 나타나는 제품 페이싱 카운트 및 제품 식별자 데이터에 직접적으로 기초하여 블록(S152)에서 대응하는 슬롯의 선반 상에 배열되는 제품의 상태를 결정할 수 있다. 대안적으로, 시스템은 후술하는 바와 같이, 제품 라벨로부터 판독되는 제품 식별자를 제품 위치 데이터베이스로 전달함으로써 슬롯에 대한 재고 요건들을 검색하고 이들 재고 요건들을 이미지 내의 슬롯 영역에 매칭되는 템플릿 이미지에 태그되는 데이터에 비교하여 슬롯의 재고 상태를 결정할 수 있다.
그러나, 시스템은 이미지 내의 하나 이상의 영역들(또는 "슬롯 영역들")에 대한 비교를 위해 - 상대적으로 큰 세트의 템플릿 이미지들로부터 - 상대적으로 작은 세트의 템플릿 이미지들을 선택하기 위해 임의의 다른 방법들 및 기술들을 구현할 수 있다.
따라서, 시스템은: 이미지가 캡처된 시간에서 로봇 시스템의 위치; 통로, 선반 구조, 선반 세그먼트, 선반, 및/또는 로봇의 위치에 근위의 슬롯; 및 이러한 통로 내에 또는 이러한 선반 구조, 선반 세그먼트, 선반, 및/또는 슬롯 상에 재고를 위해 지정되는 제품들의 SKU들에 기초하여 이미지와의 비교를 위해 - 템플릿 이미지 데이터베이스로부터 - 한 세트의 템플릿 이미지들을 집계할 수 있다. 특히, 시스템은: 특정 슬롯 위, 아래, 및/또는 옆의 슬롯들에 대해 지정되는 다수의 제품들로 특정 슬롯에 대해 지정되는 단일 제품; 단일 선반에 대해 지정되는 다수의 제품들; 단일 선반 세그먼트 내의 한 세트의 선반들에 대해 지정되는 다수의 제품들; 단일 선반 구조 내의 다수의 선반 세그먼트들에 대해 지정되는 다수의 제품들; 또는 제품 위치 데이터베이스, 플래노그램, 슬롯 인덱스 등에 정의되는 바와 같은, 2개의 대향하는 선반 구조들 등에 대해 지정되는 다수의 제품들에 대응하는 - 선반 구조 상에 재고되는 제품들의 존재 또는 상태를 식별하기 위한 이미지와의 후속 비교를 위해 - 한 세트의 템플릿 이미지들을 집계할 수 있다. 블록(S140)에서, 시스템은 블록(S130)에서 식별되는 각각의 제품의 제품 패키징으로부터 다양한 측면들, 조명 조건들, 방향들, 그래픽 출현(graphics release) 등의 이미지들을 포함하는 이러한 템플릿 이미지들의 세트를 조립할 수 있다. 그러나, 시스템은 하나 이상의 SKU들을 이미지에 링크시키기 위해 임의의 다른 방법 또는 기술을 구현할 수 있고, 시스템은 임의의 다른 방식으로 그리고 임의의 다른 파라미터에 따라 상대적으로 큰 데이터베이스의 템플릿 이미지들로부터 상대적으로 작은 세트의 템플릿 이미지들을 파퓰레이트할 수 있다.
10.7 현재
플래노그램
전술한 구현예들에서, 시스템은 블록(S130)의 제품들의 리스트 및 이미지에 대한 시간 제한들에 합치하는 블록(S140)의 대응하는 한 세트의 템플릿 이미지들을 수집할 수 있다. 특히, 시스템은: 이미지의 메타데이터(또는 관련 원시 이미지의 메타데이터)에 저장되는 타임스탬프로부터 이미지의 날짜 및 시간을 추출하고; 도 1에 도시된 바와 같이, 이미지 타임스탬프의 날짜 상에서 그리고 그 시간에서 현재의 제품 위치 데이터베이스, 플래노그램 등을 선택하고; 이러한 현재 제품 위치 데이터베이스, 현재 플래노그램 등에 의해 - 이미지에 도시된 슬롯, 선반, 선반 세그먼트, 또는 선반 구조 등 -에 할당되는 제품들의 리스트를 집계할 수 있다. 예를 들어, 상점의 제품들은 재배열되거나 제거될 수 있고 새로운 제품들은 일일, 주간, 월별, 분기별, 또는 연례 기준과 같은, 다가오는 휴일에 대한 준비, 시즌 변화들의 예측 등과 같은, 시간에 걸쳐 상점에 추가될 수 있다. 따라서, 시스템은 그러한 일일, 주간, 월별, 분기별, 연례별, 예정된, 및 예정 외 변경들을 상점 도처의 제품 위치 할당들에 수용하기 위해 블록(S130)에서 현재 플래노그램에 의해(또는 현재 플래노그램으로부터 데이터를 포함하는 현재 제품 위치 데이터베이스에 의해) 특정 슬롯, 선반, 선반 세그먼트, 또는 선반 구조 등에 할당되는 제품들(예를 들어 SKU들)의 리스트를 집계할 수 있다.
유사하게, 블록(S140)에서, 시스템은 이미지가 기록된 시간까지 현재의(예를 들어, 이미지 메타데이터에 저장되는 타임스탬프까지 현재의) 템플릿 이미지들을 선택할 수 있다. 예를 들어, 블록(S130)에서 생성되거나 액세스되는 제품들의 리스트에 특정되는 각각의 제품에 대해, 시스템은 블록(S140)에서 제품의 현재(예를 들어, "최신", 최근) 제품 패키징 및 가장 최근의 이전 제품 패키징 둘 다를 표현하는 한 세트의 템플릿 이미지들을 집계할 수 있다. 이러한 예에서, 블록들(S150 및 S152)에서, 시스템은: 현재 패키징 템플릿 이미지들과 이미지 내의 대응하는 영역의 비교를 우선 순위화 하여 그들의 현재 패키징들에서 이들 제품들의 유닛의 존재를 검출하고; 그 다음, 현재 패키징 템플릿 이미지들에 대한 매칭이 확인되지 않으면 이들 제품들의 이전 패키징들의 템플릿 이미지들을 이미지 내의 대응하는 영역에 비교할 수 있다. 따라서, 시스템은 블록(S150)에서 현재 및 구식(예를 들어, "만료된") 제품 패키징들의 검출을 지원하기 위해 블록(S140)에서 현재 및 구식 템플릿 이미지들 둘 다를 집계할 수 있다.
시스템은 로봇 시스템에 의해 기록되는 이미지에 도시된 제품들을 검출하고 특성화하기 위한 준비에서 (작은) 제품들의 리스트 내의 제품들을 나타내는 - 제품들의 큰 파퓰레이션의 정량적 또는 정성적 제품 패키징 피처들의 데이터베이스로부터 - 그래픽들, 텍스트, 바코드들, 컬러 팔레트들, 패키징 프로필들(예를 들어, 형상들), 및/또는 다른 정량적 또는 정성적 제품 패키징 피처들을 수집하기 위해 블록(S140)에서 유사한 방법들 및 기술들을 구현할 수 있다.
11. 제품 식별 및 재고 상태
방법(S100)의 블록(S150)은 제1 세트의 피처들 내의 피처들과 제1 제품을 표현하는, 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 블록(S150)에서, 제1 선반 상의, 제1 제품 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 것을 상술한다. 일반적으로, 블록(S150)에서, 시스템은: 특정 제품과 연관되는 템플릿 이미지의 피처들을 이미지의 영역으로부터 추출되는 피처들에 매칭시킴으로써 특정 선반 상의 - 블록(S140)에서 선택되는 템플릿 이미지에 대응하는 - 특정 제품 유닛의 존재를 검출하고; 특정 선반 상의 특정 제품의 존재 및 위치가 상점의 플래노그램에 의해 대응하는 슬롯에 할당되는 재고 요건들과 정렬하는지를 확인한다.
유사하게, 방법(S100)의 블록(S152)은 제1 제품의 유닛이 제1 세트의 피처들 내의 피처들과 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 제1 선반에 부적절하게 재고되었는지를 결정하는 단계를 상술한다. 일반적으로, 블록(S152)에서, 시스템은 특정 슬롯이 제품이 비어 있거나, 오배향된 제품을 포함하거나, 부정확한 제품을 포함하거나, 그렇지 않으면 이미지에 도시된 슬롯에 할당되는 제품의 템플릿 이미지에 표현되는 피처들과 이러한 슬롯에 대응하는 이미지의 영역으로부터 추출되는 피처들의 부정합에 기초하여 플래노그램에 특정되는 재고 요건들로부터 벗어나는지를 결정할 수 있다. 특히, 시스템은: 플래노그램, 제품 위치 데이터베이스, 또는 다른 제품 재고 문서에 의해 정의되는 제품 위치들 및 다른 재고 요건들에 기초하여 대면하는 제품이 존재하는지; 제품 패키징의 주면이 선반 상에서 외측으로 향하는 지(즉, 제품이 선반 상에서 적절하게 배향하는지); 제품 패키징이 직립하고 있는지; 제품 패키징이 선반 상에서 올바른 깊이에 설정되어 있는지; 제품 패키징이 손상되었는지; 제품의 페이싱들의 정확한 개수가 표시되고 있는지; 제품 패키징들이 현재 사용중인 것인지 등을 판단하기 위해 블록들(S150 및 S152)을 실행할 수 있다.
11.1 피처 매칭
블록(S150)에서, 시스템은 이미지의 영역들(또는 서브영역들)을 이미지에 도시된 슬롯, 선반, 선반 세그먼트, 또는 선반 구조에 특별히 할당되는 한 세트의 제품들을 표현하는 한 세트의 템플릿 이미지들에 비교하기 위해 템플릿 매칭 기술들을 구현할 수 있다. 예를 들어, 시스템은: 선반에 의해 이미지를 분할하고; 이미지에 도시된 제1 선반에 대응하는 이미지의 제1 영역을 추출하고; 제1 선반 상에 도시된 개체들 주위의 제1 영역을 절단하고(즉, 제1 영역으로부터 배경 영역을 제거하고); 이미지의 제1 영역 내의 별개 서브영역들을 식별하기 위해 에지 검출, 객체 검출, 또는 다른 컴퓨터 비전 기술들을 구현할 수 있으며, 여기서, 각각의 서브영역은 제1 선반 상에 배치되는 단일 객체(예를 들어, 제품의 단일 유닛)를 표현한다. (이러한 예에서, 시스템은 또한 제1 선반 상의 별개 객체들의 검출을 통지하거나 안내하기 위해 이미지의 제1 영역 상으로 제1 선반에 대해 플래노그램에 정의되는 슬롯 치수를 투영할 수 있다. 그 다음, 시스템은 매칭이 발견되거나 한 세트의 템플릿 이미지들이 각각의 서브영역에 대해 소모될 때까지 이미지의 제1 영역의 각각의 서브영역을 제1 선반에 대해 선택되는 한 세트의 템플릿 이미지들 내의 템플릿 이미지에 비교하기 위해 템플릿 매칭 기술들을 구현할 수 있다.
전술한 예에서, 시스템은 또한: 이미지의 제1 영역의 제1 서브영역으로부터 우세 컬러 또는 상대적인 컬러 값들의 대표 스펙트럼을 추출하고; 그 다음, 템플릿 이미지들 및 이미지의 제1 서브영역에서 우세 컬러 또는 상대적인 컬러 값들의 대표 스펙트럼 사이의 유사성들에 따라 제1 서브영역과의 비교를 위해 한 세트의 템플릿 이미지들을 순위화하거나, 우선 순위화하거나 필터링할 수 있다. 유사하게, 시스템은: 이미지의 제1 서브영역으로부터 텍스트 및/또는 객체 기하학적 구조를 추출하기 위해 광학 문자 인식, 객체 검출, 또는 다른 컴퓨터 비전 기술들을 구현하고; 그 다음, 템플릿 이미지들 및 이미지의 제1 서브영역에 표현되는 제품들 상에 도시되는 텍스트 및/또는 그 기하학적 구조 사이의 유사성들에 따라 제1 서브영역과의 비교를 위해 한 세트의 템플릿 이미지들을 순위화하거나, 우선 순위화하거나, 필터링할 수 있다. 그러나, 시스템은 이미지의 제1 서브영역으로부터 판독되거나 추출되는 임의의 다른 피처에 기초하여 이미지의 제1 서브영역과의 비교를 위해 한 세트의 템플릿 이미지들을 순위화하거나, 우선 순위화하거나, 필터링할 수 있다. 그 다음, 시스템은 매칭이 발견되거나 한 세트의 템플릿 이미지들이 제1 서브영역에 대해 소모될 때까지 순위화 또는 우선 순위화에 따라 이미지의 제1 서브영역에 - 제1 선반에 할당되는 제품들의 - 템플릿 이미지들을 체계적으로 비교할 수 있다. 시스템은 이미지의 제1 영역 내의 각각의 다른 서브영역에 대해 이러한 과정을 반복할 수 있다.
더욱이, 이러한 예에서, 시스템은 서브영역 및 템플릿 이미지 내의 유사한 상대적인 위치들에서 발생하는 매칭된 피처들의 수에 비례하는 것과 같은, 이미지의 서브영역과 제1 선반에 할당되는 제품들을 표현하는 한 세트의 템플릿 이미지들 사이의 매칭에 대한 스코어(예를 들어, "신뢰 스코어", "유사 스코어")를 산출할 수 있다. 예를 들어, 시스템은: 이미지 내의 제1 서브영역과 제1 선반에 할당되는 제품들의 한 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지 사이의 유사 스코어를 산출하고; 제1 서브영역과 세트 내의 템플릿 이미지들에 대한 모든 다른 유사 스코어들을 초과하고 미리 설정된 임계 유사 스코어를 초과하는 - 제1 제품을 표현하는 - 제1 템플릿 이미지 사이의 유사 스코어 응답하여 제1 제품으로서 제1 서브영역에 표현되는 객체를 식별할 수 있다. 특히, 전술한 구현예들에서, 시스템은 이미지의 제1 서브영역으로부터 추출되는 피처들과 제1 제품을 표현하는 제1 템플릿 이미지에 표현되는 피처들 사이의 상대적으로 강한 상관에 응답하여 블록(S150)에서 이미지의 제1 영역의 제1 서브영역에 표현되는 별개 객체를 제1 제품의 유닛으로서 식별할 수 있다. 그 다음, 시스템은 제1 템플릿 이미지에 의해 표현되는 제품의 SKU 또는 다른 식별자로 이미지의 제1 서브영역을 태그할 수 있다. 더욱이, 제1 템플릿 이미지가 추가적인 데이터, 예컨대 제1 제품의 패키징 측면, 패키징 방향, 제품 설명, 공급자, 공급 기간, 그래픽 출시 날짜, 패키징 손상 등으로 태그되면, 시스템은 또한 예컨대 태그들 또는 이미지 메타데이터의 형태로, 이들 데이터를 이미지의 제1 서브영역에 복사할 수 있다.
그러나, 시스템이 이미지의 제1 영역의 제1 서브영역과 임계 유사 스코어를 초과하는 세트 내의 템플릿 이미지 사이의 유사 스코어를 산출하지 못하면, 시스템은 블록(S152)에서 한 세트의 템플릿 이미지들에 표현되는 제품이 제1 서브영역에 대응하는 제1 선반 상의 위치에 적절하게 재고(예를 들어, 존재, 배향)되지 않았다고 결정할 수 있으며; 따라서, 이때, 시스템은 인근의 다른 선반들, 선반 세그먼트들, 및/또는 선반 구조들에 할당되는 제품들의 더 큰 세트의 템플릿 이미지들과의 비교를 위해 이미지의 제1 서브영역을 플래그(flag)할 수 있다.
대안적으로, 시스템은: 이미지의 제1 영역의 폭 및 높이에 걸쳐 - 한 세트의 템플릿 이미지들 내의 - 제1 템플릿 이미지를 스캔하고; 이미지의 제1 영역에 걸쳐 제1 템플릿 이미지에 대한 최상의 위치, 방향, 및 유사 스코어를 산출하고; 세트 내의 각각의 다른 템플릿 이미지에 대해 이러한 과정을 반복하고; 그 다음, 도 1에 도시된 바와 같이, 임계 유사 스코어에 걸쳐 가장 큰 유사 스코어들을 나타내는 템플릿 이미지들로부터의 제품 식별자로 이미지의 제1 영역 내의 별개 서브영역들을 태그할 수 있다. 그 다음, 시스템은 블록(S150)에서 이들 서브영역들에 매칭되는(예를 들어 임계 유사 스코어에 걸쳐 가장 큰 유사 스코어들을 나타내는) 템플릿 이미지들로부터의 제품 식별자들로 이미지의 제1 영역의 별개 서브영역들을 태그하거나 연관시킬 수 있다. 이러한 구현예에서, 시스템이 이미지의 제1 영역 내의 제1 서브영역과 임계 유사 스코어를 초과하는 세트 내의 템플릿 이미지 사이의 유사 스코어를 산출하지 못하면, 시스템은 블록(S152)에서 한 세트의 템플릿 이미지들에 표현되는 제품이 제1 선반 상에 재고되지 않거나 제1 선반 상에 적절하게 배향되지 않은 것으로 결정할 수 있다. 더욱이, 시스템이 세트 내의 템플릿 이미지에 태그되지 않거나 매칭되지 않은 이미지의 서브영역에서 베어(bare) 선반 이외의 것을 나타내는 피처들을 검출하면, 시스템은 인근의 다른 선반들, 선반 세그먼트들, 및/또는 선반 구조들에 할당되는 제품들의 더 큰 세트의 템플릿 이미지들과의 비교를 위해 이미지의 이러한 서브영역을 플래그할 수 있다.
전술한 구현들에서, 시스템은 이미지의 제1 영역 내의 객체를 검출하고 이들 객체를 특정 제품과 연관되는 템플릿 이미지에 표현되거나 정의되는 피처들에 매칭시키기 위해 템플릿 매칭, 에지 검출, 패턴 매칭, 패턴 인식, 광학 문자 인식, 컬러 인식, 콘텐츠 기반 이미지 검색, 자세 추정, 코드 판독, 형상 인식, 및/또는 임의의 다른 적절한 방법 또는 기술을 구현할 수 있다. 시스템은 세트 내의 템플릿 이미지들을 이미지의 제1 영역 내의 다른 서브영역들에 매치시키고 이미지 내의 이들 다른 서브영역들을 매칭된 템플릿 이미지들로부터의 데이터로 태그하기 위해 이러한 과정을 반복할 수 있다. 시스템은 이미지에 표현되는 다른 선반들에 대응하는 각각의 다른 영역에 대해, 상점 도처의 각각의 다른 선반 세그먼트의 다른 이미지들 등에 대해 이러한 과정을 더 반복할 수 있다.
시스템은 또한 하나의 선반 상에, 선반 세그먼트 상에, 또는 이미지에 도시된 전체 선반 구조를 따라 재고되는 제품들의 재고 맵(또는 2D 이미지 오버레이, 스프레드시트 등)으로 제품 식별자들(예를 들어, SKU들) 및 따라서 이미지 내의 서브영역들에 링크되는 다른 제품 데이터를 집계할 수 있다. 예를 들어, 시스템은 별개 객체들이 검출되고 템플릿 이미지들에 매칭되는 이미지 내의 서브영역들을 이미지에 도시된 하나 이상의 선반들 상의 슬롯 컨테이너들의 재고 맵으로 변형시킬 수 있으며, 여기서, 각각의 슬롯 컨테이너는 제품 식별자(예를 들어, SKU), 패키징 측면, 패키징 방향, 및/또는 이미지 내의 대응하는 영역에 매칭되는 템플릿 이미지로부터 추출되는 다른 데이터 그리고 객체가 이미지의 대응하는 서브영역에서 검출되는지 여부로 라벨링된다. 대안적으로, 시스템이 이미지의 서브영역들을 템플릿 이미지들에 비교하기 전에 슬롯 인텍스(또는 제품 위치 데이터베이스 등)에 기초하여 별개 슬롯들로서 이미지 내의 서브영역들을 묘사하는 상술한 변형예에서, 시스템은 슬롯 인덱스(또는 제품 위치 데이터베이스 등)에 기초하여 이미지에 도시된 각각의 슬롯에 대한 슬롯 컨테이너들의 재고 맵을 생성할 수 있으며; 이미지 내의 영역이 블록(S150)에서 템플릿 이미지에 매칭될 때, 그 다음, 시스템은 템플릿 이미지로부터의 제품 데이터를 재고 맵 내의 대응하는 슬롯 컨테이너로 복사할 수 있다. 시스템은 또한 제품을 나타내는 피처들이 검출되지 않거나 잘못된 제품을 나타내는 피처들이 각각 이미지의 대응하는 서브영역에서 검출되면 블록(S152)에서 비어 있는 또는 부정확한 제품을 포함하는 것으로서 재고 맵 내의 슬롯 컨테이너를 플래그할 수 있다. 그러나, 시스템은 이미지 내의 서브영역들에 매칭되는 템플릿 이미지들로부터의 제품 식별 및 다른 데이터를 임의의 다른 포맷 또는 컨테이너로 저장할 수 있다.
11.2 제품 방향
도 1 및 도 2에 도시된 일 변형예에서, 시스템은 이러한 제품을 나타내는 이미지 내의 피처들의 존재 및 상대적인 위치들에 기초하여 이미지의 서브영역에서 식별되는 제품의 방향을 결정한다. 그 다음, 시스템은 상술한 바와 같이, 블록들(S150 및 S152)에서 재고 맵 내의 그것의 대응하는 슬롯 컨테이너에 이러한 제품의 검출된 방향을 저장하고, 방향이 플래노그램에 의해 정의되는 허용 가능한 범위와 상이하면 이러한 슬롯 컨테이너에 플래그를 기록할 수 있다.
일 구현예에서, 시스템은: 이미지 내의 제1 서브영역에 대응하는 위치에서 제1 선반 상의 제1 제품(예를 들어, 병에 든 또는 통조림된 제품) 유닛의 존재를 확인하기 위해 제1 제품의 제1 템플릿 이미지에 정의되는 제1 그룹의 피처들에 - 이미지의 제1 영역의 제1 서브영역으로부터 추출되는 1 세트의 피처들 내의 - 피처들을 매칭시키고; 이미지의 제1 서브영역으로부터 추출되는 제1 세트의 피처들로부터, 제1 템플릿 이미지에 정의되는, 제2 그룹의 피처들의 부재를 확인하고; 그 다음, 이미지의 제1 서브영역으로부터 제1 세트의 피처들 내의 제1 그룹의 피처들의 존재, 이미지의 제1 서브영역으로부터 제1 세트의 피처들로부터의 제2 그룹의 피처들의 부재, 및 제1 템플릿 이미지에 정의되는 제1 및 제2 그룹의 피처들의 상대적인 위치들에 기초하여 선반 상의 제1 제품의 유닛의 방향(예를 들어, 수직 축에 대해 제1 제품의 유닛의 회전 방향)을 산출한다.
템플릿 이미지 데이터베이스가 제품들의 전면의 템플릿 이미지들 또는 제품들의 전면들에 대해 공지된 방향들의 이미지들을 포함하는 구현예에서, 시스템은 템플릿 이미지를 이미지 내의 제1 서브영역에 매칭시킬 때 템플릿 이미지들을 이미지의 제1 영역의 제1 서브영역에 표현되는 객체와의 정렬로 왜곡시키는 변형을 산출할 수 있다. 제1 템플릿 이미지가 이미지의 제1 서브영역에 매칭되면, 시스템은 제1 템플릿 이미지를 이미지의 제1 서브영역에 도시된 제1 객체의 유닛과의 정렬로 왜곡시키는 변형에 기초하여 이미지의 제1 서브영역에 표현되는 제품 유닛의 각 회전을 산출할 수 있다.
그러나, 대안적으로, 템플릿 이미지 데이터베이스는 다양한 공지된 상대적인 방향들에서 제품들의 템플릿 이미지들을 포함할 수 있고, 시스템은: 블록(S130)에서 제1 선반에 할당되는 제품들의 다향한 방향들을 표현하는 템플릿 이미지들을 선택하고; 제1 선반의 제1 이미지의 서브영역을 하나 이상의 공지된 방향들에서 제1 제품의 하나의 또는 한 세트의 템플릿 이미지들에 매칭시키고; 그 다음, 매칭된 템플릿 이미지들 내의 제품 방향들 사이를 보간하여 이미지의 제1 서브영역에서 표현되는 제1 제품의 유닛의 방향을 산출할 수 있다.
전술한 구현예들에서, 그 다음, 시스템은 선반 상의 제1 제품의 유닛의 방향이 플래노그램에 의해 대응하는 슬롯에 대해 특정되는 목표 방향(예를 들어, 0°) 또는 목표 방향(예를 들어, +/- 10°)과 상이하면 제1 선반 상의 제1 제품의 유닛의 산출된 또는 추정된 방향을 정정하기 위해 재입고 프롬프트를 생성할 수 있다. 그러나, 시스템은 이미지에 포함되는 시각적 데이터에 기초하여 블록(S1150)에서 선반 상의 제품 유닛의 방향을 산출 또는 추정하기 위해 임의의 다른 방법 또는 기술을 구현할 수 있다.
시스템은 제품을 포함하는 선반의 에지로부터 제품 유닛의 깊이를 추정하기 위해 유사한 방법들 및 기술들을 구현할 수 있고; 시스템은 유사하게 실제 제품 깊이와 플래노그램에 의해 대응하는 슬롯에 대해 특정되는 목표 제품 깊이 사이의 편차들을 처리할 수 있다.
11.3 측면 제품 위치
다른 변형예에서, 시스템은 이러한 선반의 이미지에서 검출되는 피처들의 상대적인 위치들에 기초하여 선반 상의 제품의 측면 위치를 결정하고 제품의 위치와 플래노그램에 의해 할당되는 위치 사이의 불일치들을 식별한다. 그 다음, 시스템은 상술한 바와 같이, 블록들(S150 및 S152)에서 재고 맵 내의 그것의 대응하는 슬롯 컨테이너에 이러한 제품의 검출된 위치를 저장하고, 검출된 측면 위치가 플래노그램에 의해 정의되는 허용 가능한 방향 범위와 상이하면 이러한 슬롯 컨테이너에 플래그를 기록할 수 있다.
일 구현예에서, 시스템은: 이미지의 제1 선반 태그를 검출하기 위해 상술한 방법들 및 기술들을 구현하고; 제1 선반 태그의 위치에 대해 이미지의 제1 슬롯의 경계를 정의하고; 제1 슬롯의 경계 내에 포함되는 이러한 제품 유닛을 나타내는 피처들의 비율에 기초하여 - 제1 슬롯에 할당되는 - 제품 유닛의 측면 위치를 확인한다. 예를 들어, 시스템은: 제1 선반을 표현하는 이미지의 제1 영역의 하단 에지에 근접한 제1 선반 태그를 식별하고; 제1 선반 태그에 근접한 선반 상의 객체를 검출하고; 상술한 바와 같이, 블록(S150)에서 제1 선반 상의 제1 제품의 유닛으로서 제1 객체를 식별하고; 제1 선반 태그의 좌측 수직 에지에서 제1 제품의 유닛의 좌측 수직 에지까지의 수평 거리를 추출하고; 이러한 수평 거리가 임계 거리(예를 들어, 플래노그램에 의해 특정되는 임계 거리의 디폴트 임계 거리)를 초과하면 제1 제품의 유닛이 제1 선반 상에서 오배향되어 있는 것으로 결정할 수 있다. 특히, 시스템은 선반 상에 검출되는 제품 유닛의 좌측 에지가 - 미리 설정된 공차 내의 - 가장 가까운 선반 태그(또는 동일한 제품을 특정하는 선반 태그)의 좌측 에지에 정렬되는 것을 확인하고 그렇지 않으면 선반 상에 오배향된 것으로서 제품 유닛을 플래그할 수 있다.
다른 구현예에서, 시스템은 선반 상에서 검출되는 제2 제품의 유닛으로부터의 그것의 상대적인 거리 및 플래노그램에 의해 선반에 할당되는 이들 제품들 사이의 거리에 기초하여 제1 제품의 유닛의 측면 위치를 확인한다. 예를 들어, 시스템은: 이미지의 제1 영역에 표현되는 제1 선반에 걸쳐 배열되는 한 세트의 별개 객체들을 검출하고; 한 세트의 별개 객체들 내의 제1 별개 객체에 대응하는 이미지의 제1 영역 내의 제1 서브영역을 식별하고; 제1 이미지의 제1 영역 내의 제1 서브영역으로부터 제1 세트의 피처들을 추출하고; 블록(S150)에서 제1 세트의 피처들 내의 피처들과 제1 제품을 표현하는, 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여, 제1 제품들의 리스트 내의, 제1 제품의 유닛으로 제1 별개 객체를 식별할 수 있다. 시스템은 - 이미지의 제1 영역 내의 제2 서브영역으로부터 추출되는 - 제2 세트의 피처들 내의 피처들과 제2 제품을 표현하는, 제1 세트의 템플릿 이미지들 내의, 제2 템플릿 이미지의 피처들 사이의 상관에 응답하여, 제1 제품들의 리스트 내의, 제2 제품의 유닛으로서, 별개 객체들의 세트 내의, 제2 별개 객체를 식별하기 위해 이러한 과정을 반복할 수 있다. 제1 및 제2 제품들의 유닛들이 이미지에서 식별되면, 시스템은 제1 선반 상의 제1 제품의 유닛의 제1 위치와 제2 제품의 유닛의 제2 위치가 플래노그램에 의해 제1 선반 상의 제1 제품 및 제2 제품에 할당되는 목표 측면 오프셋으로부터 벗어나면 제1 선반 상의 제1 제품의 유닛 및 제2 제품의 유닛의 부적절한 배열을 검출할 수 있다.
전술한 구현들에서, 시스템이 대응하는 선반 태그에 대한 제품 유닛의 측면 위치가 블록(S152)에서 미리 설정된 공차를 초과한다고 결정하면, 시스템은 블록(S160)에서 선반 상의 제품 유닛의 방향을 정정하기 위해 재입고 프롬프트를 생성할 수 있다. 예를 들어, 시스템은 블록(S150)에서 제1 선반 상의 제1 제품 및 제2 제품의 부적절한 배치를 검출하는 것에 응답하여 블록(S160)에서 제1 제품의 유닛 및 제2 제품의 유닛의 상대적인 위치들의 정정을 특정하는 재입고 프롬프트를 생성할 수 있다.
그러나, 시스템은 임의의 다른 방식으로 선반들 상의 제품 유닛들의 부적절한 측면 배열을 검출하고 처리할 수 있다.
11.4
페이싱
카운트 확인
도 1 및 도 2에 도시된 더 다른 변형예에서, 시스템은 선반 상에서 검출되는 특정 제품의 제품 페이싱들의 수를 카운트하고, 선반 상의 특정 제품의 이러한 페이싱들의 수를 플래노그램에 의해 선반에 할당되는 특정 제품의 제품 페이싱들의 수에 비교하고, 특정 제품의 페이싱들의 실제 수가 플래노그램에 의해 특정되는 페이싱의 수와 상이하면(예를 들어, 미만이거나 초과하면) 재고 맵 내의 대응하는 슬롯 컨테이너들에 플래그들을 기록한다.
일 예에서, 시스템은: (예를 들어, 제1 제품을 표현하는 제1 템플릿 이미지 내의 피처들에 강한 상관을 나타내는 이미지의 제1 영역으로부터 추출되는 한 세트의 피처들 내의 피처들의 별개 클러스터들에 응답하여) 블록(S150)에서 제1 선반에 대응하는 이미지의 제1 영역에 표현되는 한 세트의 별개 제1 제품의 유닛들의 존재를 확인하기 위해 상술한 방법들 및 기술들을 구현하고; 제1 선반 상에서 검출되는 한 세트의 별개 제1 제품의 유닛들 내의 제1 제품의 유닛들의 카운트를 생성하고; 카운트가 플래노그램에 의해 제1 선반에 할당되는 제1 제품의 페이싱들의 양과 동일하면 제1 선반 상의 제1 제품의 적절한 재고를 확인한다. 그러나, 이러한 예에서, 시스템은: 플래노그램에 의해 제1 선반에 할당되는 제1 제품의 페이싱들의 양으로부터 벗어나는 카운트에 응답하여 제1 선반 상의 제1 제품의 부적절한 재고를 검출하고; 그 다음, 제1 선반 상의 제1 제품의 부적절한 재고를 검출하는 것에 응답하여 제1 선반 상의 제1 제품의 페이싱들의 정정을 특정하는 재입고 프롬프트를 생성할 수 있다.
그러나, 시스템은 이미지에 도시된 선반 상의 제품 페이싱들을 카운트하고 플래노그램에 의해 특정되는 실제 및 목표 제품 페이싱들 사이의 편차들을 처리하기 위해 임의의 다른 방법 또는 기술을 구현할 수 있다.
11.5 패키징 변형들
다른 변형예에서, 시스템은 선반 상의 제품의 제품 패키징을 확인하고, 제품(예를 들어, 제품 SKU)이 정확한지를 확인하고, 그 다음, 이러한 제품 패키징이 플래노그램의 요건들을 충족하는지 여부를 판단한다.
일 구현예에서, 시스템은 이미지의 제1 서브영역에 표현되는 피처들을 공지된 패키징 변형으로 제1 제품의 제1 템플릿 이미지와 매칭시킴으로써 제1 제품의 유닛으로 이미지의 제1 서브영역에서 검출되는 제1 객체를 식별하고 그 다음, 제1 템플릿 이미지에 의해 표현되는 공지된 패키징 변형을 플래노그램에 비교하여 제1 제품의 유닛이 플래노그램에 의해 정의되는 재고 요건들을 충족하는지 여부를 판단한다. 예를 들어, 시스템은: 블록(S124)에서 이미지에 표현되는 제1 선반 상의 제1 슬롯에 대응하는 이미지의 서브영역으로부터 제1 세트의 피처들을 추출하고; 블록(S130)에서 현재 패키징의 제1 제품의 제1 템플릿 이미지 및 플래노그램에 의해 제1 슬롯에 할당되는 - 현재 패키징과 상이한 - 이전 패키징의 제1 제품의 제2 템플릿 이미지를 검색하고; 제1 세트의 피처들 내의 피처들과 제1 템플릿 이미지 내의 피처들 사이의 상관에 응답하여 제1 슬롯에서, 현재 패키징의, 제1 제품의 유닛의 존재를 확인하고; 제1 세트의 피처들 내의 피처들과 제2 템플릿 이미지 내의 피처들 사이의 상관에 응답하여 제1 슬롯에서, 이전 패키징의, 제1 제품의 유닛의 존재를 확인할 수 있다. 이러한 예에서, 그 다음, 시스템은 제1 선반 상에서 이전 패키징의 제1 제품의 유닛의 존재를 확인하는 것에 응답하여 이전 패키징의 제1 제품의 유닛을 현재 패키징의 제1 제품의 유닛으로 대체하고 (이전 패키징의 제1 제품의 유닛을 처분하기 위해) 재입고 프롬프트를 생성할 수 있다. 따라서, 시스템은: 제품 유닛이 선반 상의 할당된 슬롯에 존재하는지를 판단하고 블록(S150)에서 이러한 제품 유닛이 현재 패키징 변형에 따라 패키지화되는지를 확인하고; 그렇지 않으면, 정정을 위해 제품의 슬롯 또는 유닛을 플래그한다. 특히, 시스템은 시즌 제품 패키징 변경들과 같은, 시간에 걸친 제품 패키징들에 대한 변화들을 수용하고, 상점 도처에 재고되는 제품 유닛들이 플래노그램에 의해 특정되거나 허용되는 현재 패키징 변형들에 따라 패키지화되는 것을 확인하기 위해 상기 방법들 및 기술들을 구현할 수 있다.
더욱이, 이러한 변형예에서, 시스템은 이미지의 제1 서브영역에서 검출되는 제1 객체가 블록(S130)에서 검출되는 동일한 제품의 템플릿 이미지들에 표현되는 것들 이외의 패키징 변형(예를 들어, 새로운 패키징 변형)를 표현하는 이미지의 제1 서브영역 내의 제1 제품의 유닛임에도 불구하고 제1 서브영역으로부터 추출되는 피처들과 제1 제품의 더 많은 템플릿 이미지들 중 하나에 표현되는 피처들 사이의 충분한 유사성에 기초하여 제1 제품의 유닛이라는 것을 확인할 수 있다.
예를 들어, 시스템은: 제1 서브영역으로부터 추출되고 상이한 패키징의 동일한 제품의 제1 템플릿 이미지에 정의되는 피처들(예를 들어, 텍스트, 그래픽, 바코드들, 컬러 팔레트들, 패키징 프로필들) 사이의 유사성들; 제1 서브영역으로부터 추출되고 다른 패키징의 동일한 제품의 제2 템플릿 이미지에 정의되는 피처들의 유사성들; 및 제1 템플릿 이미지 및 제2 템플릿 이미지 둘 다에 고유한 이미지의 제1 서브영역 내의 피처들의 검출에 응답하여 제1 선반 상의, 새로운 패키징의, 제1 제품의 유닛의 존재를 예측할 수 있다. 이러한 예에서, 그 다음, 시스템은: 제1 제품의 검출된 유닛에 대응하는 제1 이미지의 제1 영역의 서브영역을 새로운 패키징의 제1 제품의 새로운 템플릿 이미지로 저장하고; 새로운 템플릿 이미지를 플래노그램에 의해 1 제품에 할당되는 선반들의 이미지들과의 추가적인 비교를 위해 템플릿 이미지들의 데이터베이스에 기록할 수 있다.
전술한 예에서, 시스템은 또한: 새로운 제품 패키징의 제1 제품의 확인의 수동 주석(annotation)을 위해 이미지의 제1 서브영역을 플래그하고/하거나; 새로운 패키징의 제1 제품의 재고 이미지를 제공하기 위해 프롬프트를 생성하고 이러한 프롬프트를 상점의 점원 또는 제1 제품의 브랜드 또는 공급자에게 반환하여 장래 "깨끗한" 템플릿 이미지로 새로운 제품 패키징의 제1 제품의 유닛들의 식별을 향상시킬 수 있다. 따라서, 시스템은 또한 블록들(S150 및 S152)에서 상점 도처의 슬롯들의 재고 상태의 평가를 완료하는 동안에 또한 시스템에 아직 공지되지 않은 새로운 패키징 변형들을 검출하고 수용할 수 있다.
11.6 빈 슬롯
도 4에 도시된 더 다른 변형예에서, 시스템은 로봇 시스템에 의해 기록되는 이미지로부터 추출되는 피처들에 기초하여 제품이 없는 "빈" 슬롯을 검출할 수 있다.
일 구현예에서, 시스템은: 블록(S122)에서 플래노그램에 의해 제1 제품에 할당되는 제1 선반 상의 제1 슬롯에 대응하는 - 이미지의 제1 영역의 - 제1 서브영역을 식별하고; 블록(S124)에서 제1 이미지의 제1 서브영역으로부터 제1 서브세트의 피처들을 추출하고; 블록(S152)에서 제1 템플릿 이미지 내의 피처들에 대한 임계 상관 미만을 나타내는 제1 서브세트의 피처들에 응답하여 제1 선반 상의 제1 슬롯으로부터 제1 제품의 유닛의 누락을 검출하고; 제1 서브세트의 피처들 내의 피처들과 빈 선반을 표현하는 제2 세트의 피처들 사이의 상관에 응답하여 제1 선반 상의 제1 슬롯을 빈 것으로 식별한다. 예를 들어, 시스템은 하기 둘 다를 포함하는 한 세트의 템플릿 이미지들을 파퓰레이트할 수 있다: 이미지의 영역에 표현되는 선반에 할당되는 제품들의 템플릿 이미지들; 및 빈 슬롯들 또는 선반들의 템플릿 이미지들. 이러한 예에서, 시스템은 이러한 이미지에 도시된 선반을 따라 대응하는 위치들을 빈(즉, 제품이 없는) 것으로 식별하기 위해 빈 슬롯들 또는 선반들의 템플릿 이미지들을 이미지의 서브영역들에 비교하도록 상술한 방법들 및 기술들을 구현할 수 있다.
전술한 구현예에서, 시스템은 슬롯을 빈 것으로 식별하는 것에 응답하여 - 플래노그램에 의해 슬롯에 할당되는 - 특정 제품 유닛들의 개수로 빈 슬롯을 채우기 위한 재입고 프롬프트를 생성할 수 있다. 그러나, 시스템은 블록들(S152 및 S160)에서 임의의 다른 방식으로 빈 슬롯들 또는 빈 선반들을 검출하고 처리할 수 있다.
11.7 제1 선반 상의 제2 제품 및 다른 선반들 상의 제품들
시스템은 이미지에 표현되는 다른 슬롯들에 배치되는 제품들을 식별하기 위해 (예를 들어, 전체 선반 세그먼트 또는 선반 구조의) 이미지의 (예를 들어, 선반 세그먼트 내의 단일 선반을 표현하는) 영역 내의 (예를 들어, 별개 슬롯들을 표현하는) 다수의 서브영역들 각각에 대해 상술한 과정들을 반복할 수 있다. 시스템은 도 4에 도시된 바와 같이, 상점의 스캔 도처의 로봇 시스템에 의해 기록되는 다른 이미지들에 대해 상술한 과정들을 더 반복할 수 있다.
예를 들어, 시스템은: 블록(S130)에서 제1 이미지에 도시된 제1 선반에 대한 제1 세트의 템플릿 이미지들을 검색하고; 제1 세트의 템플릿 이미지들 내의 제1 템플릿 이미지를 제1 이미지의 대응하는 서브영역에 매칭시킴으로써 제1 선반 상의 제1 제품의 유닛을 식별하고; 블록(S150)에서 제1 이미지의 제2 서브영역을 동일한 제1 세트의 템플릿 이미지들 내의 제2 템플릿 이미지에 매칭시킴으로써 제1 선반 상의 제1 제품의 유닛에 인접한 제2 제품의 유닛을 식별할 수 있다. 그 다음, 시스템은: 블록(S130)에서 제1 이미지에 도시된 제2 선반에 대한 제2 세트의 템플릿 이미지들을 검색하고; 제2 세트의 템플릿 이미지들 내의 제3 템플릿 이미지를 제1 이미지의 대응하는 서브영역에 매칭시킴으로써 제2 선반 상의 제3 제품의 유닛을 식별하고; 블록(S150)에서 제1 이미지의 제4 서브영역을 제2 세트의 템플릿 이미지들 내의 제4 템플릿 이미지에 매칭시킴으로써 제2 선반 상의 제3 제품의 유닛에 인접한 제4 제품의 유닛을 식별할 수 있다. 이러한 예에서, 이후에, 시스템은: 블록(S130)에서 제2 이미지에 도시된 제3 선반에 대한 제3 세트의 템플릿 이미지들을 검색하고; 제3 세트의 템플릿 이미지들 내의 제1 템플릿 이미지를 제2 이미지의 대응하는 서브영역에 매칭시킴으로써 제3 선반 상의 제5 제품의 유닛을 식별하고; 블록(S150)에서 제3 이미지의 제2 서브영역을 제3 세트의 템플릿 이미지들 내의 제2 템플릿 이미지에 매칭시킴으로써 제3 선반 상의 제5 제품의 유닛에 인접한 제6 제품의 유닛을 식별하는 것 등을 할 수 있다. 그 다음, 시스템은 블록(S160)에서 플래노그램으로부터의 편차를 나타내는 - 상점 도처의 다수의 선반들, 선반 세그먼트들, 및/또는 선반 구조들에 걸쳐 - 다양한 슬롯들에 대한 재입고 프롬프트들을 전역(global) 전자 재입고 리스트로 컴파일링할 수 있다.
따라서, 시스템은 스캔 사이클 동안에 상점 도처에서 네비게이션하는 동안에 로봇 시스템에 의해 기록되는 이미지들로부터 추출되는 재고 상태 데이터로 상점 도처의 많은(예를 들어, 실질적으로 모든) 슬롯들, 선반들, 선반 세그먼트들, 및/또는 선반 구조들에 걸쳐 슬롯 컨테이너들의 재고 맵을 파퓰레이트할 수 있다. 예를 들어, 시스템은 하기 중 하나로서 재고 맵 내의 각각의 슬롯 컨테이너를 라벨링할 수 있다: 슬롯에 할당되는 제품의 템플릿 이미지에 매칭되는 객체의 측면 위치, 깊이, 및 수직 회전의 정렬에 응답하여 적절하게 재고되거나; 플래노그램에 의해 특정되는 측면 위치, 깊이, 또는 수직 회전 공차로부터 객체의 편차와 일치하는 슬롯에 할당되는 제품의 템플릿 이미지에 매칭되는 객체의 검출에 응답하여 적절하게 재고되었지만 오배향되거나; 플래노그램에 의해 슬롯에 할당되는 - 공지된 부정확한(예를 들어, 이전의, 구형의) 제품 패키징의 - 제품의 템플릿 이미지에 매칭되는 객체의 검출에 응답하여 적절하게 재고되었지만 부정확한 패키징이거나; 플래노그램에 의해 슬롯에 할당되지 않은 제품의 템플릿 이미지에 식별 또는 매칭되지 않은 객체의 검출에 응답하여 부적절하게 재고되거나; 슬롯을 표현하는 이미지의 영역에서 객체를 검출하는 못한 것에 응답하여 비어 있는 것. 이러한 예에서, 재고 맵은 플래노그램의 형태를 모방하지만 상점의 (대략) 실제 현재 재고 상태를 정의할 수 있다. 대안적으로, 재고 맵은 상점의 스캔 동안에 로봇 시스템에 의해 기록되는 이미지들로부터 추출되는 슬롯 상태 데이터를 포함하는 스프레드시트, (예를 들어, 슬롯 어드레스에 의한)재고 리스트 등의 형태일 수 있다.
그러나, 시스템은 상점에 대한 제품 위치 데이터베이스, 플래노그램, 또는 슬롯 인덱스 등에 정의되는 재고 요건들로부터 실제 편차들을 식별하기 위해 임의의 다른 방법들 또는 기술들을 구현할 수 있다.
12. 템플릿 이미지 세트 확대
도 4의 일 변형예에서, 시스템이 이미지의 서브영역 내의 객체를 검출하지만 충분한 유사 스코어를 갖는 객체와 매칭되는 템플릿 이미지를 식별하지 못하면, 시스템은 블록(S130)에서 단일 선반, 그 다음, 단일 선반 세그먼트 내의 다수의 선반들, 그 다음, 단일 선반 구조 내의 다수의 선반 세그먼트들, 및 그 다음, 단일 통로 내의 다수의 선반 구조들 등에 할당되는 제품의 템플릿 이미지들을 포함하기 위해 템플릿 이미지 데이터베이스로부터 검색되는 한 세트의 템플릿 이미지들을 확대시킨다. 특히, 시스템은 특정 객체와 가장 조금 매칭되도록 예측되는 제품들을 표현하는 이러한 세트의 템플릿 이미지들이: 상점 도처의 선반들 상에 배치되는 제품들을 식별시 상대적으로 높은 정도의 효율성을 유지하는 동안; 또한 고객들이 제품들을 제거하고 그 다음, 이들 제품들을 상점 도체의 부정확한 위치들에 반환하는 것으로 인해 또는 상점의 점원들에 의해 수행되는 의도적이거나 비의도적인 재고 변경으로 인한 것과 같은, 플래노그램에 의해 정의되는 재고 평면도로부터의 편차를 수용하기 위해 긍정적인 결과들(즉, 긍정적인 매칭들)을 반환하지 못함에 따라 - 이미지의 특정 서브영역에서 검출되는 특정 객체와의 비교를 위해 - 한 세트의 템플릿 이미지들을 증가시킬 수 있다.
예를 들어, 고객은 선반으로부터 아이템(즉, 제품 유닛)을 제거하고고, 아이템을 검사하고, 그 다음, 아이템을 동일한 선반 또는 인근의 상이한 선반에 반환할 수 있다. 다른 예에서, 고객은 선반으로부터 아이템을 제거하고, 그녀의 바구니에 아이템을 놓고, 동일한 통로 아래로 이동하고, 그 다음, 동일한 선반 구조 또는 심지어 대향하는 선반 구조 내의 상이한 선반 세그먼트 상의 선반에 - 예컨대 다른 아이템을 선호하여 - 아이템을 반환할 수 있다. 상술한 바와 같이, 시스템은 템플릿 이미지 선택에서의 상대적으로 높은 정확도 및 상점 도처의 선반들 상의 제품들의 큰 비율(예를 들어, 95+%)의 상대적으로 신속한 식별을 달성하기 위해 단일 선반들(또는 심지어 단일 슬롯들)에 할당되는 제품들을 표현하는 작은 세트들의 템플릿 이미지들을 집계한다. 그러나, 고객들은 쇼핑 동안에 상점 도처의 제품 유닛들을 이동시킬 수 있기 때문에, 시스템은 또한 고객들에 의한 이들 계획되지 않은, 부수적인 재고 변경들을 수용하고 전략적인, 목표화된 세트들의 템플릿 이미지들에 기초하여 그들의 할당된 슬롯들로부터 상대적으로 짧은 거리로 이동될 수 있는 제품 유닛들의 식별을 가능하게 하기 위해 다수의 선반들, 전체 선반 세그먼트, 다수의 선반 세그먼트들, 전체 선반 구조, 2개의 인접한 선반 구조들 등에 할당되는 제품들을 포함하도록 한 세트의 템플릿 이미지들을 확장할 수 있다.
12.1 선반
세그먼트에
대한 확대
일 구현예에서, 시스템은: 상술한 바와 같이, 블록(S122)에서 제1 선반, 제1 선반 및 제2 선반을 포함하는 제1 선반 세그먼트, 제1 선반 세그먼트 및 제2 선반 세그먼트를 포함하는 제1 선반 구조, 및 제1 선반 구조 및 제2 선반 구조를 대면하는 제1 통로를 식별하고; 블록(S122)에서 플래노그램에 의해 제1 제품에 할당되는 제1 선반 상의 제1 슬롯에 대응하는 제1 이미지의 제1 영역 내의 제1 서브영역을 식별하고; 블록(S124)에서 제 이미지의 제1 서브영역으로부터 제1 세트의 피처들을 추출하고; 블록(S150)에서 제1 세트의 피처들에 기초하여 제1 슬롯 내의 객체의 존재를 검출하도록 할당되는 제1 세트의 템플릿 이미지들 또는 제품들을 검색하고; 그 다음, 제1 세트의 피처들과 제1 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들 사이의 약한 상관(예를 들어, 임계 유사성 미만)에 응답하여 객체를 제1 제품들의 리스트 내의 제품이 아닌 것으로서 식별한다.
이러한 구현예에서, 시스템이 제1 슬롯 내의 객체의 존재를 검출하고 제1 선반에 할당되는 제1 제품들의 리스트 내의 제품이 아닌 것으로 객체를 식별하면, 시스템은: 블록(S130)에서 플래노그램에 의해 - 제1 선반 및 추가적인 선반들 및/또는 슬롯들을 포함하는 - 제1 선반 세그먼트에 할당되는 제2 제품들의 리스트를 검색하고; 제2 제품들의 리스트로부터 제1 제품들의 리스트의 제품들을 제거하고; 템플릿 이미지들의 데이터베이스로부터 제2 세트의 템플릿 이미지들을 검색할 수 있으며, 여기서, 제2 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 블록(S140)에서 제2 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함한다. 그 다음, 시스템은 제1 세트의 피처들 내의 피처들과 제2 제품을 표현하는, 제2 세트의 템플릿 이미지들 내의, 제2 템플렛 이미지의 피처들 사이의 상관에 응답하여 블록(S150)에서, 제2 제품들의 리스트 내의, 제2 제품의 유닛으로서 객체를 식별하기 위해 상술한 방법들 및 기술들을 구현할 수 있다. 따라서, 시스템이 제2 제품의 유닛으로서 객체를 식별하면, 시스템은 블록(S160)에서 제1 제품의 유닛으로 - 제1 슬롯을 현재 점유하는 - 제2 제품의 유닛을 대체하기 위해 프롬프트를 생성할 수 있다.
특히, 시스템은 선반에 할당되는 제품들의 템플릿 이미지들의 원본 세트가 객체를 표현하는 이미지의 서브영역에 충분한 매칭을 산출하지 못하면 검출된 객체를 포함하는 단일 선반에 할당되는 제품들의 템플릿 이미지들로부터 전체 선반 세그먼트(또는 선반 세그먼트 내의 다수의 선반들)로 - 검출된 객체를 표현하는 이미지의 서브영역과의 비교를 위해 - 한 세트의 템플릿 이미지들을 확장할 수 있다.
12.2 선반
구조에 대한 확대
대안적으로, 전술한 구현예에서, 시스템은 이미지의 제1 서브영역으로부터 추출되는 제1 세트의 피처들과 제1 선반 세그먼트에 할당되는 제품들의 제2 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들 사이의 약한 상관에 응답하여 블록(S152)에서 제2 제품들의 리스트 내의 제품이 아닌 것으로(즉, 제1 선반을 포함하는 선반 세그먼트에 할당되는 제품이 아닌 것으로) 객체를 식별할 수 있다. 따라서, 제2 제품들의 리스트 내의 제품이 아닌 것으로 객체를 식별하는 것에 응답하여, 시스템은: 블록(S130)에서 플래노그램에 의해 - 제1 선반 세그먼트 및 추가적인 선반 세그먼트들, 선반들, 및/또는 슬롯들을 포함하는 - 제1 선반 구조에 할당되는 제3 제품들의 리스트를 검색하되, 여기서, 제3 제품들의 리스트는 제1 제품들의 리스트 및 제2 제품들의 리스트를 배제하고; 및 블록(S140)에서 템플릿 이미지들의 데이터베이스로부터 제3 세트의 템플릿 이미지들을 검색할 수 있되, 여기서, 제3 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 제3 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함한다. 그 다음, 시스템은 제1 서브세트의 피처들 내의 피처들과 제3 제품을 표현하는, 제3 세트의 템플릿 이미지들 내의, 제3 템플릿 이미지의 피처들 사이의 상관에 응답하여 블록(S150)에서, 제3 제품들의 리스트 내의, 제3 제품의 유닛으로서 객체를 식별할 수 있다. 따라서, 시스템이 제3 제품의 유닛으로서 객체를 식별하면, 시스템은 제1 제품의 유닛으로 - 제1 슬롯을 현재 점유하는 - 제3 제품의 유닛을 교체하기 위해 프롬프르를 생성할 수 있다.
특히, 시스템은 선반 세그먼트에 할당되는 제품들의 이전 세트의 템플릿 이미지들이 독점적으로 객체를 표현하는 이미지의 서브영역에 충분한 매칭을 산출하지 못하면 검출된 객체를 포함하는 단일 선반 세그먼트에 할당되는 제품들의 템플릿 이미지들로부터 전체 선반 구조(또는 선반 구조 내의 다수의 선반 세그먼트들)로 - 검출된 객체를 표현하는 이미지의 서브영역과의 비교를 위해 - 한 세트의 템플릿 이미지들을 확장시킬 수 있다.
12.3
통로에 대한 확대
대안적으로, 전술한 구현예에서, 시스템은 이미지의 제1 서브영역으로부터 추출되는 제1 세트의 피처들과 제1 선반 구조에 할당되는 제품들의 제3 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들 사이의 약한 상관에 응답하여 블록(S152)에서 제3 제품들의 리스트 내의 제품이 아닌(즉, 제1 선반 세그먼트를 포함하는 선반 구조에 할당되는 제품이 아닌) 것으로서 객체를 식별할 수 있다. 따라서, 제3 제품들의 리스트 내의 제품이 아닌 것으로 객체를 식별하는 것에 응답하여, 시스템은: 블록(S130)에서 플래노그램에 의해 - 제1 선반 구조 및 추가적인 선반 구조들, 선반 세그먼트들, 선반들, 및/또는 슬롯들을 포함하는 - 제1 통로에 할당되는 제4 제품들의 리스트를 검색하되, 여기서, 제4 제품들의 리스트는 제1, 제2, 및 제3 제품들의 리스트들을 배제하고; 블록(S140)에서 템플릿 이미지의 데이터베이스로부터 제4 세트의 템플릿 이미지들을 검색할 수 있되, 여기서, 제4 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 제4 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함한다. 그 다음, 시스템은 제1 서브세트의 피처들 내의 피처들과 제4 제품을 표현하는, 제4 세트의 템플릿 이미지들 내의, 제4 템플릿 이미지의 피처들 사이의 상관에 응답하여 블록(S150)에서, 제4 제품들의 리스트 내의, 제4 제품의 유닛으로서 객체를 식별할 수 있다. 따라서, 시스템이 제4 제품의 유닛으로서 객체를 식별하면, 시스템은 제1 제품의 유닛으로 - 제1 슬롯을 현재 점유하는 - 제4 제품의 유닛을 대체하기 위해 프롬프트를 생성할 수 있다.
특히, 시스템은 선반 구조에 할당되는 제품들의 이전 세트의 템플릿 이미지들이 독점적으로 객체를 표현하는 이미지의 서브영역에 충분한 매칭을 산출하지 못하면 검출된 객체를 포함하는 단일 선반 구조에 할당되는 제품들의 템플릿 이미지들로부터 전체 통로(또는 통로 내의 다수의 선반 구조들)로 - 검출된 객체를 표현하는 이미지의 서브영역과의 비교를 위해 - 한 세트의 템플릿 이미지들을 확장시킬 수 있다.
시스템은 매칭이 발견될 때까지 또는 제한, 예컨대: 제1 슬롯에서 객체를 식별하기 위해 할당되는 최대 시간; 최대 템플릿 이미지 설정 크기; 등이 도달될 때까지 시간에 걸쳐 다수의 통로들 내의 선반 구조들, 상점의 섹션 내의 선반 구조들, 또는 전체 상점에 할당되는 제품들로 한 세트의 템플릿 이미지들을 확장시키기 위해 이러한 과정을 반복할 수 있다.
이러한 변형예에서, 시스템은 상점 도처의 모든 슬롯들 내의 객체들에 대한 식별 시도들을 중단하기 위한 정적 제한들을 구현할 수 있다. 대안적으로, 시스템은 상점 도처의 모든 슬롯들 내의 객체들에 대한 식별 시도들을 중단하기 위한 커스텀(custom) 또는 동적 제한들을 구현할 수 있다. 예를 들어, 시스템은 미국 특허 출원 번호 제 15/347,689호에 설명되는 바와 같이, 마진, 수요, 상점에 대한 가치(예를 들어, 마진 및 수요의 선형 조합), 비용 등에 비례하여 제한을 설정할 수 있다.
그러나, 시스템은 블록들(S150 및 S152)에서 이미지의 영역 또는 서브영역과의 비교를 위해 한 세트의 템플릿 이미지들 선택 및 확장하도록 임의의 다른 방법들 또는 기술들을 구현할 수 있다.
14. 출력
방법(S100)의 블록(S160)은 제1 제품의 유닛이 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 것에 응답하여, 제1 선반 상의 제1 제품에 대한 제1 재입고 프롬프트를 생성하는 것을 상술한다. 일반적으로, 블록(S160)에서, 시스템은 상점 내의 하나 이상의 슬롯들, 선반들, 선반 세그먼트들, 선반 구조들 등의 재고 상태를 현재의 상점의 현재 플래노그램으로부터 검출된 편차에 응답하여 상점 도처의 선반들 상의 제품들의 존재, 위치들, 및/또는 방향들을 수동으로 정정하기 위한 프롬프트를 포함하는 것과 같은, 상점과 연관되는 엔티티(entity)에 제공한다.
14.1 재고 맵
도 2에 도시된 일 구현예에서, 시스템은 스캔 동안에 로봇 시스템에 의해 촬영되는 상점의 (실질적으로) 모든 슬롯들의 슬롯 상태 데이터를 포함하는 재고 맵(stock map)을 출력한다. 예를 들어, 재고 맵은 상점 내의 각각의 선반 구조에 대해 하나의 2D 오버레이(overlay)를 포함할 수 있으며, 여기서, 각각의 2D 오버레이는 선반 구조 내의 각각의 슬롯에 할당되는 전체 제품 페이싱들의 비율(예를 들어, 1/2, 50%)의 숫자 표시기, 및 선반 구조의 슬롯들에서 빈, 재고 부족한, 부적절하게 재고된, 및 오배향된 제품 페이싱들에 대한 컬러-코드화된 플래그들을 포함하는 선반 구조 내의 별개 슬롯들을 묘사하는 벡터화된 라인 맵을 정의한다. 시스템은 도 5에 도시된 바와 같이, 대응하는 선반 구조들의 파노라마 이미지들에 걸쳐 이들 2D 오버레이들을 정렬시키고 그 다음, 이들 합성 이미지들을 관리자 포털을 통해 점원(또는 관리자, 회사 대표)에 제공할 수 있으며, 그것에 의해 점원이 상점의 실제 시각적 데이터 및 이들 시각적 데이터로부터 추출되는 정량적 및 정성적 재고 데이터 둘 다를 볼 수 있게 한다.
14.2 전자 재입고 리스트
시스템은 추가적으로 또는 대안적으로 제품의 추가, 제품의 교환, 또는 제품의 교정과 같은, 상점 도처의 정정이 필요로 필터링된 슬롯 리스트를 포함하는 전자 재입고 리스트를 생성한다. 예를 들어, 시스템은 도 2 및 도 5에 도시된 바와 같이, 이러한 리스트에서 각각의 부적절하게 재고된 슬롯에 대한 잘못된 재고(mis-stocking) 모드(예를 들어, 너무 많은 페이싱들, 너무 적은 페이싱들, 오배향된 패키징, 손상된 패킹, 구식 패키징 등)를 포함하는 것과 같은, 상점 도처의 부적절하게 재고된 슬롯들의 재고 상태 그래프, 테이블, 또는 리스트를 생성할 수 있다 이러한 구현예에서, 시스템은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 또는 스마트톤 등 상에서 실행하는 것과 같은, 관리자 포털을 통해 이러한 그래프, 테이블, 또는 리스트를 상점의 관리자에게 제공할 수 있다.
시스템은 또한 부적절하게 재고된 슬롯들을 정정하기 위해 재고 정정 작업 리스트를 생성할 수 있다. 이러한 구현예에서, 시스템은 오배치 제품들을 이동시키고, 빈 또는 부적절하게 재고된 슬롯들을 재입고시키는 등 우선 순위화된 작업 리스트를 생성하고 그 다음, 점원에 의해 운반되는 모바일 컴퓨팅 장치(예를 들어, 태블릿, 스마트폰) 상에서 실행되는 네이티브 재고 애플리케이션을 통해 상점의 점원(예를 들어, 종업원)에게 이러한 작업 리스트를 제공할 수 있다. 이러한 구현예에서, 시스템은 상점 도처의 부적절하게 재고된 슬롯들을 정정하기 위해 이러한 작업 리스트를 우선 순위화하도록 미국 특허 출원 번호 제15/347,689호에 설명되는 방법들 및 기술들을 구현할 수 있다.
일 예에서, 시스템은: 블록(S152)에서 상점의 제1 선반 상의 제1 슬롯으로부터 제1 제품의 누락을 전체적으로 검출하고; 플래노그램에 의해 제1 슬롯에 할당되는 제1 제품의 유닛의 제1 개수를 검색하고; 제1 제품의 식별자(예를 들어, SKU), 제1 슬롯에 할당되는 제1 제품의 유닛들의 개수, 제1 선반 상의 제1 슬롯의 위치, 및 상점 내의 제1 선반의 위치를 특정하는 통지를 생성하고; 그 다음, 블록(S160)에서 실질적으로 상점의 점원에 할당되는 모바일 컴퓨팅 장치로 통지를 전송한다. 이러한 예에서, 시스템은 예컨대 제1 제품이 상점에서 높은-트래픽 기간 동안에 비어 있는 것으로 결정되는 고가 제품이면, 실시간으로 통지를 점원에게 전송할 수 있다. 대안적으로, 시스템은 로봇 시스템이 상점의 스캔을 완료하고, 상점의 전체 재고 상태가 이들 스캔 데이터로부터 결정되고, 재입고 프롬프트들의 리스트가 이들 재고 부족 또는 잘못된 재고 제품들의 값들에 따라 정돈될 때까지 점원에게 통지를 전송하는 것을 지연할 수 있다.
이러한 구현예에서, 시스템은 작업들을 종료하기 위해 네이티브 재고 애플리케이션을 통해 점원으로부터 입력을 수신하고, 시스템은 나중에 이들 작업들이 상점 내의 다음 스캔 사이클 동안 로봇 시스템에 의해 수집되는 이미지들에 기초하여 적절하게 종료되었는지를 확인할 수 있다. 그러나, 시스템은 블록(S160)에서 임의의 다른 포맷으로 재고 상태 데이터를 출력할 수 있다.
14.3 품절 제품들 수용
블록(S160)에서, 시스템은 또한 이러한 재입고 프롬프트들에 응답하도록 요구되는 제품 유닛들의 현재 이용 가능성에 기초하여 재입고 프롬프트들을 선택적으로 비활성화 또는 폐기할 수 있다. 특히, 시스템이 특정 슬롯이 부족하거나, 부적절하거나, 잘못 재고된 것으로 결정하면, 시스템은 특정 슬롯에 할당되는 제품의 추가적인 유닛들이 현대 이용 가능한지를 결정하기 위해 백-오브-스토어 재고(inventory) 관리자와 인터페이스할 수 있으며; 그러한 경우, 시스템은 슬롯에 대한 재입고 프롬프트를 상점의 점원에 제공할 수 있으며; 그렇지 않으면, 시스템은 재입고 프롬프트를 폐기할 수 있다.
더욱이, 플래노그램에 의해 상점의 슬롯에 할당되는 제1 제품의 추가적인 유닛들이 현재 이용 가능하지 않으면, 상점의 점원들 또는 관리자들은 이용 가능한 제2 제품을 이러한 슬롯으로 이동시킬 수 있다. 플래노그램으로부터 벗어나지만, 따라서, 슬롯은 제2 제품에 의해 채워질 수 있으며, 이는 빈 상태로 남아 있는 슬롯보다 (시각적으로 및 금전상으로) 더욱 바람직할 수 있다. 따라서, 시스템은 제1 제품에 할당되는 슬롯 내의 제2 제품의 유닛을 검출하고, 제1 제품이 상점에 재고되어 있지 않다는 것을 체크하고, 제1 제품의 추가적인 유닛들이 상점에서 이용 가능하게 될 때까지 제2 제품을 슬롯에 할당하기 위해 플래노그램을 일시적으로 갱신함으로써 실시간으로 이러한 수동 변경을 수용할 수 있다. 이러한 예에서, 시스템은 또한 슬롯에 인접한 선반 태그를 검출하고, 선반 태그가 제2 제품에 대응한다는 것을 확인하고, 제2 제품과 인접한 선반 태그 사이의 매칭에 따라 제2 제품에 대한 슬롯의 일시적인 재할당을 수용하기 위해 상술한 방법들 및 기술들을 구현할 수 있다.
예를 들어, 객체를 포함하는 슬롯에 할당되는 제1 제품의 유닛 이외의 제2 제품의 유닛으로서 이미지의 영역에 표현되는 객체를 식별하는 것에 응답하여, 시스템은 상점에서 제1 제품의 유닛들의 이용 가능한 재고를 액세스할 수 있다. 따라서, 상점에서 제1 제품의 유닛들의 이용 가능성의 부족이 확인되면, 시스템은: 제1 제품의 유닛으로 - 제1 슬롯을 현재 점유하는 - 제2 제품의 유닛을 대체하기 위해 프롬프트를 보류하고; 플래노그램에서, 제1 제품 대신에, 제2 제품을 제1 슬롯에 일시적으로 기록할 수 있다.
14.4 할당된 슬롯으로 제품 전송
프롬프팅
시스템이 플래노그램에 의해 제1 제품에 할당되는 제1 슬롯에서 제2 제품의 유닛을 검출하는 상술한 구현예에서, 시스템은: 제1 슬롯에 가장 가깝고 제2 제품에 할당되는 제2 슬롯에 대한 플래노그램을 스캔하고; 그 다음, 제1 슬롯으로부터 제2 슬롯으로 제2 제품의 유닛을 이동시키기 위한 제2 프롬프트를 생성할 수 있다. 따라서, 이러한 구현예에서, 시스템은 상점 도처의 다수의 슬롯들에 걸쳐 검출되는 플래노그램 편차들을 상점의 점원들이 슬롯들을 재입고하고 온-플로어 제품을 향상된 효율성을 갖는 그들의 정확한 슬롯들에 재분배할 수 있게 하는 수정된(예를 들어, 개선된) 세트의 프롬프트들 또는 작업들로 결합시킬 수 있다. 예를 들어, 시스템은: 제1 슬롯에 현재 저장되는 제2 제품의 유닛을 제1 제품의 유닛으로 대체하기 위한 제1 프롬프트를 - 상점의 점원에게 - 제공하고; 제2 제품에 할당되고 현재 부족하게 재고된 가장 가까운 슬롯에 제2 제품을 반환하기 위해 제1 프롬프트와 제2 프롬프트를 페어링할 수 있다.
시스템은 로봇 시스템에 의해 실행되는 각각의 스캔 사이클 동안 전술한 방법들 및 기술들을 반복할 수 있다. 예를 들어, 시스템은 상점이 다음날 아침에 개장하기 전에 재고 상태 맵 및 재고 정정 작업 리스트를 생성하기 위해 상점이 폐쇄된 후 매일 밤 로봇 시스템에 의해 수행되는 스캔 사이클들 이후에 전술한 방법들 및 기술들을 반복할 수 있다.
본원에서 설명되는 시스템들 및 방법들은 컴퓨터 판독가능 명령어들을 저장하는 컴퓨터 판독가능 매체를 수용하도록 구성되는 기계로서 적어도 부분적으로 구체화되고/되거나 구현될 수 있다. 명령어들은 애플리케이션, 애플릿, 호스트, 서버, 네트워크, 웹사이트, 통신 서비스, 통신 인터페이스, 사용자 컴퓨터 또는 모바일 장치의 하드웨어/팜웨어/소프트웨어 요소들, 손목밴드, 스마트폰, 또는 그 임의의 적절한 조합과 통합되는 컴퓨터 실행가능 구성요소들에 의해 실행될 수 있다. 본 실시예의 다른 시스템들 및 방법들은 컴퓨터 판독가능 명령어들을 저장하는 컴퓨터 판독가능 매체를 수용하도록 구성되는 기계로서 적어도 부분적으로 구체화되거나 구현될 수 있다. 명령어들은 상술한 타입의 장치들 및 네트워크들과 통합되는 컴퓨터 실행가능 구성요소들에 의해 통합되는 컴퓨터 실행가능 구성요소들에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 임의의 적절한 컴퓨터 판독가능 매체 예컨대 RAM들, ROM들, 플래시 메모리, EEPROM들, 광학 장치들(CD 또는 DVD), 하드 드라이브들, 플로피 드라이브들, 또는 임의의 적절한 장치들 상에 저장될 수 있다. 컴퓨터 실행가능 구성요소는 프로세서일 수 있지만 임의의 적절한 전용 하드웨어 장치가 대안적으로 또는 추가적으로 명령어들을 실행시킬 수 있다.
당업자는 이전의 상세 설명으로부터 그리고 도면 및 특허청구범위로부터, 수정들 및 변경들이 이하의 특허청구범위에 정의되는 바와 같은 본 발명의 범위로부터 벗어나는 것 없이 본 발명의 실시예들에 이루어질 수 있다는 것을 인식할 것이다.
Claims (20)
- 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 이미지의 상기 제1 영역으로부터 상기 제1 세트의 피처들을 추출하는 단계는:
상기 제1 이미지의 상기 제1 영역으로부터, 상기 제1 선반에 걸쳐 배열되는 한 세트의 별개 객체들을 검출하는 단계;
상기 제1 선반 상의 제1 위치에 위치되는, 상기 한 세트의 별개 객체들 내의, 제1 별개 객체에 대응하는 상기 제1 이미지의 상기 제1 영역 내의 제1 서브영역을 식별하는 단계; 및
상기 제1 이미지의 상기 제1 영역 내의 상기 제1 서브영역으로부터 상기 제1 세트의 피처들을 추출하는 단계를 포함하고;
상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계는 상기 제1 세트의 피처들 내의 피처들과 상기 제1 제품을 표현하는 상기 제1 템플릿 이미지 내의 피처들 사이의 상관에 응답하여 상기 제1 제품의 상기 유닛으로서 상기 제1 별개 객체를 식별하는 단계를 포함하는 방법. - 삭제
- 제1항에 있어서,
상기 제1 선반 상의 제2 위치에 위치되는, 상기 한 세트의 별개 객체들 내의, 제2 별개 객체에 대응하는 상기 제1 이미지의 상기 제1 영역 내의 제2 서브영역을 식별하는 단계;
상기 제1 이미지의 상기 제1 영역 내의 상기 제2 서브영역으로부터 제2 세트의 피처들을 추출하는 단계;
상기 제2 세트의 피처들 내의 피처들과 제2 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제2 템플릿 이미지의 피처들 사이의 상관에 응답하여, 상기 제1 제품들의 리스트 내의, 제2 제품의 유닛으로서 상기 제2 별개 객체를 식별하는 단계; 및
상기 제1 별개 객체를 상기 제1 제품의 상기 유닛으로서 식별하는 단계 및 상기 제2 별개 객체를 상기 제2 제품의 상기 유닛으로서 식별하는 단계에 응답하여, 상기 플래노그램에 의해 상기 제1 선반 상의 상기 제1 제품 및 상기 제2 제품에 할당되는 목표 측면 오프셋으로부터 벗어나는 상기 제1 위치와 상기 제2 위치 사이의 측면 오프셋에 응답하여 상기 제1 제품의 상기 유닛 및 상기 제2 제품의 상기 유닛의 부적절한 배열을 검출하는 단계를 더 포함하고;
상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제1 선반 상의 상기 제1 제품 및 상기 제2 제품의 부적절한 배열을 검출하는 단계에 응답하여 상기 제1 제품의 상기 유닛 및 상기 제2 제품의 상기 유닛의 상대적인 위치들의 정정을 특정하는 상기 제1 재입고 프롬프트를 생성하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 선반 상의 제1 제품의 상기 유닛의 존재를 확인하는 단계는 상기 제1 제품을 표현하는 상기 제1 템플릿 이미지 내의 피처들에 강한 상관을 나타내는 상기 제1 세트의 피처들 내의 피처들의 별개 클러스터들(clusters)에 응답하여 상기 제1 선반 상의 상기 제1 제품의 한 세트의 별개 유닛들의 존재를 확인하는 단계를 포함하며;
상기 제1 선반 상의 상기 제1 제품의 상기 한 세트의 별개 유닛들 내의 상기 제1 제품의 유닛들의 카운트를 생성하는 단계;
상기 플래노그램에 의해 상기 제1 선반에 할당되는 상기 제1 제품의 페이싱들(facings)의 양과 동일한 상기 카운트에 응답하여 상기 제1 선반 상의 상기 제1 제품의 적절한 재고(stocking)를 확인하는 단계; 및
상기 플래노그램에 의해 상기 제1 선반에 할당되는 상기 제1 제품의 페이싱들의 상기 양으로부터 벗어나는 상기 카운트에 응답하여 상기 제1 선반 상의 상기 제1 제품의 부적절한 재고를 검출하는 단계를 더 포함하고;
상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제1 선반 상의 상기 제1 제품의 부적절한 재고를 검출하는 단계에 응답하여 상기 제1 선반 상의 상기 제1 제품의 페이싱들의 정정을 특정하는 상기 제1 재입고 프롬프트를 생성하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 영역 아래의 상기 제1 이미지의 제2 영역에 표현되는 제2 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제2 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제2 선반의 어드레스를 결정하는 단계;
상기 제2 선반의 상기 어드레스에 기초하여, 상기 플래노그램에 의해 상기 제2 선반에 할당되는 제2 제품들의 리스트를 검색하는 단계;
상기 템플릿 이미지들의 데이터베이스로부터 제2 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제2 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 상기 제2 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함하는 상기 단계;
상기 제1 이미지의 상기 제2 영역으로부터 제2 세트의 피처들을 추출하는 단계;
상기 제2 세트의 피처들 내의 피처들과 상기 제2 제품을 표현하는, 상기 제2 세트의 템플릿 이미지들 내의, 제2 템플릿 이미지의 피처들 사이의 제1 상관 정도에 응답하여 상기 제2 선반 상의, 상기 제2 제품들의 리스트 내의, 제2 제품의 유닛의 존재를 확인하는 단계;
상기 제2 세트의 피처들 내의 피처들과 상기 제2 템플릿 이미지 내의 피처들 사이의, 상기 제1 상관 정도 미만인, 제2 상관 정도에 응답하여 상기 제2 제품의 유닛이 상기 제2 선반 상에 부적절하게 재고되어 있다고 결정하는 단계;
상기 제2 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제2 선반 상의 상기 제2 제품에 대한 제2 재입고 프롬프트를 생성하는 단계; 및
상기 제1 재입고 프롬프트 및 상기 제2 재입고 프롬프트를 전역(global) 전자 재입고 리스트로 컴파일링하는 단계를 더 포함하는 방법. - 제1항에 있어서,
상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계는:
상기 제1 이미지의 상기 제1 영역으로부터 추출되는 상기 제1 세트의 피처들 내의 피처들을 상기 제1 제품의 상기 제1 템플릿 이미지에 정의되는 제1 피처들의 그룹에 매칭시키는 단계;
상기 제1 이미지의 상기 제1 영역으로부터 추출되는 상기 제1 세트의 피처들로부터, 상기 제1 템플릿 이미지에 정의되는, 제2 피처들의 그룹의 부재를 확인하는 단계; 및
상기 제1 피처들의 그룹과 매칭되는 피처들을 포함하는 상기 제1 세트의 피처들에 응답하여 목표 방향 이외에서 상기 선반 상의 상기 제1 제품의 상기 유닛의 방향을 검출하고 상기 제1 제품을 표현하는 상기 제1 템플릿 이미지 내의 상기 제2 피처들의 그룹을 생략하는 단계를 포함하고;
상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 목표 방향이 아닌 상기 선반 상의 상기 제1 제품의 상기 유닛의 방향을 검출하는 단계에 응답하여 상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 방향을 정정하기 위한 상기 제1 재입고 프롬프트를 생성하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 이미지의 상기 제1 영역의 하단 에지 근위에 있는 제1 선반 태그를 식별하는 단계;
상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계에 응답하여, 상기 제1 선반 태그의 좌측 수직 에지에서 상기 제1 제품의 상기 유닛의 좌측 수직 에지까지의 수평 거리를 추출하는 단계; 및
임계 거리를 초과하는 상기 수평 거리에 응답하여, 상기 제1 제품의 상기 유닛이 상기 제1 선반 상에서 오배향된 것으로 결정하는 단계를 더 포함하고;
상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제1 제품의 상기 유닛이 상기 제1 선반 상에 오배향된 것으로 결정하는 단계에 응답하여 상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 방향을 정정하기 위한 상기 제1 재입고 프롬프트를 생성하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 이미지의 상기 제1 영역으로부터 상기 제1 세트의 피처들을 추출하는 단계는:
상기 플래노그램에 의해 상기 제1 제품에 할당되는 상기 제1 선반 상의 제1 슬롯에 대응하는 상기 제1 이미지의 상기 제1 영역의 제1 서브영역을 식별하는 단계; 및
상기 제1 이미지의 상기 제1 서브영역으로부터 제1 서브세트의 피처들을 추출하는 단계를 포함하고;
상기 제1 제품의 상기 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계는:
상기 제1 템플릿 이미지 내의 피처들에 대한 임계 상관 미만을 나타내는 상기 제1 서브세트의 피처들에 응답하여 상기 제1 선반 상의 상기 제1 슬롯으로부터 상기 제1 제품의 상기 유닛의 생략을 검출하는 단계; 및
상기 제1 서브세트의 피처들 내의 피처들과 빈 선반들을 표현하는 제2 세트의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의 상기 제1 슬롯을 빈 것으로 식별하는 단계를 포함하고;
상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제1 선반 상의 상기 제1 슬롯을 빈 것으로 식별하는 단계에 응답하여 상기 제1 제품의 상기 유닛들로 상기 제1 선반 상의 상기 제1 슬롯을 채우기 위한 상기 제1 재입고 프롬프트를 생성하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 선반의 상기 어드레스를 결정하는 단계는 상기 제1 선반, 상기 제1 선반 및 제2 선반을 포함하는 제1 선반 세그먼트, 상기 제1 선반 세그먼트 및 제2 선반 세그먼트를 포함하는 제1 선반 구조, 및 상기 제1 선반 구조 및 제2 선반 구조를 대면하는 제1 통로를 식별하는 단계를 포함하고;
상기 제1 이미지의 상기 제1 영역으로부터 상기 제1 세트의 피처들을 추출하는 단계는:
상기 플래노그램에 의해 상기 제1 제품에 할당되는 상기 제1 선반 상의 제1 슬롯에 대응하는 상기 제1 이미지의 상기 제1 영역 내의 제1 서브영역을 식별하는 단계; 및
상기 제1 이미지의 상기 제1 서브영역으로부터 상기 제1 세트의 피처들을 추출하는 단계를 포함하고;
상기 제1 제품의 상기 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계는:
상기 제1 세트의 피처들에 기초하여 상기 제1 슬롯 내의 객체의 존재를 검출하는 단계; 및
제1 세트의 피처들과 상기 제1 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들 사이의 임계 유사성 미만에 응답하여 상기 제1 제품들의 리스트 내의 제품이 아닌 것으로 객체를 식별하는 단계를 포함하고;
상기 제1 슬롯의 상기 객체의 존재를 검출하는 단계 및 상기 제1 제품들의 리스트 내의 제품이 아닌 것으로 상기 객체를 식별하는 단계에 응답하여:
상기 플래노그램에 의해 상기 제1 선반 세그먼트에 할당되는 제2 제품들의 리스트를 검색하는 단계로서, 상기 제2 제품들의 리스트는 상기 제1 제품들의 리스트를 배제하는 상기 단계;
상기 템플릿 이미지들의 데이터베이스로부터 제2 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제2 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 상기 제2 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함하는 상기 단계; 및
상기 제1 세트의 피처들 내의 피처들과 상기 제2 제품을 표현하는, 상기 제2 세트의 템플릿 이미지들 내의, 제2 템플릿 이미지의 피처들 사이의 상관에 응답하여, 상기 제2 제품들의 리스트 내의, 제2 제품의 유닛으로서 상기 객체를 식별하는 단계를 더 포함하고;
상기 제1 재입고 프롬프트를 생성하는 단계는 상기 객체를 상기 제2 제품의 상기 유닛으로서 식별하는 단계에 응답하여, 상기 제1 슬롯을 현재 점유하는 상기 제2 제품의 상기 유닛을 상기 제1 제품의 유닛으로 대체하기 위한 프롬프트를 생성하는 단계를 포함하는 방법. - 제9항에 있어서,
상기 객체를 상기 제2 제품의 유닛으로서 식별하는 단계에 응답하여:
상기 제1 슬롯에 가장 가깝고 상기 제2 제품에 할당되는 제2 슬롯에 대한 상기 플래노그램을 스캔하는 단계; 및
상기 제2 제품의 상기 유닛을 상기 제2 슬롯으로 이동시키기 위한 제2 프롬프트를 생성하는 단계를 더 포함하는 방법. - 제9항에 있어서,
상기 객체를 상기 제2 제품의 상기 유닛으로서 식별하는 단계에 응답하여:
상기 상점에서 상기 제1 제품의 유닛들의 이용 가능한 재고(inventory)를 액세스하는 단계;
상기 상점에서 상기 제1 제품의 유닛들의 이용 가능성의 부족에 응답하여:
상기 제1 슬롯을 현재 점유하는 상기 제2 제품의 상기 유닛을 상기 제1 제품의 유닛으로 대체하기 위한 상기 프롬프트를 보류하는 단계; 및
상기 플래노그램에, 상기 제1 제품 대신에, 상기 제1 슬롯에 상기 제2 제품을 일시적으로 기록하는 단계를 더 포함하는 방법. - 제9항에 있어서,
상기 제1 세트의 피처들과 상기 제2 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들 사이의 임계 유사성 미만에 응답하여 상기 제2 제품들의 리스트 내의 제품이 아닌 것으로서 상기 객체를 식별하는 단계;
상기 제2 제품들의 리스트 내의 제품이 아닌 것으로 상기 객체를 식별하는 단계에 응답하여:
상기 플래노그램에 의해 상기 제1 선반 구조에 할당되는 제3 제품들의 리스트를 검색하는 단계로서, 상기 제3 제품들의 리스트는 상기 제1 제품들의 리스트 및 상기 제2 제품들의 리스트를 배제하는 상기 단계;
상기 템플릿 이미지들의 데이터베이스로부터 제3 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제3 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 상기 제3 제품들의 리스트에 특정되는 제품의 시각적 피처를 포함하는 상기 단계; 및
제1 서브세트의 피처들 내의 피처들과 상기 제3 제품을 표현하는, 상기 제3 세트의 템플릿 이미지들 내의, 제3 템플릿 이미지의 피처들 사이의 상관에 응답하여, 상기 제3 제품들의 리스트 내의, 제3 제품의 유닛으로서 상기 객체를 식별하는 단계를 더 포함하고;
상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제3 제품의 상기 유닛으로서 상기 객체를 식별하는 단계에 응답하여, 상기 제1 슬롯을 현재 점유하는 상기 제3 제품의 상기 유닛을 상기 제1 제품의 유닛으로 대체하기 위한 프롬프트를 생성하는 단계를 포함하는 방법. - 제12항에 있어서,
상기 제1 세트의 피처들과 상기 제3 세트의 템플릿 이미지들 내의 템플릿 이미지들의 피처들 사이의 임계 유사성 미만에 응답하여 상기 제3 제품들의 리스트 내의 제품이 아닌 것으로서 상기 객체를 식별하는 단계;
상기 제3 제품들의 리스트 내의 제품이 아닌 것으로 상기 객체를 식별하는 단계에 응답하여:
상기 플래노그램에 의해 상기 제1 통로에 할당되는 제4 제품들의 리스트를 검색하는 단계로서, 상기 제4 제품들의 리스트는 상기 제1 제품들의 리스트, 상기 제2 제품들의 리스트, 및 상기 제3 제품들의 리스트를 배제하는 상기 단계;
상기 템플릿 이미지들의 데이터베이스로부터 제4 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제4 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 상기 제4 제품들의 리스트에 특정되는 제품의 시각적 피처를 포함하는 상기 단계; 및
상기 제1 세트의 피처들 내의 피처들과 상기 제4 제품을 표현하는, 상기 제4 세트의 템플릿 이미지들 내의, 제4 템플릿 이미지의 피처들 사이의 상관에 응답하여, 상기 제4 제품들의 리스트 내의, 상기 제4 제품의 유닛으로서 상기 객체를 식별하는 단계를 더 포함하고;
상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제4 제품의 상기 유닛으로서 상기 객체를 식별하는 단계에 응답하여, 상기 제1 슬롯을 현재 점유하는 상기 제4 제품의 상기 유닛을 상기 제1 제품의 유닛으로 대체하기 위한 프롬프트를 생성하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 템플릿 이미지들의 데이터베이스로부터 상기 제1 세트의 템플릿 이미지들을 검색하는 단계는 현재 패키징의 상기 제1 제품의 상기 제1 템플릿 이미지 및 상기 현재 패키징과 상이한 이전 패키징의 상기 제1 제품의 제2 템플릿 이미지를 검색하는 단계를 포함하며;
상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계는:
상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상에서, 상기 현재 패키징의, 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계; 및
상기 제1 세트의 피처들 내의 피처들과 상기 제2 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상에서, 상기 이전 패키징의, 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계를 포함하며;
ㆍ상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제1 선반 상의 상기 이전 패키징의 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계에 응답하여, 상기 이전 패키징의 상기 제1 제품의 상기 유닛을 상기 현재 패키징의 상기 제1 제품의 유닛으로 대체하기 위한 상기 제1 재입고 프롬프트를 생성하는 단계를 포함하는 방법. - 제14항에 있어서,
상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 및 상기 제2 템플릿 이미지 내의 피처들 사이의 상관에 응답하고 상기 제1 템플릿 이미지 및 상기 제2 템플릿 이미지에 고유한 피처들을 포함하는 상기 제1 세트의 피처들에 응답하여 상기 제1 선반 상에서, 새로운 패키징의, 상기 제1 제품의 상기 유닛의 존재를 예측하는 단계;
상기 새로운 패키징의 상기 제1 제품의 상기 유닛에 대응하는 상기 제1 이미지의 상기 제1 영역의 서브영역을 상기 새로운 패키징의 상기 제1 제품의 새로운 템플릿 이미지로 저장하는 단계;
상기 새로운 템플릿 이미지를 상기 템플릿 이미지들의 데이터베이스에 기록하는 단계; 및
상기 제1 제품의 재고 이미지를 상기 새로운 패키징으로 공급하기 위한 프롬프트를 생성하는 단계를 더 포함하는 방법. - 제1항에 있어서,
상기 템플릿 이미지들의 데이터베이스로부터 상기 제1 세트의 템플릿 이미지들을 검색하는 단계는 한 세트의 다차원 벡터들을 검색하는 단계를 포함하는 것으로서, 상기 한 세트의 다차원 벡터들 내의 각각의 다차원 벡터는 상기 제1 제품들의 리스트 내의 제품을 나타내는 피처들을 정의하는 상기 단계를 포함하고;
상기 제1 이미지의 상기 제1 영역으로부터 상기 제1 세트의 피처들을 추출하는 단계는:
제1 별개 객체의 경계를 표현하는 상기 제1 이미지의 상기 제1 영역 내의 제1 서브영역을 식별하는 단계; 및
컴퓨터 비전 기술들을 구현히여 상기 제1 이미지의 상기 제1 영역 내의 상기 제1 서브영역으로부터 기하학적 구조, 컬러, 및 텍스트 피처들을 포함하는 상기 제1 세트의 피처들을 검출 및 추출하는 단계를 포함하고;
상기 제1 선반 상의 상기 제1 제품의 상기 유닛의 존재를 확인하는 단계는:
상기 제1 세트의 피처들 내의 피처들과 상기 제1 제품을 표현하는, 상기 한 세트의 다차원 벡터들 내의, 제1 다차원 벡터에 의해 정의되는 피처들 사이의 상관들에 대한 종합 스코어(composite score)를 산출하는 단계; 및
상기 종합 스코어가 임계 스코어를 초과하는 것에 응답하여 상기 제1 제품의 상기 유닛으로서 상기 제1 객체를 식별하는 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 이미지의 상기 제1 영역 근위에 표현되는 상기 제1 선반을 검출하는 단계는:
상기 제1 이미지에 걸쳐 측면으로 연장되는 제1 선형 피처를 검출하는 단계;
상기 제1 선형 피처와 제1 선반 세그먼트 내의 상기 제1 선반을 상관시키는 단계;
상기 제1 선형 피처 위로 상기 제1 이미지에 걸쳐 측면으로 연장되는 제2 선형 피처를 검출하는 단계;
상기 제2 선형 피처와 상기 제1 선반 세그먼트 내의 상기 제1 선반 위의 제2 선반과 상관시키는 단계;
상기 제1 이미지에서 상기 제1 선형 피처 근위로부터 상기 제2 선형 피처 근위로 연장되는 상기 제1 이미지의 상기 제1 영역의 경계를 표현하는 단계로서, 상기 제1 영역은 상기 제1 선반의 액세스 가능한 볼륨(volume)에 대응하는 상기 단계를 포함하는 방법. - 상점의 선반들 상의 제품들의 배치를 추적하는 방법에 있어서,
제1 시간에 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제1 이미지를 액세스하는 단계로서, 상기 제1 이미지는 상기 제1 시간에 상기 상점 내의 상기 모바일 로봇 시스템의 제1 위치 및 제1 방향과 연관됨;
상기 제1 이미지의 제1 영역 근위에 표현되는 제1 선반을 검출하는 단계;
상기 제1 이미지 내의 상기 제1 선반의 상기 제1 위치, 상기 제1 방향, 및 수직 위치에 기초하여 상기 제1 선반의 어드레스를 결정하는 단계;
상기 제1 선반의 상기 어드레스에 기초하여, 상기 상점의 플래노그램(planogram)에 의해 상기 제1 선반에 할당되는 제1 제품들의 리스트를 검색하는 단계;
템플릿 이미지들의 데이터베이스로부터 제1 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제1 세트의 템플릿 이미지들의 각각의 템플릿 이미지는 상기 제1 제품들의 리스트에 특정되는 제품의 시각적 피처들(features)을 포함함;
상기 제1 이미지의 상기 제1 영역으로부터 제1 세트의 피처들을 추출하는 단계;
상기 제1 세트의 피처들의 피처들과 상기 제1 제품을 표현하는, 상기 제1 세트의 템플릿 이미지들 내의, 제1 템플릿 이미지의 피처들 사이의 상관에 응답하여 상기 제1 선반 상의, 상기 제1 제품들의 리스트 내의, 제1 제품의 유닛의 존재를 확인하는 단계;
상기 제1 제품의 유닛이 상기 제1 세트의 피처들 내의 피처들과 상기 제1 템플릿 이미지 내의 피처들 사이의 편차에 응답하여 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계; 및
상기 제1 제품의 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제1 선반 상의 상기 제1 제품에 대한 제1 재입고(restocking) 프롬프트를 생성하는 단계를 포함하고,
상기 제1 제품의 상기 유닛이 상기 제1 선반 상에 부적절하게 재고되어 있다고 결정하는 단계는 상기 플래노그램에 의해 상기 제1 제품의 유닛들의 제1 개수에 할당되는 상기 제1 선반 상의 제1 슬롯으로부터 상기 제1 제품의 상기 유닛의 생략을 검출하는 단계를 포함하고;
상기 제1 선반 상의 상기 제1 제품에 대한 상기 제1 재입고 프롬프트를 생성하는 단계는 상기 제1 제품의 식별자, 상기 제1 제품의 유닛들의 상기 제1 개수, 상기 제1 선반 상의 상기 제1 슬롯의 위치, 및 상기 플래노그램에 의해 정의되는 상기 상점 내의 상기 제1 선반의 위치를 특정하는 통지를 생성하는 단계를 포함하고;
상기 통지를 상기 상점의 점원에 할당되는 모바일 컴퓨팅 장치로 전송하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 제1 이미지를 액세스하는 단계는:
상기 모바일 로봇 시스템에 통합되는 한 세트의 별개 컬러 카메라들에 의해, 제1 시간에, 기록되는 한 세트의 디지털 사진 이미지들을 수신하는 단계로서, 상기 모바일 로봇 시스템은 상기 제1 시간 상기 제1 위치를 점유하고 상기 상점 내의 상기 제1 방향으로 배열되며, 상기 제1 위치는 상기 제1 선반을 포함하는 제1 선반 세그먼트에 인접하는 상기 단계;
상기 모바일 로봇 시스템 내의 상기 한 세트의 별개 컬러 카메라들의 공지된 위치들에 기초하여 상기 제1 이미지로 상기 한 세트의 디지털 사진 이미지들을 어셈블링하는 단계; 및
상기 제1 위치, 상기 제1 방향, 및 상기 제1 시간을 상기 제1 이미지의 메타 데이터에 저장하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 제1 시간 후속의 제2 시간에서 상기 모바일 로봇 시스템에 의해 기록되는 시각적 데이터를 포함하는 제2 이미지를 액세스하는 단계로서, 상기 제2 이미지는 상기 제2 시간에서 상기 상점 내의 상기 모바일 로봇 시스템의 제2 위치 및 제2 방향과 연관되며, 상기 제2 위치는 상기 제1 위치로부터 오프셋되는 상기 단계;
상기 제2 이미지의 제2 영역 근위에 표현되는 제2 선반을 검출하는 단계;
상기 제2 이미지 내의 상기 제2 선반의 상기 제2 위치, 상기 제2 방향, 및 수직 위치에 기초하여 상기 제2 선반의 어드레스를 결정하는 단계;
상기 제2 선반의 어드레스에 기초하여, 상기 플래노그램에 의해 상기 제2 선반에 할당되는 제2 제품들의 리스트를 검색하는 단계;
상기 템플릿 이미지들의 데이터베이스로부터 제2 세트의 템플릿 이미지들을 검색하는 단계로서, 상기 제2 세트의 템플릿 이미지들 내의 각각의 템플릿 이미지는 상기 제2 제품들의 리스트에 특정되는 제품의 시각적 피처들을 포함하는 상기 단계;
상기 제2 이미지의 상기 제2 영역으로부터 제2 세트의 피처들을 추출하는 단계;
상기 제2 세트의 피처들 내의 피처들과 상기 제2 제품을 표현하는, 상기 제2 세트의 템플릿 이미지들 내의, 제2 템플릿 이미지의 피처들 사이의 제1 상관 정도에 응답하여 상기 제2 선반 상의, 상기 제2 제품들의 리스트 내의, 제2 제품의 유닛의 존재를 확인하는 단계;
상기 제2 제품의 유닛이 상기 제2 세트의 피처들 내의 피처들과 상기 제2 템플릿 이미지의 피처들 사이의, 상기 제1 상관 정도 미만의, 제2 상관 정도에 응답하여 상기 제2 선반 상에 부적절하게 재고되어 있다고 결정하는 단계;
상기 제2 제품의 상기 유닛이 상기 제2 선반 상에 부적절하게 재고되어 있다고 결정하는 단계에 응답하여, 상기 제2 선반 상의 상기 제2 제품에 대한 제2 재입고 프롬프트를 생성하는 단계; 및
상기 제1 재입고 프롬프트 및 상기 제2 재입고 프롬프트를 상점용 전역 재입고 리스트로 어셈블링하는 단계를 더 포함하는 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662339039P | 2016-05-19 | 2016-05-19 | |
| US62/339,039 | 2016-05-19 | ||
| US15/347,689 US10607182B2 (en) | 2015-11-09 | 2016-11-09 | Method for tracking stock level within a store |
| US15/347,689 | 2016-11-09 | ||
| PCT/US2017/033655 WO2017201483A1 (en) | 2016-05-19 | 2017-05-19 | Method for tracking placement of products on shelves in a store |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190032284A KR20190032284A (ko) | 2019-03-27 |
| KR102216498B1 true KR102216498B1 (ko) | 2021-02-17 |
Family
ID=60325725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187035807A KR102216498B1 (ko) | 2016-05-19 | 2017-05-19 | 상점의 선반 상의 제품의 배치를 추적하기 위한 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US10467587B2 (ko) |
| EP (1) | EP3459008A4 (ko) |
| JP (2) | JP6728404B2 (ko) |
| KR (1) | KR102216498B1 (ko) |
| CN (1) | CN109564619A (ko) |
| WO (1) | WO2017201483A1 (ko) |
Families Citing this family (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015173869A1 (ja) * | 2014-05-12 | 2015-11-19 | 富士通株式会社 | 商品情報出力方法、商品情報出力プログラムおよび制御装置 |
| US10373116B2 (en) * | 2014-10-24 | 2019-08-06 | Fellow, Inc. | Intelligent inventory management and related systems and methods |
| EP3459008A4 (en) | 2016-05-19 | 2019-11-27 | Simbe Robotics, Inc. | METHOD FOR MONITORING THE PLACEMENT OF PRODUCTS ON SHELVES IN A STORE |
| WO2018069861A1 (en) * | 2016-10-12 | 2018-04-19 | Tata Consultancy Services Limited | System and method for object recognition based estimation of planogram compliance |
| US20180121868A1 (en) * | 2016-11-02 | 2018-05-03 | Vocollect, Inc. | Planogram compliance |
| US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
| US10552789B2 (en) * | 2017-01-09 | 2020-02-04 | Target Brands, Inc. | Store workload manager |
| US20180217603A1 (en) * | 2017-01-31 | 2018-08-02 | GM Global Technology Operations LLC | Efficient situational awareness from perception streams in autonomous driving systems |
| WO2018159132A1 (ja) * | 2017-03-03 | 2018-09-07 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム |
| US20180268367A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of perpetual inventory values based upon customer product purchases |
| US20180268509A1 (en) * | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of product movement |
| US20180268355A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of perpetual inventory values associated with nil picks |
| US11055662B2 (en) | 2017-03-15 | 2021-07-06 | Walmart Apollo, Llc | System and method for perpetual inventory management |
| US20180268356A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for perpetual inventory management |
| US10997552B2 (en) | 2017-03-15 | 2021-05-04 | Walmart Apollo, Llc | System and method for determination and management of root cause for inventory problems |
| WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
| US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
| US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
| WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
| US20180341906A1 (en) | 2017-05-26 | 2018-11-29 | Walmart Apollo, Llc | System and method for management of perpetual inventory values based upon confidence level |
| US10782822B2 (en) * | 2017-06-08 | 2020-09-22 | Walmart Apollo, Llc | Augmented touch-sensitive display system |
| US9977965B1 (en) * | 2017-06-26 | 2018-05-22 | Fujitsu Limited | Teaching a robot to place objects in dynamic environments |
| JP7167926B2 (ja) * | 2017-09-29 | 2022-11-09 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2019140091A1 (en) | 2018-01-10 | 2019-07-18 | Trax Technology Solutions Pte Ltd. | Automatically monitoring retail products based on captured images |
| US10628660B2 (en) | 2018-01-10 | 2020-04-21 | Trax Technology Solutions Pte Ltd. | Withholding notifications due to temporary misplaced products |
| MX2020007114A (es) * | 2018-01-10 | 2020-12-09 | Simbe Robotics Inc | Método para detectar y responder a derrames y peligros. |
| JP7069736B2 (ja) * | 2018-01-16 | 2022-05-18 | 富士通株式会社 | 商品情報管理プログラム、方法及び装置 |
| US11468400B1 (en) * | 2018-03-28 | 2022-10-11 | Amazon Technologies, Inc. | System to determine item weight using data from weight sensors |
| JP6575628B1 (ja) * | 2018-03-30 | 2019-09-18 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
| JP6939855B2 (ja) * | 2018-03-30 | 2021-09-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
| US10691745B2 (en) * | 2018-05-23 | 2020-06-23 | At&T Intellectual Property I, L.P. | Planogram compliance scoring based on image analysis |
| WO2019246452A1 (en) * | 2018-06-20 | 2019-12-26 | Simbe Robotics, Inc | Method for managing click and delivery shopping events |
| EP3811302A4 (en) * | 2018-06-23 | 2022-03-09 | Simbe Robotics, Inc. | METHOD OF INVENTORY MANAGEMENT IN A STORE |
| US20200030967A1 (en) * | 2018-07-30 | 2020-01-30 | Ncr Corporation | Robots for picking products to complete an order |
| CN109214306A (zh) * | 2018-08-15 | 2019-01-15 | 京东方科技集团股份有限公司 | 货架扫货机器人及货架扫货系统 |
| US20200074402A1 (en) | 2018-09-05 | 2020-03-05 | Trax Technology Solutions Pte Ltd. | Monitoring product shortages over time |
| WO2020051213A1 (en) * | 2018-09-05 | 2020-03-12 | Trax Technology Solutions Pte Ltd. | Systems and methods for monitoring products and aggregating product information |
| US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
| US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
| WO2020077066A1 (en) * | 2018-10-10 | 2020-04-16 | Adroit Worldwide Media, Inc. | Systems, method and apparatus for automated and intelligent inventory stocking |
| US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
| US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
| US11205217B2 (en) * | 2018-12-04 | 2021-12-21 | Columbia Insurance Company | Product location system |
| US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
| US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
| US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
| CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
| CN110188605B (zh) * | 2019-04-18 | 2021-07-06 | 浙江大华技术股份有限公司 | 目标物体识别方法、装置、系统、计算机设备和存储介质 |
| US20200342518A1 (en) * | 2019-04-29 | 2020-10-29 | Ncr Corporation | Item recognition and presention within images |
| US11295269B2 (en) | 2019-05-16 | 2022-04-05 | Kyndryl, Inc. | Cognitive retail facing |
| CN110147838B (zh) * | 2019-05-20 | 2021-07-02 | 苏州微创关节医疗科技有限公司 | 一种产品规格录入、检测方法及系统 |
| US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
| US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
| US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
| US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
| US20200380454A1 (en) * | 2019-06-03 | 2020-12-03 | Zebra Technologies Corporation | Method, System and Apparatus for Detecting Product Facings |
| US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
| US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
| US11093785B1 (en) * | 2019-06-27 | 2021-08-17 | Amazon Technologies, Inc. | Inferring facility planograms |
| CN110363138A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 模型训练方法、图像处理方法、装置、终端及存储介质 |
| US11531958B2 (en) * | 2019-07-30 | 2022-12-20 | Ncr Corporation | Frictionless re-ordering and re-stocking |
| CN112308869A (zh) * | 2019-07-30 | 2021-02-02 | 阿里巴巴集团控股有限公司 | 图像采集方法、装置、电子设备及计算机存储介质 |
| WO2021033310A1 (ja) * | 2019-08-22 | 2021-02-25 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
| JP7279755B2 (ja) * | 2019-08-22 | 2023-05-23 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
| CN110610149B (zh) * | 2019-09-03 | 2023-01-20 | 卓尔智联(武汉)研究院有限公司 | 一种信息处理方法、装置及计算机存储介质 |
| CN110647886A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 兴趣点标注方法、装置、计算机设备和存储介质 |
| US11107035B2 (en) * | 2019-11-25 | 2021-08-31 | Simbe Robotics, Inc. | Method for tracking and maintaining inventory in a store |
| US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
| US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
| US20210241226A1 (en) * | 2020-02-01 | 2021-08-05 | AiFi Corp | Robotic arm with an auto-checkout system |
| US11126962B2 (en) * | 2020-02-05 | 2021-09-21 | Simbe Robotics, Inc. | Method for tracking and maintaining promotional states of slots in inventory structures within a store |
| CN111339957A (zh) * | 2020-02-28 | 2020-06-26 | 广州中智融通金融科技有限公司 | 基于图像识别的金库钱捆状态检测方法、系统及介质 |
| WO2021194413A1 (en) * | 2020-03-27 | 2021-09-30 | Ascent Solutions Pte Ltd | Asset monitoring system |
| US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
| WO2021216357A1 (en) * | 2020-04-22 | 2021-10-28 | Walmart Apollo, Llc | Systems and methods of defining and identifying product display areas on product display shelves |
| WO2021222786A1 (en) * | 2020-04-30 | 2021-11-04 | Simbe Robotics, Inc. | Method for maintaining perpetual inventory within a store |
| WO2021236549A1 (en) * | 2020-05-18 | 2021-11-25 | Roadbotics, Inc. | Systems and methods for creating and/or analyzing three-dimensional models of infrastructure assets |
| US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
| US11600085B2 (en) | 2020-07-27 | 2023-03-07 | International Business Machines Corporation | Automated training data collection for object detection |
| US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
| US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
| CN112380953B (zh) * | 2020-11-10 | 2023-05-09 | 支付宝(杭州)信息技术有限公司 | 售货柜摄像设备的通信地址标定方法、装置及标定板 |
| US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
| US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
| CN113487262A (zh) * | 2021-07-12 | 2021-10-08 | 深圳市坤同智能仓储科技有限公司 | 一种基于图像识别的智能货架物料管理系统及方法 |
| KR102574044B1 (ko) * | 2021-09-13 | 2023-09-04 | 인하대학교 산학협력단 | 자율무인점포의 인벤토리 관리를 위한 대규모 카테고리 객체 검출인식 방법 |
| US11941860B2 (en) * | 2021-09-24 | 2024-03-26 | Zebra Tehcnologies Corporation | Computational load mitigation for image-based item recognition |
| KR102401233B1 (ko) * | 2021-11-22 | 2022-05-24 | 이동민 | 시각 장애인용 스마트 안경을 이용한 오프라인 쇼핑 안내 시스템 |
| WO2023230687A1 (pt) * | 2022-05-31 | 2023-12-07 | Mc1 Technologies Inc. | MÉTODO E SISTEMA DE PROCESSAMENTO LOCAL DE IMAGEM PARA IDENTIFICAÇÃO E CLASSIFICAÇÃO DE OBJETOS E GERAÇÃO DE KPIs |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080077511A1 (en) * | 2006-09-21 | 2008-03-27 | International Business Machines Corporation | System and Method for Performing Inventory Using a Mobile Inventory Robot |
| JP2012162341A (ja) * | 2011-02-04 | 2012-08-30 | Casio Computer Co Ltd | コード情報読取装置及び物品管理システム並びにプログラム |
Family Cites Families (120)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3470370A (en) * | 1967-02-13 | 1969-09-30 | Herbert T Landow | Vehicle route tracer |
| US5226782A (en) * | 1990-05-07 | 1993-07-13 | Stanley-Vidmar, Inc. | Automatic storage and retrieval system |
| US5583950A (en) * | 1992-09-16 | 1996-12-10 | Mikos, Ltd. | Method and apparatus for flash correlation |
| EP0842481A1 (en) | 1995-07-31 | 1998-05-20 | Intelledge, Corporation | Electronic product information display system |
| US6226622B1 (en) * | 1995-11-27 | 2001-05-01 | Alan James Dabbiere | Methods and devices utilizing a GPS tracking system |
| US6952705B2 (en) | 1997-03-25 | 2005-10-04 | Mci, Inc. | Method, system and program product that utilize a hierarchical conceptual framework to model an environment containing a collection of items |
| US6147686A (en) | 1998-02-24 | 2000-11-14 | Entrada Technologies, Ltd. | Method and system for real-time manipulation of merchandise layout and data collection |
| JP2000306077A (ja) | 1999-04-21 | 2000-11-02 | Hitachi Zosen Corp | 図書管理設備 |
| US6553402B1 (en) | 1999-05-05 | 2003-04-22 | Nextpage, Inc. | Method for coordinating activities and sharing information using a data definition language |
| US6845297B2 (en) | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
| US6954728B1 (en) | 2000-05-15 | 2005-10-11 | Avatizing, Llc | System and method for consumer-selected advertising and branding in interactive media |
| US6584375B2 (en) | 2001-05-04 | 2003-06-24 | Intellibot, Llc | System for a retail environment |
| WO2003025805A1 (en) | 2001-09-18 | 2003-03-27 | Pro-Corp Holdings International Limited | Image recognition inventory management system |
| US8396809B1 (en) * | 2002-05-14 | 2013-03-12 | Hewlett-Packard Development Company, L.P. | Method for reducing purchase time |
| GB2389836B (en) | 2002-06-19 | 2006-10-11 | Ilutra Systems Ltd | Luggage tracking system |
| US8326451B2 (en) * | 2002-08-19 | 2012-12-04 | Q-Track Corporation | Inventory control and method |
| US20040162765A1 (en) * | 2003-02-19 | 2004-08-19 | Hobie Reber | System and a method for locating an item offered for sale by a merchant |
| JP4135556B2 (ja) * | 2003-05-16 | 2008-08-20 | 株式会社日立製作所 | 映像認識装置 |
| US20050049914A1 (en) | 2003-08-25 | 2005-03-03 | Parish David H. | Systems and methods for a retail system |
| US20070061041A1 (en) * | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
| US20050216182A1 (en) | 2004-03-24 | 2005-09-29 | Hussain Talib S | Vehicle routing and path planning |
| JP4181102B2 (ja) * | 2004-03-31 | 2008-11-12 | 株式会社東芝 | 循環型ビジネス評価装置、循環型ビジネス評価方法およびプログラム |
| US20050261975A1 (en) * | 2004-04-21 | 2005-11-24 | Ross Carver | Graphics-based inventory control system |
| JP2005339408A (ja) | 2004-05-28 | 2005-12-08 | Toshiba Corp | 自走式ロボット及びその制御方法 |
| US7440903B2 (en) * | 2005-01-28 | 2008-10-21 | Target Brands, Inc. | System and method for evaluating and recommending planograms |
| BRPI0610589A2 (pt) | 2005-04-13 | 2010-07-06 | Store Eyes Inc | sistema e método para medir conformidade de expositor |
| US20070038528A1 (en) * | 2005-08-11 | 2007-02-15 | Sitoa Corporation | Inventory-less distribution |
| US20070106627A1 (en) | 2005-10-05 | 2007-05-10 | Mohit Srivastava | Social discovery systems and methods |
| US7475205B2 (en) * | 2005-12-01 | 2009-01-06 | International Business Machines Corporation | System for inventory control of an automated data storage library |
| US20070288296A1 (en) | 2006-05-05 | 2007-12-13 | Graham Lewis | System and method for automatic placement of products within shelving areas using a planogram with two-dimensional sequencing |
| US7913839B2 (en) * | 2006-07-11 | 2011-03-29 | Checkpoint Systems, Inc. | Merchandise security display bag |
| WO2008013846A2 (en) | 2006-07-26 | 2008-01-31 | Sensormatic Electronics Corporation | Mobile readpoint system and method for reading electronic tags |
| US20080046317A1 (en) | 2006-08-21 | 2008-02-21 | The Procter & Gamble Company | Systems and methods for predicting the efficacy of a marketing message |
| US8321303B1 (en) | 2007-04-02 | 2012-11-27 | Checkpoint Systems, Inc. | Retail product out-of-stock detection and dynamic scripting |
| JP5047709B2 (ja) | 2007-07-04 | 2012-10-10 | 株式会社日立製作所 | 移動装置、システム、移動方法及び移動プログラム |
| JP4490997B2 (ja) | 2007-07-18 | 2010-06-30 | 株式会社東芝 | 移動ロボット |
| US8002181B2 (en) | 2007-08-24 | 2011-08-23 | Wal-Mart Stores, Inc. | RFID promotional compliance |
| US8189855B2 (en) | 2007-08-31 | 2012-05-29 | Accenture Global Services Limited | Planogram extraction based on image processing |
| US8630924B2 (en) | 2007-08-31 | 2014-01-14 | Accenture Global Services Limited | Detection of stock out conditions based on image processing |
| US9135491B2 (en) | 2007-08-31 | 2015-09-15 | Accenture Global Services Limited | Digital point-of-sale analyzer |
| US8009864B2 (en) | 2007-08-31 | 2011-08-30 | Accenture Global Services Limited | Determination of inventory conditions based on image processing |
| WO2009070712A2 (en) | 2007-11-27 | 2009-06-04 | Jadi, Inc. | Method and system for locating and navigating a target |
| KR101437916B1 (ko) | 2008-01-14 | 2014-09-15 | 삼성전자주식회사 | 초음파 센서를 이용한 지도 작성 방법 및 이를 이용하는이동 로봇 |
| US8098888B1 (en) * | 2008-01-28 | 2012-01-17 | Videomining Corporation | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras |
| JP2009187482A (ja) * | 2008-02-08 | 2009-08-20 | Nippon Sogo System Kk | 棚割再現方法、棚割再現プログラム、棚割評価方法、棚割評価プログラム及び記録媒体 |
| WO2009154484A2 (en) | 2008-06-20 | 2009-12-23 | Business Intelligence Solutions Safe B.V. | Methods, apparatus and systems for data visualization and related applications |
| US8014791B2 (en) * | 2008-06-30 | 2011-09-06 | Intelligent Sciences, Ltd. | Method and system for determining position of a wireless electronic device within a volume |
| US20100070369A1 (en) * | 2008-09-12 | 2010-03-18 | At&T Intellectual Property I, L.P. | Method and system for locating consumers in a retail establishment |
| WO2010083259A2 (en) | 2009-01-13 | 2010-07-22 | Meimadtek Ltd. | Method and system for operating a self-propelled vehicle according to scene images |
| US9613335B2 (en) | 2009-02-25 | 2017-04-04 | Optricity Corporation | System and methods for automatic reorganization of pick slot assignments in a warehouse |
| WO2011101800A1 (en) | 2010-02-17 | 2011-08-25 | Alon Atsmon | Automatic method and system for visual analysis of object against preset |
| US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
| JP4914528B1 (ja) | 2010-08-31 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム |
| US9141987B2 (en) * | 2010-11-15 | 2015-09-22 | Microsoft Technology Licensing, Llc | System, method, and medium for generating a map of a geographic region based on client location data |
| WO2012068353A2 (en) * | 2010-11-18 | 2012-05-24 | Sky-Trax, Inc. | Load tracking utilizing load identifying indicia and spatial discrimination |
| US8577136B1 (en) | 2010-12-28 | 2013-11-05 | Target Brands, Inc. | Grid pixelation enhancement for in-stock analytics |
| US8718837B2 (en) | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| MX345442B (es) * | 2011-03-01 | 2017-01-31 | Procter & Gamble | Visualizar informacion de un entorno fisico de tienda minorista en una ilustracion virtual del entorno fisico de tienda minorista. |
| US8848970B2 (en) | 2011-04-26 | 2014-09-30 | Digimarc Corporation | Salient point-based arrangements |
| US9785898B2 (en) * | 2011-06-20 | 2017-10-10 | Hi-Tech Solutions Ltd. | System and method for identifying retail products and determining retail product arrangements |
| CA2836933C (en) | 2011-06-24 | 2019-10-08 | Mitchell Weiss | Robot-enabled case picking |
| WO2013006351A2 (en) | 2011-07-01 | 2013-01-10 | 3G Studios, Inc. | Techniques for controlling game event influence and/or outcome in multi-player gaming environments |
| TWI622540B (zh) | 2011-09-09 | 2018-05-01 | 辛波提克有限責任公司 | 自動化儲存及取放系統 |
| US10127564B2 (en) | 2011-09-15 | 2018-11-13 | Stephan HEATH | System and method for using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and information for generating mobile and internet posted promotions or offers for, and/or sales of, products and/or services |
| US9159047B2 (en) * | 2011-11-11 | 2015-10-13 | James T. Winkel | Projected image planogram system |
| WO2013071150A1 (en) | 2011-11-11 | 2013-05-16 | Bar Code Specialties, Inc. (Dba Bcs Solutions) | Robotic inventory systems |
| US20140304107A1 (en) | 2012-12-03 | 2014-10-09 | CLARKE William McALLISTER | Webrooming with rfid-scanning robots |
| US9754169B2 (en) * | 2011-12-16 | 2017-09-05 | Nec Corporation | Information processing system, information processing method, information processing device and control method and control program thereof, and communication terminal and control method and control program thereof |
| EP2791860A4 (en) | 2011-12-16 | 2015-05-27 | Thomas Michael Cozad Jr | SYSTEMS AND METHODS FOR MANAGING PRODUCT LOCATION INFORMATION |
| US8600844B2 (en) | 2012-02-02 | 2013-12-03 | W.W. Grainger, Inc. | Methods and systems for customizing inventory in an automated dispensing cabinet |
| US8396254B1 (en) | 2012-02-09 | 2013-03-12 | Google Inc. | Methods and systems for estimating a location of a robot |
| WO2013138193A2 (en) | 2012-03-12 | 2013-09-19 | Bar Code Specialties, Inc. (Dba Bcs Solutions) | Rail-mounted robotic inventory system |
| US20150095189A1 (en) * | 2012-03-16 | 2015-04-02 | In Situ Media Corporation | System and method for scanning, tracking and collating customer shopping selections |
| US8851379B2 (en) | 2012-06-29 | 2014-10-07 | Intel Corporation | Method and system for decoding small sized barcodes from blurred images |
| JP5891143B2 (ja) | 2012-08-24 | 2016-03-22 | 富士フイルム株式会社 | 物品マスターテーブル作成装置および方法並びにプログラム |
| JP6054136B2 (ja) * | 2012-10-23 | 2016-12-27 | シャープ株式会社 | 機器制御装置、および自走式電子機器 |
| KR102009482B1 (ko) | 2012-10-30 | 2019-08-14 | 한화디펜스 주식회사 | 로봇의 경로계획 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 |
| US20150161715A1 (en) * | 2013-03-07 | 2015-06-11 | Google Inc. | Using indoor maps to direct consumers to sale items, shopping lists, or other specific locations in a store, retail establishment, or other geographic area |
| US20140279294A1 (en) | 2013-03-14 | 2014-09-18 | Nordstrom, Inc. | System and methods for order fulfillment, inventory management, and providing personalized services to customers |
| US8965561B2 (en) | 2013-03-15 | 2015-02-24 | Cybernet Systems Corporation | Automated warehousing using robotic forklifts |
| CN104077306B (zh) | 2013-03-28 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 一种搜索引擎的结果排序方法及系统 |
| US9142151B2 (en) | 2013-06-03 | 2015-09-22 | Points Lab Co. | Robotic smart sign system and methods |
| US9015072B2 (en) | 2013-08-19 | 2015-04-21 | Xerox Corporation | Method and apparatus for automated inventory management using depth sensing |
| JP5913236B2 (ja) * | 2013-09-06 | 2016-04-27 | 東芝テック株式会社 | 棚割支援装置、サーバおよびプログラム |
| US9663309B2 (en) | 2013-09-06 | 2017-05-30 | Liquor Control Board Of Ontario (Lcbo) | Automated palletization method, system and software |
| US20150088937A1 (en) * | 2013-09-20 | 2015-03-26 | Darrin K. Lons | Systems and Methods of Mapping Locales |
| US20150088701A1 (en) | 2013-09-23 | 2015-03-26 | Daniel Norwood Desmarais | System and method for improved planogram generation |
| US9886678B2 (en) * | 2013-09-25 | 2018-02-06 | Sap Se | Graphic representations of planograms |
| US20150098775A1 (en) | 2013-10-09 | 2015-04-09 | Sergey N. Razumov | Automatic order picking system and method in retail facility |
| US9495606B2 (en) * | 2014-02-28 | 2016-11-15 | Ricoh Co., Ltd. | Method for product recognition from multiple images |
| US20150310601A1 (en) | 2014-03-07 | 2015-10-29 | Digimarc Corporation | Methods and arrangements for identifying objects |
| JP6699547B2 (ja) * | 2014-03-12 | 2020-05-27 | 日本電気株式会社 | 陳列状況解析装置、陳列状況解析方法およびプログラム |
| US20150262116A1 (en) | 2014-03-16 | 2015-09-17 | International Business Machines Corporation | Machine vision technology for shelf inventory management |
| US9659204B2 (en) * | 2014-06-13 | 2017-05-23 | Conduent Business Services, Llc | Image processing methods and systems for barcode and/or product label recognition |
| US10453046B2 (en) * | 2014-06-13 | 2019-10-22 | Conduent Business Services, Llc | Store shelf imaging system |
| US10176452B2 (en) | 2014-06-13 | 2019-01-08 | Conduent Business Services Llc | Store shelf imaging system and method |
| JP2016057983A (ja) | 2014-09-11 | 2016-04-21 | 安川情報システム株式会社 | 自己位置推定システムおよび自己位置推定方法 |
| US20170293959A1 (en) | 2014-09-30 | 2017-10-12 | Nec Corporation | Information processing apparatus, shelf label management system, control method, and program |
| US10579962B2 (en) | 2014-09-30 | 2020-03-03 | Nec Corporation | Information processing apparatus, control method, and program |
| GB2530769B (en) | 2014-10-01 | 2017-05-17 | Asda Stores Ltd | System and method for monitoring display unit compliance |
| US10169660B1 (en) * | 2014-12-19 | 2019-01-01 | Amazon Technologies, Inc. | Counting inventory items using image analysis |
| US20160217447A1 (en) | 2015-01-23 | 2016-07-28 | Shyamal K. Sarkar | Dynamic Price Change Management |
| US10162043B2 (en) * | 2015-07-16 | 2018-12-25 | Sensormatic Electronics, LLC | Optical locating system |
| US9930494B2 (en) * | 2015-10-13 | 2018-03-27 | Cisco Technology, Inc. | Leveraging location data from mobile devices for user classification |
| EP3374947A4 (en) * | 2015-11-09 | 2019-03-27 | Simbe Robotics, Inc. | METHOD FOR FOLLOWING A STOCK LEVEL IN A STORE |
| US10339536B2 (en) * | 2015-11-17 | 2019-07-02 | Schneider Enterprise Resources, LLC | Geolocation compliance for a mobile workforce |
| WO2017123920A1 (en) | 2016-01-14 | 2017-07-20 | RetailNext, Inc. | Detecting, tracking and counting objects in videos |
| JP6319669B2 (ja) * | 2016-01-20 | 2018-05-09 | パナソニックＩｐマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
| US9908702B2 (en) * | 2016-02-05 | 2018-03-06 | Invia Robotics, Inc. | Robotic navigation and mapping |
| CA3018381A1 (en) * | 2016-03-29 | 2017-10-05 | Bossa Nova Robotics Ip, Inc. | System and method for locating, identifying and counting items |
| EP3459008A4 (en) | 2016-05-19 | 2019-11-27 | Simbe Robotics, Inc. | METHOD FOR MONITORING THE PLACEMENT OF PRODUCTS ON SHELVES IN A STORE |
| JP6656423B2 (ja) | 2016-05-19 | 2020-03-04 | シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. | 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 |
| US10002344B2 (en) | 2016-10-17 | 2018-06-19 | Conduent Business Services, Llc | System and method for retail store promotional price tag detection |
| WO2018160305A1 (en) * | 2017-02-28 | 2018-09-07 | Walmart Apollo, Llc | Methods and systems for monitoring or tracking products in a retail shopping facility |
| US11134797B2 (en) | 2017-03-03 | 2021-10-05 | William R. Goehring | Space saving manual shelf management system |
| US10438165B2 (en) | 2017-03-07 | 2019-10-08 | Ricoh Company, Ltd. | Planogram generation |
| WO2018187788A1 (en) | 2017-04-07 | 2018-10-11 | Simbe Robotics Inc | Method for tracking stock level within a store |
| USD819712S1 (en) | 2017-04-19 | 2018-06-05 | Simbe Robotics, Inc. | Inventory-tracking robotic system |
| US10474988B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
| CL2017003463A1 (es) | 2017-12-28 | 2019-10-11 | Univ Pontificia Catolica Chile | Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas |
-
2017
- 2017-05-19 EP EP17800295.2A patent/EP3459008A4/en active Pending
- 2017-05-19 CN CN201780044524.2A patent/CN109564619A/zh active Pending
- 2017-05-19 US US15/600,527 patent/US10467587B2/en active Active
- 2017-05-19 WO PCT/US2017/033655 patent/WO2017201483A1/en unknown
- 2017-05-19 JP JP2018561047A patent/JP6728404B2/ja not_active Expired - Fee Related
- 2017-05-19 KR KR1020187035807A patent/KR102216498B1/ko active IP Right Grant
-
2019
- 2019-09-23 US US16/578,406 patent/US11341454B2/en active Active
-
2020
- 2020-07-01 JP JP2020113826A patent/JP7082160B2/ja active Active
-
2022
- 2022-04-22 US US17/727,044 patent/US20220391825A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080077511A1 (en) * | 2006-09-21 | 2008-03-27 | International Business Machines Corporation | System and Method for Performing Inventory Using a Mobile Inventory Robot |
| JP2012162341A (ja) * | 2011-02-04 | 2012-08-30 | Casio Computer Co Ltd | コード情報読取装置及び物品管理システム並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017201483A1 (en) | 2017-11-23 |
| EP3459008A4 (en) | 2019-11-27 |
| JP7082160B2 (ja) | 2022-06-07 |
| JP6728404B2 (ja) | 2020-07-22 |
| US20220391825A1 (en) | 2022-12-08 |
| US20170337508A1 (en) | 2017-11-23 |
| KR20190032284A (ko) | 2019-03-27 |
| US20200013007A1 (en) | 2020-01-09 |
| EP3459008A1 (en) | 2019-03-27 |
| JP2020184356A (ja) | 2020-11-12 |
| US10467587B2 (en) | 2019-11-05 |
| CN109564619A (zh) | 2019-04-02 |
| JP2019523925A (ja) | 2019-08-29 |
| US11341454B2 (en) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102216498B1 (ko) | 상점의 선반 상의 제품의 배치를 추적하기 위한 방법 | |
| US20200215698A1 (en) | Method for automatically generating planograms of shelving structures within a store | |
| US11593755B2 (en) | Method for stock keeping in a store with fixed cameras | |
| US11107035B2 (en) | Method for tracking and maintaining inventory in a store | |
| US20220172156A1 (en) | Method for maintaining perpetual inventory within a store | |
| US20210374662A1 (en) | Method for tracking and maintaining promotional states of slots in inventory structures within a store | |
| US20230421705A1 (en) | Method for stock keeping in a store with fixed cameras | |
| US20230376893A1 (en) | Method for classifying product organization in an inventory structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |