KR20190031431A - 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템 - Google Patents

물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템 Download PDF

Info

Publication number
KR20190031431A
KR20190031431A KR1020187029411A KR20187029411A KR20190031431A KR 20190031431 A KR20190031431 A KR 20190031431A KR 1020187029411 A KR1020187029411 A KR 1020187029411A KR 20187029411 A KR20187029411 A KR 20187029411A KR 20190031431 A KR20190031431 A KR 20190031431A
Authority
KR
South Korea
Prior art keywords
product
shelf
image
autonomous robot
camera
Prior art date
Application number
KR1020187029411A
Other languages
English (en)
Inventor
사쥰 스카프
조나단 데이비드 테일러
스테판 빈센트 윌리엄스
심앤트 두베
Original Assignee
보사 노바 로보틱스 아이피, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59958856&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20190031431(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 보사 노바 로보틱스 아이피, 인크. filed Critical 보사 노바 로보틱스 아이피, 인크.
Publication of KR20190031431A publication Critical patent/KR20190031431A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00664—
    • G06K9/4642—
    • G06K9/6202—
    • G06K9/6267—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39046—Compare image of plate on robot with reference, move till coincidence, camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)

Abstract

플래노그램을 요구하지 않고 제품 라이브러리를 구축하는 시스템은 물품의 이미지를 제공하도록 동작되는 이미지 캡처 유닛을 포함한다. 선반 라벨 검출기 및 깊이 맵 생성 유닛으로부터 데이터를 취한 후 처리 모듈을 사용하여 검출된 선반 라벨을 깊이 맵과 비교하고, 제품 경계 박스를 규정하고, 상기 경계 박스를 상기 이미지 캡처 유닛에 의해 제공된 이미지와 연관시켜 이미지 디스크립터를 구축할 수 있다. 상기 시스템은 상기 이미지 캡처 유닛 및 다른 컴포넌트를 지지하고 이동하도록 허용하기 위한 하나 이상의 자율 로봇을 포함할 수 있다.

Description

물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템
연관 특허 출원에 대한 상호 참조
본 발명은 2016년 3월 29일자로 출원된, 발명의 명칭이 "System and Method for Locating, Identifying and Counting Products on Shelves"인 미국 특허 출원 번호 62/314,785; 및 2016년 11월 29일자로 출원된, 발명의 명칭이 "System and Method for Locating, Identifying and Counting Items"인 미국 특허 출원 번호 62/427,509의 우선권의 이익을 주장하는 정규 특허 출원의 일부이다.
기술 분야
본 발명은 일반적으로 초기 플래노그램(planogram)을 요구하지 않고 소매 또는 창고 제품 재고(retail or warehouse product inventory)를 정확히 모니터링할 수 있는 다중 카메라 센서 슈트(suite)에 관한 것이다. 특정 실시예에서, 다중 카메라 센서 슈트는 자율 로봇에 장착될 수 있고, 탑재된 상태에서 거의 실시간으로 제품을 추적하는 처리를 포함한다.
소매점 또는 창고에는 종종 판매, 제거, 추가 또는 재배치되는 수천 개의 별개의 제품이 있을 수 있다. 재공급 스케줄이 잦다 하더라도 재고가 있는 것으로 고려된 제품이 재고가 없을 수 있는데, 이 경우 판매 및 고객 만족도가 모두 저하될 수 있다. POS(point of sale) 데이터는 대략적으로 제품 이용 가능성을 추정하는 데 사용될 수 있지만, 잘못 배치된 제품, 도난당한 제품 또는 손상된 제품을 식별하는 데는 도움이 되지 않고, 이 모든 것이 제품 이용 가능성을 떨어뜨릴 수 있다. 그러나 제품 재고를 수동으로 모니터링하고 제품 위치를 추적하는 것은 많은 비용과 시간이 소요된다.
제품 재고를 추적하는 하나의 솔루션은 머신 비전 기법과 조합하여 플래노그램(특정 제품을 선반 또는 진열장에 배치하는 방법 및 위치를 나타내는 리스트 또는 다이어그램)에 의존한다. 플래노그램이 주어지면, 머신 비전을 사용하여 선반 공간을 준수하는 것을 도와줄 수 있다. 예를 들어, 매점(store) 전체에 걸쳐 많은 수의 고정 위치 카메라를 사용하여 통로를 모니터링할 수 있고, 선반 공간의 갭(gap)이 크면 플래노그램 또는 선반 라벨과 대조하여 점검할 수 있으며, 필요한 경우 "재고 없음" 플래그로 표시된다. 대안적으로, 더 적은 수의 이동 가능 카메라를 사용하여 매점 통로를 스캔할 수 있다. 이러한 시스템이 있다 하더라도, 제품을 식별, 배치 및 카운트하는 것을 포함할 수 있는, 경계 박스(bounding box)와 연관된 상세 정보를 포함하는 초기 플래노그램을 구축하는데 일반적으로 사람이 개입하는 것이 필요하다. 잘못 배치된 제품 재고를 검색할 뿐만 아니라 플래노그램을 업데이트하는 데에도 상당한 사람 개입이 필요할 수 있다.
제품 또는 다른 재고품을 모니터링하기 위한 저비용이고 정확하며 스케일링 가능한(scalable) 카메라 시스템은 이동 가능한 베이스를 포함할 수 있다. 상기 이동 가능한 베이스에 의해 지지되는 다수의 카메라는 제품 또는 재고품을 유지하기 위한 선반 또는 다른 시스템 쪽으로 지향될 수 있다. 처리 모듈은 상기 다수의 카메라에 연결되고, 카메라로 도출된 이미지로부터 제품 또는 재고품의 위치의 업데이트 가능한 맵(map)을 구성할 수 있다.
일부 실시예에서, 재고품을 모니터링하기 위한 설명된 카메라 시스템은 선반 라벨을 검출하고; 선택적으로 선반 라벨을 깊이 맵과 비교하고; 제품 경계 박스를 규정하고; 상기 경계 박스를 선반 라벨과 연관시켜 트레이닝 데이터 세트를 구축하고; 및 상기 트레이닝 데이터 세트를 사용하여 제품 분류기를 트레이닝하는데 사용될 수 있다.
다른 실시예에서, 제품 라이브러리를 구축하기 위한 시스템은 물품의 이미지를 제공하도록 동작되는 이미지 캡처 유닛을 포함할 수 있다. 상기 시스템은 또한 선반 라벨 검출기(이는 고해상도 줌 카메라일 수 있음) 및 선택적으로 깊이 맵 생성 유닛(이는 레이저 스캐닝, 비행 시간(time-of-flight) 영역 감지 또는 스테레오 이미징에 의해 제공될 수 있음), 및 선택적으로 검출된 선반 라벨을 깊이 맵과 비교하고, 제품 경계 박스를 규정하고, 상기 경계 박스를 선반 라벨과 연관시켜 트레이닝 데이터 세트를 구축하거나 이미지 디스크립터(descriptor)를 학습(learn)하는 처리 모듈을 포함한다. 상기 이미지 캡처 유닛과 처리 모듈은 모두 자율 로봇에 장착될 수 있다.
이것은 선반의 현실을 나타내기 때문에, 본 명세서에 개시된 것과 같은 재고품의 맵은 특정 소매 제품 및 표지(signage)를 선반이나 진열장(display)에 배치하는 방법 및 위치를 보여주는 3D 모델, 카툰(cartoon), 다이어그램 또는 리스트의 형태를 취하는 종래의 "플래노그램"과 구별하기 위해 "리얼로그램(realogram)"으로 알려질 수 있다. 리얼로그램은 상기 처리 모듈에 연결된 데이터 저장 모듈에 로컬적으로 저장될 수 있다. 통신 모듈은 상기 처리 모듈에 연결되어 매점 서버 또는 다른 지원되는 카메라 시스템을 포함하는 원격 위치로 리얼로그램 데이터를 전송할 수 있으며, 추가적으로 리얼로그램을 구성하는 것을 돕기 위해 플래노그램을 포함하는 재고 정보를 수신할 수 있다. 리얼로그램을 맵핑하는 것에 더하여 이 시스템은 재고 없음 제품을 검출하고, 고갈된 제품을 추정하고, 쌓인 더미를 포함하는 제품의 양을 추정하고, 제품 높이, 길이 및 폭을 추정하고, 제품의 3D 모델을 구축하고, 제품의 위치 및 배향을 결정하고, 하나 이상의 제품이 정면 배향(facing) 또는 구역 배향(zoning) 작업과 같은 시정 조치를 필요로 하는 무질서한 선반 위 프리젠테이션을 나타내는지 여부를 결정하고, 농산물과 같은 제품의 신선도를 추정하고, 포장 무결성을 포함하는 제품의 품질을 추정하고, 홈 위치, 2차 위치, 상위 재고 위치, 하위 재고 위치, 및 뒷공간(backroom)을 포함하여 제품의 위치를 파악하고, 잘못 배치된 제품 이벤트(플러그라고도 함)를 검출하고, 잘못 배치된 제품을 식별하고, 제품의 정면 배향의 수를 추정하거나 카운트하고, 제품의 정면 배향의 수를 플래노그램과 비교하고, 라벨의 위치를 파악하고, 라벨의 시퀀스를 결정하고, 라벨의 유형을 검출하고, 제품 이름, 바코드, UPC 코드 및 가격을 포함하는 라벨 내용을 판독하고, 누락된 라벨을 검출하고, 라벨의 위치를 플래노그램과 비교하고, 제품의 위치를 플래노그램과 비교하고, 제품의 만료 날짜를 결정하고, 농산물을 포함하는 제품의 신선도를 결정하고, 선반 높이, 선반 깊이, 선반 폭 및 구획 폭을 측정하고, 표지를 인식하고, 진열장, 표지, 및 특징을 포함하는 판촉 자료를 검출하고, 이들의 상승 및 하강 시간을 측정하고, 계절 제품과 판촉 제품 및 진열장, 예를 들어, 제품 아일랜드(island) 및 특징을 검출 및 인식하고, 개별 제품의 이미지, 및 제품 및 설비(fixture) 그룹, 예를 들어, 전체 통로, 선반 구획, 통로에 있는 특정 제품 및 제품 진열 및 아일랜드의 이미지를 캡처하고, 가상 보행을 할 수 있는 가상 투어 애플리케이션에서 시각화하기 위해 환경의 360도 및 구형 뷰를 캡처하고, 증강 현실 또는 가상 현실에서 보기 위해 환경의 3D 이미지를 캡처하고, 주위 광 레벨을 포함하는 환경 상태를 캡처하고, 공간이 장애 및 안전 표준을 준수하는지를 측정하고 전구가 꺼져 있는지를 결정하는 것을 포함하여 환경에 관한 정보를 캡처하고, 원격 모니터에 공간을 실시간으로 비디오로 제공하며, 라이브 설정 또는 스케줄된 설정을 포함하는 특정 위치에서 온디맨드 이미지 및 비디오를 제공하고, 및 제품 이미지의 라이브러리를 구축하는데 사용될 수 있다.
일 실시예에서, 상기 이동 가능한 베이스는 수동으로 푸시 가능 또는 안내 가능 카트일 수 있다. 대안적으로, 상기 이동 가능한 베이스는 원격 동작 로봇일 수 있고, 또는 바람직한 실시예에서 매점 또는 창고를 통해 스스로 안내할 수 있는 자율 로봇일 수 있다. 매점 또는 창고의 크기에 따라 다수 개의 자율 로봇이 사용될 수 있다. 통로는 재고 없음을 식별하거나 리얼로그램을 생성하기 위해 정기적으로 검사받을 수 있고, 여기서 제품 이동이 많은 통로는 더 자주 검사될 수 있다.
다른 실시예에서, 재고 모니터링 방법은 자율 로봇을 재고품 또는 제품을 유지할 수 있는 선반이 늘어서 있는 통로를 따라 이동하도록 허용하는 단계를 포함하고, 여기서 상기 자율 로봇은 다수의 카메라를 위한 이동 가능한 베이스로서 작용한다. 다수의 카메라는 선반이 늘어서 있는 통로에 있는 재고품 쪽을 향하고, 여기서 상기 카메라로부터 적어도 부분적으로 도출된 데이터는 자율 로봇에 포함된 처리 모듈을 사용하여 재고품의 리얼로그램 또는 파노라마 이미지를 구축하는 데 사용된다. 처리 모듈에 의해 생성된 리얼로그램 데이터 또는 파노라마 이미지는 통신 모듈을 사용하여 원격 위치로 전송될 수 있고, 통신 모듈을 통해 수신된 재고 정보는 리얼로그램을 구축하는 것을 돕는데 사용될 수 있다.
또 다른 실시예에서, 재고 모니터링 방법은 자율 로봇을 재고품을 유지하는 선반이 늘어서 있는 통로를 따라 이동하도록 허용하는 단계를 포함하고, 여기서 상기 자율 로봇은 다수의 카메라를 위한 이동 가능한 베이스로서 작용한다. 상기 자율 로봇은 정방향 또는 역방향으로 이동하면서 재고품을 유지하는 선반이 늘어서 있는 통로로부터 실질적으로 일정한 또는 엄격히 제어된 거리를 유지할 수 있다. 상기 선반이 늘어서 있는 통로에 있는 재고품 쪽을 향하는 다수의 카메라를 사용하면 재고품을 유지하는 상기 선반이 늘어서 있는 통로를 따라 위치된 재고품의 리얼로그램의 적어도 일부를 구성할 수 있다. 일반적으로 상기 리얼로그램은 상기 자율 로봇에 포함된 국부적으로 위치된 데이터 저장소 및 처리 모듈로 생성되고 업데이트된다. 선반이 늘어서 있는 통로의 전체 또는 거의 전체 범위에 카메라를 적용하는 것을 보장하기 위해 상기 선반이 늘어서 있는 통로의 일부에 대한 데이터 캡처가 불완전한 경우 상기 자율 로봇은 추가적인 다수의 카메라 검사를 위해 일시 중지, 역전 또는 마킹할 수 있다.
도 1은 통로 선반 또는 다른 적합한 타깃에서 제품의 변화를 추적하기 위해 이동 가능한 베이스에 장착된 카메라 시스템을 도시한다;
도 2는 통로에서 양쪽 선반들을 검사하는 2개의 자율 로봇을 나타내는 카툰이다;
도 3은 재고 카메라에 연결된 다양한 시스템 및 전자 모듈을 도시한다;
도 4는 동작의 일 실시예의 단계를 도시한다;
도 5a 및 도 5b는 각각 카메라 시스템을 위한 이동 가능한 베이스로서 작용할 수 있는 자율 로봇의 측면도 및 단면도의 예이다; 및
도 6은 초기 플래노그램을 요구하지 않고 리얼로그램을 위한 제품 공간을 생성할 수 있는 방법을 보다 상세히 도시하는 흐름도(600)이다; 및
도 7은 개시된 시스템의 양태들을 관리하기 위한 추가적인 방법 상세들을 도시하는 흐름도(700)이다.
도 1은 초기 플래노그램을 요구하지 않고 통로 선반 또는 다른 타깃(102)에서 제품의 변화를 추적하기 위해 (구동 휠(114)을 갖는) 이동 가능한 베이스(110)에 장착된 재고 모니터링 카메라 시스템(100)을 도시한다.
이동 가능한 베이스(110)는 빌딩에 걸쳐 독립적으로 내비게이팅 및 이동할 수 있는 내비게이션 및 물체 센싱 슈트(130)를 갖는 자율 로봇일 수 있다. 자율 로봇은 수직으로 연장하는 카메라 지지체(140)에 의해 이동 가능한 베이스(110)에 부착된 다수의 카메라(140)를 갖는다. 조명(150)은 광을 타깃(102)으로 보내도록 위치된다. 물체 센싱 슈트는 전방(133), 측방(134 및 135), 상방(132) 및/또는 후방(도시되지 않음) 이미지 및 깊이 센서를 포함하여 물체 검출, 위치 파악, 및 내비게이션을 도와줄 수 있다. 레이저 영역 감지 유닛(136 및 138)(및 각각의 레이저 스캐닝 빔(137 및 139))과 같은 추가적인 센서는 또한 정확한 거리를 결정하는데 유용한 센서 슈트의 일부를 형성한다. 특정 실시예에서, 이미지 센서는, 스테레오 이미지로부터 깊이를 추론하고, 이미지 내에서 물체의 거리를 대략적으로 결정할 수 있는 적외선 메쉬 오버레이(infrared mesh overlay)를 투영하고, 또는 광이 타깃에서 반사하여 진행하는 시간으로부터 깊이를 추론하는 깊이 센서일 수 있다. 다른 실시예에서, 물체를 식별하고 위치를 파악하기 위한 간단한 카메라 및 다양한 이미지 처리 알고리즘이 사용될 수 있다. 선택된 응용의 경우, 초음파 센서, 레이더 시스템, 자력계 등을 사용하여 내비게이션을 도와줄 수 있다. 또 다른 실시예에서, 전자기파, 광 또는 다른 위치 비콘(beacon)을 검출할 수 있는 센서를 사용하여 자율 로봇의 위치를 정확히 결정하는 것을 도와줄 수 있다.
도 1에 도시된 바와 같이, 업데이트 가능한 리얼로그램을 구성하는데 유용한 다양한 대표적인 카메라 유형이 도시되어 있다. 이전에 언급한 바와 같이, 리얼로그램은 카메라로 도출된 이미지를 사용하여 제품 또는 재고품의 위치의 업데이트 가능한 맵을 생성할 수 있다. 일반적으로, 하나 이상의 선반 유닛(예를 들어, 타깃(102))은, 타깃 선반 유닛 전체보다 더 작은 규정된 범위를 커버하는 하향(142 및 144) 또는 상향(143 및 148) 고정 초점 카메라; 이미징된 타깃으로부터 소정 거리에 초점을 적응시키는 가변 초점 카메라; 고정 초점 거리 카메라보다 더 큰 사진 범위를 제공하는 넓은 범위 카메라(145); 및 바코드, 제품 식별 번호 및 선반 라벨을 캡처하기 위한 좁은 범위의 줌 카메라(146)를 포함하는 다양한 세트의 카메라 유형에 의해 이미징될 수 있다. 대안적으로 고해상도의 경사 제어 가능한 높이 조절 가능한 카메라를 사용하여 선반 라벨을 식별할 수 있다. 이러한 카메라(140)로부터 도출된 이미지들은 함께 스티칭(stitched)될 수 있고, 이미지 내의 제품이 식별되고 위치가 결정될 수 있다.
이미지 처리를 단순화하고 정확한 결과를 제공하기 위해, 다수의 카메라는 일반적으로 검사 프로세스 동안 선반으로부터 설정된 거리에 위치된다. 선반은 카메라 상에 또는 부근에 위치된 LED 또는 다른 지향 가능한 조명(150)으로 조명될 수 있다. 다수의 카메라는 카메라 지지체 상에 수직, 수평 또는 다른 적절한 배향으로 선형적으로 장착될 수 있다. 일부 실시예에서, 비용을 줄이기 위해, 다수의 카메라가 카메라 지지체에 고정 장착된다. 이러한 카메라는 카메라 지지체 및 선반에 대해 상향, 하향 또는 수평을 향하도록 배열될 수 있다. 이것은 유리하게는 다수의 카메라가 약간 다른 방향을 향해서 눈부심이 거의 없거나 전혀 없는 적어도 하나의 이미지를 생성할 수 있기 때문에 반사성이 높은 표면을 갖는 제품으로부터도 눈부심이 감소될 수 있다.
전자 제어 유닛(120)은 로봇 응답을 관리하는 자율 로봇 센싱 및 내비게이션 제어 모듈(124)을 포함한다. 로봇의 위치 파악은 외부 마커(marker) 및 기점(fiducial)을 이용하거나 또는 로봇 장착 센서에 의해 제공되는 위치 파악 정보에만 의존할 수 있다. 위치 결정을 위한 센서는, 이전에 언급된 이미징, 광학, 초음파 수중 음파 탐지기(sonar), 레이더(radar), 라이다(Lidar), 비행 시간, 구조화된 조명, 또는 삼각 측량, 시각적 흐름, 시각적 주행 거리계 및 휠 주행 거리계를 포함하지만 이에 국한되지는 않는 기법을 사용하여, 로봇과 환경 사이의 거리를 측정하거나 또는 모바일 베이스에 의해 이동하는 증분적 거리를 측정하는 다른 수단을 포함한다.
전자 제어 유닛(120)은 또한 카메라 제어 및 데이터 처리 모듈(122)을 사용하여 이미지 처리를 제공한다. 자율 로봇 센싱 및 내비게이션 제어 모듈(124)은 로봇 응답을 관리하고, 통신 모듈(126)은 데이터 입력 및 출력을 관리한다. 카메라 제어 및 데이터 처리 모듈(122)은 처리 모듈(125)에 연결된 별도의 데이터 저장 모듈(123)(예를 들어, 솔리드스테이트 하드 드라이브)을 포함할 수 있다. 통신 모듈(126)은 처리 모듈(125)에 연결되어 리얼로그램 데이터 또는 파노라마 이미지를 매점 서버 또는 다른 지원되는 카메라 시스템을 포함하는 원격 위치로 전송하고 추가적으로 재고 정보를 수신하여 리얼로그램을 구축하는 것을 도와줄 수 있다. 특정 실시예에서, 리얼로그램 데이터는 기본적으로 저장되고 이미지는 자율 로봇 내에서 처리된다. 유리하게는 이것은 데이터 전송 요구조건을 줄이고, 로컬 또는 클라우드 서버가 이용 가능하지 않은 경우에도 동작할 수 있게 한다.
도 2는 통로에서 양쪽 선반(202)들을 검사하는, 도 1과 연관하여 논의된 것과 유사한 두 개의 자율 로봇(230 및 232)을 도시하는 카툰(200)이다. 도시된 바와 같이 각 로봇은 통로의 길이를 따라 경로(205)를 따라가며, 다수의 카메라가 선반(202)의 이미지를 캡처한다.
일부 실시예에서, 로봇(230 및 232)은 5 cm 미만의 정확도 및 약 5 cm 내지 1 mm의 일반적인 거리 정확도로 다수의 카메라와 선반 및 선반 상의 제품 사이의 거리를 측정하기 위해 적어도 하나의 영역 감지 센서를 지지한다. 이해할 수 있는 바와 같이, 유사한 정확도를 갖는 라이다 또는 다른 영역 감지 기기들이 선택된 응용에서 더 사용될 수 있다. 절대 위치 센서, 선반까지의 상대적 거리 측정, 알려진 랜드마크와의 삼각 측량, 종래의 동시 위치 파악 및 맵핑(SLAM) 방법을 사용하거나, 또는 청사진(blueprint) 또는 이전에 구축된 맵에서 알려진 위치에 위치된 비콘에 의존하여, 로봇(230 및 232)은 일반적으로 선반(202)과 평행한 경로를 따라 이동할 수 있다. 로봇이 이동함에 따라, 수직으로 위치된 카메라들은 동기화되어 선반(202)의 이미지를 동시에 캡처할 수 있다. 특정 실시예에서, 선반 및 제품의 깊이 맵은 이미지 깊이 센서 및/또는 레이저 영역 감지 기기를 사용하여 선반 카메라로부터 선반까지 및 선반 유닛의 길이에 걸쳐 있는 제품까지의 거리를 측정함으로써 생성된다. 깊이 맵은 선반 카메라에 의해 캡처된 이미지 상에 등록되어, 타깃 상의 각 픽셀의 위치를 3D로 추정할 수 있다. 이용 가능한 정보를 사용하여, 연속적인 이미지들을 함께 스티칭하여 전체 선반 유닛에 걸친 파노라마 이미지를 생성할 수 있다. 연속적인 이미지들은 먼저 모든 카메라 사이에서 수직으로 스티칭될 수 있고, 이후 로봇(230 및 232)이 통로를 따라 이동할 때 수직 이미지들의 각각의 새로운 연속적인 세트로 수평으로 및 증분적으로 스티칭될 수 있다.
도 3은 로봇 내비게이션 및 센싱(310)을 하는 자율 로봇에 의해 지지되는 다양한 시스템 및 전자 모듈(300)을 도시한다. 재고 카메라(340)는 로봇 내비게이션 및 센싱 모듈(310)의 도움으로 원하는 위치로 이동된다. 조명(350)은 제품 재고품 쪽으로 보내지고, 재고 카메라 제어 및 이미지 재구성(312)은 일련의 재고 사진(및 선택적인 깊이 측정)을 취해 이들을 함께 결합하여 리얼로그램을 형성 또는 업데이트하는 것을 도와줄 수 있다. 파노라마 이미지, 리얼로그램 데이터 또는 다른 재고 연관 정보는 통신 시스템(316)을 통해 연관 정보를 송신 또는 수신할 수 있는 재고 데이터 및 로컬 업데이트 모듈(314)에 의해 취급된다. 데이터는 매점에 로컬한 서버에 전달되거나 또는 적합한 인터넷 또는 네트워킹 장치에 의해 원격 서버 또는 클라우드 액세스 가능 데이터 사이트로 전송될 수 있다.
재고 카메라(340)는, 제품을 식별하거나 또는 이미지를 구축하는 것을 돕기 위해 하나 이상의 이동 가능한 카메라, 줌 카메라, 초점 가능 카메라, 넓은 범위 카메라, 적외선 카메라, 자외선 카메라 또는 다른 특수 카메라를 포함할 수 있다. 예를 들어, 넓은 범위 카메라를 사용하여 좁은 시야를 가진 고해상도 카메라로부터 데이터를 매핑하거나 등록하는 이미지 구성 템플릿을 만들 수 있다. 다른 예로서, 대략 선반 가장자리 높이의 카메라 지지체 상에 위치된 경사 제어 가능한 고해상도 카메라는 선반 부착된 바코드, 식별 번호 또는 라벨을 판독하는데 사용될 수 있다. 특정 실시예에서, 종래의 RGB CMOS 또는 CCD 센서를 단독으로 또는 협대역, 광대역 또는 편광 필터를 포함할 수 있는 스펙트럼 필터와 함께 사용할 수 있다. 실시예는 또한 적외선, 자외선 또는 다른 파장을 검출할 수 있는 센서를 포함하여 하이퍼 스펙트럼(hyperspectral) 이미지를 처리할 수 있다. 이것은 예를 들어, 사람들이 볼 수 없는 마커, 라벨 또는 안내부를 모니터링하거나 추적하거나, 또는 보이지 않는 스펙트럼의 플래시 광(flashing light)을 사용하여, 에너지 소비 및 움직임이 흐려지는 것을 줄이면서 건강을 위협하는 불편함을 유도하지 않을 수 있다.
조명은 센서와 함께 또는 센서와 별도로 장착될 수 있으며, 레이저, 발광 다이오드(LED) 또는 유기 발광 다이오드(OLED)와 같은 단색 또는 근 단색 광원을 포함할 수 있다. 광대역 광원은 다양한 파장의 다중 LED(적외선 또는 자외선 LED 포함), 할로겐 램프 또는 다른 적절한 종래의 광원에 의해 제공될 수 있다. 협대역, 광대역 또는 편광 필터 및 광 차폐부, 렌즈, 거울, 반사 표면, 확산기, 집광기 또는 다른 광학기기를 포함할 수 있는 다양한 스펙트럼 필터는 개선된 국부적 조명 세기를 위해 영역 조명 또는 엄격히 초점 맞춰진 빔을 위한 넓은 광 빔을 제공할 수 있다.
일부 실시예에 따르면, 카메라(340) 및 조명(350)은 이동 가능하게 장착될 수 있다. 예를 들어, 힌지, 레일, 전자기 피스톤 또는 다른 적절한 작동 메커니즘을 사용하여, 카메라 또는 조명을 프로그래밍 방식으로 회전, 상승, 누름, 진동 또는 측방으로 또는 수직으로 재위치시킬 수 있다.
또 다른 실시예에서, 하나 이상의 카메라는 자율 로봇의 롤링 셔터 효과 및 이동 방향을 이용하는 방식으로 장착될 수 있다. 롤링 셔터의 "래스터화된" 지연을 이용하는 방식으로 카메라를 정렬하면, 로봇이 경로를 따라 이동하는 동안 발생할 수 있는 아티팩트(artifact)(신장/단축)를 줄일 수 있다.
재고 데이터(314)는 복수의 제품에 데이터를 저장할 수 있는 재고 데이터베이스를 포함할 수 있지만, 이로 제한되지 않고, 각 제품은 제품 유형, 제품 치수, 제품 3D 모델, 제품 이미지 및 현재 제품 가격, 선반 위치, 선반 재고 카운트 및 정면 배향의 수와 연관될 수 있다. 상이한 시간에 캡처되고 생성된 리얼로그램은 저장될 수 있으며 데이터 분석을 사용하여 제품의 이용 가능성의 추정을 향상시킬 수 있다. 특정 실시예에서, 리얼로그램을 생성하는 빈도는 증가되거나 감소될 수 있다.
통신 시스템(316)은 서버, 데스크톱 컴퓨터, 랩톱, 태블릿 또는 스마트 폰과 같은 장치와 상호 작용하기 위해 유선 또는 무선 연결 서브시스템과 연결을 포함할 수 있다. 데이터 및 제어 신호는 무선 네트워크, 개인 영역 네트워크, 셀룰러 네트워크, 인터넷 또는 클라우드 매개 데이터 소스를 포함하는 다양한 외부 데이터 소스 간에 수신, 생성 또는 전송될 수 있다. 또한 사용자 지정된 선호도 또는 프로토콜을 로컬로 데이터 저장할 수 있는 로컬 데이터 소스(예를 들어, 하드 드라이브, 솔리드스테이트 드라이브, 플래시 메모리, 또는 SRAM 또는 DRAM과 같은 동적 메모리를 포함하는 임의의 다른 적합한 메모리). 하나의 특정 실시예에서, 다수의 통신 시스템이 제공될 수 있다. 예를 들어, 직접 Wi-Fi 연결(802.11 b/g/n)뿐만 아니라 별도의 4G 셀룰러 연결을 사용할 수 있다.
원격 서버(318)는 서버, 데스크톱 컴퓨터, 랩톱, 태블릿, 또는 스마트 폰을 포함할 수 있지만, 이에 규정되는 것은 아니다. 원격 서버 실시예는 또한 클라우드 컴퓨팅 환경에서 구현될 수 있다. 클라우드 컴퓨팅은, 가상화를 통해 신속하게 제공되고 최소의 관리 노력 또는 서비스 제공자와의 상호 작용을 통해 방출되고 나서 적절히 스케일링될 수 있는 구성 가능한 컴퓨팅 자원(예를 들어, 네트워크, 서버, 스토리지, 애플리케이션 및 서비스)의 공유 풀(shared pool)에 유비쿼터스한, 편리한, 온디맨드식 네트워크 액세스를 가능하게 하는 모델로 정의될 수 있다. 클라우드 모델은 다양한 특성(예를 들어, 온디맨드 셀프 서비스, 광범위한 네트워크 액세스, 자원 풀링(resource pooling), 빠른 탄력성, 측정된 서비스 등), 서비스 모델(예를 들어, 서비스로서의 소프트웨어(Software as a Service: "SaaS"), 서비스로서의 플랫폼(Platform as a Service: "PaaS"), 서비스로서의 인프라(Infrastructure as a Service: "IaaS"), 배치 모델(예를 들어, 사설 클라우드, 커뮤니티 클라우드, 퍼블릭 클라우드, 하이브리드 클라우드 등)로 구성될 수 있다.
도 4는 동작의 일 실시예에서 리얼로그램 또는 파노라마 업데이트 단계들을 도시한다. 흐름도(400)에서 볼 수 있는 바와 같이, 로봇은 식별된 위치로 이동하고, 미리 결정된 거리에서 통로 경로를 따라 진행한다(단계 410). 경로가 사람이나 물체에 의해 차단되면 로봇은 경로가 장애물이 제거될 때까지 기다리거나, 천천히 움직이기 시작하거나, 장애물이 가까워질 때 기다리거나, 경로를 다시 획득하기 전에 물체를 돌아 우회하는데 필요할 때까지 경로를 따라 이동하거나, 또는 단순히 대체 통로를 선택할 수 있다.
단계(412)에서, 다수의 이미지가 캡처되고 함께 스티칭되어 이미지 파노라마를 규정한다. 선택적으로, 특정 실시예에서 파노라마 또는 넓은 범위 카메라는 단일의 큰 이미지를 캡처할 수 있다. 레이저 영역 감지 시스템, 적외선 깊이 센서, 또는 데시미터(decimeter) 이하의 스케일에서 깊이를 구별할 수 있는 유사한 시스템에 의해 생성된 선택적인 깊이 정보와 함께 이들 이미지는 파노라마 또는 리얼로그램을 생성하는데 사용된다(단계 414). 이 정보는 제품을 식별하기 위해 선반 라벨, 바코드 및 제품 식별 데이터베이스로부터 도출된 데이터로 파노라마 및/또는 리얼로그램을 생성, 변경 또는 업데이트하기 위해 클라우드 또는 원격 서버에 전달된다(단계 416). 리얼로그램은 파노라마 이미지 및 데이터를 사용하여 생성되고, 예를 들어, 매점 관리자, 재고 관리 직원 또는 고객 지원 담당자가 제품 및 라벨 배치를 위치 파악하거나, 제품 카운트를 추정하거나, 제품의 정면 배향의 수를 카운트하거나 또는 누락된 제품을 식별하거나 위치 파악하는 데 사용될 수 있다. 추가적으로, 일부 실시예에서, 다른 로봇, 업데이트된 제품 데이터베이스 또는 다른 매점으로부터 수신된 리얼로그램 또는 다른 정보를 사용하여 후속 리얼로그램을 업데이트하거나 생성하는 것을 도와줄 수 있다(단계 418).
도 5a 및 도 5b는 본 발명에 따른 카메라 시스템을 위한 모바일 베이스로서 작용할 수 있는 자율 로봇(500)의 측면도 및 단면도의 각각의 예이다. 로봇 내비게이션 및 센싱 유닛은 다수의 전방, 측방, 후방 및 상방 장착된 카메라를 갖는 상부 장착 센서 모듈(510)을 포함한다. 수직으로 정렬된 조명 어레이(520)는 수직으로 배열된 카메라(530) 라인 옆에 위치되고, 이들은 모두 제어 전자 장치, 전력 및 도킹 상호 연결부를 포함하는 구동 베이스(540)에 의해 지지된다. 이동성은 구동 휠(560)에 의해 제공되고, 안정성은 캐스터 휠(550)에 의해 개선된다.
재고 모니터링은 자율 로봇 카메라 시스템 이미지를 사용하는 것에 의존할 수 있다. 일반적으로 추가 분석을 위해 다수의 이미지가 처리, 결합 및 분할된다. 분할된 이미지는 제품의 정면 배향을 추정적으로 식별하는 제품 경계 박스를 규정하는 것을 도와줄 수 있다. 이 정보는 종종 제품 라이브러리를 생성하는 데 필요하다. 분할된 이미지는 일반적으로 수십 내지 수백 개의 윤곽지어지거나 별개의 이미지 영역에 이르는 다수의 제품 경계 박스를 포함할 수 있다. 경계 박스는 제품의 정면 배향, 제품 그룹 또는 제품들 간 갭을 둘러쌀 수 있다. 제품 경계 박스 내의 제품은 수동으로 식별되거나, 크라우드 소스 또는 유료 리뷰어 이미지 식별 시스템을 사용하여 식별되거나, 초기 플래노그램의 도움을 받거나 도움을 받지 않고 식별되거나, 또는 본 명세서에서 논의된 다양한 이미지 분류기를 사용하여 자동으로 식별될 수 있다. 제품들 간 갭은 선반 간격, 제품 분리 거리 또는 재고 누락/재고 없음을 식별하는 데 유용하다.
자동 식별은 자율 로봇을 단독으로 또는 외부 이미지 분류기 시스템과 조합하여 수행될 수 있다. 특정 실시예에서, 제품 경계 박스는 현재 선반과 그 위 선반 사이의 거리에 걸친 수직 공간과 함께 동일한 제품의 하나 이상의 사본(정면 배향)이 차지하는 선반 상의 수평 공간으로 규정될 수 있다. 현재 선반이 상위 선반인 경우 수직 공간은 일반적으로 설비의 상위까지의 거리에 대응하는 수이다. 수직 공간은 대안적으로 깊이 센서에 의해 센싱된 제품의 상위일 수 있다.
제품 경계 박스를 자동으로 생성하는 것을 돕기 위해 이미지를 분할하고 제품을 식별하는 것은 일부 실시예에서 이미지 템플릿을 사용하는 것에 의존할 수 있다. 일반적으로 각 이미지 템플릿은 자율 로봇에 장착된 카메라 시스템에서 캡처한 이미지와 비교된다. 매칭이 포지티브(positive)라면 이미지의 매칭된 구획이 이 제품의 이미지 분할로 사용된다.
분할은 주석이 달린(annotated) 트레이닝 데이터 세트에 분류기를 트레이닝함으로써 개선될 수 있고, 여기서 경계 박스는 제품 주위에 수동으로 그려진다. 트레이닝은 감독받는 또는 감독받지 않은 머신 학습, 심층 학습 또는 하이브리드 머신, 및 콘볼루션 신경 네트워크(convolutional neural network)를 포함하지만 이에 국한되지 않는 심층 학습 기법에 의해 수행될 수 있다.
일부 방법은, 제품 식별자에 대응하거나; 또는 스캐닝되는 선반 위치에 근접한 제품 물체에 대응하는 템플릿만을 매칭시킴으로써 고려되어야 하는 이미지 템플릿의 수를 감소시키는 단계를 포함할 수 있다. 제품 물체는 다음을 포함할 수 있지만 이에 국한되지 않는다:
- 제품 식별자
하나 이상의 디스크립터 세트
각 디스크립터 세트에 대한 신뢰도 레벨
하나 이상의 선반 위치 메트릭 추정치
각 선반 위치 메트릭 추정치에 대한 신뢰도 레벨
하나 이상의 선반 위치 위상 추정치
각 선반 위치 위상 추정치에 대한 카운트 수
제품의 하나 이상의 이미지 템플릿
제품의 치수
제품 물체는 변하는 제품 사양에 매칭하기 위해 업데이트, 수동 또는 자동으로 수정, 증대 또는 정정될 수 있고 변경될 수 있다.
일부 방법은 제품이 외부에서 공급되는 이미지와 다르게 배향되었는지를 더 검출한다. 템플릿 매칭을 찾을 수 없지만 제품 디스크립터가 매칭 가능성이 높은 것을 발견하면 이것은 모바일 베이스 시스템의 외부에서 공급되는 이미지의 것과는 다른 제품 배향을 나타낸다. 외부에서 공급되는 이미지가 제품의 정면도인 것으로 알려진 경우 이 방법은 선반 위에 부적절하게 배향된 제품을 식별한다. 부적절하게 배향된 제품의 각도 편차는 추정될 수 있고, 외부에서 공급되는 이미지의 디스크립터 세트와 이미지의 분할된 부분 사이에 아핀 변환(affine transformation)이 계산될 수 있다.
템플릿 매칭이 성공적인 상황에서, 이미지 내 제품의 분할은 정확하다고 고려될 수 있고, 제품의 실제 치수는 이미지 내 제품의 외관상 치수와 비교되어 이미지 센서와 제품 사이의 거리 추정치를 추출할 수 있다. 추가적으로 거리 추정치와 결합된 이미지 내 제품의 외관상 위치에 의해 이미지 센서와 제품 간의 3 차원 위치 및 배향을 계산할 수 있다.
일부 방법은 플래노그램으로부터 각 제품에 대한 위상 선반 위치를 추출한다. 이러한 방법은 분할을 통해 식별된 제품 물체의 범위를 더욱 증가시키고, 이를 다음 사항을 포함하는 것으로 재규정한다:
하나의 제품 식별자
하나 이상의 디스크립터 세트
각 디스크립터 세트에 대한 신뢰도 레벨
하나 이상의 선반 위치 메트릭 추정치
각 선반 위치 메트릭 추정치에 대한 신뢰도 레벨
하나 이상의 선반 위치 위상 추정치
각 선반 위치 위상 추정치에 대한 카운트 수
제품의 하나 이상의 이미지 템플릿
제품의 치수
플래노그램으로부터 하나 이상의 위상 선반 위치
다른 실시예에서, RFID 태그, 무선 비콘, 위치 파악기 또는 추적기는 제품 경계 박스를 규정하는 것을 돕기 위해 단독으로 또는 조합하여 사용될 수 있다. 예를 들어, 일부 실시예에서, 자율 로봇은 하나 이상의 RFID 판독기를 추가로 갖출 수 있다. RFID 태그가 장착된 제품의 재고 카운트를 수행하는 것은 일 실시예에서 다음과 같이 진행될 수 있다:
각 제품에 대한 총 태그 수는 자율 로봇에 장착되거나 자율 로봇과 연관되는 RFID 판독기로 재고 관리 소프트웨어에 의해 전달된다;
자율 로봇이 정지해 있거나 이동하는 동안 RFID 판독기는 RFID 태그를 수집한다;
만약 RFID 판독기가 주어진 제품에 대한 모든 태그를 수집하지 않는다면, 및
만약 자율 로봇이 이동하고 있다면, 자율 로봇은 나머지 태그를 수집하려고 정지하거나, 또는
만약 자율 로봇이 정지하면 나머지 태그를 수집하기 위해 자율 로봇을 미리 결정된 검색 경로로 이동시킨다.
적절히 변경해서, 블루투스, 근거리 무선 통신(NFC) 또는 다른 종래의 무선 시스템이 RFID 시스템 대신에 사용될 수 있다.
일부 실시예에서, 숫자, 알파벳, 1 차원 또는 2 차원 바코드, 또는 유사한 이미지 기반의 선반 또는 제품 라벨에 기초한 시각적 이미지가 단독으로 또는 다양한 이미지 특징과 함께 사용되어 이미지를 분할하고 제품 경계 박스를 규정하는 것을 도와줄 수 있다. 각 선반 이미지를 분석하고 분할하여 개별 가격 태그를 검출하고 또는 선반 위 제품 라벨을 검출할 수 있다. 대안적으로 또는 추가적으로, 각각의 이미지는 개별 제품 및 제품 패키지의 식별 표식(indicia)을 검출하는 데 사용될 수 있다.
분할은 다음 사항을 포함하지만 이에 제한되지 않는 기법을 사용할 수 있다:
- 에지 검출;
- 다음을 포함하지만 이에 규정되지 않는 깊이 추정 기법을 이용한 깊이 추정:
스테레오 카메라
움직임으로부터의 구조
초점으로부터의 구조
비행 시간을 사용한 깊이 카메라
삼각 측량을 사용한 깊이 카메라
평면 또는 3D 레이저/라이다 스캐너
색상(color) 분할;
제품 형상, 색상, 텍스트 및 종횡비를 포함하지만 이에 규정되지 않는 제품 특징;
콘볼루션 신경 네트워크 및 심층 학습과 같은 머신 학습 기법을 사용하여 식별되고 학습된 제품 형상
개별 제품 이미지를 위치 발견 휴리스틱(location heuristic)에 기초하여 식별자와 연관시키는 것. 휴리스틱은 제품 이미지 아래에서 또는 다른 근접 위치에서 식별자를 위치 파악할 수 있다.
휴리스틱은 라벨의 계획된 위치를 라벨의 측정된 위치와 상관시키는 것에 의해 및 연속적인 라벨들 사이의 측정된 거리를 왼쪽 라벨에 대응하는 제품의 폭으로 나눈 것인 각각의 정면 배향 그룹에 대한 정면 배향의 수에 의해 플래노그램으로부터 알려질 수 있다. 이러한 상관 관계는 예를 들어 그래프 이론 접근법을 사용하여 정면 배향 그룹과 라벨 간의 최대 가능한 대응 관계를 생성하도록 최적화될 수 있다.
연관은 또한 선반에서 최좌측 라벨을 자체 유사 정면 배향의 최좌측 그룹으로 매핑하고, 동일한 선반에서 최우측 라벨을 최우측 라벨의 정면 배향 그룹으로 매핑하고, 모든 정면 배향 그룹이 연관된 라벨을 가질 때까지 안쪽으로 작업하는 것에 의해 알려질 수 있다.
또한, 연관은 전술한 것과 유사한 휴리스틱을 사용하여 트레이닝 데이터 세트로부터 손으로-주석이-달린 연관에 트레이닝된 분류기에 의해 알려질 수 있다. 일부 방법은 식별자가 위치된 선반의 시작 또는 종단의 위치와 식별자의 위치를 비교함으로써 선반에서 각 식별자의 위치를 추론하는 단계를 더 포함한다. 대안적으로 방법은 제품이 놓인 선반의 시작 또는 종단의 위치와 제품의 위치를 비교함으로써 선반에서 각 제품의 위치를 추론하는 것에 기초할 수 있다.
일부 방법에서, 식별자의 선반 위치 및/또는 제품 위치는 메트릭 항으로 표현되는데, 즉 특정 선반의 시작 또는 종단으로부터 측정된 거리로 표현된다. 다른 방법에서, 식별자의 선반 위치 및/또는 제품 위치는 위상으로 표현되는데, 예를 들어, 특정 선반의 시작 또는 종단으로부터, 및 선반의 아래에서부터 위로, 또는 위에서부터 아래로 식별자의 시퀀스로 표현된다. 예를 들어, 특정 식별자는 네 번째 선반의 시작으로부터 세 번째일 수 있다.
제품 라이브러리가 생성되거나 이용 가능하게 제공되면, 라이브러리는 제품 경계 박스를 생성하는 것을 돕기 위해 다수의 유사한 특징을 갖는 제품 물체에 대해 검색될 수 있다. 잠재적인 각 제품 물체의 매칭 여부에 대해 라이브러리에서의 특징부의 위치의 기하학적 일관성은 선반 이미지에서의 특징부와 비교될 수 있다. 일부 방법은 향상된 검색 성능 및/또는 감소된 스토리지 요구조건을 위해 라이브러리 내 디스크립터 세트를 색인(indexing)하는 단계를 더 포함한다. 색인하는 방법은 해싱 기법(hashing techniques), 트리 표현(tree representations), 및 단어 모음(bag-of-words) 인코딩을 포함하지만 이에 국한되지 않는다. 대안적으로 제품 라이브러리로부터 플래노그램 정보 또는 제품 위치 정보를 사용하여 이미징된 선반에 포함된 제품만을 검색해야 하는 제품의 수를 줄일 수 있다. 또 다른 변형에서, 식별된 제품은 식별된 각 제품에 근접하여 위치된 가격 태그 또는 제품 라벨을 분할 및 디코딩하고 이것을 제품 물체 식별자와 비교함으로써 검증될 수 있다.
도 6은 자율 로봇에 의해 지원되는 센서 및 카메라 시스템에 의해 캡처된 정보로부터 앞서 논의된 바와 같은 제품 경계 박스를 생성할 수 있는 방법에 대한 일례를 보다 상세히 도시한 흐름도(600)이다. 도 6을 참조하면, 제1 단계(610)에서, 선반 라벨은 개별 선반 이미지 또는 스티칭된 파노라마에서 검출된다. 콘볼루션 신경 네트워크 또는 다른 심층 학습 방법, 템플릿 매칭 또는 HAAR 캐스케이드와 같은 분류 알고리즘을 사용하여 각 선반 라벨을 검출하는 것을 도와줄 수 있다. 각 선반 라벨은 하나 이상의 제품 식별자를 얻기 위해 분석된다. 분석하는 것은 광학 문자 인식, 바코드 스캔, QR 코드 스캔, AR 코드 스캔 또는 홀로그램 코드 스캔을 포함할 수 있지만 이에 국한되지는 않는다. 제품 식별자는 UPC 코드, 제품 이름 또는 문자, 숫자 또는 기타 기호의 코드화된 집합일 수 있다. 둘 이상의 식별자를 이용할 수 있는 경우 UPC 코드와 같은 바람직한 식별자를 선택할 수 있다. 특정 실시예에서, 제품 포장 또는 선반 라벨에 내장된 적외선 또는 자외선 검출 가능한 제품 식별자뿐만 아니라 제품 포장 상의 가시적인 UPC 코드 또는 시리얼 번호와 같은 임의의 다른 적절한 태그, 마커 또는 검출 가능한 식별 표식을 사용할 수 있다.
선택적 단계(612)에서, 선반 라벨의 이미지 위치가 공간에서 3D 위치를 복구하기 위해 깊이 맵에 등록되거나 깊이 맵과 비교된다. 깊이 맵은, 스테레오 이미지로부터 깊이를 추론하고, 이미지 내 물체 거리를 대략적으로 결정할 수 있는 적외선 메쉬 오버레이를 투영하고, 스캐닝 레이저 또는 LED로부터 나오는 광이 타깃에서 반사하여 진행하는 시간으로부터 깊이를 추론하는 하나 이상의 깊이 센서를 사용하거나 또는 일반적으로 서브 밀리미터 내지 서브 센티미터의 해상도를 갖는 깊이 맵을 구축하기 위한 임의의 다른 적절한 방법을 사용하여 생성될 수 있다.
단계(614)에서, 동일 제품의 하나의 또는 다수의 정면 배향 또는 제품들 사이의 갭을 포함하지만 이에 규정되지 않는 선반 상의 임의의 공간을 둘러싸는 주계(perimeter)로서 경계 박스가 규정된다. 경계 박스는 수동으로 규정되거나 또는 트레이닝 분류기, 심층 학습, 이미지 분할 또는 임의의 다른 적합한 기법 또는 기법들의 조합을 사용하여 자동으로 규정될 수 있다. 경계 박스는 높이로 그룹화된 라벨을 참조하여 생성될 수 있으며, 여기서 인접한 라벨들 사이의 수평 거리는 단일 정면 배향 제품의 경계 박스의 폭을 규정하는 데 사용된다. 정면 배향 제품이 다수인 경우 경계 박스의 폭은 제품 폭과 동일한 구획으로 세분된다.
경계 박스의 높이는 선반 높이를 검출하는 것으로부터 도출될 수 있다. 선반의 높이는 깊이 맵을 분석하여 선반의 바닥과 그 아래에 쌓인 제품 사이의 거리에 대응하는 수평 만입부를 식별하는 것에 의해 검출될 수 있다. 이 수평 만입부는 선반 가장자리에 대응하고 선반 높이를 나타낸다.
대안적으로, 라벨 그룹은 다음 기준에 따라 (그룹의 첫 번째 라벨과 마지막 라벨 사이의 수평 거리로 규정된) 수평 스팬(span)에 의해 필터링될 수 있다:
라벨 그룹은 그 수평 스팬이 현재의 라벨 그룹 스팬과 오버랩되는 경우 필터를 통과한다.
라벨 그룹은 그 수평 스팬이 겨우 베이(bay) 폭을 나타내는 수만큼 현재의 라벨 그룹 스팬으로부터 떨어져 있는 경우 필터를 통과한다. 일반적으로 베이 폭은 매점에 걸쳐 사용되는 표준 3 피트 내지 4 피트 폭의 선반이다.
필터링된 라벨 그룹을 높이별로 정렬하고, 현재의 라벨 그룹 후에 그 다음 높은 라벨 그룹을 선택한다.
대안적으로, 선반 높이는 또한 수동으로 주석이 달린, 선반의 색상 및 깊이 이미지(이용 가능할 경우)에 트레이닝된 심층 학습 분류기에 의해 검출될 수 있다.
선택된 라벨 그룹과 현재의 라벨 그룹 사이의 높이 차이가 결정되면 경계 박스의 높이가 완전히 규정될 수 있다.
수직으로 적층된 제품의 경우, 경계 박스의 높이는 제품의 높이와 동일한 구획들로 세분된다.
특정 실시예에서, 경계 박스를 결정하는 이전의 방법은 각각의 방법에 대한 신뢰도 척도를 추정하고 그 결과를 더함으로써 확률적으로 결합될 수 있다.
다음으로, 단계(616)에서, 각각의 경계 박스는 라벨 위치 발견 휴리스틱에 기초하여 식별자와 일관적으로 연관된다. 식별자는 왼쪽 또는 오른쪽 선반 라벨로부터 유래하도록 선택될 수 있다. 경계 박스와 식별자를 연관시키는 것은 전체 선반 구획이나 통로에 걸쳐 최적화를 통해 더욱 정제될 수 있다. 경계 박스는 식별자를 통해 선반의 단순한 또는 파노라마 스티칭된 이미지에 등록될 수 있고, 경계 박스에 포함된 이미지 부분에 대해 이미지 디스크립터가 추출된다. 이미지 디스크립터를 생성하는 방법은 이미지 템플릿, 그래디언트의 히스토그램(Histogram of Gradients), 색상의 히스토그램(Histogram of Colors), 스케일 불변 특징 변환(Scale Invariant Feature Transform), 바이너리식 강건한 독립적인 기본 특징(Binary Robust Independent Elementary Feature), 최대로 안정된 극한 영역(Maximally Stable Extremal Regions), 바이너리식 강건한 불변 스케일 가능 키포인트(Binary Robust Invariant Scalable Keypoints), 고속 망막 키포인트(Fast Retina Keypoint), 케이즈 특징(Kaze feature), 및 그 변형을 포함하지만 이들로 제한되지 않는다.
제품 디스크립터를 추출하는 대안은 경계 박스를 라벨링된 카테고리로서 사용하고, 분류기를 경계 박스에 포함된 이미지에 대해 트레이닝시키는 것이다. 분류기는 심층 구조 학습, 계층적 학습, 심층 머신 학습, 또는 콘볼루션, 피드포워드(feedforward), 회귀(recurrent) 네트워크 또는 다른 적절한 신경 네트워크와 연관된 다른 적합한 심층 학습 알고리즘에 기초한 분류기를 포함할 수 있다. 심층 학습 기반 분류기는 주석이 달린 트레이닝 데이터에 기초하여 이미지 디스크립터를 자동으로 학습할 수 있다. 예를 들어, 심층 학습 기반의 이미지 디스크립터는 심층 콘볼루션 신경 네트워크의 다중 레이어에 대응하는 계층 구조일 수 있다. 콘볼루션 레이어 네트워크의 최종 레이어는 지정된 이미지 카테고리들 중 하나의 카테고리에 있는 제품의 신뢰도 값을 출력한다. 이미지 디스크립터 생성기 부분과 분류 부분은 콘볼루션 신경 네트워크에 통합되고, 이 두 부분은 트레이닝 세트를 사용하여 함께 트레이닝된다.
대안적으로 또는 추가적으로, 심층 학습 기반의 이미지 디스크립터와 종래적인 이미지 디스크립터를 모두 사용하는 실시예가 하이브리드 시스템에서 결합될 수 있다.
단계(618)에서, 이미지 디스크립터는 식별자로 분류되고 라벨링될 수 있다. 분류 알고리즘은 지원 벡터 머신을 포함할 수 있지만 이에 제한되지 않는다. 이 프로세스는 이미지가 다른 시간에 동일한 매점에서 캡처되었는지 또는 다른 매점에서 캡처되었는지에 관계없이 동일한 식별자와 연관된 경계 박스의 모든 이미지에 대해 반복될 수 있다. 따라서 시간에 따라 이것은 초기 플래노그램을 요구함이 없이 또는 특정 제품 데이터베이스를 저장함이 없이 제품 라이브러리(즉, "제품의 라이브러리")를 자동으로 구축할 수 있다.
심층 학습 기반의 이미지 디스크립터를 이용하는 이러한 실시예에서, 신경 네트워크 분류기는 동일한 트레이닝된 콘볼루션 신경 네트워크의 일부일 수 있다. 콘볼루션 신경 네트워크의 다른 레이어로부터 추출된 자동 학습 특징은 더 큰 제품 인식 시스템에서 사용될 수 있다. 이러한 특징은 하이브리드 시스템에서 다른 분류자 또는 종래의 이미지 디스크립터와 함께 사용될 수 있다.
도 7은 제품의 라이브러리의 일 실시예를 관리하는 추가적인 프로세스 상세를 나타내는 흐름도(700)이다. 제품의 라이브러리는 본 명세서에 설명된 것과 같은 단일 자율 로봇에 저장되거나, 둘 이상의 자율 로봇 사이에 분산되거나, 또는 로컬, 원격 또는 클라우드 서버에 전체적으로 또는 부분적으로 저장될 수 있다. 일 실시예에서, 단계(710)는 식별자와 연관된 각각의 제품 이미지로부터 하나의 디스크립터 세트를 추출할 것을 요구한다. 하나 이상의 디스크립터 세트가 발생될 수 있는데, 여기서 각 디스크립터 세트에 대한 신뢰도 레벨이 설정되고; 각 디스크립터 세트가 생성된 날짜가 레코딩되고; 하나 이상의 선반 위치 메트릭 추정치가 만들어지고; 각 선반 위치 메트릭에 대한 신뢰도 레벨이 추정되고; 하나 이상의 선반 위치 위상이 추정되고; 또는 각 선반 위치 위상에 대한 카운트 수가 추정될 수 있다. 다른 실시예에서, 제품의 하나 이상의 이미지 템플릿 또는 제품의 치수를 사용하여 제품의 물체 범위를 결정할 수 있다.
단계(714)에서, 각각의 식별자 및 제품 디스크립터 세트는 다음과 같이 제품 물체의 데이터베이스 또는 라이브러리에 저장된다:
식별자가 라이브러리 내에 존재하는 식별자와 매칭하지 않으면, 식별자, 제품 디스크립터 세트, 제품 디스크립터 세트에 대한 엔트리 신뢰도 레벨, 및 날짜를 포함하는 새로운 물체를 생성한다. 엔트리 신뢰도 레벨은 고유하다.
제품의 식별자가 라이브러리에서 존재하는 식별자와 매칭하는 경우, 신규한 및 기존의 디스크립터 세트가 동일한 물체로부터 추출되었을 가능성을 설명하는 각각의 기존의 디스크립터 세트에 대한 스코어를 계산한다.
가장 높은 가능성 점수가 포지티브 매칭을 위한 휴리스틱 값을 초과하는 경우, 새로운 디스크립터 세트를 가장 높은 가능성 특징 세트와 결합하고; 상기 물체 내의 다른 디스크립터 세트에 대해 이 디스크립터 세트의 신뢰도 레벨을 증가시키고; 기존의 디스크립터 세트의 것에 날짜를 첨부한다.
가장 높은 가능성 스코어가 포지티브 매칭을 위한 휴리스틱 값을 초과하지 않는 경우, 물체에 디스크립터 세트를 추가하고; 엔트리 레벨에 신뢰도를 설정하고; 날짜를 추가한다.
심층 학습 기반의 이미지 인식을 이용하는 이러한 실시예에서, 입력 이미지는 신뢰도 레벨을 출력하는 콘볼루션 신경 네트워크를 사용하여 제품 카테고리들 중 하나의 카테고리에 속하는 것으로 분류된다. 이 신뢰도 레벨은 위와 동일한 방식으로 이미지 디스크립터를 라이브러리에 저장하는 데 사용된다.
단계(716)에서, 라이브러리 내의 디스크립터 세트는 개선된 검색 성능 및/또는 감소된 저장 요구조건을 위해 사용될 수 있다. 색인 방법은 해싱 기법, 트리 표현, 및 워드 모음 인코딩을 포함하지만 이에 국한되지 않는다.
단계(718)에서, 제품 라이브러리는 에러 및 데이터베이스의 크기를 줄이기 위해 선택적으로 프루닝(prune)될 수 있다. 디스크립터 세트와 메트릭 또는 토폴로지 선반 위치를 프루닝하는 것은 다음과 같이 수행될 수 있다:
디스크립터 세트: 디스크립터 세트가 모바일 베이스 시스템의 외부에서 공급되는 이미지로부터 유래한 경우를 제외하고, 디스크립터 세트의 신뢰도 레벨이 휴리스틱 값 미만인 모든 디스크립터 세트를 그 신뢰도 레벨 및 날짜 엔트리와 함께 삭제한다.
메트릭 선반 위치: 메트릭 위치의 엔트리 날짜가 레코드 상의 마지막 날짜인 경우를 제외하고, 메트릭 위치의 신뢰도 레벨이 휴리스틱 값 미만인 모든 메트릭 위치를 메트릭 위치의 신뢰도 레벨 및 날짜 엔트리와 함께 삭제한다.
위상 선반 위치: 위상 위치의 엔트리 날짜가 레코드 상의 마지막 날짜인 경우를 제외하고, 위상 위치의 카운트 수가 휴리스틱 값 미만인 모든 위상 위치를 위상 위치의 카운트 수 및 날짜 엔트리와 함께 삭제한다.
대안적으로서, 프루닝은 다음을 수반할 수 있다:
iv) 디스크립터 세트: 디스크립터 세트가 모바일 베이스 시스템의 외부에서 공급되는 이미지로부터 유래한 경우를 제외하고, 가장 높은 신뢰도 레벨을 갖는 세트를 제외한 모든 디스크립터 세트를 디스크립터 세트의 신뢰도 레벨 및 날짜 엔트리와 함께 삭제한다.
v) 메트릭 선반 위치: 연관된 신뢰도 레벨이 휴리스틱 값을 초과하는 경우, 최신 날짜를 제외한 모든 메트릭 위치를 메트릭 위치의 신뢰도 레벨 및 날짜 엔트리와 함께 삭제한다. 그렇지 않으면, 휴리스틱 값을 초과하는 신뢰도 레벨이 발견될 때까지 최근 두 날짜 이상의 데이터를 유지한다.
vi) 위상 선반 위치: 연관된 카운트 수가 휴리스틱 값을 초과하는 경우, 최신 날짜를 제외한 모든 위상 위치를 위상 위치의 카운터 수 및 날짜 엔트리와 함께 삭제한다. 그렇지 않으면, 휴리스틱 값을 초과하는 카운트 수가 발견될 때까지 최근 두 날짜 이상의 데이터를 유지한다.
일부 실시예에서, 제품 라이브러리를 변경하는 것은 제품을 식별하는 것을 돕기 위해 외부 이미지 데이터 소스를 이용할 수 있다. 이러한 이미지는 다음 소스 중 하나 이상의 소스로부터 얻을 수 있다:
제품을 운반하는 소매업체, 여기서 이미지는 제품 식별자에 대응한다
제품의 제조업체, 제품 식별자와 매칭한 후에는, 제조업체의 명명 및 이미지
제품의 제3자 사진
온라인 데이터베이스, 이미지 검색 엔진, 또는 제품 리스트의 온라인 소매업체로부터의 데이터, 또는 다른 인터넷 데이터베이스. 검색은 제품 식별자에 대응하는 제조업체의 명명을 사용하여 수행하는 것이 바람직하다. 일부 방법에서 이 검색이 자동으로 수행되고, 사람이 개입하지 않고 하나 이상의 이미지가 삽입된다.
하나 이상의 외부에서 도출된 이미지는 제품의 적어도 하나의 정면도 및 동일한 식별자에 대응하는 제품의 배면, 측면, 상면 및 하면 또는 상이한 포장 외관과 같은 선택적으로 추가적인 도면을 포함할 수 있다. 제품이 외부에서 공급되는 이미지와 다른 방향으로 배향되면 제품 디스크립터는 매칭 가능성이 높은 것을 찾으려고 시도할 수 있다. 일부 실시예에서, 유사한 제품 및 다른 배향의 제품 간의 각도 편차는 외부에서 공급되는 이미지의 디스크립터 세트와 이용 가능한 제품 이미지 사이에 아핀 변환을 계산함으로써 결정될 수 있다.
템플릿 매칭이 성공적이고 이미지 내 제품 분할이 정확한 상황에서, 제품의 실제 치수를 이미지 내 제품의 외관상 치수와 비교하여 이미징 센서와 제품 사이의 거리 추정치를 추출할 수 있다. 추가적으로, 거리 추정치와 결합된 이미지 내 제품의 외관상 위치에 의해 이미징 센서와 제품 간의 3 차원 위치와 배향을 계산할 수 있다.
심층 학습 기반의 대안적인 실시예에서, 제품의 분할은 제품 내부 및 제품 배경에 속하는 것으로 픽셀을 분류하는 콘볼루션 신경 네트워크에 의해 수행될 수 있다. 제품의 치수는 분할로부터 추론된다.
본 발명의 많은 수정 및 다른 실시예는 전술한 설명 및 연관 도면에 제시된 개시 내용으로부터 이익을 갖는 이 기술 분야에 통상의 지식을 가진 자에게는 자명할 것이다. 그러므로, 본 발명은 개시된 특정 실시예에 규정되지 않으며, 수정 및 실시예는 첨부된 청구범위 내에 포함되는 것으로 의도된 것으로 이해된다. 또한 본 발명의 다른 실시예는 본 명세서에 구체적으로 개시되지 않은 요소/단계 없이 실시될 수 있는 것으로 더 이해된다.

Claims (22)

  1. 재고 모니터링 방법으로서,
    적어도 하나의 선반 상의 선반 라벨을 검출하고 판독하는 단계;
    적어도 하나의 카메라로 촬영된 이미지에서 잠재적인 재고품 주위에 하나 이상의 경계 박스를 규정하는 단계; 및
    상기 이미지 내 상기 경계 박스를 선반 라벨과 연관시켜 제품 분류기 또는 제품 라이브러리 중 적어도 하나를 구축하는 단계를 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  2. 제1항에 있어서, 자율 로봇을 상기 적어도 하나의 선반 옆으로 이동하도록 허용하는 단계를 더 포함하고, 상기 자율 로봇은 자율적으로 선반 라벨을 판독하고 다수의 경계 박스를 규정할 수 있는 이동 가능한 베이스로서 작용하는 것을 특징으로 하는 재고 모니터링 방법.
  3. 제1항에 있어서, 자율 로봇을 상기 적어도 하나의 선반 옆으로 이동하도록 허용하는 단계를 더 포함하고, 상기 자율 로봇은 다수의 카메라 및 라이다(LIDAR) 영역 감지 시스템을 갖는 이동 가능한 베이스로서 작용하는 것을 특징으로 하는 재고 모니터링 방법.
  4. 제1항에 있어서, 상기 자율 로봇을 상기 적어도 하나의 선반 옆으로 이동하도록 허용하는 단계를 더 포함하고, 상기 자율 로봇은 선반 및 선반 상에 위치된 제품의 깊이 맵을 캡처하기 위한 이동 가능한 베이스로서 작용하는 것을 특징으로 하는 재고 모니터링 방법.
  5. 제1항에 있어서,
    하나의 제품 식별자; 하나 이상의 디스크립터 세트; 각 디스크립터 세트에 대한 신뢰도 레벨; 각 디스크립터 세트가 생성된 날짜; 하나 이상의 선반 위치 메트릭 추정치; 각 선반 위치 메트릭 추정치에 대한 신뢰도 레벨; 하나 이상의 선반 위치 위상 추정치; 각 선반 위치 위상 추정치에 대한 카운트 수; 상기 제품의 하나 이상의 이미지 템플릿; 및 상기 제품의 치수 중 적어도 하나 이상을 포함하는 제품 범위를 갖는 제품 라이브러리를 구축하는 단계를 더 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  6. 제1항에 있어서, 적어도 하나의 카메라로 촬영된 이미지 내 다수의 경계 박스에서 지정된 잠재적인 재고품을 식별하기 위해 수동 입력을 사용하는 단계를 더 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  7. 제1항에 있어서, 상기 잠재적인 재고품과 상기 잠재적인 재고품 사이의 갭 주위의 경계 박스는 자동으로 규정되는 것을 특징으로 하는 재고 모니터링 방법.
  8. 제1항에 있어서, 경계 박스는 선반 라벨 또는 제품 위 마커 중 적어도 하나와 수동으로 연관되는 것을 특징으로 하는 재고 모니터링 방법.
  9. 제1항에 있어서, 경계 박스는 선반 라벨 또는 제품 위 마커 중 적어도 하나와 자동으로 연관되는 것을 특징으로 하는 재고 모니터링 방법.
  10. 제1항에 있어서, 초기 플래노그램(planogram)을 사용하지 않고 제품 라이브러리를 구축하는 단계를 더 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  11. 제품 분류기를 구축하기 위한 시스템으로서,
    이미지 캡처 유닛;
    선반 라벨 데이터를 캡처하기 위한 선반 라벨 검출기 및 판독기;
    다수의 경계 박스를 규정하기 위한 처리 모듈; 및
    상기 경계 박스 내 이미지들을 상기 선반 라벨 데이터와 연관시키기 위한 트레이닝 가능한 이미지 분류기를 포함하되, 상기 이미지들은 상기 이미지 캡처 유닛에 의해 제공되는 것을 특징으로 하는 제품 분류기를 구축하기 위한 시스템.
  12. 제11항에 있어서, 상기 이미지 캡처 유닛은 자율 로봇에 장착되고, 상기 선반 라벨 검출기 및 판독기에 연결되는 것을 특징으로 하는 제품 분류기를 구축하기 위한 시스템.
  13. 제11항에 있어서, 상기 트레이닝 가능한 이미지 분류기는 머신 학습을 사용하여 트레이닝되는 것을 특징으로 하는 제품 분류기를 구축하기 위한 시스템.
  14. 제11항에 있어서, 상기 트레이닝 가능한 이미지 분류기는 심층 학습 시스템을 사용하여 트레이닝되는 것을 특징으로 하는 제품 분류기를 구축하기 위한 시스템.
  15. 재고 모니터링 방법으로서,
    선반 라벨을 검출하고 판독하는 단계;
    적어도 하나의 카메라로부터 적어도 하나의 선반까지의 거리를 검출하는 단계;
    적어도 하나의 카메라로 촬영된 이미지 내 잠재적인 재고품 주위에 경계 박스를 규정하는 단계; 및
    상기 이미지 내 선택된 경계 박스를 선택된 선반 라벨과 연관시켜 제품 분류기 또는 제품 라이브러리 중 적어도 하나를 구축하는 단계를 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  16. 제15항에 있어서, 자율 로봇을 상기 적어도 하나의 선반 옆으로 이동하도록 허용하는 단계를 더 포함하고, 상기 자율 로봇은 거리를 검출하고, 선반 라벨을 판독하고, 경계 박스를 규정할 수 있는 이동 가능한 베이스로서 작용하는 것을 특징으로 하는 재고 모니터링 방법.
  17. 제15항에 있어서, 자율 로봇을 상기 적어도 하나의 선반 옆으로 이동하도록 허용하는 단계를 더 포함하고, 상기 자율 로봇은 다수의 카메라, 및 라이다 영역 감지 시스템 또는 깊이 카메라 중 적어도 하나를 구비하는 이동 가능한 베이스로서 작용하는 것을 특징으로 하는 재고 모니터링 방법.
  18. 제15항에 있어서, 자율 로봇을 상기 적어도 하나의 선반 옆으로 이동하도록 허용하는 단계를 더 포함하고, 상기 자율 로봇은 선반 및 선반상에 위치된 제품의 깊이 맵을 캡처하기 위한 이동 가능한 베이스로서 작용하는 것을 특징으로 하는 재고 모니터링 방법.
  19. 제15항에 있어서,
    하나의 제품 식별자; 하나 이상의 디스크립터 세트; 각 디스크립터 세트에 대한 신뢰도 레벨; 각 디스크립터 세트가 생성된 날짜; 하나 이상의 선반 위치 메트릭 추정치; 각 선반 위치 메트릭 추정치에 대한 신뢰도 레벨; 하나 이상의 선반 위치 위상 추정치; 각 선반 위치 위상 추정치에 대한 카운트 수; 상기 제품의 하나 이상의 이미지 템플릿; 및 상기 제품의 치수 중 적어도 하나 이상을 포함하는 제품 범위를 갖는 제품 라이브러리를 구축하는 단계를 더 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  20. 제15항에 있어서, 적어도 하나의 카메라로 촬영된 이미지 내 다수의 경계 박스에서 지정된 잠재적인 재고품을 식별하기 위해 수동 입력을 사용하여 제품 라이브러리를 구축하는 단계를 더 포함하는 것을 특징으로 하는 재고 모니터링 방법.
  21. 제15항에 있어서, 상기 경계 박스는 잠재적인 재고품들 사이의 갭을 둘러쌀 수 있는 것을 특징으로 하는 재고 모니터링 방법.
  22. 제15항에 있어서, 초기 플래노그램을 사용하지 않고 상기 제품 라이브러리를 구축하는 단계를 더 포함하는 것을 특징으로 하는 재고 모니터링 방법.
KR1020187029411A 2016-03-29 2017-03-28 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템 KR20190031431A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662314785P 2016-03-29 2016-03-29
US62/314,785 2016-03-29
US201662427509P 2016-11-29 2016-11-29
US62/427,509 2016-11-29
PCT/US2017/024559 WO2017172782A1 (en) 2016-03-29 2017-03-28 SYSTEM AND METHOD FOR LOCATING, IDENTIFYING AND COUNTING lTEMS

Publications (1)

Publication Number Publication Date
KR20190031431A true KR20190031431A (ko) 2019-03-26

Family

ID=59958856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029411A KR20190031431A (ko) 2016-03-29 2017-03-28 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템

Country Status (8)

Country Link
US (2) US11087272B2 (ko)
EP (1) EP3437031A4 (ko)
JP (1) JP2019513274A (ko)
KR (1) KR20190031431A (ko)
CN (1) CN109154993A (ko)
AU (1) AU2017245132A1 (ko)
CA (1) CA3018381A1 (ko)
WO (2) WO2017172790A1 (ko)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489677B2 (en) 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
KR20210033695A (ko) * 2019-09-19 2021-03-29 디카모 주식회사 재고 파악 방법 및 시스템
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11592826B2 (en) 2018-12-28 2023-02-28 Zebra Technologies Corporation Method, system and apparatus for dynamic loop closure in mapping trajectories
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007964B1 (en) 2015-05-20 2018-06-26 Digimarc Corporation Image processing methods and arrangements
US10552933B1 (en) 2015-05-20 2020-02-04 Digimarc Corporation Image processing methods and arrangements useful in automated store shelf inspections
JP6874680B2 (ja) * 2015-06-09 2021-05-19 日本電気株式会社 棚割支援装置、棚割支援システム、棚割支援方法、および、プログラム
US10909710B2 (en) * 2016-03-23 2021-02-02 Akcelita, LLC System and method for tracking product stock in a store shelf
US11681980B2 (en) * 2016-03-23 2023-06-20 Akcelita, LLC System and method for tracking product stock in a store shelf
US11087272B2 (en) * 2016-03-29 2021-08-10 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
CA3020303A1 (en) * 2016-04-07 2017-10-12 Walmart Apollo, Llc Systems and methods for locating containers with low inventory
WO2017192868A1 (en) * 2016-05-04 2017-11-09 Wal-Mart Stores, Inc. Distributed autonomous robot systems and methods
US11593755B2 (en) * 2016-05-19 2023-02-28 Simbe Robotics, Inc. Method for stock keeping in a store with fixed cameras
EP3459008A4 (en) * 2016-05-19 2019-11-27 Simbe Robotics, Inc. METHOD FOR MONITORING THE PLACEMENT OF PRODUCTS ON SHELVES IN A STORE
CN109328359A (zh) * 2016-06-30 2019-02-12 波萨诺瓦机器人知识产权有限公司 用于库存跟踪的多摄像机系统
WO2018016494A1 (ja) * 2016-07-20 2018-01-25 株式会社サンクレエ 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法
US20180101813A1 (en) * 2016-10-12 2018-04-12 Bossa Nova Robotics Ip, Inc. Method and System for Product Data Review
US20180150788A1 (en) * 2016-11-30 2018-05-31 Wipro Limited Inventory control system and a method for inventory control in an establishment
US11798064B1 (en) 2017-01-12 2023-10-24 Digimarc Corporation Sensor-based maximum-likelihood estimation of item assignments
US10438165B2 (en) * 2017-03-07 2019-10-08 Ricoh Company, Ltd. Planogram generation
WO2018184675A1 (en) * 2017-04-05 2018-10-11 Telefonaktiebolaget Lm Ericsson (Publ) Illuminating an environment for localisation
WO2018187788A1 (en) * 2017-04-07 2018-10-11 Simbe Robotics Inc Method for tracking stock level within a store
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US10345818B2 (en) 2017-05-12 2019-07-09 Autonomy Squared Llc Robot transport method with transportation container
US10685324B2 (en) * 2017-05-19 2020-06-16 Hcl Technologies Limited Method and system for optimizing storage and retrieval of a stock keeping unit (SKU)
US10872228B1 (en) * 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
US20200311659A1 (en) * 2017-09-29 2020-10-01 Nec Corporation Information processing apparatus, information processing method, and program
FR3072492B1 (fr) 2017-10-13 2019-11-08 Ses-Imagotag Procede pour initialiser ou mettre a jour une base de donnees de realogramme pour un lineaire, en utilisant des signaux optiques emis par des etiquettes electroniques de gondole
WO2019087519A1 (ja) 2017-10-30 2019-05-09 パナソニックＩｐマネジメント株式会社 棚監視装置、棚監視方法、及び、棚監視プログラム
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
EP3483780A1 (en) * 2017-11-10 2019-05-15 Skidata Ag Classification and identification systems and methods
KR20190055582A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 전자 장치의 이미지 촬영 방법 및 그 전자 장치
WO2019099987A1 (en) * 2017-11-20 2019-05-23 Walmart Apollo, Llc Barcode validator and text extraction from images for data quality checks and remediation
JP7024351B2 (ja) * 2017-11-24 2022-02-24 富士通株式会社 棚割生成プログラム、棚割生成方法及び棚割生成装置
SE542615C2 (en) * 2017-11-28 2020-06-16 Barbara Terebieniec Systems, methods and computer programs for container space allocation monitoring
CN108551658B (zh) 2017-12-18 2021-04-09 上海云拿智能科技有限公司 目标物定位系统及定位方法
US11276033B2 (en) 2017-12-28 2022-03-15 Walmart Apollo, Llc System and method for fine-tuning sales clusters for stores
US20190205806A1 (en) * 2017-12-28 2019-07-04 Walmart Apollo, Llc System and method for determining and implementing sales clusters for stores
EP3754545A1 (en) 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
WO2019140126A1 (en) * 2018-01-10 2019-07-18 Simbe Robotics, Inc Method for detecting and responding to spills and hazards
CA3088166A1 (en) * 2018-01-10 2019-07-18 Durgesh TIWARI Method for monitoring temperature-controlled units in a store
US10452924B2 (en) * 2018-01-10 2019-10-22 Trax Technology Solutions Pte Ltd. Withholding alerts due to temporary shelf occlusion
US11488315B2 (en) * 2018-01-26 2022-11-01 SagaDigits Limited Visual and geolocation analytic system and method
CA3088511A1 (en) * 2018-01-27 2019-08-01 Walmart Apollo, Llc Dynamic flex-space allocation system
US20190236526A1 (en) * 2018-01-31 2019-08-01 Veeva Systems Inc. System and Method for Managing Visual Product Placement
WO2019152279A1 (en) * 2018-01-31 2019-08-08 Walmart Apollo, Llc Product inventorying using image differences
DE102019000903A1 (de) 2018-02-21 2019-08-22 Sew-Eurodrive Gmbh & Co Kg System mit Anlage, Objekten und Mobilteilen, und Verfahren zum Betreiben eines Systems
EP3759420A4 (en) * 2018-03-01 2021-11-03 Omni Consumer Products, LLC METHOD, SYSTEM AND DEVICE FOR DETERMINING THE NUMBER OF PRODUCTS
CN108629325B (zh) * 2018-05-11 2021-06-22 北京旷视科技有限公司 物品位置的确定方法、装置及系统
FR3081587A1 (fr) * 2018-05-28 2019-11-29 Comerso Procede de valorisation des produits non conformes
CA3101530C (en) 2018-06-01 2022-06-21 Beijing Geekplus Technology Co., Ltd. Management method, device and system applied to goods-to-person system, server and computer storage medium
CA3104284A1 (en) * 2018-06-20 2019-12-26 Simbe Robotics, Inc Method for managing click and delivery shopping events
JP6890849B2 (ja) * 2018-06-20 2021-06-18 株式会社マーケットヴィジョン 情報処理システム
CA3120688A1 (en) * 2018-06-23 2019-12-26 Simbe Robotics, Inc Method for managing stock within a store
US10934045B2 (en) 2018-07-27 2021-03-02 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US10810543B2 (en) * 2018-07-30 2020-10-20 Maplebear, Inc. Populating catalog data with item properties based on segmentation and classification models
US11100302B2 (en) * 2018-08-13 2021-08-24 Sunrise R&D Holdings, Llc System and method for verification of displayed shelf tags using hand-held device
US11153483B2 (en) * 2018-08-24 2021-10-19 Bossa Nova Robotics Ip, Inc. Shelf-viewing camera with multiple focus depths
DE102018006764B4 (de) 2018-08-27 2021-02-25 Daimler Ag Verfahren und system(e) für das management von frachtfahrzeugen
DE102018006765B4 (de) * 2018-08-27 2021-02-25 Daimler Ag Verfahren und system(e) für das management von frachtfahrzeugen
TWI675331B (zh) * 2018-08-31 2019-10-21 財團法人工業技術研究院 儲物裝置及儲物方法
CN109242563A (zh) * 2018-09-03 2019-01-18 索信科技（北京）有限公司 一种智能化信息监测应用方法和系统
US11080559B2 (en) 2018-09-18 2021-08-03 Focal Systems, Inc. Product onboarding machine
US11232398B2 (en) 2018-09-26 2022-01-25 Walmart Apollo, Llc System and method for image-based replenishment
JP7243110B2 (ja) * 2018-10-02 2023-03-22 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに荷物受け取り支援システム
US11222225B2 (en) * 2018-11-29 2022-01-11 International Business Machines Corporation Image recognition combined with personal assistants for item recovery
EP3667230B1 (de) * 2018-12-13 2021-06-23 IVF Hartmann AG Messsystem und verfahren zur inventarisierung mittels 3d-scan
US10716177B2 (en) 2018-12-13 2020-07-14 Zebra Technologies Corporation Method and apparatus for control of mobile automation apparatus light emitters
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
JP7163760B2 (ja) * 2018-12-25 2022-11-01 株式会社デンソーウェーブ 位置関係検出装置及び位置関係検出システム
CN109669375B (zh) * 2018-12-27 2021-05-14 格讯科技(深圳)有限公司 一种备餐间集控方法及系统
KR102165494B1 (ko) * 2018-12-28 2020-10-14 네이버 주식회사 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램
CN109765634B (zh) * 2019-01-18 2021-09-17 广州市盛光微电子有限公司 一种深度标注装置
EP3914878A4 (en) * 2019-01-25 2022-10-26 Robotics Plus Limited LOAD SCANNING APPARATUS
US11400599B2 (en) * 2019-01-30 2022-08-02 Lg Electronics Inc. Stock management robot
WO2020186143A1 (en) * 2019-03-13 2020-09-17 Simbe Robotics, Inc Method for deploying fixed and mobile sensors for stock keeping in a store
US20200311666A1 (en) * 2019-03-28 2020-10-01 Ebay Inc. Encoding sensor data and responses in a distributed ledger
CN109961101B (zh) * 2019-03-29 2021-04-27 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CA3136601A1 (en) * 2019-04-11 2020-10-15 Carnegie Mellon University System and method for associating products and product labels
US11321655B2 (en) * 2019-11-26 2022-05-03 Ncr Corporation Frictionless and autonomous control processing
WO2020217260A1 (en) * 2019-04-24 2020-10-29 Infilect Technologies Private Limited System and method for product rearrangement in retail environment based on position adjacency awareness plan
US10896584B2 (en) 2019-04-30 2021-01-19 Walmart Apollo, Llc Systems and methods for projecting action indicators
US20200380454A1 (en) * 2019-06-03 2020-12-03 Zebra Technologies Corporation Method, System and Apparatus for Detecting Product Facings
US11037099B2 (en) * 2019-06-10 2021-06-15 Salesforce.Com, Inc. System and method for live product report generation without annotated training data
KR102186821B1 (ko) * 2019-06-25 2020-12-04 티팟스튜디오 주식회사 딥 러닝을 이용한 3차원 물체 인식에 기초하여 증강 현실 정보를 제공하는 방법 및 이를 이용한 시스템
CN112149450A (zh) * 2019-06-26 2020-12-29 浙江汉朔电子科技有限公司 排面检查系统及方法
FR3099020B1 (fr) * 2019-07-15 2022-01-14 Ses Imagotag Dispositif d’imagerie pour un support d’étagère et système d’étagère comprenant le dispositif d’imagerie
US11069073B2 (en) 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
CA3087587A1 (en) 2019-07-24 2021-01-24 Walmart Apollo, Llc Systems and methods for automated association of product information with electronic shelf labels
US11915192B2 (en) 2019-08-12 2024-02-27 Walmart Apollo, Llc Systems, devices, and methods for scanning a shopping space
US11774842B2 (en) 2019-08-16 2023-10-03 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
CN110428209B (zh) * 2019-08-16 2020-10-27 灵动科技（北京）有限公司 一种盘点设备、盘点管理系统及盘点方法
US11354910B2 (en) * 2019-09-27 2022-06-07 Ncr Corporation Frictionless authentication and monitoring
US11295162B2 (en) * 2019-11-01 2022-04-05 Massachusetts Institute Of Technology Visual object instance descriptor for place recognition
JP7393184B2 (ja) 2019-11-07 2023-12-06 東芝テック株式会社 点群データ処理装置
CN111341013A (zh) * 2020-02-10 2020-06-26 北京每日优鲜电子商务有限公司 智能售货机的移动方法、装置、设备及存储介质
WO2021179138A1 (zh) * 2020-03-09 2021-09-16 图灵通诺（北京）科技有限公司 商超货架上商品的分析方法和系统
US11074460B1 (en) * 2020-04-02 2021-07-27 Security Systems, L.L.C. Graphical management system for interactive environment monitoring
US20230177458A1 (en) * 2020-04-22 2023-06-08 Walmart Apollo, Llc Methods and systems for monitoring on-shelf inventory and detecting out of stock events
WO2021222786A1 (en) * 2020-04-30 2021-11-04 Simbe Robotics, Inc. Method for maintaining perpetual inventory within a store
CN113627418B (zh) * 2020-05-07 2023-08-25 杭州海康威视数字技术股份有限公司 数据管理方法、计算机设备及计算机可读存储介质
CN111634596A (zh) * 2020-06-02 2020-09-08 江苏易高烟草机械有限公司 一种应用于高架库的空货位快速筛选方法
JP2021189990A (ja) * 2020-06-04 2021-12-13 東芝テック株式会社 管理装置及び管理システム
CN111832454A (zh) * 2020-06-30 2020-10-27 苏州罗伯特木牛流马物流技术有限公司 利用工业相机视觉识别实现地面货位管理的系统和方法
US11544509B2 (en) 2020-06-30 2023-01-03 Nielsen Consumer Llc Methods, systems, articles of manufacture, and apparatus to classify labels based on images using artificial intelligence
USD945507S1 (en) 2020-06-30 2022-03-08 Bossa Nova Robotics Ip, Inc. Mobile robot for object detection
CN111832494B (zh) * 2020-07-17 2024-03-05 中国联合网络通信集团有限公司 信息存储方法及设备
US11651519B2 (en) * 2020-08-12 2023-05-16 Google Llc Autonomous 2D datacenter rack imager
US20220051177A1 (en) * 2020-08-12 2022-02-17 Carnegie Mellon University System and method for identifying misplaced products in a shelf management system
CN114379969B (zh) * 2020-10-16 2023-06-27 北京极智嘉科技股份有限公司 库存容器操作系统和方法
JP2022082274A (ja) * 2020-11-20 2022-06-01 オムロン株式会社 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
US20220180302A1 (en) * 2020-12-04 2022-06-09 Maxdelivery, Llc System and method for inventory management and multimedia content delivery
US20220187844A1 (en) * 2020-12-14 2022-06-16 Google Llc Autonomous 3D Datacenter Mapping System
CN112966590B (zh) * 2021-03-03 2022-04-19 河南鑫安利安全科技股份有限公司 基于aiot和企业安全指数的实时预警方法及装置
US20220292454A1 (en) * 2021-03-09 2022-09-15 Walmart Apollo, Llc Systems and methods for inventory management
WO2022197598A1 (en) * 2021-03-15 2022-09-22 Walmart Apollo, Llc Systems and methods for inventory management
US11842321B1 (en) * 2021-03-17 2023-12-12 Amazon Technologies, Inc. Image-based detection of planogram product spaces
US11905115B2 (en) * 2021-04-30 2024-02-20 Dexterity, Inc. Robotic system for identifying items
CN113140073B (zh) * 2021-05-11 2022-12-13 支付宝(杭州)信息技术有限公司 智能货柜的层板控制方法、系统以及智能货柜
WO2022261350A1 (en) * 2021-06-10 2022-12-15 Simbe Robotics, Inc. Method for maintaining inventory in a store
CN113538578B (zh) * 2021-06-22 2023-07-25 恒睿(重庆)人工智能技术研究院有限公司 目标定位方法、装置、计算机设备和存储介质
US11521003B1 (en) * 2021-06-23 2022-12-06 Zebra Technologies Corporation Layout generation for location-tracking sensors
WO2023006171A1 (de) * 2021-07-26 2023-02-02 Captana Gmbh Verfahren zur bestimmung einer abmessung eines produkts in einer produktpräsentationsvorrichtung
US11880738B1 (en) * 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene
WO2023031920A1 (en) * 2021-08-29 2023-03-09 Shelfie Tech Ltd. Retail shelf monitoring system and method
US20230076979A1 (en) * 2021-09-09 2023-03-09 7-Eleven, Inc. Item location tracking for display racks using digital image processing
DE102021210118A1 (de) * 2021-09-14 2023-03-16 Sms Group Gmbh Lagerverwaltungssystem, Verfahren zur Lagerverwaltung und Computerprogramm zur Lagerverwaltung für eine industrielle Anlage, insbesondere eine Produktionsanlage der metallerzeugenden Industrie, der nicht-Eisen- oder Stahlindustrie oder der Vorlegierungsherstellung
CN113844811B (zh) * 2021-09-16 2023-06-30 国网浙江省电力有限公司湖州供电公司 一种快速存取物的无人值守物资仓库
WO2023043391A1 (en) * 2021-09-17 2023-03-23 Erkul Kozmeti̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ A counting system for product display stand
AU2021245114B1 (en) * 2021-10-05 2022-03-10 Van der Weegen, Mark Image Recognition using Code Based Data Reduction
CN114385285B (zh) * 2021-11-30 2024-02-06 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
US20230169452A1 (en) * 2021-11-30 2023-06-01 Zebra Technologies Corporation System Configuration for Learning and Recognizing Packaging Associated with a Product
WO2023141696A1 (en) * 2022-01-31 2023-08-03 Unefi Inc. Data gathering for store fixtures and the products therein
US20230274226A1 (en) * 2022-02-25 2023-08-31 Target Brands, Inc. Retail shelf image processing and inventory tracking system
WO2023220172A1 (en) * 2022-05-10 2023-11-16 Michael Muller Systems and methods for ingesting and processing enrichable content
WO2023245208A1 (en) * 2022-06-17 2023-12-21 Wipro Limited Method and system for accurately counting items in a storehouse

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693757B2 (en) 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US8630924B2 (en) 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US8189855B2 (en) 2007-08-31 2012-05-29 Accenture Global Services Limited Planogram extraction based on image processing
US8068674B2 (en) * 2007-09-04 2011-11-29 Evolution Robotics Retail, Inc. UPC substitution fraud prevention
US20090094140A1 (en) * 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
JP5372395B2 (ja) * 2007-10-05 2013-12-18 株式会社イシダ 電子棚札システム
US20090192921A1 (en) * 2008-01-24 2009-07-30 Michael Alan Hicks Methods and apparatus to survey a retail environment
KR101592889B1 (ko) * 2008-03-03 2016-02-11 아비길론 페이턴트 홀딩 2 코포레이션 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치
KR101503904B1 (ko) * 2008-07-07 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
EP2752362B1 (en) * 2010-03-30 2016-12-21 NS Solutions Corporation Image display system, image display method and program
US9785898B2 (en) * 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
US9418352B2 (en) * 2012-06-29 2016-08-16 Intel Corporation Image-augmented inventory management and wayfinding
US20140003655A1 (en) 2012-06-29 2014-01-02 Praveen Gopalakrishnan Method, apparatus and system for providing image data to represent inventory
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
JP6176257B2 (ja) * 2012-12-04 2017-08-09 日本電気株式会社 商品情報処理装置、そのデータ処理方法、およびプログラム
JP6108159B2 (ja) * 2013-03-04 2017-04-05 日本電気株式会社 情報処理システム、情報処理装置およびその制御方法と制御プログラム
EP2808834B1 (de) * 2013-05-29 2017-07-12 BDT Media Automation GmbH Verfahren und Vorrichtung zur Erkennung und Bestimmung der Anwesenheit von Objekten in Lagerstellen mithilfe eines Strichcodelesegeräts
US9158988B2 (en) * 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
US9400968B2 (en) * 2013-08-14 2016-07-26 Ricoh Company, Ltd. Three-dimensional indexing protocol
US9015072B2 (en) * 2013-08-19 2015-04-21 Xerox Corporation Method and apparatus for automated inventory management using depth sensing
US9373057B1 (en) * 2013-11-01 2016-06-21 Google Inc. Training a neural network to detect objects in images
US9230192B2 (en) 2013-11-15 2016-01-05 Adobe Systems Incorporated Image classification using images with separate grayscale and color channels
US20150193909A1 (en) * 2014-01-09 2015-07-09 Trax Technology Solutions Pte Ltd. Method and device for panoramic image processing
US10176452B2 (en) * 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US10453046B2 (en) 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
US9396530B2 (en) * 2014-07-24 2016-07-19 Adobe Systems Incorporated Low memory content aware image modification
US20160119540A1 (en) * 2014-10-23 2016-04-28 Xerox Corporation Model-based plane-like panorama and retail applications
US9443164B2 (en) * 2014-12-02 2016-09-13 Xerox Corporation System and method for product identification
US9811754B2 (en) * 2014-12-10 2017-11-07 Ricoh Co., Ltd. Realogram scene analysis of images: shelf and label finding
US10169677B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting stacked inventory using image analysis
US9569851B2 (en) * 2014-12-23 2017-02-14 Ricoh Co., Ltd. Sequencing products recognized in a shelf image
US10007964B1 (en) * 2015-05-20 2018-06-26 Digimarc Corporation Image processing methods and arrangements
US10607182B2 (en) * 2015-11-09 2020-03-31 Simbe Robotics, Inc. Method for tracking stock level within a store
CN108353122B (zh) * 2015-11-17 2021-03-05 索尼公司 多相机系统、控制多相机系统的方法和相机
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
US9984451B2 (en) * 2015-12-18 2018-05-29 Michael Gormish Linear grouping of recognized items in an image
US9715638B1 (en) * 2015-12-31 2017-07-25 Nokia Technologies Oy Method and apparatus for identifying salient subimages within a panoramic image
US11087272B2 (en) * 2016-03-29 2021-08-10 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
US10007867B2 (en) * 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
CN109328359A (zh) * 2016-06-30 2019-02-12 波萨诺瓦机器人知识产权有限公司 用于库存跟踪的多摄像机系统
US10019803B2 (en) * 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
US20190019293A1 (en) * 2017-01-13 2019-01-17 Bet Information Systems, Inc. System and Method for Share of Shelf Data Capture and Analysis
US20180260772A1 (en) * 2017-01-31 2018-09-13 Focal Systems, Inc Out-of-stock detection based on images
WO2018144651A1 (en) * 2017-01-31 2018-08-09 Focal Systems, Inc. Out-of-stock detection based on images
WO2019023249A1 (en) * 2017-07-25 2019-01-31 Bossa Nova Robotics Ip, Inc. REDUCTION OF DATA IN A BAR CODE READING ROBOT SHELF SURVEILLANCE SYSTEM
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10861302B2 (en) * 2017-08-17 2020-12-08 Bossa Nova Robotics Ip, Inc. Robust motion filtering for real-time video surveillance

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10489677B2 (en) 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
US11592826B2 (en) 2018-12-28 2023-02-28 Zebra Technologies Corporation Method, system and apparatus for dynamic loop closure in mapping trajectories
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
KR20210033695A (ko) * 2019-09-19 2021-03-29 디카모 주식회사 재고 파악 방법 및 시스템
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Also Published As

Publication number Publication date
WO2017172782A1 (en) 2017-10-05
EP3437031A1 (en) 2019-02-06
US20170286773A1 (en) 2017-10-05
WO2017172790A1 (en) 2017-10-05
JP2019513274A (ja) 2019-05-23
US10565548B2 (en) 2020-02-18
CA3018381A1 (en) 2017-10-05
AU2017245132A1 (en) 2018-10-11
CN109154993A (zh) 2019-01-04
EP3437031A4 (en) 2019-11-27
US11087272B2 (en) 2021-08-10
US20170286901A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
US11087272B2 (en) System and method for locating, identifying and counting items
US10769582B2 (en) Multiple camera system for inventory tracking
US20190180150A1 (en) Color Haar Classifier for Retail Shelf Label Detection
US20190034864A1 (en) Data Reduction in a Bar Code Reading Robot Shelf Monitoring System
US20230131517A1 (en) Method for automatically generating planograms of shelving structures within a store
US11587195B2 (en) Image processing methods and arrangements useful in automated store shelf inspections
US20220051179A1 (en) System and method for identifying products in a shelf management system
US20220138674A1 (en) System and method for associating products and product labels
US11915463B2 (en) System and method for the automatic enrollment of object images into a gallery
US8280764B2 (en) System and method for delivery of electronic coupons
US11774842B2 (en) Systems and methods for image capture and shelf content detection
US20220051177A1 (en) System and method for identifying misplaced products in a shelf management system
KR102597692B1 (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application