KR102255268B1 - 물품 위치 결정 방법, 장치 및 시스템 - Google Patents

물품 위치 결정 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102255268B1
KR102255268B1 KR1020180152425A KR20180152425A KR102255268B1 KR 102255268 B1 KR102255268 B1 KR 102255268B1 KR 1020180152425 A KR1020180152425 A KR 1020180152425A KR 20180152425 A KR20180152425 A KR 20180152425A KR 102255268 B1 KR102255268 B1 KR 102255268B1
Authority
KR
South Korea
Prior art keywords
information
depth sensor
depth
feature
feature element
Prior art date
Application number
KR1020180152425A
Other languages
English (en)
Other versions
KR20190129678A (ko
Inventor
단칭 리우
Original Assignee
베이징 쿠앙쉬 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 쿠앙쉬 테크놀로지 씨오., 엘티디. filed Critical 베이징 쿠앙쉬 테크놀로지 씨오., 엘티디.
Publication of KR20190129678A publication Critical patent/KR20190129678A/ko
Application granted granted Critical
Publication of KR102255268B1 publication Critical patent/KR102255268B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Freezers Or Refrigerated Showcases (AREA)
  • Display Racks (AREA)

Abstract

본 개시에는 물품 위치 결정 방법, 장치 및 시스템이 제공되며, 지능형 모니터링의 기술 분야에 관한 것이다. 방법은 처리 디바이스에 적용되며, 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 랙은 깊이 센서의 감지 공간에 위치하고, 랙에는 복수의 특징 구성요소들이 제공되며, 특징 구성요소들은 특정 반사율을 갖거나, 또는 특징 구성요소들은 특정 파장을 갖는 광원이며, 랙 상의 각 종류의 물품은 특징 구성요소에 대응하여 배치되고, 방법은: 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 것; 광 강도 정보 및 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 것; 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하는 물품의 위치 정보를 결정하는 것을 포함한다. 본 발명은 랙 상의 물품들의 위치를 자동으로 결정할 수 있으며, 번거로운 수동 조정이 생략되고 노동 비용이 절약된다.

Description

물품 위치 결정 방법, 장치 및 시스템{METHOD, APPARATUS, AND SYSTEM FOR DETERMINING A POSITION OF AN ITEM}
연관된 출원에 대한 상호참조
본 출원은 2018년 5월 11일에 출원된 중국특허출원 제201810453740.9호의 우선권을 주장하며, 그 개시는 전체로서 본원에 참조로 포함된다.
기술분야
본 개시는 지능형 모니터링의 기술 분야, 특히, 물품의 위치를 결정하는 방법, 장치 및 시스템에 관한 것이다.
랙(Rack)은 광범위한 산업 분야에서 사용되며, 예를 들어, 쇼핑몰에서 사용되는 랙, 음료수용 수직 냉기 캐비닛, 냉동 제품을 보관하기 위한 유리 디스플레이 냉장고, 도서관이나 서점에서 사용되는 서가 및 창고에서 사용되는 보관 랙 등이 모두 랙이다.
기술의 발달로, 모니터링 장비(예컨대, 인공 지능 비전 머신, 거리 센서 또는 계량 센서)를 갖춘 지능형 랙이 점차 등장하고 있다. 랙 상의 다양한 물품들의 배치에 대한 인지를 기반으로, 모니터링 장비를 사용하여, 이러한 랙은 랙에 놓인 물품들의 양 변화에 대한 정보는 물론, 랙 상의 어떤 물품들을 만졌는지에 대한 정보를 결정할 수 있다. 랙을 사용할 때, 직원은 랙 상의 각 물품의 정확한 위치를 사전 측정하고 조정해야 한다. 그러나 랙 상의 물품 위치가 약간 벗어날 수 있으며, 예를 들어, 랙의 선반 높이 변경으로 인하여 물품의 위치가 위아래로 벗어날 수 있거나, 물품들의 느슨한 배치 또는 밀접한 배치로 인하여 물품의 위치가 왼쪽 또는 오른쪽으로 벗어날 수 있다. 물품의 위치가 벗어나게 되면, 모니터링 결과가 부정확해지고, 직원이 물품의 위치를 재조정해야 하므로, 복잡하고 시간이 오래 걸린다.
랙 상의 물품의 위치를 자동으로 결정할 수 있는, 물품 위치 결정 방법, 장치 및 시스템이 제공되며, 따라서 복잡한 수동 조정이 생략될 수 있고, 노동 비용이 절약될 수 있다.
위의 목적을 달성하기 위하여, 본 개시의 실시예에 의해 채택된 기술적 해결책은 다음과 같다:
본 개시의 일 양상에 따르면, 물품 위치 결정 방법이 제공되며, 방법은 처리 디바이스에 적용되고, 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 랙은 깊이 센서의 감지 공간 내에 위치되고, 랙에는 복수의 특징 구성요소가 제공되고, 특징 구성요소가 특정 반사율을 가지거나, 또는 특징 구성요소가 특정 파장의 광원이며, 랙 상의 각 종류의 물품은 특징 구성요소에 대응하여 배치되고, 방법은: 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 것; 광 강도 정보 및 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 것; 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품의 위치 정보를 결정하는 것을 포함한다.
또한, 깊이 센서에 의해 수집된 깊이 정보 및 광 강도 정보를 취득하는 것은: 깊이 센서에 의해 수집되는 감지 맵을 취득하는 것-감지 맵은 복수의 픽셀을 포함하고, 각 픽셀은 깊이 센서의 화소에 의해 출력되는 깊이 정보 및 광 강도 정보에 대응함; 감지 맵 내의 각 픽셀에 대응하는 깊이 정보 및 광 강도 정보를 추출하는 것을 포함한다.
또한, 광 강도 정보 및 상기 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 것은: 각 픽셀의 광 강도 정보에 따라 감지 맵으로부터 목표 픽셀을 식별하는 것-목표 픽셀의 광 강도 정보가 특정 반사 강도와 일치하거나, 또는 목표 픽셀의 광 강도 정보가 특정 방출 강도와 일치하며, 특정 반사 강도는 특정 반사율과 연관되며, 특정 방출 강도는 특정 파장과 연관됨; 각 목표 픽셀의 깊이 정보에 따라 각 목표 픽셀에 대응하는 특징 구성요소의 위치 정보를 결정하는 것을 포함한다.
또한, 각 픽셀의 광 강도 정보에 따라 감지 맵으로부터 목표 픽셀을 식별하는 것은: 각 픽셀의 광 강도 정보에 따라 그 광 방출 강도와 특정 반사 강도 사이의 차이가 제1 사전 설정된 임계치 범위 이내인 픽셀을 감지 맵으로부터 선택하는 것, 또는 그 방출 강도와 특정 방출 강도 사이의 차이가 제2 사전 설정된 임계치 범위 이내인 픽셀을 감지 맵으로부터 선택하는 것; 선택된 픽셀을 상기 목표 픽셀로 결정하는 것을 포함한다.
또한, 각 목표 픽셀의 깊이 정보에 따라 각 목표 픽셀에 대응하는 특징 구성요소의 위치 정보를 결정하는 것은: 각 목표 픽셀의 깊이 정보 및 각 목표 픽셀에 대응하는 화소의 사전 저장된 위치 정보에 따라 목표 픽셀에 대응하는 특징 구성요소의 상기 위치 정보를 결정하는 것을 포함한다.
또한, 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품의 위치 정보를 결정하는 것은: 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품을 결정하는 것; 특징 구성요소와 대응하는 물품 사이의 사전 저장된 상대적 위치 관계에 따라 각 특징 구성요소에 대응하는 물품의 위치 정보를 결정하는 것을 포함한다.
또한, 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품을 결정하는 것은: 각 특징 구성요소의 위치 정보에 기반하여 특징 구성요소 사이의 상대적 위치 관계를 결정하는 것; 특징 구성요소 사이의 상대적 위치 관계 및 미리 저장된 제1 엔트리에 기반하여 각 특징 구성요소의 번호를 결정하는 것; 각 특징 구성요소의 번호 및 미리 저장된 제2 엔트리에 따라 각 특징 구성요소에 대응하는 물품을 결정하는 것을 포함하며, 제2 엔트리는 번호가 매겨진 특징 구성요소와 물품의 대응 관계를 저장한다.
또한, 방법은 알려진 위치 정보 및 깊이 정보에 따라 깊이 센서의 현재 위치 정보를 결정하는 것; 깊이 센서의 현재 위치 정보가 사전 설정된 기준 위치 정보와 일치하는지 여부를 결정하는 것; 일치하지 않으면, 깊이 센서의 조정된 위치 정보가 기준 위치 정보와 일치하도록 깊이 센서의 위치를 조정하는 것을 더 포함한다.
또한, 알려진 위치 정보 및 깊이 정보에 따라 깊이 센서의 현재 위치 정보를 결정하는 것은: 적어도 두 개의 알려진 특징 구성요소의 위치 정보 및 깊이 정보를 취득하는 것; 적어도 두 개의 알려진 특징 구성요소의 위치 정보 및 깊이 정보에 따라 삼각 측량 알고리즘을 이용하여 깊이 센서의 현재 위치 정보를 결정하는 것을 포함한다.
또한, 깊이 센서에는 모터가 제공되고, 깊이 센서의 위치를 조정하는 것은: 깊이 센서의 현재 위치 정보 및 기준 위치 정보에 따라 모터의 이동 방향 및 이동 거리를 결정하는 것; 이동 방향 및 이동 거리에 따라 모터가 이동하도록 제어하여 깊이 센서가 현재 위치로부터 기준 위치에 도달하도록 구동하는 것을 포함한다.
또한, 특징 구성요소는 깊이 센서의 광원의 파장에 대해 특정 반사율을 갖는 물질로 제조되거나, 특징 구성요소가 깊이 센서의 광원의 파장과 일치하는 파장을 갖는 광원이다.
또한, 깊이 센서는 적외선 깊이 센서이고, 특정 반사율은 제1 사전 설정된 반사율보다 높거나 또는 제2 사전 설정된 반사율보다 낮다.
다른 양상에서, 물품 위치 결정 장치가 제공되며, 장치는 처리 디바이스에 적용되고, 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 랙은 깊이 센서의 감지 공간 내에 위치되고, 랙에는 복수의 특징 구성요소가 제공되고, 특징 구성요소가 특정 반사율을 가지거나, 또는 특징 구성요소가 특정 파장의 광원이며, 랙 상의 각 종류의 물품은 특징 구성요소에 대응하여 배치되고, 장치는: 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 정보 취득 모듈; 광 강도 정보 및 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 제1 결정 모듈; 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품의 위치 정보를 결정하는 제2 결정 모듈을 포함한다.
다른 양상에서, 물품 모니터링 시스템이 제공되며, 시스템은: 깊이 센서; 및 처리 디바이스를 포함하고, 깊이 센서는 감지 정보 및 광 강도 정보 수집을 위한 것이며; 처리 디바이스는 컴퓨터 프로그램을 저장하고, 처리 디바이스에 의해 실행될 때, 컴퓨터 프로그램이 상술한 방법을 수행한다.
다른 양상에서, 컴퓨터 판독 가능 저장 매체가 제공되며, 컴퓨터 프로그램이 컴퓨터 판독 가능 저장 매체에 저장되고, 처리 디바이스에 의해 실행될 때, 컴퓨터 프로그램이 상술한 방법을 수행한다.
본 개시의 실시예에 따라 물품 위치 결정 방법, 장치 및 시스템이 제공되며, 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 랙은 깊이 센서의 감지 공간 내에 위치되고, 랙에는 복수의 특징 구성요소가 제공되고, 랙 상의 각 종류의 물품은 특징 구성요소에 대응하여 배치된다. 처리 디바이스는. 각 특징 구성요소의 위치 정보를 결정할 수 있으며, 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하는 물품의 위치 정보를 더 결정할 수 있다. 이 방식으로, 특징 구성요소의 위치가 먼저 결정될 수 있고, 특징 구성요소는 특정 반사율을 갖거나, 특정 파장의 광원이며, 따라서, 특징 구성요소에 대응하는 물품의 위치가 결정될 수 있고, 번거로운 수동 조정이 생략되고 노동 비용이 절약된다.
본 개시의 다른 특징 및 이점은 다음의 설명에서 제시될 것이며, 또는 특징 및 이점의 일부는 명세서로부터 유예되거나 이로부터 의심의 여지없이 결정되거나 또는 본 개시의 위 기술을 구현함에 의해 습득될 수 있다.
본 개시의 상술한 목적, 특징 및 이점을 더욱 명확하게 하기 위하여, 이하에서, 바람직한 실시예가 첨부된 도면을 참조하여 상세히 기술될 것이다.
본 개시의 특정한 실시예 또는 종래 기술의 기술적 해결책을 더욱 명확하게 설명하기 위해, 특정한 실시예 또는 종래 기술의 설명을 위해 사용되는 도면이 이하에서 간단히 소개되며, 자명하게, 이하의 설명에서 도면은 본 개시의 일부 실시예이고, 당업자는 창조적인 노력을 기울이지 않고 이들 도면을 기초로 다른 도면을 얻을 수 있다.
도 1은 본 개시의 일 실시예에 따른 예시적인 전자 디바이스의 개략적인 구조도이다.
도 2는 본 개시의 일 실시예에 따른 랙 상의 깊이 센서의 설치를 나타내는 정면 입면도이다.
도 3은 본 개시의 일 실시예에 따른 랙 상의 깊이 센서의 설치를 나타내는 측면도이다.
도 4는 본 개시의 일 실시예에 따른 특징 구성요소가 제공되는 랙의 예시적인 개략도이다.
도 5는 본 개시의 일 실시예에 따른 물품 위치 결정 방법의 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 물품 위치 결정 장치의 개략적인 구조도이다.
본 개시의 목적, 기술적 해결책 및 이점을 더욱 명확하게 하기 위하여, 본 개시에 따른 예시적인 실시예가 첨부된 도면을 참조하여 상세히 기술될 것이다. 자명하게, 이하에서 기술되는 실시예는 본 개시의 실시예의 단지 일부일 뿐, 본 개시의 모든 실시예가 아니며, 본 개시는 본원에 기재된 예시적인 실시예에 제한되지 않음을 이해하여야 한다. 본 개시에 기술된 본 개시의 실시예에 기초하여, 창의적인 노력을 기울이지 않고 당업자에 의해 획득된 다른 모든 실시예는 본 개시의 보호 범위에 속한다.
랙 상의 물품의 위치가 벗어나면, 수동 재조정이 필요하고, 프로세스가 상당히 복잡해진다. 이 문제를 해결하기 위해, 물품의 위치를 결정하는 방법, 장치 및 시스템이 제공된다. 이 기술은 대응하는 소프트웨어 및 하드웨어로 구현될 수 있으며, 다양한 쇼핑 장소의 지능형 소매점, 지능형 도서관 및 지능형웨어 창고/물류 산업 등과 같이, 랙에 있는 품목의 위치를 알아야 할 임의의 상황에 적용할 수 있다. 본 개시의 실시예가 아래에서 상세하게 설명된다.
실시예 1
먼저, 본 개시의 일 실시예에 따른 물품의 위치를 결정하는 방법, 장치 및 시스템을 구현하기 위한 예시적인 전자 디바이스(100)가 도 1을 참조하여 기술될 것이다.
도 1에 나타난 바와 같이, 전자 디바이스(100)는 하나 이상의 처리 디바이스(102), 하나 이상의 저장 디바이스(104), 입력 디바이스(106), 출력 디바이스(108) 및 다수의 거리 센서(110)를 포함한다. 이들 구성요소는 버스(bus) 시스템(112) 및/또는 다른 형태의 연결 메커니즘(미도시)을 통해 서로 연결된다. 도 1에 나타난 전자 디바이스(100)의 구성요소 및 구조는 단지 예시적일 뿐, 제한적이 아님을 유의한다. 요구사항에 따라, 전자 디바이스는 다른 구성요소 및 구조를 가질 수 있다.
처리 디바이스(102)는 게이트웨이(gateway)일 수 있으며, 또한 중앙 처리 유닛(CPU) 또는 데이터 처리 성능 및/또는 명령 실행 성능을 갖는 다른 형태의 처리 유닛을 포함하는 디바이스일 수 있으며, 전자 디바이스(100)의 다른 구성요소에서 데이터를 처리하고 전자 디바이스(100)의 다른 구성요소를 제어하여 원하는 기능을 수행하도록 할 수 있다.
저장 디바이스(104)는 휘발성 메모리 및/또는 비휘발성 메모리와 같은 다양한 형태의 컴퓨터 판독 가능 저장 매체를 포함할 수 있는 하나 이상의 컴퓨터 프로그램 제품을 포함할 수 있다. 휘발성 메모리는, 예를 들어, 임의 접근 메모리(RAM) 및/또는 캐시 메모리 등을 포함할 수 있다. 비휘발성 메모리는, 예를 들어, 읽기 전용 메모리(ROM), 하드웨어, 플래시 메모리 등을 포함할 수 있다. 하나 이상의 컴퓨터 프로그램 명령이 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 처리 디바이스(102)는 프로그램 명령을 실행하여 이하에서 기술되는 본 개시의 실시예에서 (프로세서에 의해 구현되는) 클라이언트 기능 및/또는 다른 원하는 기능을 구현할 수 있다. 다양한 응용 프로그램 및 예를 들어 응용 프로그램에 의해 사용 및/또는 생성되는 다양한 데이터 등과 같은 다양한 데이터가 또한 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
입력 디바이스(106)는 명령을 입력하기 위하여 사용자가 사용하는 디바이스일 수 있으며, 키보드, 커서 마우스, 마이크, 터치 스크린 등의 하나 이상을 포함할 수 있다.
출력 디바이스(108)는 외부(예를 들어, 사용자)로 다양한 유형의 정보(예를 들어, 영상 또는 음향)을 출력할 수 있으며, 디스플레이, 스피커 등의 하나 이상을 포함할 수 있다.
구조화된 광 센서, 영역 어레이(array) 센서 또는 다중 회선 레이저 레이더와 같은 깊이 센서(110)는 적어도 하나의 시야(field of view)를 갖는 센서일 수 있으며, 입체 공간을 감지할 수 있고, 감지된 깊이 정보를 처리 디바이스(102)로 전송하거나 또는 감지된 깊이 정보를 다른 구성 요소에 의해 사용하기 위해 저장 디바이스(104)에 저장할 수 있다.
실례로, 본 개시의 실시예에 따른 물품의 위치를 결정하는 방법, 장치 및 시스템을 구현하기 위해 사용되는 예시적인 전자 디바이스의 다양한 구성요소들은 통합적으로 또는 개별적으로 제공될 수 있다. 예를 들어, 처리 디바이스(102), 저장 디바이스(104), 입력 디바이스(106) 및 출력 디바이스(108)는 통합되고, 깊이 센서는 지능형 랙의 상부, 바닥 또는 가장자리 측에 별도로 배치된다.
이해를 쉽게하기 위하여, 본 실시예의 전자 시스템의 적용 예를 이하에서 더 설명할 것이다. 전자 시스템은 슈퍼마켓, 도서관, 창고 등과 같이 랙이 배치된 장소에 설치되고 제공될 수 있으며, 깊이 센서가 랙 상에 배치될 수 있고, 깊이 센서의 감지 공간은 깊이 센서의 상이한 설치 위치에 따라 다를 수 있다. 깊이 센서의 감지 공간은 또한 깊이 센서의 시야로 특징지어질 수 있다. 랙은 깊이 센서의 시야 내에 위치한다. 위에서 언급한 전자 시스템을 갖춘 랙은 지능형 랙으로 지칭될 수 있으며 다양한 상황에 유연하게 적용될 수 있다.
실시예 2
본 실시예는 물품 위치 결정 방법을 제공하며, 이해를 쉽게 하기 위하여, 방법의 적용 시나리오가 이하에서 예시된다.
방법은 랙에 설치된 깊이 센서에 연결된 처리 디바이스에 의해 수행된다. 물품의 위치는 깊이 센서의 깊이 정보 및 광 강도 정보에 따라 결정될 수 있다.
본 실시예의 처리 디바이스는 게이트웨이일 수 있으며, 또한 데이터 처리 성능을 갖는 다른 디바이스, 예를 들어, 컴퓨터와 같은 지능형 단말기일 수 있다. 처리 디바이스는 수신된 정보를 독립적으로 처리할 수 있거나, 서버와 연결되어, 서버와 함께 정보를 분석하고 처리하고, 처리된 결과를 클라우드에 업로드할 수 있다.
본 실시예의 랙은 선반, 책장, 냉장고, 냉기 캐비닛 등과 같이, 물품들을 배치할 수 있는 임의의 장비일 수 있다. 랙의 구조 및 실제 용도는 이 실시예에서 제한되지 않는다. 이 실시예에서 물품은 또한 단일 물품인 SKU(Stock Keeping Unit)으로 지칭될 수 있다. 물품에 대해, 브랜드, 모델, 구성, 등급, 색상 및 패턴, 패키지 용량, 단위 및 사용량과 같은 그 임의의 속성이 다른 물품들과 다를 때, 이를 단일 물품이라 지칭할 수 있다.
이 실시예의 깊이 센서는 구조화된 광 깊이 센서, 영역 어레이 레이저 레이더, 또는 다중 회선 기계적 스캔 레이저 레이더를 포함할 수 있지만, 이에 제한되지 않는다. 깊이 센서는 특히 멀티 픽셀 깊이 거리 센서일 수 있으며, 여기에는 수백만 픽셀(즉, 감광 요소)가 배치될 수 있으며, 입체 공간(이하에서 감지 공간으로 지칭)에서 다지점 감지를 수행하여 감지 공간 내의 각 물품의 깊이 정보 및 광 강도 정보를 획득한다. 예를 들어, 깊이 센서는 적외선 감지 기반 깊이 센서 (즉, 적외선 깊이 센서)일 수 있으며, 이는 감지 공간 내에서 깊이 정보 및 적외선 광 강도 정보를 수집할 수 있다. 적외선 광 강도 정보는 감지 공간 내의 특정 반사율을 갖는 특징 구성요소(feature component)에 의해 적외선 깊이 센서의 적외선을 반사함으로써 획득되는 적외선 반사율 정보이거나, 또는 감지 공간 내의 특징 구성요소로서의 적외선 광원에 의해 적외선 깊이 센서로 방출되는 방출 강도 정보일 수 있다.
깊이 센서의 감지 공간은 깊이 센서의 설치 위치와 연관되는 점을 이해할 것이다. 깊이 센서의 상이한 설치 위치는 상이한 감지 공간에 대응한다. 실제 적용에서, 감지 공간은 두 방향의 시야(Field Of View; FOV)에 의해 특징지어질 수 있으며, 시야의 크기는 일반적으로 깊이 센서의 시야를 결정한다. 깊이 센서를 랙에 적용할 때, 실제 상황에 따라 깊이 센서의 설치 위치를 설정하여, 설치 위치 하에서, 한 방향에서 깊이 센서의 시야가 전체 랙의 정면(front surface)을 커버할 수 있고, 다른 방향의 시야가 전체 랙의 정면을 커버할 수 있어, 이에 따라, 깊이 센서가 두 시야에 의해 형성되는 감지 공간 내의 랙을 모니터링할 수 있고, 랙 상의 각 물품이 깊이 센서의 감지 공간 내에 위치하도록 하여야 한다.
도 2에 나타난 랙 상에 설치된 깊이 센서의 정면 입면도 및 도 3에 나타난 랙 상에 설치된 깊이 센서의 측면도는 모두 랙(10) 및 깊이 센서(20)를 도시한다. 구체적으로, 도 2는 깊이 센서의 시야 FOV1을 나타내고, FOV1은 랙의 정면과 평행하다. 실제 적용에서, FOV1는 약 90도일 수 있어 전체 랙의 정면을 커버한다. 도 3은 깊이 센서의 다른 시야 FOV2를 나타낸다. 실제 적용에서, FOV2는 20도 이상일 수 있다. 예를 들어, FOV2는 전체 랙의 정면을 커버하기 위하여 30도일 수 있다. 깊이 센서는 FOV1 및 FOV2에 의해 형성되는 감지 공간 내의 랙을 모니터링할 수 있으며, 감지 공간 내에서 깊이 정보 및 광 강도 정보를 수집한다.
추가로, 본 실시예에 따른 랙에는 특정 반사 강도 또는 특정 방출 강도를 갖는 다수의 특징 구성요소들이 제공될 수 있다. 구체적으로, 특징 구성요소는 깊이 센서의 광원 파장 (즉, 깊이 센서의 내장 에미터(emitter)의 파장)에 대해 특정 반사율을 갖는 물질로 제조될 수 있으며, 또는 특징 구성요소가 깊이 센서의 광원의 것과 일치하는 파장을 갖는 광원일 수 있다. 실제 적용에서, 특정 반사율은 제1 사전 설정된 반사율보다 높고 제2 사전 설정된 반사율보다 낮을 수 있다. 즉, 더 높은 반사율 또는 더 낮은 반사율이 특정 반사율로 선택되어 깊이 센서가 반사율에 기반하여 특징 구성요소를 식별할 수 있다. 적외선 센서 기반 깊이 센서를 깊이 센서의 예로 들면, 특정 반사 강도를 갖는 특징 구성요소는 제1 사전 설정된 반사율보다 높은 반사율을 갖는 물질로 제조된 구성요소이거나 제2 사전 설정된 반사율보다 낮은 반사율을 갖는 물질로 제조된 구성요소, 또는 깊이 센서의 광원의 것과 일치하는 파장을 갖는 적외선 광원일 수 있다. 즉, 다른 대상과 비교하여, 특징 구성요소는 (상대적으로 높거나 상대적으로 낮은) 특별한 적외선 반사율을 가져 깊이 센서가 감지 공간 내의 객체를 감지할 때 특별한 적외선 반사율에 의해 특징 구성요소를 식별할 수 있다. 위의 설명은 단지 예일 뿐이다. 실제 적용에서, 깊이 센서는 적외선 센서에 제한되지 않으며, 즉, 깊이 센서의 광원의 파장이 적외선 파장에 제한되지 않고, 자외선 파장과 같은 다른 파장이 실제 요구에 따라 또한 선택될 수 있다.
위에서 언급한 특징 구성요소들은 직접 상이한 종류의 물품들을 분리하기 위한 랙의 각 선반에 제공되는 작은 파티션일 수 있고, 또는 작은 파티션 상에 고정되게 배치된 식별 지점 또는 광원일 수 있다. 작은 파티션을 예로 들면, (90% 이상의 반사율을 갖는) 이산화티타늄을 포함하는 코팅이 작은 파티션의 앞쪽 가장자리에 도포될 수 있다. 물론, 작은 파티션은 이것이 제공되지 않고, 대신, 깊이 센서의 광원의 것과 동일한 파장을 갖는 적외선 광원이 랙의 선반(또한 구획으로도 알수 있음)에 설치되고, 각 적외선 광원이 물품과 연관되며, 예를 들어, 물품이 각 적외선 광원 옆에 배치될 수 있다. 추가로, 특징 구성요소는 또한 랙 상의 각 물품에 대해 대응하게 설정된 태그 또는 전자 태그, 랙의 선반 앞에 각 물품에 대하여 대응하게 설정된 작은 백플레이트, 및 랙 상에 물품들을 걸기 위한 후크 등일 수 있다. 특징 구성요소의 형태 또는 용도와 무관하게, 특징 구성요소가 물품에 대응하게 설정되고, 깊이 센서의 광원의 파장에 대해 특정 반사율을 갖는 물질로 제조되거나, 특징 구성요소가 깊이 센서의 광원의 파장과 일치하는 파장을 갖는 광원인 것만이 요구된다. 특징 구성요소의 다른 용도는 본원에서 제한되지 않는다.
실제 적용에서, 식별을 위한 특징 구성요소는 각 물품에 대해 개별적으로 설정되거나, 각 물품에 대응하는 파티션, 태그/전자 태그, 백플레이트, 후크 등과 같이 다른 용도를 갖는 구성요소가 직접 특징 구성요소로서 사용될 수 있다. 특정한 구현에서, 랙 상의 특징 구성요소들로서 파티션, 태그/전자 태그, 백플레이트, 후크 등이 특정 반사 강도를 갖거나; 또는, 깊이 센서의 광원의 것과 일치하는 파장을 갖는 광원이 각 물품에 대응하는 파티션, 태그/전자 태그, 백플레이트, 후크 등에 배치된다. 위의 설명은 예일 뿐이며, 특징 구성요소들의 실제 형태, 용도, 및 구체적인 위치 설정 방식은 본원에서 제한되지 않는다.
이해를 쉽게 하기 위하여, 특징 구성요소가 두 종류의 물품들을 분리하는 작은 파티션인 것을 예로 든다. 도 4를 참조하면, 특징 구성요소가 제공된 랙의 구조도가 나타나 있다. 도 4는 단순하게 랙(10)에 두 선반이 구비되고, 랙의 제1 선반에는 각각 F1-1, F1-2, 및 F1-3로 참조되는 3개의 파티션(즉, 상술한 특징 구성요소들)이 제공되고, 각 특징 구성요소 옆에 물품(SKU)이 배치된다. 이에 따라, 특징 구성요소 F1-1은 SKU1-1에 대응하고, 특징 구성요소 F1-2는 SKU1-2에 대응하고, 특징 구성요소 F1-3은 SKU1-3에 대응하는 것으로 간주된다. 유사하게, 랙의 제2 선반에는 각각 F2-1, F2-2, 및 F2-3인 3개의 파티션이 제공되고; 특징 구성요소 F2-1은 SKU2-1에 대응하고, 특징 구성요소 F2-2는 SKU2-2에 대응하고, 특징 구성요소 F2-3은 SKU2-3에 대응한다. 실제 적용에서, 선반의 제1층이 직원에 의해 수행되는 높이 조정으로 인해 위 또는 아래로 벗어날 수 있으며, 따라서 선반에 배치된 물품들의 높이가 이에 따라 변할 수 있음을 이해할 것이다. 선반의 3개의 물품들 및/또는 3개의 작은 파티션이 또한 직원에 의해 수행되는 조정이나 고객과 같은 관련된 사람이 만짐에 따라 왼쪽 또는 오른쪽으로 이동될 수 있으며, 따라서 물품들의 위치를 결정하기 어렵다.
위의 설명에 기반하여, 도 5에 나타난 물품 위치 결정 방법의 흐름도를 참조하면, 방법은 랙에 설치된 깊이 센서에 연결된 처리 디바이스에 적용되고, 랙은 깊이 센서의 감지 공간에 위치한다. 랙에는 다수의 특징 구성요소들이 더 제공되며, 특징 구성요소들은 특정 반사율을 갖거나, 또는 특징 구성요소들은 특정 파장을 갖는 광원이다. 랙 상의 각 물품은 특징 구성요소에 대응하여 배치된다. 방법은 다음의 단계를 포함한다:
단계 S502, 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보 취득.
실제 적용에서, 깊이 센서에 의해 수집되는 감지 맵이 먼저 취득될 수 있으며; 감지 맵은 다수의 픽셀을 포함하고, 이때 각 픽셀은 깊이 센서의 화소에 의한 깊이 정보 및 광 강도 정보 출력에 대응하며, 이에 따라 감지 맵 내의 각 픽셀에 대응하는 깊이 정보 및 광 강도 정보가 추출된다. 구체적으로, 위에서 언급한 감지 맵은 깊이 맵으로 지칭될 수 있으며, 깊이 맵이 각 픽셀에 대응하는 깊이 정보 및 광 강도 정보를 나타낼 수 있고, 깊이 정보는 거리 정보로 이해될 수 있다.
실제 적용에서, 멀티 픽셀 깊이 센서의 픽셀 수는 픽셀의 수와 같고, 각 픽셀은 하나의 화소와 대응한다. 깊이 센서의 행 방향으로 1024 픽셀 및 깊이 센서의 열 방향으로 768 픽셀이 있다고 가정하면, 이에 따라, 깊이 센서는 또한 1024*768 픽셀을 갖는 센서로 지칭될 수 있고, 각 픽셀이 화소에 의한 깊이 정보 및 광 강도 정보 출력을 나타내는 1024*768 픽셀의 깊이 맵이 획득될 수 있다.
단계 S504에서, 광 강도 정보 및 깊이 정보에 따라 각 특징 구성요소의 위치 정보 결정.
일 실시예에서, 이하의 단계가 수행될 수 있다:
(1) 각 픽셀의 광 강도 정보에 따라 감지 맵으로부터 목표 픽셀이 식별된다. 목표 픽셀의 광 강도 정보는 특정 반사 강도와 일치하거나, 목표 픽셀의 광 강도 정보가 특정 방출 강도와 일치한다. 특정 반사 강도는 특정 반사율과 연관되며, 특정 방출 강도는 특정 파장과 연관된다. 상이한 물품들은 상이한 반사율을 가지며, 깊이 센서의 방출 광에 대해 상이한 반사 강도를 가지는 점을 이해할 것이다. 반사 강도는 깊이 센서에 의해 감지될 수 있으며 감지 맵 내에서 물품에 대응하는 픽셀에 구현된다. 따라서, 특징 구성요소가 특정 반사율을 가질 때, 깊이 센서의 감지 맵 내의 특정 구성요소에 대응하는 픽셀에 의해 나타나는 특정 반사 강도는 특징 구성요소의 특정 반사율과 연관된다. 유사하게, 특징 구성요소가 광원일 때, 특징 구성요소의 방출 광이 깊이 센서에 의해 감지되고, 깊이 센서의 감지 맵 내의 특정 구성요소에 대응하는 픽셀에 의해 나타나는 특정 방출 강도는 특징 구성요소의 방출 광의 파장(즉, 특정 파장)과 연관된다.
특정 구현에서, 깊이 센서가 적외선 깊이 센서인 것을 예로 들면, 특징 구성요소가 적외선 깊이 센서에 의해 방출되는 적외선 광 파장에 대해 특정 반사율을 갖는 물질로 제조되면, 특징 구성요소의 적외선 광 반사율이 특별하므로(상대적으로 높거나 상대적으로 낮으므로), 감지 맵 내의 특징 구성요소에 대응하는 픽셀이 매우 밝거나 매우 어둡다. 그러므로, 특별한 적외선 반사 강도(즉, 특정한 적외선 반사율과 연관된 반사 강도)와 일치하는 목표 픽셀이 감지 맵 내에서 식별될 수 있다. 특징 구성요소가 적외선 깊이 센서의 적외선 광의 것과 일치하는 파장을 갖는 점광원이면, 감지 맵 내의 점광원에 대응하는 픽셀이 매우 밝으며, 다른 픽셀과 분명히 구분될 수 있다. 여기에서, 목표 픽셀은 특징 구성요소의 이미징(imaging) 정보에 의해 특징지어진다.
특정 구현에서, 그 광 방출 강도와 특정 반사 강도 사이의 차이가 제1 사전 설정된 한도 값 범위 이내를 갖는 픽셀이 각 픽셀의 광 강도 정보에 따라 감지 맵으로부터 선택될 수 있거나, 그 방출 강도와 특정 방출 강도 사이의 차이가 제2 사전 설정된 한도 값 범위 이내를 갖는 픽셀이 감지 맵으로부터 선택될 수 있으며, 이 경우 선택된 픽셀이 목표 픽셀로 결정된다. 제1 한도 값 범위 및 제2 한도 값 범위는 동일하거나 상이할 수 있고, 요구조건에 따라 유연하게 설정될 수 있다. 즉, 픽셀의 광 반사 강도와 특정 반사 강도 사이의 차이가 제1 사전 설정된 한도 값 범위 이내이면, 픽셀의 광 강도 정보가 특정 반사 강도와 일치하는 것으로 간주되고, 그 픽셀이 목표 픽셀이며; 또는, 픽셀의 광 방출 강도와 특정 방출 강도 사이의 차이가 제2 사전 설정된 한도 값 범위 이내이면, 픽셀의 광 강도 정보가 특정 방출 강도와 일치하는 것으로 간주되고, 그 픽셀이 목표 픽셀이다.
(2) 각 목표 픽셀에 대응하는 특징 구성요소의 위치 정보는 각 목표 픽셀의 깊이 정보에 기반하여 결정된다. 구체적으로, 목표 픽셀에 대응하는 특징 구성요소의 위치 정보는 각 목표 픽셀의 깊이 정보 및 각 목표 픽셀에 대응하는 화소의 사전 저장된 위치에 따라 결정될 수 있다.
깊이 센서 내의 각 화소의 위치가 알려져 있으므로, 목표 픽셀에 대응하는 특징 구성요소의 위치 정보는 목표 픽셀 출력 화소 위치 및 목표 픽셀의 깊이 정보(즉 특징 구성요소와 목표 픽셀 출력 화소 사이의 거리 정보)에 따라 결정될 수 있다.
단계 S506에서, 각 특징 구성요소에 대응하는 물품의 위치 정보가 각 특징 구성요소의 위치 정보에 따라 결정된다.
일 실시예에서, 각 특징 구성요소에 대응하여 배치된 물품이 각 특징 구성요소의 위치 정보에 따라 결정된다. 즉, 각 특징 구성요소와 연관된 물품이 결정되고, 각 특징 구성요소에 대응하는 물품의 위치 정보는 각 특징 구성요소의 위치 정보 및 대응하는 물품과 특징 구성요소 간의 사전 저장된 상대 위치 정보에 의해 결정된다.
특정 구현에서, 각 특징 구성요소에 대응하는 물품이 다음의 단계를 참조하여 결정될 수 있다:
(1) 특징 구성요소들 사이의 상대 위치 관계는 각 특징 구성요소의 위치 정보에 기반하여 결정된다. 예를 들어, 6개의 특징 구성요소들의 위치 정보가 위의 단계 S504에서 취득되고, 6개의 특징 구성요소들은 특징 구성요소 a, 특징 구성요소 b, 특징 구성요소 c, 특징 구성요소 d, 특징 구성요소 e, 및 특징 구성요소 f를 포함한다. 6개의 특징 구성요소들의 위치 정보에 따라, 특징 구성요소 a, 특징 구성요소 b, 및 특징 구성요소 c 가 모두 공간 내의 제1 높이에 위치하며, 순차적으로 왼쪽으로부터 오른쪽으로 서로 인접한 것으로 결정될 수 있고, 또한 특징 구성요소 d, 특징 구성요소 e, 및 특징 구성요소 f가 모두 공간 내의 제2 높이에 위치하며, 순차적으로 왼쪽으로부터 오른쪽으로 서로 인접한 것으로 결정될 수 있으며, 여기에서 제1 높이가 제2 높이보다 높고, 즉, 특징 구성요소 d, 특징 구성요소 e, 및 특징 구성요소 f가 공간 내에서 특징 구성요소 a, 특징 구성요소 b, 및 특징 구성요소 c 의 바로 아래에 위치한다.
(2) 각 특징 구성요소의 번호는 미리 저장된 제1 엔트리와 특징 구성요소들 사이의 상대적 위치 관계에 기반하여 결정된다. 제1 엔트리는 번호와 함께 특징 구성요소들 사이의 상대적 위치 관계를 포함한다.
예를 들어, 랙이 두 층의 선반을 포함하고, 각 선반에 3개의 특징 구성요소들이 제공되는 것이 인지되어 있다. 선반의 제1 층에는 특징 구성요소들 F1-1, F1-2, 및 F1-3이 제공되고, 선반의 제2층에는 특징 구성요소들 F2-1, F2-2, 및 F2-3이 제공된다. 제1 엔트리는 F1-1, F1-2, 및 F1-3가 순차적으로 왼쪽으로부터 오른쪽으로 인접하여 배열되어 있으며, F2-1, F2-2, 및 F2-3가 순차적으로 왼쪽으로부터 오른쪽으로 인접하여 배열되어 있고, F2-1, F2-2, 및 F2-3이 F1-1, F1-2, 및 F1-3의 아래쪽 공간에 위치한다고 기록한다. 특징 구성요소들 a-f 사이의 상대적 위치 관계에 따라, 즉, F1-1~F2-3 사이의 상대적 위치 관계가 알려져 있으므로, 특징 구성요소 a는 F1-1, 특징 구성요소 b는 F1-2, 특징 구성요소 c는 F1-3, 특징 구성요소 d는 F2-1, 특징 구성요소 e 는 F2-2, 및 특징 구성요소 f는 F2-3로 결정될 수 있고, 이에 따라, 감지 맵으로부터 식별된 각 특징 구성요소의 번호가 결정될 수 있다. 각 특징 구성요소는 상이한 위치에 위치하며 고유한 번호를 갖는다. 즉, 처리 디바이스는 랙 상의 선반의 수 및 순차적으로 왼쪽으로부터 오른쪽으로 각 선반에 배열된 특징 구성요소들의 수를 미리 알고 있다 (즉, 특징 구성요소들 사이의 상대적 위치 관계가 알려져 있다). 각 특징 구성요소의 번호는 실제로 감지된 특징 구성요소들 사이의 상대 위치 관계에 따라 결정될 수 있다. 이 방식으로, 각 특징 구성요소의 위치가 벗어날 수 있더라도, 다양한 특징 구성요소들 사이의 상대 위치 관계에 따라, 처리 디바이스가 여전히 각 특징 구성요소의 실제 위치에 따라 각 특징 구성요소의 신원(즉, 번호)을 결정할 수 있다.
(3) 각 특징 구성요소에 대응하는 물품이 미리 저장된 제2 엔트리 및 각 특징 구성요소의 번호에 따라 결정된다. 번호가 매겨진 특징 구성요소와 물품의 대응관계는 제2 엔트리에 저장된다.
예를 들어, 제2 엔트리 내에서, F1-1이 물품 SKU1-1에 대응하고, F1-2 이 물품 SKU1-2 에 대응하고, F1-3 이 물품 SKU1-3 에 대응하고, F2-1 이 물품 SKU2-1 에 대응하고, F2-2 이 물품 SKU2-2 에 대응하고, F2-3 이 물품 SKU2-3 에 대응한다. 그러므로, 각 특징 구성요소에 대응하는 물품 유형이 제2 엔트리에 따라 결정될 수 있다. 랙에서, 특징 구성요소들은 각 물품들의 위치에 연관되며, 예를 들어, 물품들은 각 특징 구성요소들의 우측 및 각 특징 구성요소들에 인접하여 균일하게 배치된다. 물론, 물품들은 각 특징 구성요소들의 후면 영역에 균일하게 배치될 수 있으며, 물품들과 각 특징 구성요소들 사이의 배열 관계는 본원에서 제한되지 않고, 실제 적용에서 유연하게 설정될 수 있다.
각 특징 구성요소 및 대응하는 물품이 결정된 후에, 각 특징 구성요소에 대응하는 물품의 위치 정보가 미리 저장된 대응하는 물품과 각 특징 구성요소 사이의 상대적 위치 관계 및 각 특징 구성요소의 위치 정보에 따라 추가로 결정될 수 있다. 예를 들어, 특징 구성요소 F1-1가 SKU1-1에 대응하는 것이 결정되고, 특징 구성요소 F1-1의 위치가 깊이 센서에 의해 감지되며, F1-1과 SKU1-1 사이의 상대적 위치 관계(예를 들어, F1-1이 SKU1-1의 우측에 배치되고, F1-1 과 SKU1-1 사이의 거리는 1 cm 이내이다)에 기반하여, SKU1-1의 위치 정보가 결정될 수 있다.
이 실시예에 의해 제공되는 위에서 언급한 물품 위치 결정 방법은 먼저 특징 구성요소의 위치를 결정하고, 이에 따라, 특징 구성요소에 대응하여 배치된 물품의 위치를 결정할 수 있다. 그러므로, 물품의 위치가 벗어나더라도, 수동 조정이 필요하지 않다. 처리 디바이스는 특정 파장을 갖는 광원이거나 특정 반사율을 갖는 특징 구성요소를 식별함으로써 특징 구성요소에 대응하는 물품의 위치를 결정한다. 그러므로, 번거로운 수동 조정이 생략되고 노동 비용이 절약된다.
또한, 정확한 물품 위치 정보를 획득하기 위하여, 깊이 센서의 위치 정보가 정확하여야 한다. 따라서, 실시예에 의해 제공되는 위의 단계는 깊이 센서의 위치를 조정하는 것을 더 포함할 수 있으며, 이는 깊이 센서의 초기 설치 조정을 위해 사용될 수 있고, 또한 진동, 외력 영향 또는 다른 이유로 인해 깊이 센서의 위치가 벗어날 때 깊이 센서 재조정을 위해 사용될 수 있다. 자세한 조정 방법을 위해, 이하의 단계가 수행될 수 있다:
단계 1, 깊이 센서의 현재 위치 정보는 특징 구성요소의 알려진 위치 정보 및 깊이 정보에 따라 결정될 수 있다.
실제 적용에서, 적어도 두 개의 알려진 특징 구성요소들의 위치 정보 및 깊이 정보가 취득될 수 있다. 다음, 적어도 두 개의 알려진 특징 구성요소들의 위치 정보 및 깊이 정보에 따라 삼각 측량 알고리즘을 사용하여 깊이 센서의 현재 위치 정보가 결정될 수 있다. 예를 들어, m개의 (m≥2) 특징 구성요소들은 랙의 바닥층에 고정되게 배치되고, 특징 구성요소들은 적외선 고 반사율 및 적외선 저 반사율 특징을 갖거나, 또는 특징 구성요소가 적외선 광원일 수 있다. 두 알려진 특징 구성요소들의 위치 정보는 사전 결정되고, 깊이 정보는 현재 위치에서 위치된 깊이 센서에 의해 취득될 수 있으며, 깊이 센서의 현재 위치가 삼각 측량에 의해 유도될 수 있다.
단계 2, 깊이 센서의 현재 위치 정보가 사전 설정된 기준 위치 정보와 일치하는지 여부가 결정된다. 기준 위치 정보는 또한 깊이 센서의 사전 설정된 설치 위치이다. 깊이 센서가 랙의 전체 표면을 커버하기 위하여 기준 위치에서 90도의 시야 FOV1 를 가지고, 전체 랙의 정면을 커버하기 위하여 30도의 FOV2 를 가진다고 가정한다. 현재 위치에서의 깊이 센서의 FOV1이 85도이고 FOV2가 30도이면, 현재 위치의 FOV1이 기준 위치의 FOV1 으로부터 5도 떨어진 것을 알 수 있으며, 현재 위치에서 깊이 센서의 감지 공간 내에 전체 랙이 완전히 위치하지 않아, 랙 상의 일부 물품들 또는 특징 구성요소들은 깊이 센서에 의해 감지될 수 없다.
실제 결정 프로세스 동안, 인지된 특징 구성요소들은 랙 상에 배치될 수 있고(이하에서, 바닥 특징점을 예로 든다), 깊이 센서에 의해 수집된 감지 맵을 이용하여, 바닥 특징점에 대응하는 픽셀이 감지 맵 내에서 결정될 수 있고, 즉, 바닥 특징점을 감지하는 화소 픽셀의 실제 위치가 결정될 수 있다. 화소의 실제 위치가 이론적인 화소의 위치와 일치하지 않으면, 깊이 센서의 현재 위치 정보가 사전 설정된 기준 위치 정보와 일치하지 않는다고 결정될 수 있다. 여기에서, 화소의 이론적 위치는 기준 위치에 위치한 깊이 센서의 상기 인지된 특징 구성요소들을 감지하는 대응하는 화소의 위치이다.
단계 3, 만일 아니면, 조정된 깊이 센서의 위치 정보가 기준 위치 정보와 일치하도록 깊이 센서의 위치가 조정된다.
일 실시예에서, 깊이 센서 상에 모터가 배치될 수 있다. 처리 디바이스는 깊이 센서의 현재 위치 정보 및 기준 위치 정보에 따라 모터의 이동 방향 및 이동 거리를 결정할 수 있으며, 다음 모터가 이동 방향 및 이동 거리에 따라 이동하도록 제어하여 깊이 센서가 현재 위치로부터 기준 위치로 도달하도록 구동한다.
이해를 쉽게 하기 위하여, 모터의 설치 방식이 추가로 예시된다: 일 실시예에서, 모터 및 깊이 센서를 지지하는 지지 디바이스가 랙 상에 고정되게 설치되고, 모터 및 깊이 센서가 전체로 간주될 수 있어, 모터가 이동할 때 깊이 센서가 이동하도록 모터가 직접 구동하여 깊이 센서의 위치를 변경할 수 있다. 다른 실시예에서, 모터가 먼저 랙 상에 설치될 수 있고, 모터가 지지 디바이스를 통해 깊이 센서로 연결되고, 모터가 지지 디바이스의 위치를 조정하고, 지지 디바이스를 통해 깊이 센서가 이동하도록 구동하여 깊이 센서의 위치를 변경할 수 있다. 물론, 이는 단지 두 가지 설치 예일 뿐이다. 실제 적용에서, 이는 위에서 언급한 두 방법에 제한되지 않으며, 모터가 깊이 센서를 이동하도록 구동하고 깊이 센서의 위치를 변경할 수 있기만 하면 임의의 설치 방식이 채택될 수 있다.
예를 들어, 3축 서보가 깊이 센서 상에 제공된다. 깊이 센서가 위치 조정될 때, 바닥 특징점에 대응하는 깊이 센서 상의 화소의 실제 위치가 먼저 측정된다. 화소의 실제 위치와 화소의 이론적 위치가 상이하면, 처리 디바이스는 3축 서보가 실제 위치와 이론적 위치 사이의 차이가 사전 결정된 범위 내가 될 때까지 차이를 줄이는 방향으로 이동하도록 제어한다.
위의 방식으로, 깊이 센서의 설치 위치가 조정될 수 있고, 이는 물품들 위치의 결정 결과의 정확성 및 신뢰성을 더욱 개선한다.
요약하면, 실시예에 의해 제공되는 물품 위치 결정 방법에서, 처리 디바이스는 깊이 센서를 통해 특정 반사 강도를 갖는 특징 구성요소를 감지하고, 각 특징 구성요소의 위치를 결정할 수 있어, 특징 구성요소에 대응하는 물품의 위치를 결정할 수 있다. 물품의 위치가 살짝 벗어나더라도, 수동 재조정 없이 특징 구성요소의 위치에 기반하여 처리 디바이스는 여전히 물품의 위치를 결정할 수 있어, 노동 비용을 절약한다.
실시예 3:
앞선 실시예에 의해 제공되는 물품 위치 결정 방법에 대응하는 물품 위치 결정 장치가 제공된다. 장치는 처리 디바이스 단에 배치되며, 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 랙은 깊이 센서의 감지 공간 내에 위치한다. 랙에는 또한 다수의 특징 구성요소들이 제공되고, 특징 구성요소들은 특정 반사율을 갖거나, 또는 특징 구성요소들은 특정 파장을 갖는 광원이다. 랙 상의 각 물품은 특징 구성요소에 대응한다. 도 6에 나타난 물품 위치 결정 장치의 구조 블록도를 참조하면, 장치는 다음을 포함한다:
깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 정보 취득 모듈(602).
광 강도 정보 및 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 제1 결정 모듈(604).
각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하는 물품의 위치 정보를 결정하는 제2 결정 모듈(606).
이 실시예에 의해 제공되는 물품 위치 결정을 위한 위의 결정 장치는 먼저 특징 구성요소의 위치를 결정할 수 있고, 특징 구성요소는 특정 반사율을 가지거나 또는 특정 파장을 갖는 광원이어서, 특징 구성요소에 대응하여 배치된 물품의 위치가 수동 측정 및 조정 없이 결정될 수 있다. 따라서, 번거로운 수동 조정이 생략되고 노동 비용이 절약된다.
일 실시예에서, 위의 정보 취득 모듈(602)은 다음을 포함한다:
깊이 센서에 의해 수집되는 감지 맵을 취득하는 감지 맵 취득 유닛-감지 맵은 다수의 픽셀을 포함하고, 각 픽셀은 깊이 센서의 화소에 의한 깊이 정보 및 광 강도 정보 출력에 대응함; 및
감지 맵 내의 각 픽셀에 대응하는 깊이 정보 및 광 강도 정보를 추출하는 정보 추출 유닛.
일 실시예에서, 제1 결정 모듈(604)은 픽셀 식별 유닛 및 구성요소 위치 결정 유닛을 포함하며, 여기에서:
픽셀 식별 유닛은 각 픽셀의 광 강도 정보에 따라 감지 맵으로부터 목표 픽셀을 식별하고, 여기에서, 목표 픽셀의 광 강도 정보가 특정 반사 강도와 일치하거나, 또는 목표 픽셀의 광 강도 정보가 특정 방출 강도와 일치한다. 특정 구현에서, 픽셀 식별 유닛은 각 픽셀의 광 강도 정보에 따라 그 광 방출 강도와 특정 반사 강도 사이의 차이가 제1 사전 설정된 한도 값 범위 이내인 픽셀을 감지 맵으로부터 선택하거나, 또는 그 방출 강도와 특정 방출 강도 사이의 차이가 제2 사전 설정된 한도 값 범위 이내인 픽셀을 감지 맵으로부터 선택하고, 다음 선택된 픽셀을 목표 픽셀로 결정한다.
구성요소 위치 결정 유닛은 각 목표 픽셀의 깊이 정보에 기반하여 각 목표 픽셀에 대응하는 특징 구성요소의 위치 정보를 결정한다. 특정 구현에서, 구성요소 위치 결정 유닛은 각 목표 픽셀의 깊이 정보 및 각 목표 픽셀에 대응하는 화소의 사전 저장된 위치 정보에 따라 목표 픽셀에 대응하는 특징 구성요소의 위치 정보를 또한 결정한다.
일 실시예에서, 위의 제2 결정 모듈(606)은 물품 결정 유닛 및 물품 위치 결정 유닛을 포함하며, 여기에서:
물품 위치 결정 유닛은 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소와 연관된 물품을 결정한다. 특정 구현에서, 물품 위치 결정 유닛은 각 특징 구성요소의 위치 정보에 기반하여 특징 구성요소들 사이의 상대적 위치 관계를 더 결정하고; 특징 구성요소들 사이의 상대적 위치 관계 및 미리 저장된 제1 엔트리에 기반하여 각 특징 구성요소의 번호를 결정한다. 제1 엔트리는 번호와 함께 특징 구성요소들 사이의 상대적 위치 관계를 포함한다. 물품 위치 결정 유닛은 각 특징 구성요소의 번호 및 미리 저장된 제2 엔트리에 따라 각 특징 구성요소에 대응하는 물품을 더 결정하며, 제2 엔트리는 번호가 매겨진 특징 구성요소와 물품의 대응 관계를 저장한다.
물품 위치 결정 유닛은 각 특징 구성요소와 미리 저장된 대응하는 물품 사이의 상대적 위치 관계 및 각 특징 구성요소의 위치 정보에 따라 각 특징 구성요소에 대응하는 물품의 위치 정보를 결정한다.
또한, 실시예에 따른 위의 장치는 다음을 더 포함한다:
알려진 위치 정보 및 깊이 정보에 따라 깊이 센서의 현재 위치 정보를 결정하는 제3 결정 유닛. 또한, 제3 결정 유닛은 적어도 두 개의 알려진 특징 구성요소들의 위치 정보 및 깊이 정보를 취득하고, 적어도 두 개의 알려진 특징 구성요소들의 위치 정보 및 깊이 정보에 따라 삼각 측량 알고리즘을 사용하여 깊이 센서의 현재 위치 정보를 결정한다;
깊이 센서의 현재 위치 정보가 사전 설정된 기준 위치 정보와 일치하는지 결정하는 결정 유닛;
결정 유닛으로부터의 결정 결과가 부정적일 때 깊이 센서의 조정된 위치 정보가 기준 위치 정보와 일치하도록 깊이 센서의 위치를 조정하는 위치 조정 모듈.
특정 구현에서, 깊이 센서 상에 모터가 배치될 수 있다. 위치 조정 모듈은 깊이 센서의 현재 위치 정보 및 기준 위치 정보에 따라 모터의 이동 방향 및 이동 거리를 결정할 수 있으며, 다음 모터가 이동 방향 및 이동 거리에 따라 이동하도록 제어하여 깊이 센서가 현재 위치로부터 기준 위치로 도달하도록 구동한다.
실제 적용에서, 특징 구성요소는 깊이 센서의 광원의 파장에 대해 특정 반사율을 갖는 물질로 제조되거나, 또는 특징 구성요소가 깊이 센서의 광원의 파장과 일치하는 파장을 갖는 광원이다.
일 실시예에서, 위의 깊이 센서는 적외선 깊이 센서이다. 위의 특정 반사율은 제1 사전 설정된 반사율보다 높거나 또는 제2 사전 설정된 반사율보다 낮을 수 있다. 즉, 특정 반사 강도를 갖는 특징 구성요소는 제1 사전 설정된 적외선 반사율보다 높은 반사율을 갖는 물질로 이루어진 구성요소이거나, 또는 제2 사전 설정된 적외선 반사율보다 낮은 반사율을 갖는 물질로 이루어진 구성요소이거나, 또는 깊이 센서의 광원의 것과 일치하는 파장을 갖는 적외선 광원이다.
실시예에 따른 장치, 구현 원리 및 기술적 효과는 상술한 실시예와 동일하며, 여기에서 언급되지 않은 장치의 다른 부분은 상술한 실시예의 대응하는 설명을 참조할 수 있다.
실시예 4:
물품 모니터링 시스템이 제공된다. 시스템은 깊이 센서 및 처리 디바이스를 포함한다;
깊이 센서는 감지 정보 및 광 강도 정보를 수집한다;
처리 디바이스는 컴퓨터 프로그램을 저장하며, 처리 디바이스에 의해 실행될 때, 컴퓨터 프로그램은 상술한 실시예 2에 따른 방법을 구현한다.
당업자는, 편리함과 간결함을 위해, 시스템의 상세한 프로세스가 상술한 실시예의 대응하는 프로세스를 참조할 수 있음을 이해할 것이며, 상세한 설명은 본원에서 생략한다.
또한, 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하며, 컴퓨터 판독 가능 저장 매체는 컴퓨터 프로그램을 저장하고, 프로세서에 의해 실행될 때, 컴퓨터 프로그램은 앞선 실시예 2에서 제공되는 방법의 단계를 수행한다.
본 개시의 일 실시예에 따른 물품 위치 결정 방법, 장치 및 시스템을 위한 컴퓨터 프로그램 제품은 프로그램 코드를 저장하는 컴퓨터 판독 가능 저장 매체를 포함하고, 프로그램 코드는 앞선 방법 실시예의 방법을 실행하는 명령을 포함한다. 방법의 특정 구현은 방법 실시예를 참조할 수 있으며, 자세한 설명은 본원에서 다시 기술하지 않는다.
예시적인 실시예가 첨부된 도면을 참조하여 설명되었지만, 위의 예시적인 실시예는 설명을 위한 것일 뿐이며, 본 개시의 범위를 그에 제한하고자 의도하지 않음을 이해할 것이다. 당업자는 본 개시의 범위 및 사상을 벗어나지 않고 다양한 변경 및 수정을 할 수 있다. 이러한 모든 변경 및 수정은 청구 범위에 청구된 바와 같은 개시의 범위 내에 포함되는 것으로 의도된다.
당업자는, 본 개시의 실시예에서 기술된 각 예의 단위 및 알고리즘 단계와 조합함으로써, 전자 하드웨어, 또는 컴퓨터 소프트웨어 및 전자 하드웨어의 조합에 의해 구현될 수 있음을 알 수 있다. 이들 기능이 하드웨어 방식으로 구현되는지 또는 소프트웨어 방식으로 구현되는지는 기술적 해결책의 특정 응용 및 설계 제약 사항에 의존한다. 당업자는 상술한 기능을 구현하기 위하여 각각의 특정 응용에 대해 상이한 방법을 사용할 수 있지만, 그러한 구현은 본 개시의 범위를 벗어나는 것으로 간주되지 않아야 한다.
본 개시에 의해 제공되는 여러 실시예에서, 개시된 디바이스 및 방법이 다른 수단에 의해 실현될 수 있음을 이해할 것이다. 예를 들어, 상술한 디바이스 실시예는 설명을 위한 것일 뿐이며; 예를 들어, 사용자의 분할은 논리적인 기능 분할일 뿐이고, 실제 구현에서 분할의 추가 방식이 있을 수 있고, 예를 들어, 복수의 유닛 또는 구성요소가 조합되거나 다른 디바이스로 통합될 수 있거나, 일부 특징이 생략되거나 수행되지 않을 수 있다.
본원에서 제공된 설명에서, 많은 양의 특정 세부 사항이 설명된다. 그러나, 본 개시의 실시예가 이들 특정 세부 사항 없이 실현될 수 있음을 이해할 것이다. 일부 실시예에서, 일반적으로 알려진 방법, 구조 및 기술은 상세히 제시되지 않으며, 이는 본 명세서의 이해를 흐리게 하지 않을 목적을 위한 것이다.
마찬가지로, 본 개시를 단순화하고 각 양상 중 하나 이상에 대한 이해를 돕기 위하여, 본 개시의 예시적인 실시예의 설명에서, 본 개시의 각 특징들은 때때로 단일 실시예, 단일 실시예의 도면 또는 설명 및 도면으로 함께 묶인다. 그러나, 본 개시의 방법은 다음의 의도를 반영하여 설명되지 않아야 한다: 보호를 추구하는 본 개시는 각 청구항에서 명시적으로 언급된 특징보다 많은 특징을 청구해야 한다. 오히려, 대응하는 청구 범위에 반영된 바와 같이, 본 발명의 요점은 대응하는 기술적 문제점이 본 개시의 특정 단일 실시예의 모든 특징보다 적은 특징을 사용함으로써 해결될 수 있다는 것이다. 그러므로, 특정한 구현을 유지하는 청구항은 특정 구현에 명시적으로 포함되며, 각 청구항 자체는 본 개시의 단일 실시예로 취해진다.
당업자는, 특징들 사이의 상호 배타성을 제외하고, 본 설명(첨부된 청구 범위, 요약 및 도면을 포함)에 개시된 모든 특징 또는 이러한 방식으로 개시된 임의의 방법 또는 디바이스의 모든 프로세서 또는 유닛을 결합하기 위해 임의의 조합이 채택될 수 있음을 이해할 수 있다. 달리 명시하지 않는 한, 본 설명에 개시된 각 특징(첨부된 청구 범위, 요약 및 도면을 포함)은 동일하거나 동등하거나 유사한 목적을 제공하는 대안적인 특징으로 대체될 수 있다.
또한, 당업자는 본원에 기술된 일부 실시예가 일부 특징을 포함하지만 다른 실시예에 포함된 다른 특징을 포함하지는 않더라도, 상이한 실시예의 특징의 조합이 본 개시의 범위에 속함을 의미하며, 다른 실시예를 구성한다는 것을 이해할 것이다. 예를 들어, 청구 범위에서, 보호가 추구되는 임의의 실시예는 임의의 조합의 방식으로 사용될 수 있다.
본 개시의 각 구성요소 실시예는 하드웨어에 의해 실현될 수 있거나, 하나 이상의 프로세서 상에서 실행되는 소프트웨어 모듈에 의해 실현될 수 있거나, 또는 상기의 조합에 의해 실현될 수 있다. 당업자는 본 개시의 실시예의 일부 모듈의 일부 또는 모든 기능이 마이크로프로세서 또는 디지털 신호 프로세서(DSP)를 사용하여 실제로 실현될 수 있음을 이해할 것이다. 본 개시는 본원의 방법을 수행하는 데 사용되는 장치 프로그램(예를 들어, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품)의 일부 또는 전부로서 또한 실현될 수 있다. 본 개시를 실현하기 위한 이러한 프로그램은 컴퓨터 판독 가능 매체에 저장될 수 있거나, 하나 이상의 신호의 형태를 가질 수 있다. 이러한 신호는 인터넷 웹사이트에서 다운로드할 수 있거나, 캐리어 신호로 제공하거나, 또는 임의의 다른 형식으로 제공할 수 있다.
위의 실시예가 본 개시를 설명하기 위해 사용되었지만 본 개시를 제한하지 않으며, 당업자는 본원에 첨부된 청구범위의 범위를 벗어나지 않고 다른 실시예를 설계할 수 있음을 유의한다. 청구항에서, 괄호 안의 임의의 참조 기호는 청구항에 대한 제한을 형성하지 않는다. 단어 "포함하다(include)" 및 "포함하다(comprise)"는 청구항에 나열되지 않은 요소나 단계가 있음을 배제하지 않는다. 요소 앞의 단어 "일(a)" 또는 "하나(one)"는 복수 개의 이러한 요소가 있음을 배제하지 않는다. 본 개시는 여러 상이한 요소를 포함하는 하드웨어 및 적절한 프로그램 가능한 컴퓨터에 의해 실현될 수 있다. 몇몇 디바이스를 인용하는 유닛 청구항에서, 이들 디바이스 중 몇몇은 동일한 하드웨어에 의해 구체적으로 반영될 수 있다. 제1, 제2 및 제3의 사용은 어떤 순서도 나타내지 않는다. 이들 단어는 이름으로 설명될 수 있다.
위의 설명은 본 개시의 단지 특정 구현이거나 본 개시의 특정 구현에 대한 명세일 뿐이다. 본 개시의 보호 범위는 이에 한정되지 않는다. 본 개시의 기술적 범위 내에서 당업자가 생각할 수 있는 임의의 변경 또는 대체는 본 개시의 보호 범위에 속한다. 본 개시의 보호 범위는 청구 범위의 보호 범위에 따라야 한다.

Claims (15)

  1. 물품 위치 결정 방법에 있어서, 상기 방법은 처리 디바이스에 적용되고, 상기 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 상기 랙은 상기 깊이 센서의 감지 공간 내에 위치되고, 상기 랙에는 복수의 특징 구성요소들이 제공되고, 상기 특징 구성요소들은 특정 반사율을 가지거나, 또는 상기 특징 구성요소들은 특정 파장의 광원이며, 상기 랙 상의 각 종류의 물품은 특징 구성요소에 대응하여 배치되고,
    상기 방법은:
    상기 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 것;
    상기 광 강도 정보 및 상기 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 것;
    각 특징 구성요소의 상기 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품의 위치 정보를 결정하는 것을 포함하고,
    상기 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 것은:
    상기 깊이 센서에 의해 수집되는 감지 맵을 취득하는 것-상기 감지 맵은 복수의 픽셀을 포함하고, 각 픽셀은 상기 깊이 센서의 화소에 의한 깊이 정보 및 광 강도 정보 출력에 대응함;
    상기 감지 맵 내의 각 픽셀에 대응하는 상기 깊이 정보 및 상기 광 강도 정보를 추출하는 것을 포함하는 물품 위치 결정 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 광 강도 정보 및 상기 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 것은:
    각 픽셀의 상기 광 강도 정보에 따라 상기 감지 맵으로부터 목표 픽셀을 식별하는 것-상기 목표 픽셀의 상기 광 강도 정보는 상기 특징 구성요소의 특정 반사 강도와 일치하거나, 또는 상기 목표 픽셀의 상기 광 강도 정보는 상기 특징 구성요소의 특정 방출 강도와 일치하며, 상기 특정 반사 강도는 상기 특정 반사율과 연관되며, 상기 특정 방출 강도는 상기 특정 파장과 연관됨;
    각 목표 픽셀의 상기 깊이 정보에 따라 각 목표 픽셀에 대응하는 상기 특징 구성요소의 상기 위치 정보를 결정하는 것을 포함하는 물품 위치 결정 방법.
  4. 제3항에 있어서, 각 픽셀의 상기 광 강도 정보에 따라 상기 감지 맵으로부터 목표 픽셀을 식별하는 것은:
    각 픽셀의 광 강도 정보에 따라 그 광 방출 강도와 상기 특정 반사 강도 사이의 차이가 제1 사전 설정된 한도 값 범위 이내인 픽셀을 상기 감지 맵으로부터 선택하는 것, 또는 그 방출 강도와 상기 특정 방출 강도 사이의 차이가 제2 사전 설정된 한도 값 범위 이내인 픽셀을 상기 감지 맵으로부터 선택하는 것;
    상기 선택된 픽셀을 상기 목표 픽셀로 결정하는 것을 포함하는 물품 위치 결정 방법.
  5. 제3항에 있어서, 각 목표 픽셀의 상기 깊이 정보에 따라 각 목표 픽셀에 대응하는 상기 특징 구성요소의 상기 위치 정보를 결정하는 것은:
    각 목표 픽셀의 깊이 정보 및 상기 각 목표 픽셀에 대응하는 상기 화소의 사전 저장된 위치 정보에 따라 상기 목표 픽셀에 대응하는 상기 특징 구성요소의 상기 위치 정보를 결정하는 것을 포함하는 물품 위치 결정 방법.
  6. 제1항에 있어서, 각 특징 구성요소의 상기 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품의 위치 정보를 결정하는 것은:
    각 특징 구성요소의 상기 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품을 결정하는 것;
    상기 특징 구성요소들와 대응하는 물품들 사이의 사전 저장된 상대적 위치 관계에 따라 각 특징 구성요소에 대응하는 상기 물품의 상기 위치 정보를 결정하는 것을 포함하는 물품 위치 결정 방법.
  7. 제6항에 있어서, 각 특징 구성요소의 상기 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품을 결정하는 것은:
    각 특징 구성요소의 상기 위치 정보에 기반하여 상기 특징 구성요소들 사이의 상대적 위치 관계를 결정하는 것;
    상기 특징 구성요소들 사이의 상기 상대적 위치 관계 및 미리 저장된 제1 엔트리에 기반하여 각 특징 구성요소의 번호를 결정하는 것-상기 제1 엔트리는 상기 번호와 함께 상기 특징 구성요소들 사이의 상대적 위치 관계를 포함함;
    각 특징 구성요소의 상기 번호 및 미리 저장된 제2 엔트리에 따라 상기 각 특징 구성요소에 대응하는 물품을 결정하는 것-상기 제2 엔트리는 번호가 매겨진 특징 구성요소와 물품의 대응 관계를 저장함-을 포함하는 물품 위치 결정 방법.
  8. 제1항에 있어서,
    인지된 위치 정보 및 깊이 정보에 따라 상기 깊이 센서의 현재 위치 정보를 결정하는 것;
    상기 깊이 센서의 상기 현재 위치 정보가 사전 설정된 기준 위치 정보와 일치하는지 여부를 결정하는 것;
    일치하지 않으면, 상기 깊이 센서의 조정된 위치 정보가 상기 기준 위치 정보와 일치하도록 상기 깊이 센서의 위치를 조정하는 것을 더 포함하는 물품 위치 결정 방법.
  9. 제8항에 있어서, 상기 인지된 위치 정보 및 깊이 정보에 따라 상기 깊이 센서의 현재 위치 정보를 결정하는 것은:
    적어도 두 개의 알려진 특징 구성요소들의 위치 정보 및 깊이 정보를 취득하는 것;
    상기 적어도 두 개의 알려진 특징 구성요소들의 상기 위치 정보 및 상기 깊이 정보에 따라 삼각 측량 알고리즘을 이용하여 상기 깊이 센서의 현재 위치 정보를 결정하는 것을 포함하는 물품 위치 결정 방법.
  10. 제9항에 있어서, 상기 깊이 센서에는 모터가 제공되고, 상기 깊이 센서의 위치를 조정하는 것은:
    상기 깊이 센서의 상기 현재 위치 정보 및 상기 기준 위치 정보에 따라 상기 모터의 이동 방향 및 이동 거리를 결정하는 것;
    상기 이동 방향 및 상기 이동 거리에 따라 상기 모터가 이동하도록 제어하여 상기 깊이 센서가 상기 현재 위치로부터 상기 기준 위치에 도달하도록 구동하는 것을 포함하는 물품 위치 결정 방법.
  11. 제1항에 있어서, 상기 특징 구성요소들은 상기 깊이 센서의 광원의 파장에 대해 특정 반사율을 갖는 물질로 제조되거나, 상기 특징 구성요소들은 상기 깊이 센서의 상기 광원의 상기 파장과 일치하는 파장을 갖는 광원인 물품 위치 결정 방법.
  12. 제1항에 있어서, 상기 깊이 센서는 적외선 깊이 센서이고, 상기 특정 반사율은 제1 사전 설정된 반사율보다 높거나 또는 제2 사전 설정된 반사율보다 낮은 물품 위치 결정 방법.
  13. 물품 위치 결정 장치에 있어서, 상기 장치는 처리 디바이스에 적용되고, 상기 처리 디바이스는 랙에 설치된 깊이 센서에 연결되고, 상기 랙은 상기 깊이 센서의 감지 공간 내에 위치되고, 상기 랙에는 복수의 특징 구성요소들이 제공되고, 상기 특징 구성요소들은 특정 반사율을 가지거나, 또는 상기 특징 구성요소들은 특정 파장의 광원이며, 상기 랙 상의 각 종류의 물품은 특징 구성요소에 대응하여 배치되고,
    상기 장치는:
    상기 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 정보 취득 모듈;
    상기 광 강도 정보 및 상기 깊이 정보에 따라 각 특징 구성요소의 위치 정보를 결정하는 제1 결정 모듈;
    각 특징 구성요소의 상기 위치 정보에 따라 각 특징 구성요소에 대응하여 배치된 물품의 위치 정보를 결정하는 제2 결정 모듈을 포함하고,
    상기 깊이 센서에 의해 수집되는 깊이 정보 및 광 강도 정보를 취득하는 것은:
    상기 깊이 센서에 의해 수집되는 감지 맵을 취득하는 것-상기 감지 맵은 복수의 픽셀을 포함하고, 각 픽셀은 상기 깊이 센서의 화소에 의한 깊이 정보 및 광 강도 정보 출력에 대응함;
    상기 감지 맵 내의 각 픽셀에 대응하는 상기 깊이 정보 및 상기 광 강도 정보를 추출하는 것을 포함하는 물품 위치 결정 장치.
  14. 깊이 센서; 및
    처리 디바이스를 포함하고,
    상기 깊이 센서는 감지 정보 및 광 강도 정보 수집을 위한 것이며;
    상기 처리 디바이스는 컴퓨터 프로그램을 저장하고, 상기 처리 디바이스에 의해 실행될 때, 상기 컴퓨터 프로그램이 제1항 및 제3항 내지 제12항 중 어느 한 항에 따른 방법을 수행하는 물품 모니터링 시스템.
  15. 컴퓨터 프로그램이 저장되고, 처리 디바이스에 의해 실행될 때, 상기 컴퓨터 프로그램이 제1항 및 제3항 내지 제12항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 판독 가능 저장 매체.
KR1020180152425A 2018-05-11 2018-11-30 물품 위치 결정 방법, 장치 및 시스템 KR102255268B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810453740.9 2018-05-11
CN201810453740.9A CN108629325B (zh) 2018-05-11 2018-05-11 物品位置的确定方法、装置及系统

Publications (2)

Publication Number Publication Date
KR20190129678A KR20190129678A (ko) 2019-11-20
KR102255268B1 true KR102255268B1 (ko) 2021-05-25

Family

ID=63692931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152425A KR102255268B1 (ko) 2018-05-11 2018-11-30 물품 위치 결정 방법, 장치 및 시스템

Country Status (5)

Country Link
US (1) US10788313B2 (ko)
EP (1) EP3567533A1 (ko)
JP (1) JP6731033B2 (ko)
KR (1) KR102255268B1 (ko)
CN (1) CN108629325B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001748B (zh) * 2018-07-16 2021-03-23 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统
CN109460077B (zh) * 2018-11-19 2022-05-17 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN110200453B (zh) * 2019-05-29 2020-11-27 温州忻赟工业产品设计有限公司 零售终端商品智能展示柜
TWI733173B (zh) * 2019-08-27 2021-07-11 佳世達科技股份有限公司 物品管理系統
CN110986816B (zh) * 2019-10-20 2022-02-11 奥比中光科技集团股份有限公司 一种深度测量系统及其测量方法
CN115248017B (zh) * 2022-09-21 2022-11-29 江苏新恒基特种装备股份有限公司 一种支管管件几何尺寸快速检测方法及检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024249A (ja) * 2000-07-10 2002-01-25 Itoki Crebio Corp 物品収納検索システム
JP2004198129A (ja) * 2002-12-16 2004-07-15 Ckd Corp 計測装置及び検査装置
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
US20170286901A1 (en) * 2016-03-29 2017-10-05 Bossa Nova Robotics Ip, Inc. System and Method for Locating, Identifying and Counting Items

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979815A (en) * 1989-02-17 1990-12-25 Tsikos Constantine J Laser range imaging system based on projective geometry
JP4150506B2 (ja) 2000-02-16 2008-09-17 富士フイルム株式会社 画像撮像装置及び距離測定方法
EP1191306B1 (en) * 2000-09-26 2006-11-22 Fuji Photo Film Co., Ltd. Distance information obtaining apparatus and distance information obtaining method
KR100463484B1 (ko) 2002-02-08 2004-12-29 조 원 장 개인 대응형 공기청정장치
DE10226663A1 (de) * 2002-06-14 2003-12-24 Sick Ag Verfahren zum Auffinden von Gegenständen auf einer Trägerebene
JP2005083984A (ja) 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2005138957A (ja) 2003-11-06 2005-06-02 Okamura Corp 自動倉庫における入出庫管理方法
DE102005054658A1 (de) * 2005-11-16 2007-05-24 Sick Ag Verfahren zur automatischen Paramentierung von Meßsystemen
JP2010058908A (ja) 2008-09-04 2010-03-18 Toshiba Tec Corp 物品管理システム
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US10114609B2 (en) * 2012-05-31 2018-10-30 Opportunity Partners Inc. Computing interface for users with disabilities
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9478030B1 (en) * 2014-03-19 2016-10-25 Amazon Technologies, Inc. Automatic visual fact extraction
JP6183280B2 (ja) 2014-04-11 2017-08-23 株式会社ダイフク 位置判別装置
US9824328B2 (en) * 2014-06-10 2017-11-21 Amazon Technologies, Inc. Arm-detecting overhead sensor for inventory system
CN204007543U (zh) * 2014-08-27 2014-12-10 厦门唛咭森迪科技有限公司 一种新型一键式3d扫描仪
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US20170098236A1 (en) * 2015-10-02 2017-04-06 Yahoo! Inc. Exploration of real-time advertising decisions
KR102659065B1 (ko) * 2015-12-21 2024-04-22 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵의 처리
EP3200122B1 (de) * 2016-01-26 2022-06-22 Sick Ag Optoelektronischer sensor und verfahren zur sicheren erkennung von objekten einer mindestgrösse
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
US9827683B1 (en) * 2016-07-28 2017-11-28 X Development Llc Collaborative inventory monitoring
US9908696B1 (en) * 2016-09-08 2018-03-06 X Development Llc Pallet-conveyor system
CN106897670B (zh) * 2017-01-19 2020-09-22 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024249A (ja) * 2000-07-10 2002-01-25 Itoki Crebio Corp 物品収納検索システム
JP2004198129A (ja) * 2002-12-16 2004-07-15 Ckd Corp 計測装置及び検査装置
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
US20170286901A1 (en) * 2016-03-29 2017-10-05 Bossa Nova Robotics Ip, Inc. System and Method for Locating, Identifying and Counting Items

Also Published As

Publication number Publication date
JP6731033B2 (ja) 2020-07-29
CN108629325B (zh) 2021-06-22
JP2019197038A (ja) 2019-11-14
CN108629325A (zh) 2018-10-09
KR20190129678A (ko) 2019-11-20
US10788313B2 (en) 2020-09-29
US20190346255A1 (en) 2019-11-14
EP3567533A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
KR102255268B1 (ko) 물품 위치 결정 방법, 장치 및 시스템
KR102213156B1 (ko) 타겟 오브젝트와 아이템을 연관시키는 방법, 장치 및 시스템
US10679181B1 (en) Inventory management using weight sensors and physical layout data
US9961256B2 (en) Apparatus and method for specifying and aiming cameras at shelves
US10909667B1 (en) Image rectification using transformation data
US10360532B2 (en) Method and system for estimating stock level of shelf
US20180114183A1 (en) Stock Level Determination
US10520353B1 (en) System to process load cell data
JP2009126660A (ja) 物品管理システム及び情報処理装置
JP2009190881A (ja) 物品管理システム及び情報処理装置
WO2021010202A1 (ja) 位置検出システム
CN108876249A (zh) 物品监控系统及方法
CN108896156A (zh) 物品监控方法、装置及系统
CN109711498B (zh) 目标对象的行为预测方法、装置、处理设备及智能置物架
CN108710845A (zh) 目标对象与物品的关联方法、装置及系统
JPWO2018174080A1 (ja) 物品管理システム及び物品管理方法
US10885632B1 (en) Camera calibration system
US10932103B1 (en) Determining position of a user relative to a tote
CN108629386B (zh) 一种自动识别商品购买行为的货架
AU2019351689A1 (en) Method, system and apparatus for object detection in point clouds
US20230222685A1 (en) Processing apparatus, processing method, and non-transitory storage medium
US20230401532A1 (en) Stock level detection apparatus and methods thereof
JPWO2020131881A5 (ko)
JP2021062958A (ja) 検知システム、検知方法及びプログラム
KR20210041795A (ko) 빅데이터 및 사물인터넷을 기반으로 한 무인키오스크를 활용한 무인편의점 운영방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant