KR20200088219A - 물품 식별 방법 및 시스템, 전자설비 - Google Patents

물품 식별 방법 및 시스템, 전자설비 Download PDF

Info

Publication number
KR20200088219A
KR20200088219A KR1020197036280A KR20197036280A KR20200088219A KR 20200088219 A KR20200088219 A KR 20200088219A KR 1020197036280 A KR1020197036280 A KR 1020197036280A KR 20197036280 A KR20197036280 A KR 20197036280A KR 20200088219 A KR20200088219 A KR 20200088219A
Authority
KR
South Korea
Prior art keywords
article
image
result
information
acquisition device
Prior art date
Application number
KR1020197036280A
Other languages
English (en)
Other versions
KR102329369B1 (ko
Inventor
웬카이 주
가오 오우양
보쉔 유에
진 왕
Original Assignee
아크소프트 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아크소프트 코포레이션 리미티드 filed Critical 아크소프트 코포레이션 리미티드
Publication of KR20200088219A publication Critical patent/KR20200088219A/ko
Application granted granted Critical
Publication of KR102329369B1 publication Critical patent/KR102329369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/72—Auxiliary equipment, e.g. for lighting cigars, opening bottles
    • G06K9/20—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G06K9/3233—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/201—Price look-up processing, e.g. updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

본 발명은 물품 식별 방법 및 시스템, 전자설비를 개시한다. 이 방법은, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계; 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하도록 물품의 다중 프레임 이미지를 처리하는 단계; 정보 획득 장치에 의해 물품의 보조 정보를 획득하는 단계; 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계; 및 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정하는 단계를 포함한다.

Description

물품 식별 방법 및 시스템, 전자설비
본 출원은 2019년 1월 8일자로 중국 특허청에 제출한 출원 번호가 201910016934.7이고, 발명의 명칭이 "물품 식별 방법 및 시스템, 전자설비"인 중국특허출원의 우선권을 주장하고 그 모든 내용은 참조방식으로 본 출원에 원용된다.
본 발명은 정보 처리 기술 분야에 관한 것으로, 구체적으로 물품 식별 방법 및 시스템, 전자설비에 관한 것이다.
관련 기술에서, 스마트 자동판매기는 신소매 업종 발전의 중요한 방향의 하나로서, 물품 식별 시 현재 주로 두 가지 해결 방안이 있는데, 하나는 종래의 RFID(Radio Frequency Identification, 무선 주파수 인식)기술 방안이고, 다른 하나는 시각 인식을 기반으로 하는 정적 인식이다. 첫 번째 RFID 전자태그 기반의 해결 방안은 서로 다른 카테고리의 물품에 서로 다른 RFID 전자태그를 제정하고, 무선신호에 의해 전자태그의 데이터를 식별함으로써 물품을 식별하고 통계하는 목적을 달성하기에 원가가 비싸다. 한편으로는 RFID 전자태그의 원가가 높고, 다른 한편으로는 시장에 출시 된 후 수천수만의 물품에 태그를 부착하는 인건비가 너무 높으며, 또한 금속, 액체류 물품에 대한 식별 정확도가 부족하고, 태그가 인위적으로 찢어지기 쉬우므로 상품 파손율이 높다. 또한 두 번째 시각 인식을 기반으로 하는 정적 인식 방안은 자동판매기의 각 층 맨 위에 카메라를 장착하여 문이 열리기 전과 문이 닫힌 후 각각 한 장의 이미지를 촬영한 다음 시각 인식 기술에 의해 자동으로 물품 종류와 개수를 식별하고, 마지막에 대비를 통해 최후의 결과를 얻고 공간 활용률이 낮은데, 이는 카메라가 아래 층 선반으로부터 높은 간격을 두어야 하기 때문이며, 그렇지 않으면 전경을 찍기 어렵고, 식별 정확도가 물품의 가림 영향을 쉬이 받게 되므로, 물품을 쌓아 놓아서는 안 된다.
전술한 과제에 대해 아직 효과적인 해결책이 제시되지 않은 것이 실정이다.
본 공개 실시예는 적어도 관련 기술에서 물품 식별 시 식별 정확도가 낮은 기술 과제를 해결하는 물품 식별 방법 및 시스템, 전자설비를 제공한다.
본 발명 실시예의 일 측면에 따르면, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계; 각 프레임 이미지에서의 상기 물품의 위치 정보와 카테고리 정보를 획득하도록 상기 물품의 다중 프레임 이미지를 처리하는 단계; 정보 획득 장치에 의해 상기 물품의 보조 정보를 획득하는 단계; 상기 위치 정보와 상기 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계; 및 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하는 단계를 포함하는 물품 식별 방법을 제공한다.
선택적으로, 각 프레임 이미지에서의 상기 물품의 위치 정보와 카테고리 정보를 획득하도록 상기 물품의 다중 프레임 이미지를 처리하는 단계는, 상기 물품의 각 프레임 이미지에 대해 이미지 전처리를 진행하는 단계; 이미지 전처리된 각 프레임 이미지에서의 적어도 한 가지 물품을 포함하는 물품 검측 박스와 상기 카테고리 정보를 확정하는 단계; 및 상기 물품 검측 박스에 따라 상기 물품의 위치 정보를 확정하는 단계를 포함한다.
선택적으로, 상기 방법은 상기 물품 검측 박스에 대해 비 최대치 억제를 진행하는 단계를 더 포함한다.
선택적으로, 상기 방법은 이미지 획득 장치에 의해 목표 부위의 다중 프레임 이미지를 획득하는 단계; 및 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과를 획득하도록 상기 목표 부위의 다중 프레임 이미지를 처리하는 단계를 더 포함한다.
선택적으로, 상기 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과, 상기 물품의 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정한다.
선택적으로, 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과를 획득하도록 상기 목표 부위의 다중 프레임 이미지를 처리하는 단계는, 사용자의 목표 부위 이미지 윤곽을 개선하도록 상기 목표 부위의 각 프레임 이미지에 대해 이미지 전처리를 진행하는 단계; 이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하는 단계; 상기 부위 관심 영역에서 특징 정보를 추출하여 복수의 부위 특징을 얻는 단계; 및 각 프레임 이미지에서의 상기 목표 부위의 위치 정보 및 판별 결과를 얻도록 미리 훈련된 분류기에 의해 상기 복수의 부위 특징을 식별하는 단계를 포함한다.
선택적으로, 이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하는 단계는, 서브 윈도에 의해 각 프레임 이미지를 스캔하여 각 프레임 이미지에서 사용자의 목표 부위가 나타날 수 있는 부위 관심 영역을 확정하는 단계를 포함한다.
선택적으로, 상기 방법은 상기 물품에 대해 세립도 분류를 진행하는 단계를 더 포함한다.
선택적으로, 상기 정보 획득 장치는 깊이 카메라, 카드 리더기, 중력 장치, 및 냄새 센서 중 적어도 하나를 포함한다.
선택적으로, 상기 정보 획득 장치가 깊이 카메라인 경우, 상기 깊이 카메라에 의해 상기 물품의 깊이 이미지를 획득하고, 상기 물품의 보조 정보는 깊이 정보를 포함한다.
선택적으로, 상기 위치 정보와 상기 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계는, 상기 이미지 획득 장치와 상기 깊이 카메라의 렌즈 파라미터 및 위치 파라미터를 획득하는 단계; 상기 깊이 카메라의 렌즈 파라미터, 상기 깊이 정보와 상기 물품이 상기 깊이 이미지에서의 위치에 따라, 상기 물품이 상기 깊이 카메라 좌표계에서의 위치를 획득하는 단계; 상기 이미지 획득 장치와 상기 깊이 카메라의 위치 파라미터에 따라, 상기 깊이 카메라의 좌표계를 기준으로, 상기 이미지 획득 장치가 상기 깊이 카메라에 대한 상대적 위치 관계를 캘리브레이션하는 단계; 상기 렌즈 파라미터, 상기 물품이 상기 깊이 이미지에서의 위치, 상기 깊이 정보와 상기 상대적 위치 관계에 기초하여, 상기 물품이 상기 깊이 이미지에서의 위치가 상기 물품이 상기 이미지 획득 장치가 획득한 이미지에 대응된 매핑 위치 정보를 확정하는 단계; 및 상기 위치 정보와 상기 매핑 위치 정보를 비교하여 상기 융합 결과를 얻는 단계를 포함한다.
선택적으로, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계는, 상기 물품의 영상을 획득하도록 상기 이미지 획득 장치를 작동시키는 단계; 및 상기 영상으로부터 상기 물품의 다중 프레임 이미지를 컷아웃하는 단계를 포함한다.
선택적으로, 상기 방법은 상기 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계; 상기 추적 궤적을 분류하여 물품의 이동 결과에 대응되는 궤적 분류 결과를 얻는 단계; 상기 궤적 분류 결과에 따라 물품 픽업 결과와 물품 반환 결과를 확정하는 단계; 및 물품 픽업 결과와 물품 반환 결과에 따라 물품 관리 리스트를 업데이트하는 단계를 더 포함한다.
선택적으로, 상기 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계는, 상기 융합 결과에 따라 상기 물품의 위치 정보와 상기 물품의 이동 추세를 획득하는 단계; 및 상기 물품의 현재 검측 박스와 직전 프레임 상기 물품의 위치 정보에 기초하여 상기 물품의 이동 추세에 따라 획득되는 예측한 후보 박스 사이의 중합 유사도와 특징 유사도에 따라 현재 검측 결과와 직전 프레임의 검측 결과의 매치율을 판단하여, 각 타임 노드에서의 물품의 위치, 물품 종류, 물품 이동의 타임 스탬프를 포함하는 물품의 추적 궤적을 얻는 단계를 포함한다.
선택적으로, 상기 추적 궤적을 분류하여 궤적 분류 결과를 얻는 단계는, 상기 추적 궤적으로부터 물품 이동 길이를 추출하는 단계; 및 미리 훈련된 분류 결정 트리 모델과 상기 물품 이동 길이를 결합하여, 상기 추적 궤적을 분류하고 궤적 분류 결과를 얻는 단계를 포함한다.
선택적으로, 상기 궤적 분류 결과에 따라 물품 픽업 결과 또는 반환 결과를 확정하는 단계는, 상기 이미지 획득 장치, 또는 상기 이미지 획득 장치가 상기 정보 획득 장치와 같은 시각에 결합한 궤적 분류 결과를 획득하는 단계; 상기 이미지 획득 장치, 또는 상기 이미지 획득 장치가 상기 정보 획득 장치와 같은 시각에 결합한 궤적 분류 결과에 따라 분류 규칙 베이스를 기초로 하는 분류 판별 방안을 건립하는 단계; 및 상기 분류 판별 방안과 상기 궤적 분류 결과에 의해 물품 픽업 결과 또는 물품 반환 결과를 확정하는 단계를 포함한다.
선택적으로, 상기 방법은 품목당 가격이 포함된 물품 가격표를 획득하는 단계; 물품 픽업 결과와 물품 반환 결과에 의해 픽업된 물품과 물품 개수를 확정하는 단계; 및 픽업된 물품과 물품 개수, 그리고 품목당 가격에 따라 물품의 결제 총가격을 확정하는 단계를 더 포함한다.
선택적으로, 상기 방법은 신소매 시나리오로 설정되어야 하며, 상기 신소매 시나리오는 적어도 무인 상점, 스마트 자동판매기를 포함한다.
본 발명 실시예의 다른 일 측면에 따르면, 물품의 다중 프레임 이미지를 획득하도록 설치되는 이미지 획득 장치; 상기 물품의 보조 정보를 획득하도록 설치되는 정보 획득 장치; 각 프레임 이미지에서의 상기 물품의 위치 정보와 카테고리 정보를 획득하도록 상기 물품의 다중 프레임 이미지를 처리하고, 상기 위치 정보를 상기 보조 정보와 멀티 모달 융합하여 융합 결과를 얻은 다음, 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하도록 설치되는 서버를 포함하는 물품 식별 시스템을 제공한다.
선택적으로, 상기 이미지 획득 장치는 또한 목표 부위의 다중 프레임 이미지를 획득하도록 설치된다.
선택적으로, 상기 서버는 또한 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과를 획득하도록 상기 목표 부위의 다중 프레임 이미지를 처리하고, 상기 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과, 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하도록 설치된다.
선택적으로, 물품 저장 장치를 더 포함하는데, 상기 이미지 획득 장치와 상기 정보 획득 장치는 상기 물품 저장 장치가 열릴 때 작동된다.
본 발명 실시예의 다른 일 측면에 따르면, 실행가능한 명령의 실행을 거쳐 전술한 어느 한 항에 기재된 물품 식별 방법을 수행하도록 구성되는 프로세서; 및 상기 프로세서의 실행가능한 명령을 저장하도록 설치되는 메모리를 포함하는 전자설비를 더 제공한다.
본 발명 실시예의 다른 일 측면에 따르면, 저장된 프로그램을 포함하는 저장 매체를 더 제공하는데, 상기 프로그램은 운행 시 상기 저장 매체가 위치한 설비를 제어하여 전술한 어느 한 항에 기재된 물품 식별 방법을 수행하도록 한다.
본 발명의 실시예에서는, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하고, 물품의 다중 프레임 이미지를 처리하여, 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하며, 정보 획득 장치에 의해 물품의 보조 정보를 획득하고, 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 획득하며, 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정한다. 이 실시예에서, 다중 프레임 이미지의 획득을 실현할 수 있고, 이 다중 프레임 이미지를 분석함으로써 물품의 위치 정보와 카테고리 정보를 획득하며 물품의 보조 정보와 결합하여 물품을 정확히 식별할 수 있으며, 마찬가지로 사용자에 의해 픽업된 물품의 종류와 물품 개수를 정확하게 식별할 수 있어 관련 기술에서 물품 식별 시 식별 정확도가 낮은 기술 과제를 해결할 수 있다.
여기서 설명하는 첨부 도면은 본 발명에 보다 깊은 이해를 제공하기 위한 것으로 본 출원의 일부를 이루며, 본 발명의 예시적 실시예 및 그 설명은 본 발명을 해석하기 위한 것으로, 본 발명에 대한 부당한 한정은 아니다. 첨부 도면에서,
도 1은 본 발명 실시예에 따른 선택 가능한 물품 식별 시스템의 설명도;
도 2는 본 발명 실시예에 따른 선택 가능한 물품 식별 방법의 흐름도;
도 3은 본 발명 실시예에 따른 물품 식별을 구현한 설명도;
도 4는 본 발명 실시예에 따른 이미지에서의 목표 부위를 식별하는 설명도이다.
이하, 당업자들이 본 발명의 방안을 더 잘 이해할 수 있도록 하도록, 본 발명 실시예의 첨부 도면을 결합하여 본 발명 실시예의 기술 방안을 명확하고 완전하게 설명할 것이며, 설명된 실시예는 단지 본 발명의 일부 실시예일 뿐 모든 실시예는 아니다. 본 발명의 실시예에 기초하여, 당업자들이 창조적 노동을 거치지 않고 획득하는 기타 모든 실시예들은 본 발명의 보호 범위에 속해야 할 것이다.
여기서 설명해야 할 것은, 본 발명의 명세서와 청구범위 및 전술한 첨부 도면의 "제1", "제2" 등은 유사한 대상을 구분하기 위한 것으로, 특정적인 순서 또는 선후 차례를 설명하는데 사용되지 않는다. 여기서 설명된 본 발명의 실시예가 여기서 도시 또는 설명된 것을 제외한 순서에 따라 실시될 수 있도록, 이렇게 사용되는 데이터는 적절한 경우에 교환 가능하다는 것이 이해되어야 한다. 또한, 용어 "포함하다"와 "구비하다" 및 이들의 어떠한 변형은 비배타적인 포함을 포괄하려는 의도로서, 예를 들어, 일련의 단계 또는 유닛을 포함한 과정, 방법, 시스템, 제품 또는 설비는 명확히 열거된 단계 또는 유닛에 한정될 필요 없이 명확히 열거되지 않았거나 이러한 과정, 방법, 제품 또는 설비에 고유한 다른 단계 또는 유닛을 포함할 수 있다.
이하, 사용자들이 본 발명을 쉽게 이해할 수 있도록 하도록 본 발명의 각 실시예에서 언급된 일부 용어 또는 명사에 대해 다음과 같이 해석한다.
신소매: 인터넷을 기반으로 빅데이터, 인공지능 등 기술 수단을 활용하여 물품의 생산, 유통 및 판매 과정을 업그레이드 개조하고, 온라인 서비스, 오프라인 체험 및 현대 물류에 대해 심도 있는 융합을 진행하는 것을 가리킨다.
RFID: 무선 주파수 인식(Radio Frequency Identification, RFID), 일명 RFID 전자태그라고도 불리는데, 시스템과 특정 목표 사이에 기계적 또는 광학적 접촉이 필요없이 무선 신호에 의해 특정 목표를 식별과 관련 데이터를 판독 기록할 수 있다.
스마트 자동판매기: 시각 인식 기술이 탑재된 자동판매기.
상품 파손율: 자동판매기 운영 과정에 손실된 물품의 개수가 총 물품개수에서 점하는 비율.
TOF 깊이 카메라: Time of Flight 깊이 카메라, 일명 3D 카메라라고도 불리는데, 전통적인 카메라와 다른 점은 이 카메라가 경물의 그레이 스케일 정보 및 깊이가 포함된 3차원 정보를 동시에 촬영할 수 있다는 것이다.
NMS: Non Maximum Suppression, 비 최대치 억제.
카메라: 본 명세서에서는 주문 제작한 카메라를 특히 가리킨다.
다중 프레임 이미지: 이미지 또는 영상을 기반으로 획득한 적어도 하나의 프레임을 포함하는 이미지.
본 발명의 실시예는 신소매의 다양한 실시 시나리오에 응용될 수 있다. 예를 들어, 신소매에서 스마트 자동판매기의 적용은, 관련 기술에서 물품 식별 과정에 문이 열리기 전과 문이 닫힌 후 각각 한 장의 이미지를 촬영하고 시각 인식 기술에 의해 자동으로 물품의 종류와 개수를 식별한 다음 마지막에 대비를 거쳐 최후의 결과를 얻으면 픽업된 물품을 한 장의 사진으로 식별할 수 없는 것과 비교하여, 본 발명 실시예에서는 스마트 자동판매기에 복수의 카메라를 장착하고, 문이 열린 후의 영상을 촬영하여 영상 에서의 다중 프레임 이미지를 분석하며, 이미지를 멀티 모달 융합하여 사용자가 픽업한 물품의 종류와 물품의 데이터를 정확하게 식별할 수 있기에 스마트 자동판매기의 물품 식별 지능화 수준을 향상시키고 상품 파손율을 낮춘다.
이하 상세한 실시예에 의해 본 발명을 설명한다.
본 발명의 실시예는 신소매 등 분야에 응용될 수 있으며, 구체 사용 범위는 스마트 자동판매기, 스마트 진열장, 매장, 슈퍼마켓 등 구역일 수 있다. 본 발명은 스마트 자동판매기로 예시적 설명을 진행하지만 이에 한정되지 않는다.
도 1은 본 발명 실시예에 따른 선택 가능한 물품 식별 시스템의 설명도로서, 도 1에 도시된 바와 같이, 이 시스템은 이미지 획득 장치(11), 정보 획득 장치(12), 서버(13)를 포함할 수 있는데, 여기서
이미지 획득 장치(11)는 물품의 다중 프레임 이미지를 획득하도록 설치된다. 선택적으로, 이미지 획득 장치는 자동판매기 또는 매장 등 구역에 장착될 수 있으며, 배치되는 이미지 획득 장치의 개수는 적어도 하나이다. 선택적으로, 본 발명 실시예에서, 이미지 획득 장치는 RGB 카메라, 적외선 카메라와 같은 일반 카메라일 수 있다. 물론 당업자들은 실제 수요에 따라 이미지 획득 장치의 유형과 개수를 조정할 수 있으며, 여기에 주어진 실례에 한정되지는 않는다. 또한 이미지 획득 장치의 개수가 2개 이상인 경우, 전부 같은 유형의 이미지 획득 장치를 사용하거나 다른 유형의 이미지 획득 장치의 조합 사용이 가능하다.
정보 획득 장치(12)는 물품의 보조 정보를 획득하도록 설치된다. 정보 획득 장치는 이미지 획득 장치의 주변에 설치되어 이미지 획득 장치와 협력 사용될 수 있으며, 설치되는 정보 획득 장치의 개수는 적어도 하나이다. 선택적으로, 본 발명 실시예에서, 정보 획득 장치는, 깊이 정보를 획득하도록 설치되는 깊이 카메라, 물품 식별코드를 스캔하도록 설치되는 카드 리더기, 중력 정보를 획득하도록 설치되는 중력 장치(예를 들면 중력판), 냄새 정보를 획득하도록 설치되는 냄새 센서 등을 포함할 수 있다. 구체적으로, 깊이 카메라는 TOF 깊이 카메라, 쌍안카메라, 구조광 카메라를 포함한다. 물론 당업자들은 실제 수요에 따라 정보 획득 장치의 유형과 개수를 조정할 수 있으며, 여기에 주어진 실례에 한정되지는 않는다. 또한 정보 획득 장치의 개수가 2개 이상인 경우, 전부 같은 유형의 정보 획득 장치를 사용하거나 다른 유형의 정보 획득 장치의 조합 사용이 가능하다.
예를 들어, 전술한 정보 장치가 중력 장치인 경우, 서로 다른 시각에 중력 장치에 의해 획득된 중력 정보를 비교하여 상품 픽업 여부, 그리고 어떤 상품을 대체적으로 픽업했는지 판단할 수 있다. 이 중력 장치는 물품 저장 장치에 설치될 수 있다. 중력 장치에 의해 검측된 중력 정보를 이미지 획득 장치가 분석한 물품 정보와 결합하여 물품 식별 결과를 확정한다.
예를 들어, 전술한 정보 장치가 냄새 센서인 경우, 이는 냄새 센서에 의해 물품의 냄새 정보를 획득하고, 이미지 획득 장치가 분석한 물품 정보를 결합하여 물품 식별 결과를 확정할 수 있다. 이 냄새 센서는 물품 저장 장치에 설치될 수 있다.
서버(13)는 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하도록 물품의 다중 프레임 이미지를 처리하고, 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻은 다음, 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정하도록 설치된다.
전술한 물품 식별 시스템은, 이미지 획득 장치(11)를 이용하여 물품의 다중 프레임 이미지를 획득하고, 정보 획득 장치(12)에 의해 보조 정보를 획득하며, 마지막에 서버(13)에 의해 물품의 다중 프레임 이미지를 처리하여 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하고, 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻으며, 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정한다. 이미지에서의 물품의 위치와 카테고리를 식별하여, 정보 획득 장치가 얻은 보조 정보와 멀티 모달 융합을 진행함으로써 물품의 식별 결과를 정확하게 얻고, 마찬가지로 자동판매기에서 사용자에 의해 픽업된 물품 종류와 물품 개수를 정확하게 식별할 수 있어, 물품 식별률을 향상시키고, 상품 파손율을 낮춤으로써, 관련 기술에서 물품 식별 시 식별 정확도가 낮은 기술 과제를 해결할 수 있다.
이미지 획득 장치의 배치 개수와 정보 획득 장치의 배치 개수는 각 사용 구역과 사용되는 설비에 따라 합리적으로 배치될 수 있는데, 예를 들어, 하나의 스마트 자동판매기에 두 개의 이미지 획득 장치와 하나의 정보 획득 장치를 설치할 수 있다.
바람직하게, 정보 획득 장치는 TOF 깊이 카메라이고, 물품의 깊이 이미지를 획득하도록 설치되며, 물품의 보조 정보는 깊이 정보를 포함한다. 즉 깊이 카메라에 의해 물품의 깊이 이미지를 수집하고, 물품이 놓여진 깊이 정보를 얻으면 중첩되거나 가려진 물품을 효과적으로 식별할 수 있다.
본 출원의 선택 가능한 일 실시예로서, 전술한 물품 식별 시스템은 이미지 획득 장치를 사용하여 목표 부위의 다중 프레임 이미지를 획득하는 것을 더 포함한다. 본 출원에서 목표 부위는 손, 매니퓰레이터, 의수 의족 또는 물품 픽업이 가능한 기타 인체 부위, 기계 장치 등이 될 수 있다. 즉 본 출원은 사용자가 손으로 물품 픽업 시의 이미지를 검측하고, 사용자 목표 부위의 이미지 검측에 의해 목표 부위가 처한 위치를 분석할 수 있다.
다른 한 선택 가능한 것은, 상기 서버는 또한 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과를 획득하도록 목표 부위의 다중 프레임 이미지를 처리하고, 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과, 물품의 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정하도록 설치된다. 즉 목표 부위의 위치 정보와 판별 결과에 의해, 이미지 획득 장치와 정보 획득 장치가 얻은 이미지를 결합하여 물품의 카테고리 정보와 융합 결과를 분석함으로써, 물품 식별 정확도를 향상시킨다. 이 목표 부위의 검측을 통해 사용자에 의해 픽업된 물품 종류와 물품 개수를 또한 얻을 수 있다.
선택적으로, 전술한 판별 결과는 목표 부위 여부의 판별을 표시한다.
바람직하게, 목표 부위의 검측은 손의 검측일 수 있다. 아래에서 설명되는 본 발명의 실시예는 사용자의 손을 사용자의 목표 부위로 설명을 진행할 수 있으며, 각 프레임 이미지에서의 손의 위치를 검측한다.
본 출원의 선택 가능한 일 실시예로서, 전술한 물품 식별 시스템은 물품 저장 장치를 더 포함하며, 이미지 획득 장치와 정보 획득 장치는 물품 저장 장치가 열릴 때 작동된다.
선택적으로, 물품 저장 장치는 물품을 저장하는 설비, 장치를 표시하며, 본 출원에서 물품 저장 장치는 스마트 자동판매기를 포함할 수 있으나 이에 한정되지 않는다.
본 발명 실시예의 물품 식별 시스템을 통해, 물품 저장 장치에 의한 작동 정보를 트리거링 정보로 할 수 있으며, 또한 이미지 획득 장치와 정보 획득 장치를 작동하여 물품의 다중 프레임 이미지와 물품의 보조 정보를 각각 수집함으로써, 다중 프레임 이미지와 보조 정보를 분석하여 물품의 위치, 카테고리 등 정보를 얻고, 나아가 보조 정보와 멀티 모달 융합을 진행하여 물품의 식별 결과를 얻는다. 또한 이미지 획득 장치에 의해 목표 부위의 다중 프레임 이미지를 검측하고, 목표 부위를 검측하여, 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과에 따라 이미지 획득 장치와 정보 획득 장치가 얻은 이미지를 결합하여 물품의 카테고리 정보와 융합 결과를 분석함으로써, 보다 정확하게 물품의 식별 결과를 얻고, 물품의 식별 정확도를 향상시킨다.
이하 본 발명 실시예 중 전술한 물품 식별 시스템에 응용된 물품 식별 방법의 실시예를 설명한다.
본 발명 실시예에 따라 물품 식별 방법 실시예를 제공하는데, 여기서 설명해야 할 것은, 첨부 도면의 흐름도에 도시된 단계는 한 세트의 컴퓨터가 실행가능한 명령과 같은 컴퓨터 시스템에서 실행 가능하며, 또한 흐름도에 논리 순서가 도시되었지만 어떤 경우에서는 여기서와 다른 순서에 따라 도시 또는 설명된 단계를 실행할 수 있다.
도 2는 본 발명 실시예에 따른 선택 가능한 물품 식별 방법의 흐름도로서, 도 2에 도시된 바와 같이 이 방법은,
이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 S202 단계;
각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하도록 물품의 다중 프레임 이미지를 처리하는 S204 단계;
정보 획득 장치에 의해 물품의 보조 정보를 획득하는 S206 단계;
위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 S208 단계; 및
카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정하는 S210 단계를 포함한다.
전술한 단계를 통해, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하고, 물품의 다중 프레임 이미지를 처리하여, 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하며, 정보 획득 장치에 의해 물품의 보조 정보를 획득하고, 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻으며, 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정할 수 있다. 이 실시예에서, 다중 프레임 이미지의 획득을 실현할 수 있고, 분석함으로써 물품의 위치 정보와 카테고리 정보를 획득하며 물품의 보조 정보와 결합하여 물품을 정확히 식별할 수 있으며, 또한 사용자에 의해 픽업된 물품의 종류와 물품 개수를 정확하게 식별할 수 있어 관련 기술에서 물품 식별 시 식별 정확도가 낮은 기술 과제를 해결할 수 있다.
본 발명 실시예에서, 물품 식별 방법은 신소매 시나리오에 응용될 수 있는데, 신소매 시나리오는 적어도 무인 상점에서의 스마트 자동판매기 판매, 슈퍼마켓 쇼핑에서의 스마트 자동판매기 판매를 포함한다.
아래 전술한 각 단계에 대해 상세히 설명한다.
S202 단계에 있어서, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득한다.
본 출원에서 선택적으로, 본 발명 실시예에서 이미지 획득 장치는 RGB 카메라, 적외선 카메라, 캠과 같은 일반 카메라일 수 있다. 물론 당업자들은 실제 수요에 따라 이미지 획득 장치의 유형과 개수를 조정할 수 있고, 여기에 주어진 실례에 한정되지 않으며, 이미지 획득 장치의 개수는 적어도 하나이고, 이미지 획득 장치의 개수가 2개 이상인 경우, 전부 같은 유형의 이미지 획득 장치를 사용하거나 다른 유형의 이미지 획득 장치의 조합 사용이 가능하다. 각 이미지 획득 장치는 모두 적어도 두 장의 이미지를 촬영 할 수 있으며, 식별 시 이미지 획득 장치 사이의 이미지 촬영 시점을 통일해야 한다. 즉 다양한 각도에서 물품을 식별할 수 있도록 같은 시점의 이미지를 각각 분석한다.
선택적으로, 물품의 개수는 적어도 하나이고, 물품은 스마트 자동판매기와 같은 물품 저장 장치에 넣을 수 있다. 물품 저장 장치는 스마트 자동판매기를 포함할 수 있으나 이에 한정되지 않는다.
다른 한 선택 가능한 것으로, 물품 저장 장치가 열린 후 이미지 획득 장치와 정보 획득 장치를 작동시킬 수 있다.
선택 가능한 일 실시예에서, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계는, 물품의 영상을 획득하도록 이미지 획득 장치를 작동시키는 단계; 영상으로부터 물품의 다중 프레임 이미지를 컷아웃하는 단계를 포함한다. 즉 물품 저장 장치가 열린 후, 이미지 획득 장치에 의해 물품 저장 장치 내의 영상을 실시간으로 획득하고, 물품 저장 장치가 닫히거나 사용자의 픽업 동작이 정지된 후 영상으로부터 다중 프레임 이미지를 획득할 수 있다.
S204 단계에 있어서, 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하도록 물품의 다중 프레임 이미지를 처리한다
본 발명 실시예에서, 이미지 처리 시, 이미지에서 물품이 처한 위치와 카테고리를 중점적으로 식별하고, 위치 정보 분석 시, 물품이 이미지에서의 현재 위치를 중점적으로 분석하거나 물품의 현재 위치와 이전 몇 프레임 이미지에서 물품이 처한 위치 사이의 관계를 분석할 수 있다.
본 발명 실시예에서, 이미지 처리 시, 두 가지 경우가 포함되는데, 첫 번째 경우는, 이미지에서 물품이 처한 위치와 물품 카테고리를 식별하는 것이고, 두 번째 경우는, 이미지에서 목표 부위가 처한 위치를 식별하는 것이다.
첫 번째 경우, 이미지에서 물품이 처한 위치와 물품 카테고리를 식별한다.
선택적으로, 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하도록 물품의 다중 프레임 이미지를 처리하는 단계는, 물품의 각 프레임 이미지에 대하여 이미지 전처리를 진행하고 이미지 전처리를 진행한 각 프레임 이미지에서의 적어도 한 가지 물품을 포함하는 물품 검측 박스와 카테고리 정보를 확정하고, 물품 검측 박스에 따라 물품의 위치 정보를 확정하는 단계를 포함한다. 여기서, 이 이미지 전처리는, 이미지 개선, 이미지 축소/확대, 이미지 평균값 차감 중 적어도 하나를 포함한다.
선택적으로, 위의 경우 이미지 전처리를 진행한 각 프레임 이미지에서의 물품 검측 박스를 확정하기 전에, 복수의 물품 후보 박스(prior box)를 먼저 추출한 다음, 물품 후보 박스에 심층 학습과 분석을 진행하여 물품 검측 박스와 물품의 카테고리 정보를 확정할 수 있다.
여기서, 물품 검측 박스 분석 시, 물품 후보 박스와 목표 부위가 처한 위치를 결합하여, 물품 검측 박스에 대하여 높은 정확도 식별을 진행할 수 있다.
다른 한 선택 가능한 것은, 상기 물품 식별 방법은 물품 검측 박스에 대하여 비 최대치 억제를 진행하여 검측 오류를 방지함으로써 물품의 식별 정확도를 향상시키는 단계를 더 포함한다.
즉 이미지 에서의 물품 식별 시, 먼저 이미지 개선, 축소/확대, 그리고 평균값 차감 등 조작을 포함하는 이미지를 전처리를 진행하고, 이어서 물품 검측 박스를 추출하며, 추출된 물품 검측 박스에 대하여 비 최대치 억제(NMS)를 진행하여 검측 오류를 방지함으로써 물품의 식별 정확도를 향상시킬 수 있다.
다른 선택 가능한 실시예에서, 전술한 물품 식별 방법은 물품에 대하여 세립도 분류를 진행하여 물품의 식별 정확도를 향상시키는 단계를 더 포함한다. 즉 물품에 세립도 분석을 진행하여 물품 식별 정보를 얻을 수 있다. 선택적으로, 유사한 물품에 대해 세립도 분류를 진행하고, 유사한 물품 사이의 미세한 차이에 대한 분석에 의해 물품의 식별 정확도를 높인다. 선택적으로, 본 발명 실시예에서 물품의 유형은, 야채류, 과일류, 간식류, 신선한 고기류, 해산물류 등이 포함되며 이에 한정되지 않는다.
도 3은 본 발명 실시예에 따른 물품 식별을 구현한 설명도로서, 도 3에 도시된 바와 같이, 물품 식별 시, 이미지 획득 장치에서 촬영한 영상을 먼저 입력하고, 영상을 자른 다음 이미지를 전처리하여 물품 후보 박스를 추출하며, 목표 부위의 검측과 결합하여 추출한 물품 후보 박스를 분석하고 물품 검측 박스를 얻으며, 그 다음 물품 검측 박스에 대하여 비 최대치 억제를 진행하고, 마지막에 세립도 분류와 멀티 모달 융합 기술을 이용하여 물품 식별 결과를 확정할 수 있다.
두 번째 경우는, 이미지에서 목표 부위가 처한 위치를 식별한다.
본 발명 실시예에서, 손을 목표 부위로 설명할 수 있다.
본 발명의 선택적인 일 실시예로서, 전술한 물품 식별 방법은, 이미지 획득 장치에 의해 목표 부위의 다중 프레임 이미지를 획득하는 단계; 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과를 획득하도록 목표 부위의 다중 프레임 이미지를 처리하는 단계를 더 포함한다.
본 발명의 다른 일 선택 가능한 실시예에서, 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과를 획득하도록 목표 부위의 다중 프레임 이미지를 처리하는 단계는, 목표 부위의 각 프레임 이미지에 이미지 전처리를 진행하여 사용자의 목표 부위 이미지 윤곽을 개선하고(여기서 이미지 전처리는 이미지 디노이징, 이미지 개선, 대비도 개선, 이미지 스무딩, 이미지 샤프닝 등 한 항목 또는 여러 항목 처리 방식 중 적어도 하나를 포함한다), 이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하고, 부위 관심 영역에서 특징 정보를 추출하여 복수의 부위 특징을 얻으며, 각 프레임 이미지에서의 목표 부위의 위치 정보 및 판별 결과를 얻을 수 있도록 미리 훈련된 분류기에 의해 복수의 부위 특징을 식별하는 단계를 포함한다.
본 발명 실시예에서의 이미지 전처리는 주로 목표 부위의 각 프레임 이미지에 이미지 전처리를 진행하는 것으로, 이미지 전처리(이미지 디노이징, 이미지 개선 포함 할 수 있다) 등 조작을 통해 손 부위에 대하여 대비도 개선, 이미지 스무딩, 노이즈 필터링, 이미지 샤프닝을 포함하는 강조를 하여 목표 윤곽을 개선한다.
전술한 이미지 전처리를 완성한 다음, 복수의 제스처 관심 영역(Region of Interest, ROI)과 같은 복수의 부위 관심 영역을 확정하여, 카메라의 전체적 감지 범위에서 일부 가능한 제스처 관심 영역을 선택할 수 있다.
선택적으로, 이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하는 단계는, 서브 윈도에 의해 각 프레임 이미지를 스캔하여 각 프레임 이미지에서 사용자의 목표 부위가 나타날 수 있는 부위 관심 영역을 확정하는 단계를 포함한다. 즉 서브 윈도를 이용하여 전체 이미지를 스캔하고, 이미지 높이의 1/n을 선택하여 손 부위 최소 척도로 하며, 서브 윈도의 크기는 이 기초에서 일정한 배수로 점차 증가할 수 있다.
전술한 제스처 관심 영역이 가리키는 것은 손의 가능한 동작을 식별하는 것이고, 이런 제스처 관심 영역을 확정하는 경우, 일반적으로 팔의 위치, 자동판매기의 위치 이런 요소들을 참고한다.
본 발명의 선택 가능한 일 실례로서, 부위 관심 영역의 특징 정보를 추출하여 복수의 부위 특징을 획득 시, 예를 들면, 손이 가능하게 물품 픽업 제스처 또는 물품 반환 준비 제스처에 처한 것을 식별할 수 있다.
선택적으로, 전술한 분류기는 미리 훈련된 부위 분류 모델이 될 수 있다. 예를 들어, 부위 분류 모델이 제스처 분류 모델임을 확정하고, 추출된 손 부위 특징을 훈련된 분류기 모델에 넣은 후, 손을 식별하여, 이미지에서 손의 완전한 크기, 손의 위치, 손의 윤곽을 확정할 수 있다. 물론 본 발명의 실시예에서는 머리, 어깨 등 부위의 특징도 식별할 수 있어 물품과 물품 저장 장치와 사용자 사이가 처한 상대적 위치를 보다 정확하게 분석할 수 있다.
도 4는 본 발명 실시예에 따른 이미지에서 목표 부위를 식별하는 설명도로서, 도 4에 도시된 바와 같이, 이미지를 식별 시, 이미지 획득 장치에 의해 물품의 영상을 획득한 다음, 분석을 거쳐 다중 프레임 이미지를 얻고, 촬영된 이미지에 이미지 전처리를 진행하여 복수의 부위 관심 영역을 추출한 다음 각 부위 관심 영역에 특징 추출과 설명을 진행하고, 분류기를 이용하여 제스처를 검측 식별하며, 마지막에 식별 결과를 출력하고 결정을 내릴 수 있다.
전술한 실시형태는, ROI 관심 영역을 추출한 후, 모든 목표를 통일된 판별 크기로 축소/확대하여 다양한 특징을 계산하고, 각각의 목표를 위한 한 세트의 특징을 분류의 기반으로 선택한 다음, 훈련된 분류기에 특징을 입력하여 목표 관심 영역을 식별하도록 지시한다.
선택적으로, 각 프레임 이미지에서 목표 부위의 위치 정보와 판별 결과에 따라, 이미지 획득 장치와 정보 획득 장치가 얻은 이미지를 결합하여 물품의 카테고리 정보와 융합 결과를 분석함으로써, 물품의 식별 결과를 확정한다.
S206 단계에 있어서, 정보 획득 장치에 의해 물품의 보조 정보를 획득한다.
선택적으로, 본 발명 실시예에서, 정보 획득 장치는, 깊이 정보를 획득하도록 설치되는 깊이 카메라, 물품 식별코드를 스캔하도록 설치되는 카드 리더기, 중력 정보를 획득하도록 설치되는 중력 장치(예를 들면 중력판), 냄새 정보를 획득하도록 설치되는 냄새 센서 등을 포함하며, 구체적으로, 깊이 카메라는 TOF 깊이 카메라, 쌍안카메라, 구조광 카메라 등을 포함한다. 물론 당업자들은 실제 수요에 따라 정보 획득 장치의 유형과 개수를 조정할 수 있으며, 여기에 주어진 실례에 한정되지는 않는다. 또한 정보 획득 장치의 개수가 2개 이상인 경우, 전부 같은 유형의 정보 획득 장치를 사용하거나 다른 유형의 정보 획득 장치의 조합 사용이 가능하다.
예를 들어, 전술한 정보 장치가 중력 장치인 경우, 서로 다른 시각에 중력 장치에 의해 획득된 중력 정보를 비교하여 상품 픽업 여부, 그리고 어떤 상품을 대체적으로 픽업했는지 판단할 수 있다. 이 중력 장치는 물품 저장 장치에 설치될 수 있다. 중력 장치에 의해 검측된 중력 정보를 이미지 획득 장치가 분석한 물품 정보와 결합하여 물품 식별 결과를 확정한다.
예를 들어, 전술한 정보 장치가 냄새 센서인 경우, 이는 냄새 센서에 의해 물품의 냄새 정보를 획득하고, 이미지 획득 장치가 분석한 물품 정보를 결합하여 물품 식별 결과를 확정할 수 있다. 이 냄새 센서는 물품 저장 장치에 설치될 수 있다.
선택적으로, 정보 획득 장치는 깊이 카메라이고, 물품의 깊이 이미지를 획득하도록 설치되며, 물품의 보조 정보는 깊이 정보를 포함한다. 즉 선택한 깊이 카메라에 의해 물품의 깊이 정보를 획득할 수 있는데, 예를 들어, 사용자가 복수의 물품을 픽업한 후 물품이 중첩되거나 가려 질 때, 이미지 획득 장치에 의해 촬영된 이미지에 의해 가려진 물품을 정확하게 분석할 수 없고, 이 정보 획득 장치에 의해 물품의 보조 정보(예를 들면 깊이 정보)를 획득할 수 있으며, 보조 정보를 분석함으로써 물품의 분석 결과를 얻을 수 있다.
S208 단계에 있어서, 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는다.
본 발명의 다른 일 선택 가능한 실시예로서, 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계는, 이미지 획득 장치와 깊이 카메라의 렌즈 파라미터 및 위치 파라미터를 획득하는 단계를 포함한다. 여기서, 렌즈 파라미터는 적어도 카메라 초첨 거리, 카메라 중심점을 포함하며, 위치 파라미터는 상기 물품이 상기 깊이 이미지에서의 위치를 표시하도록 설치되고, 위치 파라미터는 적어도 각 이미지 획득 장치 또는 깊이 카메라의 장착 좌표를 포함하며, 깊이 카메라의 렌즈 파라미터, 깊이 정보와 물품이 깊이 이미지에서의 위치에 따라 물품이 깊이 카메라 좌표계에서의 위치를 획득하고, 이미지 획득 장치와 깊이 카메라의 위치 파라미터에 따라 깊이 카메라의 좌표계를 기준으로, 이미지 획득 장치가 깊이 카메라에 대한 상대적 위치 관계를 캘리브레이션하며, 렌즈 파라미터, 물품이 깊이 이미지에서의 위치, 깊이 정보와 상대적 위치 관계에 기초하여, 물품이 깊이 이미지에서의 위치가 물품이 이미지 획득 장치가 획득한 이미지에 대응되는 매핑 위치 정보, 즉 물품이 이미지 획득 장치에서의 제2 위치정보를 확정하고, 위치 정보와 매핑 위치 정보를 비교하여 융합 결과를 얻는다.
이하 멀티 모달 융합에 대해 설명한다. 멀티 모달 융합은 깊이 정보를 기반으로 식별 결과를 융합한다. 본 발명 실시예에서의 멀티 모달 융합은 일반 카메라와 깊이 카메라 두 가지 카메라가 촬영한 이미지를 대상으로 한다.
각각 두 개의 이미지 획득 장치(일반 카메라로 정의함, 즉 카메라 1 및 카메라 3)와 하나의 깊이 카메라(깊이 카메라 2)를 예로 들어 설명한다. 카메라 설비가 출하되기 전에, 세 카메라의 렌즈 파라미터와 위치 파라미터를 획득하는데, 여기서 렌즈 파라미터는 카메라 초점 거리, 카메라 중심점 등을 포함한다. 깊이 카메라 2의 렌즈 파라미터, 위치 파라미터에 따라 물품이 깊이 카메라 2에서의 좌표를 획득하고, 깊이 카메라 2의 좌표계를 기준으로 깊이 카메라 2에 대한 이미지 획득 장치의 상대적 위치 관계를 캘리브레이션하며, 렌즈 파라미터, 물품이 깊이 이미지에서의 위치, 깊이 정보와 상대적 위치 관계를 기반으로, 물품이 깊이 카메라 2에서의 좌표에 따라 물품이 이미지 획득 장치(즉 카메라 1 및 카메라 3)에서의 매핑 위치 정보를 확정하고, 마지막에 위치 정보와 매핑 정보를 비교하여 융합 결과를 얻을 수 있다.
카메라 모델에서, 핀홀 이미징 원리에 따라, 3D 포인트가 이미지에서의 위치는 카메라 좌표계에서의 위치와 아래 관계를 만족시킨다.
Figure pct00001
여기서,
Figure pct00002
는 축소/확대 인자를 표시하고,
Figure pct00003
와
Figure pct00004
는 각각 x축과 y축 상의 카메라 초점 거리이며,
Figure pct00005
와
Figure pct00006
는 각각 x축과 y축 상의 카메라 중심점이고,
Figure pct00007
는 카메라 내부 파라미터 매트릭스(
Figure pct00008
)를 표시하며,
Figure pct00009
는는 물품의 3D 포인트가 카메라 좌표계에서의 위치를 표시하고(
Figure pct00010
),
Figure pct00011
는 물품의 3D 포인트가 이미지에서의 위치를 표시하며,
Figure pct00012
이다.
전술한 관계를 기초로, 깊이 카메라에 대해 아래 식이 존재한다.
Figure pct00013
여기서,
Figure pct00014
는 깊이 카메라 2의 깊이 정보를 표시하고,
Figure pct00015
는 물품이 깊이 이미지에서의 위치를 표시하며,
Figure pct00016
는 깊이 카메라 2의 내부 파라미터 매트릭스를 표시하며,
Figure pct00017
는 물품이 깊이 카메라 2 좌표계에서의 위치를 표시한다.
전술한 식(1)에서, 깊이
Figure pct00018
, 내부 파라미터 매트릭스
Figure pct00019
, 및 물품이 깊이 이미지에서의 위치
Figure pct00020
는 기지수이기에, 상기 깊이 카메라의 렌즈 파라미터, 상기 깊이 정보와 상기 물품이 상기 깊이 이미지에서의 위치에 따라 물품이 깊이 카메라 2 좌표계에서의 위치
Figure pct00021
를 계산할 수 있다.
마찬가지로, 카메라 1과 카메라 3에 있어서 각각 아래 식이 존재한다.
Figure pct00022
본 발명 실시예에서, 깊이 카메라 2의 좌표계를 기준으로 깊이 카메라 2에 대한 카메라 1과 카메라 3의 상대적 위치 관계
Figure pct00023
와
Figure pct00024
를 캘리브레이션할 수 있는데, 여기서,
Figure pct00025
는 깊이 카메라 2 좌표계로부터 카메라 1 좌표계 사이의 상대적 위치 관계를 표시하며,
Figure pct00026
는 깊이 카메라 2 좌표계로부터 카메라 3 좌표계 사이의 상대적 위치 관계를 표시한다.
따라서, 물품이 카메라 1 좌표계에서의 위치
Figure pct00027
는 물품이 깊이 카메라 2 좌표계에서의 위치
Figure pct00028
와 상대적 위치 관계
Figure pct00029
에 의해 얻을 수 있는데,
Figure pct00030
마찬가지로, 물품이 카메라 3 좌표계에서의 위치
Figure pct00031
는 물품이 깊이 카메라 2 좌표계에서의 위치
Figure pct00032
와 상대적 위치 관계
Figure pct00033
에 의해 얻을 수 있는데, 즉 다음과 같다.
Figure pct00034
식 (1), (4)와 (5)를 식 (2)와 (3)에 각각 대입하면, 변환을 거쳐
Figure pct00035
을 얻을 수 있으며,
물품이 깊이 이미지에서의 위치
Figure pct00036
가 카메라 1과 카메라 3에서 촬영한 이미지에서의 위치는 각각
Figure pct00037
과
Figure pct00038
이다.
전술한 식을 통해, 물품이 깊이 카메라에서의 이미징 포인트가 기타 카메라에서의 이미징 포인트를 확정할 수 있다. 즉 깊이 카메라가 촬영한 물품을 기타 일반 카메라에 매핑하고 카메라끼리에 의해 촬영된 물품 종류와 물품 개수에 오차가 있는지 비교하며, 오차가 있는 경우 서버에서 다시 계산 및 비교하여 식별된 물품 결과를 확정한다.
전술한 멀티 모달 융합은 이미지에서의 물품의 정확한 식별을 실현할 수 있고, 이미지에서의 물품 융합 결과를 얻을 수 있다.
S210 단계에 있어서, 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정한다.
즉 사전에 분석하여 얻은 물품 카테고리, 그리고 물품 식별의 융합 결과에 따라 물품의 식별 결과를 얻을 수 있으며, 본 출원에서는 중점적으로 물품 카테고리, 각 물품 카테고리의 물품 개수, 구체적인 물품을 얻을 수 있다.
전반 영상을 분석한 후, 연속된 다중 프레임 이미지를 분석하여 물품이 픽업 및 반환된 데이터를 확정할 수 있다.
본 발명 실시예에서, 픽업된 상품과 반환된 상품을 확정하는 방식에는 세 가지가 있다.
첫 번째 방식은, 다중 프레임 이미지에서의 물품의 식별 결과에 따라 픽업 및 반환된 상품을 확정한다.
그 중, 본 발명의 실시예에서 물품 픽업과 물품 반환을 분석 시의 방법은, 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계; 추적 궤적을 분류하여 물품의 이동 결과에 대응되는 궤적 분류 결과를 얻는 단계; 궤적 분류 결과에 따라 물품 픽업 결과와 물품 반환 결과를 확정하는 단계; 및 물품 픽업 결과와 물품 반환 결과에 따라 물품 관리 리스트를 업데이트하는 단계를 더 포함한다.
즉 세 단계로 나뉠 수 있는데, 첫 번째 단계는 정보 획득 장치와 이미지 획득 장치를 기반으로 하는 궤적 추적 단계이고, 두 번째 단계는 기계 학습을 기반으로 하는 궤적 분류 단계이며, 세 번째 단계는 궤적 분류 결과를 판별하는 단계이다. 여기서, 궤적 추적 시, 선택적으로, 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계는, 융합 결과에 따라 물품의 위치 정보와 물품의 이동 추세를 획득하는 단계; 물품의 현재 검측 박스와 직전 프레임 중 물품의 위치 정보에 기초하여 물품의 이동 추세에 따라 획득되는 예측한 후보 박스 사이의 중합 유사도와 특징 유사도에 근거하여 현재 검측 결과와 직전 프레임의 검측 결과의 매치율을 판단하고, 각 타임 노드에의 물품의 위치, 물품 종류, 물품 이동의 타임 스탬프를 포함하는 물품의 추적 궤적을 얻는 단계를 포함한다.
RGB 이미지를 촬영하는 RGB 카메라를 이미지 획득 장치로 하고, 깊이 카메라를 정보 획득 장치로 하여 설명한다. 깊이 카메라와 RGB 카메라 정보의 멀티 모달 정보 융합은 시스템이 물품의 위치 정보 및 물품의 이동 추세를 획득할 수 있도록 하며, 상기 물품의 현재 검측 박스와 예측된 후보 박스의 중합 유사도 및 물품의 현재 검측 박스와 예측된 후보 박스의 특징 유사도에 따라 현재 검측 결과와 직전 프레임의 검측 결과의 매치율을 판단할 수 있는데, 아래 식에 표시된 바와 같다.
Figure pct00039
여기서, r은 직전 프레임 검측 결과와 현재 프레임 검측 결과의 매치율이고,
Figure pct00040
은 현재 물품 검측 박스와 예측된 후보 박스가 공간 상에서의 중합 유사도이며,
Figure pct00041
은 현재 물품 검측 박스와 예측된 후보 박스의 특징 유사도이고,
Figure pct00042
와
Figure pct00043
는 각각 중합 유사도와 특징 유사도의 가중 계수이며, 여기서 직전 프레임 물품의 위치 정보의 기초에서 물품의 이동 추세에 따라 예측된 후보 박스가 획득된다.
연속적인 검측 결과 궤적을 연결하여 완전한 추적 궤적을 형성하되, 이 추적 궤적은 각 시간 노드 상의 물품의 위치, 물품 종류, 물품 이동의 시간 스탬프를 포함한다. 즉 각 시간 노드는 상품 위치, 품종, 시간 스탬프 등을 포함한다.
궤적 분류에 대하여, 즉 두 번째 단계에 있어서, 기계 학습 기반의 궤적 분류는 선택적으로, 추적 궤적을 분류하여 궤적 분류 결과를 얻는 단계는, 추적 궤적으로부터 물품 이동 길이를 추출하는 단계; 및 미리 훈련된 분류 결정 트리 모델과 물품 이동 길이를 결합하여 추적 궤적을 분류하여 궤적 분류 결과를 얻는 단계를 포함한다.
본 발명 실시예에서는 추적 궤적의 인공 추출 파라미터와 결정 트리 모델 식별 알고리즘을 결합하여 궤적을 분류한다. 전문가의 경험과 결부하여, 궤적으로부터 궤적 길이, 이미지에서의 시작 위치, 최대 위치, 종료 시 위치 등 특징을 추출하고, 결정 트리 모델과 결합하여 궤적을 "정확하게 픽업", "정확하게 반환", "픽업한 듯", "반환한 듯", "식별 오류", "기타" 등 여섯 종류로 분류할 수 있다.
또한, 궤적 판별에 대하여, 즉 세 번째 단계에 있어서, 궤적 분류 결과를 판별한다. 선택적으로, 상기 궤적 분류 결과에 따라 물품 픽업 결과 또는 물품 반환 결과를 확정하는 단계는, 상기 이미지 획득 장치, 또는 상기 이미지 획득 장치와 상기 정보 획득 장치가 같은 시각에 결합한 궤적 분류 결과를 획득하는 단계; 상기 이미지 획득 장치, 또는 상기 이미지 획득 장치와 상기 정보 획득 장치가 같은 시각에 결합한 궤적 분류 결과에 따라 분류 규칙 베이스를 기초로 하는 분류 판별 방안을 건립하는 단계; 및 분류 판별 방안과 궤적 분류 결과에 의해 물품 픽업 결과 또는 물품 반환 결과를 확정하는 단계를 포함한다.
선택적으로, 분류 판별 시, 전술한 분류 결과에 대해서 판별을 진행할 수 있고, 분류 규칙 베이스를 기초로 이미지 획득 장치의 궤적 분류 결과를 판별할 수 있다. 선택적으로, 복수의 캠과 적어도 하나의 깊이 카메라를 예로 설명하고, 아래 판별 룰에 의해 설명하는데, 이하와 같은 룰을 제정한다.
1. 다수 캠이 "정확하게 픽업" 또는 "정확하게 반환"함으로 인정할 경우 결과를 확인한다.
2. 다수 캠이 "한 듯"으로 인정하고, 소수가 "정확"함으로 인정할 경우 "정확"함으로 인정한다.
3. 다수 캠이 "픽업한 듯" 또는 "반환한 듯"으로 인정할 경우 "픽업" 또는 "반환"으로 인정한다.
4. 캠 결과 면에 분쟁이 있을 경우 금번 결과를 무시한다.
전술한 방식을 통해, 다중 프레임 이미지에서의 물품을 식별할 수 있고, 궤적 추적, 궤적 분류, 분류 판별 등 방식에 의해, 사용자(또는 기계)에 의해 픽업 및 반환된 상품을 확정함으로써 후속 결제를 위해 준비할 수 있다.
두 번 째 방식은, 판매 기준선에 의해 픽업된 물품과 반환된 상품을 확정한다.
선택적으로, 본 발명의 방법은, 이미지 획득 장치가 촬영한 화면에서 물품의 픽업 조작과 물품의 반환 조작을 확정하기 위한 판매 기준선을 확정하는 단계; 판매 기준선에 따라 물품 저장 장치(예를 들면 자동판매기)에서 픽업된 물품과 물품 개수, 그리고 픽업된 다음 물품 저장 장치로 반환된 물품과 물품의 개수를 확정하는 단계를 더 포함한다.
즉 카메라 시야에서 하나의 판매 기준선
Figure pct00044
을 정의하여, 물품이 자동판매기 내부에서 외부로 기준선을 지나면 픽업으로 판정하고, 반대로 물품이 기준선 밖에서 자동판매기로 이동하여 기준선을 지나면 반환으로 판정할 수 있다.
세 번째 방식은, 물품 감응 영역을 기반으로 사용자에 의해 픽업 및 반환된 물품을 실시간으로 검측한다.
선택적으로, 본 발명의 방법은, 각 이미지 획득 장치의 좌표계를 확정하는 단계; 좌표계에서 하나의 물품 감응 영역을 구획하는 단계; 및 물품 감응 영역과 영상에 의해 물품 저장 장치에서 픽업된 물품과 물품 개수, 그리고 픽업된 다음 물품 저장 장치로 반환된 물품과 물품의 개수를 확정하는 단계를 더 포함한다.
카메라 좌표계에서 하나의 유효한 영역(물품 감응 영역)을 지정하고, 이 영역에 나타나는 물품 개수를 실시간으로 검측하며, 앞뒤 프레임 정보를 결합하여 물품 이동 방향(시작점 위치와 종료점 위치에 의해 판단 가능)을 판단하고 픽업 반환 판정을 내린다.
전술한 단계를 통해, 사용자에 의해 픽업된 물품과 반환된 물품을 확정함으로써 자동 결제를 진행할 수 있다.
본 출원의 다른 일 선택 가능한 실례로서, 전술한 물품 식별 방법은, 품목당 가격이 포함된 물품 가격표를 획득하는 단계; 물품 픽업 결과와 물품 반환 결과에 의해 픽업된 물품과 물품 개수를 확정하는 단계; 및 픽업된 물품과 물품 개수, 그리고 품목당 가격에 따라 물품의 결제 총가격을 확정하는 단계를 더 포함한다.
선택적으로, 전술한 물품 가격표는 물품 저장 장치를 사용하는 상점(또는 기타 매장 등)에서 사용하는 가격표로서, 각 물품 저장 장치에 배치된 물품과, 픽업된 물품, 그리고 반환된 물품을 기록하며, 본 발명의 물품 가격표에 의해 물품의 자동 관리를 실현할 수 있다.
본 발명의 실시예를 통해 물품 식별과 카운트의 정확도를 효과적으로 향상시키고, 자동판매기 원가와 운영 원가를 대폭으로 낮추며, 동시에 상품 파손율을 효과적으로 감소할 수 있다.
본 발명 실시예의 다른 일 측면에 따르면, 실행가능한 명령의 실행을 거쳐 전술한 어느 한 항의 물품 식별 방법을 수행하도록 구성되는 프로세서; 및 프로세서의 실행가능한 명령을 저장하도록 설치되는 메모리를 포함하는 전자설비를 더 제공한다.
본 발명 실시예의 다른 일 측면에 따르면, 저장된 프로그램을 포함하는 저장 매체를 더 제공하는데, 프로그램 운행 시 저장 매체가 위치한 설비를 제어하여 전술한 어느 한 항의 물품 식별 방법을 수행하도록 한다.
본 발명의 실시예에서는, 프로세서, 메모리 및 메모리에 저장되고 프로세서에서 운행 가능한 프로그램을 포함하는 설비를 제공하는데, 프로세서는 프로그램을 실행 시, 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계; 물품의 다중 프레임 이미지를 처리하여, 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하는 단계; 정보 획득 장치에 의해 물품의 보조 정보를 획득하는 단계; 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계; 및 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정하는 단계를 실현한다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시 또한 물품의 각 프레임 이미지에 대하여 이미지 개선, 이미지 축소/확대, 이미지 평균값 차감 중 적어도 하나를 포함하는 이미지 전처리를 진행하는 단계; 이미지 전처리를 진행한 각 프레임 이미지에서의 적어도 한 가지 물품을 포함하는 물품 검측 박스와 카테고리 정보를 확정하는 단계; 및 물품 검측 박스에 따라 물품의 위치 정보를 확정하는 단계를 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시 또한 물품 검측 박스에 대하여 비 최대치 억제를 진행하는 단계를 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 이미지 획득 장치에 의해 목표 부위의 다중 프레임 이미지를 획득하는 단계; 및 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과를 획득하도록 목표 부위의 다중 프레임 이미지를 처리하는 단계를 더 실현할 수 있다.
선택적으로, 각 프레임 이미지에서의 목표 부위의 위치 정보와 판별 결과, 물품의 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정한다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 목표 부위의 각 프레임 이미지에 대하여 이미지 디노이징, 이미지 개선, 대비도 개선, 이미지 스무딩, 이미지 샤프닝 등 한 항목 또는 여러 항목 처리 방식을 포함하는 이미지 전처리를 진행하여 사용자의 목표 부위 이미지 윤곽을 개선하는 단계; 이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하는 단계; 부위 관심 영역에서 특징 정보를 추출하여 복수의 부위 특징을 얻는 단계; 및 각 프레임 이미지에서의 목표 부위의 위치 정보 및 판별 결과를 얻도록 미리 훈련된 분류기에 의해 복수의 부위 특징을 식별하는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 서브 윈도에 의해 각 프레임 이미지를 스캔하여 각 프레임 이미지에서 사용자의 목표 부위가 나타날 수 있는 부위 관심 영역을 확정하는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 물품에 대해 세립도 분류를 진행하는 단계를 더 실현할 수 있다.
선택적으로, 정보 획득 장치는 깊이 카메라이고, 물품의 깊이 이미지를 획득하도록 설치되며, 물품의 보조 정보는 깊이 정보를 포함한다.
선택적으로, 전술한 프로세서는 프로그램울 실행 시, 이미지 획득 장치와 깊이 카메라의 렌즈 파라미터 및 좌표 파라미터를 획득하는 단계; 깊이 카메라의 렌즈 파라미터, 깊이 정보와 물품이 깊이 이미지에서의 위치에 따라, 물품이 깊이 카메라 좌표계에서의 위치를 획득하는 단계; 이미지 획득 장치와 깊이 카메라의 위치 파라미터에 따라, 깊이 카메라의 좌표계를 기준으로, 이미지 획득 장치가 상기 깊이 카메라에 대한 상대적 위치 관계를 캘리브레이션하는 단계; 렌즈 파라미터, 물품이 깊이 이미지에서의 위치, 깊이 정보와 상대적 위치 관계에 기초하여, 물품이 깊이 이미지에서의 위치가 물품이 이미지 획득 장치가 획득한 이미지에 대응된 매핑 위치 정보를 확정하는 단계; 및 위치 정보와 매핑 위치 정보를 비교하여 융합 결과를 얻는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 물품의 영상을 획득하도록 이미지 획득 장치를 작동시키는 단계; 및 영상으로부터 물품의 다중 프레임 이미지를 컷아웃하는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계; 추적 궤적을 분류하여 물품의 이동 결과에 대응되는 궤적 분류 결과를 얻는 단계; 궤적 분류 결과에 따라 물품 픽업 결과와 물품 반환 결과를 확정하는 단계; 및 물품 픽업 결과와 물품 반환 결과에 따라 물품 관리 리스트를 업데이트하는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 융합 결과에 따라 물품의 위치 정보와 물품의 이동 추세를 획득하는 단계; 물품의 현재 검측 박스와 직전 프레임 물품의 위치 정보에 기초하여 물품의 이동 추세에 따라 획득되는 예측한 후보 박스 사이의 중합 유사도와 특징 유사도에 따라 현재 검측 결과와 직전 프레임의 검측 결과의 매치율을 판단하여, 각 타임 노드에서의 물품의 위치, 물품 종류, 물품 이동의 타임 스탬프를 포함하는 물품의 추적 궤적을 얻는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 추적 궤적으로부터 물품 이동 길이를 추출하는 단계; 및 미리 훈련된 분류 결정 트리 모델과 물품 이동 길이를 결합하여, 추적 궤적을 분류하여 궤적 분류 결과를 얻는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 이미지 획득 장치, 또는 이미지 획득 장치와 정보 획득 장치가 같은 시각에 결합한 궤적 분류 결과를 획득하는 단계; 이미지 획득 장치, 또는 이미지 획득 장치와 정보 획득 장치가 같은 시각에 결합한 궤적 분류 결과에 따라 분류 규칙 베이스를 기초로 하는 분류 판별 방안을 건립하는 단계; 및 분류 판별 방안과 궤적 분류 결과에 의해 물품 픽업 결과 또는 물품 반환 결과를 확정하는 단계를 더 실현할 수 있다.
선택적으로, 전술한 프로세서는 프로그램을 실행 시, 품목당 가격이 포함된 물품 가격표를 획득하는 단계; 물품 픽업 결과와 물품 반환 결과에 의해 픽업된 물품과 물품 개수를 확정하는 단계; 및 픽업된 물품과 물품 개수, 그리고 품목당 가격에 따라 물품의 결제 총가격을 확정하는 단계를 더 실현할 수 있다.
본 출원은 데이터 처리 장치에서 실행될 때 이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계; 물품의 다중 프레임 이미지를 처리하여 각 프레임 이미지에서의 물품의 위치 정보와 카테고리 정보를 획득하는 단계; 정보 획득 장치에 의해 물품의 보조 정보를 획득하는 단계; 위치 정보와 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계; 및 카테고리 정보와 융합 결과에 따라 물품의 식별 결과를 확정하는 단계를 갖는 프로그램을 초기화 실행하는데 적합한 컴퓨터 프로그램 제품을 더 제공한다.
전술한 본 발명 실시예의 순번은 단지 설명을 위한 것으로, 실시예의 우열을 대표하지 않는다.
본 발명의 전술한 실시예에서, 각각의 실시예에 대한 설명은 각각 착중점이 있으며, 어느 한 실시예에서 상세하게 설명하지 않은 부분은 다른 실시예의 관련 설명을 참조할 수 있다.
본 출원에서 제공하는 몇 개 실시예에서 개시된 기술 내용은 기타 형태를 통해 구현 가능하다는 것을 이해해야 할 것이다. 그 중, 위에서 설명한 장치 실시예는 예시적인 것으로, 예를 들어 상기 유닛의 구분은 논리 기능의 구분일 수 있고, 실제 구현 시 다른 구분 방식이 있을 수 있는데, 예를 들면, 복수의 유닛 또는 컴포넌트를 결합하거나 다른 시스템에 집적하거나, 또는 일부 특징을 무시하거나 실행하지 않을 수 있다. 다른 한 가지는, 표시되거나 논의된 상호간 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 유닛 또는 모듈에 의한 간접 커플링 또는 통신 연결일 수 있으며, 전기적이거나 다른 형식일 수 있다.
분리 부품으로 설명된 유닛은 물리적으로 분리되었거나 분리되지 않을 수도 있으며, 유닛으로 표시된 부품은 물리 유닛이거나 아닐 수도 있는 것으로, 즉 한 곳에 위치하거나, 또는 복수의 유닛에 분포될 수 있다. 실제 수요에 따라 이 중의 일부 또는 모든 유닛을 선택하여 본 실시예 형태의 목적을 달성할 수 있다.
또한, 본 발명 각 실시예의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 두 개 또는 그 이상의 유닛이 한 유닛에 집적될 수도 있다. 전술한 집적된 유닛은 하드웨어의 형태로 구현될 수 있을 수도 있고, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
상기 집적된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고, 독립적인 제품으로 판매 또는 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이런 이해를 기반으로, 본 발명의 기술 방안은 본질적으로 또는 기존 기술에 기여를 하는 부분 또는 이 기술 방안의 전부 또는 일부가 소프트웨어 제품의 형태로 구현될 수 있으며, 이 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되고, 몇개의 명령을 포함하여 한 대의 컴퓨터 설비(개인용 컴퓨터, 서버 또는 네트워크 장치 등일 수 있음)로 하여금 본 발명의 각 실시예에 기재된 방법의 전부 또는 일부 단계를 실행할 수 있도록 한다. 전술한 저장 매체는, USB 플래시 디스크, 판독 전용 메모리(Read-Only Memory: ROM), 임의 추출 메모리(Random Access Memory: RAM), 외장 하드, 자기 디스크 또는 광 디스크 등 다양한 프로그램 코드의 저장이 가능한 매체를 포함한다.
위에서 설명한 내용은 단지 본 발명의 바람직한 실시형태로서, 당업자들에게 있어서 본 발명 원리를 벗어나지 않는 한 일부 개선과 윤색을 할 수 있으며, 이런 개선과 윤색 또한 본 발명의 보호 범위에 포함되어야 할 것이다.
본 출원의 실시예에서 제공하는 방안은 물품 식별을 실현할 수 있으며, 본 출원 실시예에서 제공하는 기술 방안에서, 신소매의 스마트 자동판매기 등 상품 판매 설비에 응용될 수 있는데, 스마트 자동판매기에 복수의 카메라를 장착하고, 복수의 카메라를 사용하여 문이 열린 다음의 영상을 촬영한 후 영상에서의 다중 프레임 이미지를 분석하며, 이미지에서의 물품의 위치와 카테고리를 식별하여, 정보 획득 장치가 획득한 보조 정보와 멀티 모달 융합을 진행함으로써 물품의 식별 결과를 정확하게 얻고, 마찬가지로 자동판매기에서 사용자에 의해 픽업된 물품 종류와 물품 개수를 정확하게 식별할 수 있어, 물품 식별률을 향상시키고, 상품 파손율을 낮춤으로써, 식별 정확도가 낮은 기술 과제를 해결한다. 본 출원의 실시예는 신소매 시나리오에서 각 설비가 촬영한 이미지를 자동으로 분석할 수 있고, 사용자에 의해 픽업된 물품 종류와 물품 데이터를 분석하며, 물품에 정확한 식별을 실현하여 상품의 지능화 식별 정도를 높임으로써, 신소매에서의 지능화 상품 판매 능력을 향상시킨다.

Claims (24)

  1. 물품 식별 방법으로서,
    이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계;
    각 프레임 이미지에서의 상기 물품의 위치 정보와 카테고리 정보를 획득하도록 상기 물품의 다중 프레임 이미지를 처리하는 단계;
    정보 획득 장치에 의해 상기 물품의 보조 정보를 획득하는 단계;
    상기 위치 정보와 상기 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계; 및
    상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하는 단계
    를 포함하는, 물품 식별 방법.
  2. 청구항 1에 있어서,
    각 프레임 이미지에서의 상기 물품의 위치 정보와 카테고리 정보를 획득하도록 상기 물품의 다중 프레임 이미지를 처리하는 단계는,
    상기 물품의 각 프레임 이미지에 대해 이미지 전처리를 진행하는 단계;
    이미지 전처리를 진행한 각 프레임 이미지에서의 적어도 한 가지 물품을 포함하는 물품 검측 박스와 상기 카테고리 정보를 확정하는 단계; 및
    상기 물품 검측 박스에 따라 상기 물품의 위치 정보를 확정하는 단계;
    를 포함하는, 물품 식별 방법.
  3. 청구항 2에 있어서,
    상기 방법은 상기 물품 검측 박스에 대해 비 최대치 억제를 진행하는 단계를 더 포함하는, 물품 식별 방법.
  4. 청구항 1에 있어서,
    이미지 획득 장치에 의해 목표 부위의 다중 프레임 이미지를 획득하는 단계; 및
    각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과를 획득하도록 상기 목표 부위의 다중 프레임 이미지를 처리하는 단계를 더 포함하는, 물품 식별 방법.
  5. 청구항 4에 있어서,
    상기 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과, 상기 물품의 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하는, 물품 식별 방법.
  6. 청구항 4에 있어서,
    각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과를 획득하도록 상기 목표 부위의 다중 프레임 이미지를 처리하는 단계는,
    상기 목표 부위의 각 프레임 이미지에 대해 이미지 전처리를 진행하여 사용자의 목표 부위 이미지 윤곽을 개선하는 단계;
    이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하는 단계;
    상기 부위 관심 영역에서 특징 정보를 추출하여 복수의 부위 특징을 얻는 단계; 및
    각 프레임 이미지에서의 상기 목표 부위의 위치 정보 및 판별 결과를 얻도록 미리 훈련된 분류기에 의해 상기 복수의 부위 특징을 식별하는 단계를 포함하는, 물품 식별 방법.
  7. 청구항 6에 있어서,
    이미지 전처리를 진행한 각 프레임 이미지에서 사용자의 목표 부위가 나타나는 부위 관심 영역을 선택하는 단계는,
    서브 윈도에 의해 각 프레임 이미지를 스캔하여 각 프레임 이미지에서 사용자의 목표 부위가 나타날 수 있는 부위 관심 영역을 확정하는 단계를 포함하는, 물품 식별 방법.
  8. 청구항 1에 있어서,
    상기 물품에 대해 세립도 분류를 진행하는 단계를 더 포함하는, 물품 식별 방법.
  9. 청구항 1에 있어서,
    상기 정보 획득 장치는 깊이 카메라, 카드 리더기, 중력 장치, 및 냄새 센서 중 적어도 하나를 포함하는, 물품 식별 방법.
  10. 청구항 9에 있어서,
    상기 정보 획득 장치가 상기 깊이 카메라인 경우, 상기 깊이 카메라에 의해 상기 물품의 깊이 이미지를 획득하고, 상기 물품의 보조 정보는 깊이 정보를 포함하는, 물품 식별 방법.
  11. 청구항 10에 있어서,
    상기 위치 정보와 상기 보조 정보를 멀티 모달 융합하여 융합 결과를 얻는 단계는,
    상기 이미지 획득 장치와 상기 깊이 카메라의 렌즈 파라미터 및 위치 파라미터를 획득하는 단계;
    상기 깊이 카메라의 렌즈 파라미터, 상기 깊이 정보와 상기 물품이 상기 깊이 이미지에서의 위치에 따라, 상기 물품이 상기 깊이 카메라 좌표계에서의 위치를 획득하는 단계;
    상기 이미지 획득 장치와 상기 깊이 카메라의 위치 파라미터에 따라, 상기 깊이 카메라의 좌표계를 기준으로, 상기 이미지 획득 장치가 상기 깊이 카메라에 대한 상대적 위치 관계를 캘리브레이션하는 단계;
    상기 렌즈 파라미터, 상기 물품이 상기 깊이 이미지에서의 위치, 상기 깊이 정보와 상기 상대적 위치 관계에 기초하여, 상기 물품이 상기 깊이 이미지에서의 위치가 상기 물품이 상기 이미지 획득 장치가 획득한 이미지에 대응되는 매핑 위치 정보를 확정하는 단계; 및
    상기 위치 정보와 상기 매핑 위치 정보를 비교하여 상기 융합 결과를 얻는 단계를 포함하는, 물품 식별 방법.
  12. 청구항 1에 있어서,
    이미지 획득 장치에 의해 물품의 다중 프레임 이미지를 획득하는 단계는,
    상기 물품의 영상을 획득하도록 상기 이미지 획득 장치를 작동시키는 단계; 및
    상기 영상으로부터 상기 물품의 다중 프레임 이미지를 컷아웃하는 단계를 포함하는, 물품 식별 방법.
  13. 청구항 1에 있어서,
    상기 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계;
    상기 추적 궤적을 분류하여 물품의 이동 결과에 대응되는 궤적 분류 결과를 얻는 단계;
    상기 궤적 분류 결과에 따라 물품 픽업 결과와 물품 반환 결과를 확정하는 단계; 및
    물품 픽업 결과와 물품 반환 결과에 따라 물품 관리 리스트를 업데이트하는 단계를 포함하는, 물품 식별 방법.
  14. 청구항 13에 있어서,
    상기 융합 결과에 따라 물품의 추적 궤적을 확정하는 단계는,
    상기 융합 결과에 따라 상기 물품의 위치 정보와 상기 물품의 이동 추세를 획득하는 단계; 및
    상기 물품의 현재 검측 박스와 직전 프레임의 상기 물품의 위치 정보에 기초하여 상기 물품의 이동 추세에 따라 획득되는 예측한 후보 박스 사이의 중합 유사도와 특징 유사도에 따라 현재 검측 결과와 직전 프레임의 검측 결과의 매치율을 판단하여, 각 타임 노드에서의 물품의 위치, 물품 종류, 물품 이동의 타임 스탬프를 포함하는 물품의 추적 궤적을 얻는 단계를 포함하는, 물품 식별 방법.
  15. 청구항 13에 있어서,
    상기 추적 궤적을 분류하여 궤적 분류 결과를 얻는 단계는,
    상기 추적 궤적으로부터 물품 이동 길이를 추출하는 단계; 및
    미리 훈련된 분류 결정 트리 모델과 상기 물품 이동 길이를 결합하여, 상기 추적 궤적을 분류하고 궤적 분류 결과를 얻는 단계를 포함하는, 물품 식별 방법.
  16. 청구항 15에 있어서,
    상기 궤적 분류 결과에 따라 물품 픽업 결과 또는 물품 반환 결과를 확정하는 단계는,
    상기 이미지 획득 장치, 또는 상기 이미지 획득 장치와 상기 정보 획득 장치가 같은 시각에 결합한 궤적 분류 결과를 획득하는 단계;
    상기 이미지 획득 장치, 또는 상기 이미지 획득 장치가 상기 정보 획득 장치와 같은 시각에 결합한 궤적 분류 결과에 따라 분류 규칙 베이스를 기초로 하는 분류 판별 방안을 건립하는 단계; 및
    상기 분류 판별 방안과 상기 궤적 분류 결과에 의해 물품 픽업 결과 또는 물품 반환 결과를 확정하는 단계를 포함하는, 물품 식별 방법.
  17. 청구항 1에 있어서,
    품목당 가격이 포함된 물품 가격표를 획득하는 단계;
    물품 픽업 결과와 물품 반환 결과에 의해 픽업된 물품과 물품 개수를 확정하는 단계; 및
    픽업된 물품과 물품 개수, 그리고 품목당 가격에 따라 물품의 결제 총가격을 확정하는 단계를 더 포함하는, 물품 식별 방법.
  18. 청구항 1에 있어서,
    상기 방법은 신소매 시나리오로 설정되어야 하며, 상기 신소매 시나리오는 적어도 무인 상점, 스마트 자동판매기를 포함하는, 물품 식별 방법.
  19. 물품 식별 시스템으로서,
    물품의 다중 프레임 이미지를 획득하도록 설치되는 이미지 획득 장치;
    상기 물품의 보조 정보를 획득하도록 설치되는 정보 획득 장치; 및
    각 프레임 이미지에서의 상기 물품의 위치 정보와 카테고리 정보를 획득하도록 상기 물품의 다중 프레임 이미지를 처리하고, 상기 위치 정보와 상기 보조 정보를 멀티 모달 융합하여 융합 결과를 얻은 다음, 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하도록 설치되는 서버
    를 포함하는, 물품 식별 시스템.
  20. 청구항 19에 있어서,
    상기 이미지 획득 장치는 또한 목표 부위의 다중 프레임 이미지를 획득하도록 설치되는, 물품 식별 시스템.
  21. 청구항 20에 있어서,
    상기 서버는 또한 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과를 획득하도록 상기 목표 부위의 다중 프레임 이미지를 처리하고, 상기 각 프레임 이미지에서의 상기 목표 부위의 위치 정보와 판별 결과, 상기 카테고리 정보와 상기 융합 결과에 따라 상기 물품의 식별 결과를 확정하도록 설치되는, 물품 식별 시스템.
  22. 청구항 19에 있어서,
    물품 저장 장치를 더 포함하되, 상기 이미지 획득 장치와 상기 정보 획득 장치는 상기 물품 저장 장치가 열릴 때 작동되는, 물품 식별 시스템.
  23. 전자설비로서,
    실행가능한 명령의 실행을 거쳐 청구항 1 내지 청구항 18 중 어느 한 항에 기재된 물품 식별 방법을 수행하도록 구성되는 프로세서; 및
    상기 프로세서의 실행가능한 명령을 저장하도록 설치되는 메모리를 포함하는, 전자설비.
  24. 저장된 프로그램을 포함하는 저장 매체로서, 상기 프로그램은 운행 시 상기 저장 매체가 위치한 설비를 제어하여 청구항 1 내지 청구항 18 중 어느 한 항에 기재된 물품 식별 방법을 수행하는, 저장 매체.
KR1020197036280A 2019-01-08 2019-06-21 물품 식별 방법 및 시스템, 전자설비 KR102329369B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910016934.7A CN111415461B (zh) 2019-01-08 2019-01-08 物品识别方法及系统、电子设备
CN201910016934.7 2019-01-08
PCT/CN2019/092405 WO2020143179A1 (zh) 2019-01-08 2019-06-21 物品识别方法及系统、电子设备

Publications (2)

Publication Number Publication Date
KR20200088219A true KR20200088219A (ko) 2020-07-22
KR102329369B1 KR102329369B1 (ko) 2021-11-19

Family

ID=71490812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197036280A KR102329369B1 (ko) 2019-01-08 2019-06-21 물품 식별 방법 및 시스템, 전자설비

Country Status (6)

Country Link
US (1) US11335092B2 (ko)
EP (1) EP3910608B1 (ko)
JP (1) JP6986576B2 (ko)
KR (1) KR102329369B1 (ko)
CN (1) CN111415461B (ko)
WO (1) WO2020143179A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7191671B2 (ja) * 2018-12-19 2022-12-19 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN111860326B (zh) * 2020-07-20 2023-09-26 品茗科技股份有限公司 一种建筑工地物品移动检测方法、装置、设备及存储介质
CN112242940B (zh) * 2020-07-31 2023-06-06 广州微林软件有限公司 一种箱柜食物智能管理系统及管理方法
CN112001770B (zh) * 2020-07-31 2024-05-03 广州微林软件有限公司 一种食物app管理系统及管理方法
CN112508109B (zh) * 2020-12-10 2023-05-19 锐捷网络股份有限公司 一种图像识别模型的训练方法及装置
CN112749638A (zh) * 2020-12-28 2021-05-04 深兰人工智能(深圳)有限公司 视觉识别轨迹的筛错方法和售货柜的视觉识别方法
CN112381184B (zh) * 2021-01-15 2021-05-25 北京每日优鲜电子商务有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN112966766B (zh) * 2021-03-18 2022-06-07 北京三快在线科技有限公司 物品分类方法、装置、服务器及存储介质
CN113111932B (zh) * 2021-04-02 2022-05-20 支付宝(杭州)信息技术有限公司 智能货柜的物品核对方法及系统
CN112991380B (zh) * 2021-04-28 2021-08-31 北京每日优鲜电子商务有限公司 基于视频图像的轨迹生成方法、装置、电子设备和介质
CN113642425A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 基于多模态的图像检测方法、装置、电子设备及存储介质
CN113822859B (zh) * 2021-08-25 2024-02-27 日立楼宇技术（广州）有限公司 基于图像识别的物品检测方法、系统、装置和存储介质
CN113643473A (zh) * 2021-10-13 2021-11-12 北京每日优鲜电子商务有限公司 信息识别方法、装置、电子设备和计算机可读介质
CN113723383B (zh) * 2021-11-03 2022-06-28 武汉星巡智能科技有限公司 异视角同步识别同区域商品的订单生成方法及智能售货机
CN114359973A (zh) * 2022-03-04 2022-04-15 广州市玄武无线科技股份有限公司 基于视频的商品状态识别方法、设备及计算机可读介质
CN115601686B (zh) * 2022-12-09 2023-04-11 浙江莲荷科技有限公司 物品交付确认的方法、装置和系统
CN116021526A (zh) * 2023-02-07 2023-04-28 台州勃美科技有限公司 一种农业机器人控制方法、装置及农业机器人
CN117576535A (zh) * 2024-01-15 2024-02-20 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389316A (zh) * 2018-03-02 2018-08-10 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN108985359A (zh) * 2018-06-29 2018-12-11 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US20080249870A1 (en) * 2007-04-03 2008-10-09 Robert Lee Angell Method and apparatus for decision tree based marketing and selling for a retail store
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images
CN105190655B (zh) * 2013-03-04 2018-05-18 日本电气株式会社 物品管理系统、信息处理设备及其控制方法和控制程序
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
KR102317247B1 (ko) * 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
CN105205454A (zh) * 2015-08-27 2015-12-30 深圳市国华识别科技开发有限公司 自动捕捉目标物的系统和方法
JP6710031B2 (ja) * 2015-09-14 2020-06-17 日機装株式会社 自動販売機
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
JP6889279B2 (ja) * 2017-04-28 2021-06-18 トヨタ モーター ヨーロッパ デジタル画像内の物体を検出するためのシステムおよび方法、ならびに物体検出を再スコアリングするためのシステムおよび方法
CN108470332B (zh) * 2018-01-24 2023-07-07 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN108921645B (zh) * 2018-06-07 2021-07-13 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN108921048A (zh) * 2018-06-14 2018-11-30 深圳码隆科技有限公司 一种购物结算方法、装置和用户终端
CN109035579A (zh) * 2018-06-29 2018-12-18 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN108961547A (zh) * 2018-06-29 2018-12-07 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109003390B (zh) 2018-06-29 2021-08-10 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109117746A (zh) * 2018-07-23 2019-01-01 北京华捷艾米科技有限公司 手部检测方法及机器可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389316A (zh) * 2018-03-02 2018-08-10 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN108985359A (zh) * 2018-06-29 2018-12-11 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质

Also Published As

Publication number Publication date
JP6986576B2 (ja) 2021-12-22
CN111415461A (zh) 2020-07-14
EP3910608B1 (en) 2024-04-03
US11335092B2 (en) 2022-05-17
WO2020143179A1 (zh) 2020-07-16
US20210397844A1 (en) 2021-12-23
CN111415461B (zh) 2021-09-28
EP3910608A1 (en) 2021-11-17
EP3910608A4 (en) 2022-02-16
JP2021513690A (ja) 2021-05-27
KR102329369B1 (ko) 2021-11-19

Similar Documents

Publication Publication Date Title
KR102329369B1 (ko) 물품 식별 방법 및 시스템, 전자설비
US11789545B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
CN109271847B (zh) 无人结算场景中异常检测方法、装置及设备
EP3678047B1 (en) Method and device for recognizing identity of human target
EP3531341B1 (en) Method and apparatus for recognising an action of a hand
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
Borges Pedestrian detection based on blob motion statistics
US10891561B2 (en) Image processing for item recognition
Liu et al. Grab: Fast and accurate sensor processing for cashier-free shopping
CN111222870A (zh) 结算方法、装置和系统
WO2023138445A1 (zh) 用于检测人摔倒、人的拾取或放回行为的检测方法和设备
US10929697B2 (en) Image processing for identifying individuals
KR102476496B1 (ko) 인공지능 기반의 바코드 복원을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR101985869B1 (ko) 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
CN112257617B (zh) 多模态目标识别方法和系统
Merrad et al. A Real-time Mobile Notification System for Inventory Stock out Detection using SIFT and RANSAC.
KR100911121B1 (ko) 영상 기반의 인간 블랍 추적방법
KR102476498B1 (ko) 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
JP5988894B2 (ja) 被写体照合装置、被写体照合方法、およびプログラム
CN112906759A (zh) 一种基于纯视觉的免门禁无人商店结账方法
Sole et al. Video analytics for abandoned object detection and its evaluation on atom and ARM processor
Sinkevicius et al. Orientation invariant surface classification using uncertainty level estimation
JP2021128798A (ja) 情報処理装置、システム、画像処理方法及びプログラム
Mliki et al. Bimodal Person Re-identification in Multi-camera System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant