KR20230017879A - 3d 카메라(들)를 갖는 바코드 판독기들 - Google Patents
3d 카메라(들)를 갖는 바코드 판독기들 Download PDFInfo
- Publication number
- KR20230017879A KR20230017879A KR1020227046277A KR20227046277A KR20230017879A KR 20230017879 A KR20230017879 A KR 20230017879A KR 1020227046277 A KR1020227046277 A KR 1020227046277A KR 20227046277 A KR20227046277 A KR 20227046277A KR 20230017879 A KR20230017879 A KR 20230017879A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- image
- barcode
- imaging device
- features
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 412
- 238000000034 method Methods 0.000 claims abstract description 239
- 230000009471 action Effects 0.000 claims abstract description 40
- 230000002708 enhancing effect Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 95
- 238000005286 illumination Methods 0.000 claims description 84
- 230000004044 response Effects 0.000 claims description 60
- 230000007613 environmental effect Effects 0.000 claims description 35
- 238000001914 filtration Methods 0.000 claims description 22
- 230000011664 signaling Effects 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 53
- 230000001815 facial effect Effects 0.000 description 79
- 238000005303 weighing Methods 0.000 description 47
- 238000013528 artificial neural network Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000004888 barrier function Effects 0.000 description 7
- 230000000712 assembly Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 244000261422 Lysimachia clethroides Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06046—Constructional details
- G06K19/06159—Constructional details the marking being relief type, e.g. three-dimensional bar codes engraved in a support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
- G06K7/1096—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices the scanner having more than one scanning window, e.g. two substantially orthogonally placed scanning windows for integration into a check-out counter of a super-market
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/02—Mechanical actuation
- G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
- G08B13/1481—Mechanical actuation by lifting or attempted removal of hand-portable articles with optical detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Toxicology (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Input From Keyboards Or The Like (AREA)
- Telephone Function (AREA)
Abstract
방법들 및 시스템들은 3차원 이미징 장치들을 이용하여 3차원 이미지들을 캡처하고, 결과적인 3차원 이미지 데이터를 분석하여 물체 식별, 기호 검출, 물체 인식 모델 훈련, 및 부적절한 스캔 시도들 또는 조작자에 의해 수행되는 다른 액션들을 식별하는 것과 같은 스캐닝 관련 프로세스들을 위해 캡처된 2차원 이미지들을 향상시키는 것을 포함한다. 바이옵틱 판독기들, 핸드헬드 스캐너들, 및 머신 비전 시스템들과 같은 이미징 시스템들은 3차원 이미징 장치들을 이용하는 것으로 설명되고, 3차원 이미지들을 캡처하고 캡처된 2차원 이미지들을 이용하는 것으로 설명된다.
Description
핸드헬드 바코드 판독기들(handheld barcode readers) 및 바이옵틱 판독기들(bi-optic readers)과 같은 기호 판독기들(symbology readers)은 다양한 목적을 위해 물체들의 이미지들을 캡처하기 위해 2차원 이미지들을 이용한다. 많은 창고, 유통, 및 소매 환경들에서, 이들 기호 판독기들은 바코드 디코딩 동작들을 수행하는데 이용되는 2D 이미지 데이터를 캡처한다. 그러나, 일부 경우들에 있어서는, 다른 목적을 위해 2D 이미지 데이터를 이용하는 것이 바람직하다. 예를 들어, 바이옵틱 판독기는 그의 2D 이미저(imager)로부터 2D 이미지 데이터를 캡처하고, 그 이미지 데이터를 이용하여 오프-플래터 계량 조건(off-platter weighing condition)을 결정하는 것을 도울 수 있다. 다른 경우들에서, 바이옵틱 판독기는 2D 이미지 데이터를 이용하여, 스캐닝되는 제품의 특성을 결정하는 것을 도울 수 있다. 또 다른 경우들에서, 바이옵틱 판독기는 2D 이미지 데이터를 이용하여, 스위터밍(sweethearting) 또는 스푸핑(spoofing) 이벤트의 발생을 검출하는 것을 도울 수 있다.
2D 이미저들 및 2D 이미지 분석의 이용이 전술한 목적 및 기타의 목적과 연계하여 존재했지만, 검출 성공률은 여전히 개선될 수 있다. 또한, 발생할 수 있는 이미지 분석은 캡처된 이미지 데이터가 2차원이라는 사실에 의해 제한된다. 따라서, 판독기 성능을 더 증가시키고 판독기들에게 아직 이용불가능한 새로운 기능을 제공하기 위해, 바이옵틱 바코드 판독기들 및 다른 기호 판독기들을 발전 및 개발할 필요성이 계속해서 존재한다.
실시예에서, 본 발명은 바코드 판독기를 이용한 바코드 스캐닝의 방법이다. 방법은 바코드 판독기 내에 있고 제1 시야(field of view)(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계를 포함한다. 방법은 바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계를 더 포함한다. 방법은 3D 이미지 데이터로부터 제2 환경 내의 하나 이상의 3D 이미지 특징(image feature)을 식별하는 단계; 및 하나 이상의 3D 이미지 특징을 2D 이미지 데이터에서의 적어도 하나 이상의 2D 이미지 특징과 상관시킴으로써, 향상된 2D 이미지 데이터가 되도록 2D 이미지 데이터를 향상시키는 단계를 더 포함한다. 거기서부터, 방법은 (a) 향상된 2D 이미지 데이터 내에서 캡처된 바코드를 디코딩하는 것, (b) 향상된 2D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (c) 향상된 2D 이미지 데이터 내에서 물체를 인식하는 것, (d) 바코드 판독기의 조작자에 의해 수행된 액션을 식별하는 것, 및 (e) 바코드 판독기 동작과 연관된 적어도 하나의 파라미터를 변경하는 것 중 적어도 하나를 위해 향상된 2D 이미지 데이터를 처리하는 단계를 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터(point cloud data)를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징(geometric feature)을 포함한다. 이 방법의 다른 변형에서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체에 대응하는 컬러 또는 컬러 그래디언트(color gradation)를 포함한다. 실시예의 또 다른 변형에서, 하나 이상의 3D 이미지 특징을 식별하는 단계는 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위 내에 위치되는 하나 이상의 3D 이미지 특징을 식별하는 단계를 포함한다. 일부 변형들에서, 2D 이미지 데이터를 향상시키는 단계는 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 적어도 하나 이상의 2D 이미지 특징을 필터링하는 단계를 더 포함한다. 일부 변형들에서, 2D 이미지 데이터를 향상시키는 단계는 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 적어도 하나 이상의 2D 이미지 특징을 필터링하는 단계를 더 포함한다. 일부 변형들에서, 바코드 판독기는 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기이고, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장된다. 일부 변형들에서, 바코드 판독기는 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기이고, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계(distal boundary)까지 연장된다.
실시예의 다른 변형에서, 하나 이상의 3D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함한다.
실시예의 다른 변형에서, 향상된 2D 이미지 데이터를 처리하는 단계는 조작자에 의해 수행된 액션을 식별하는 것, 및 조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트(potential theft event)를 시그널링하기에 적합한 경보(alert)를 생성하는 것을 포함한다.
이 실시예의 다른 변형에서, 향상된 2D 이미지 데이터를 처리하는 단계는 조작자에 의해 수행된 액션을 식별하는 것, 및 조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것, 및 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 물체 상의 부분적으로 커버된 바코드 또는 완전히 커버된 바코드를 검출하는 것 중 하나로서 식별되는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 것을 포함한다.
이 실시예의 다른 변형에서, 바코드 판독기 동작과 연관된 적어도 하나의 파라미터는 바코드 판독기의 노출 시간(exposure time), 바코드 판독기의 조명 펄스 지속기간(illumination pulse duration), 바코드 판독기의 초점 위치(focus position), 바코드 판독기의 이미징 줌 레벨(imaging zoom level), 및 바코드 판독기의 조명 소스(illumination source)이다. 예에서, 조명 소스는 확산 조명 소스 또는 직접 조명 소스이다.
이 실시예의 다른 변형에서, 3D 이미지 데이터로부터 제2 환경 내의 하나 이상의 3D 이미지 특징을 식별하는 것에 응답하여, 제1 환경의 2D 이미지를 캡처하기 전에 바코드 판독기의 조명 밝기를 조정한다.
다른 실시예에서, 본 발명은 바코드 판독기를 이용하여 데이터를 처리하는 방법이다. 방법은 바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계를 포함한다. 방법은 바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계를 더 포함한다. 방법은 2D 이미지 데이터로부터 제1 환경 내의 하나 이상의 2D 이미지 특징을 식별하는 단계; 및 하나 이상의 2D 이미지 특징을 3D 이미지 데이터에서의 적어도 하나 이상의 3D 이미지 특징과 상관시킴으로써, 향상된 3D 이미지 데이터가 되도록 3D 이미지 데이터를 향상시키는 단계를 더 포함한다. 거기서부터, 방법은 (a) 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (b) 향상된 3D 이미지 데이터 내에서 물체를 인식하는 것, (c) 바코드 판독기의 사용자에 의해 수행된 액션을 식별하는 것, 및 (d) 3D 이미징 장치와 연관된 적어도 하나의 파라미터를 변경하는 것 중 적어도 하나를 위해 향상된 3D 이미지 데이터를 처리하는 단계를 포함한다.
이 실시예의 변형에서, 2D 이미지 데이터는 단색(monochrome) 이미지 데이터, 그레이스케일(grayscale) 이미지 데이터, 및 다색(polychrome) 이미지 데이터 중 하나를 포함하고, 하나 이상의 2D 이미지 특징은 제1 FOV 내에 제시된 물체의 바코드 및 하나 이상의 기하학적 특징 중 적어도 하나를 포함한다.
이 실시예의 다른 변형에서, 하나 이상의 2D 이미지 특징은 바코드를 포함하고, 3D 이미지 데이터를 향상시키는 단계는 바코드의 위치를 2D 이미지 데이터로부터 3D 이미지 데이터로 매핑하는 단계를 포함한다. 이 실시예의 다른 변형에서, 2D 이미지 데이터는 다색 이미지 데이터를 포함하고, 하나 이상의 2D 이미지 특징은 제1 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징을 포함하고, 3D 이미지 데이터를 향상시키는 단계는 제1 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징에 적어도 부분적으로 기초하여 다색 이미지 데이터의 적어도 일부를 3D 이미지 데이터에 매핑하는 단계를 포함한다. 이 실시예의 다른 변형에서, 3D 이미지 데이터를 향상시키는 단계는 향상된 3D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 적어도 하나 이상의 3D 이미지 특징을 필터링하는 단계를 더 포함한다. 이 실시예의 다른 변형에서, 3D 이미지 데이터를 향상시키는 단계는 향상된 3D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 적어도 하나 이상의 3D 이미지 특징을 필터링하는 단계를 더 포함한다. 이 실시예의 다른 변형에서, 3D 이미지 데이터를 향상시키는 단계는 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위에 기초하여 3D 이미지를 필터링하는 단계를 더 포함한다.
이 실시예의 다른 변형에서, 바코드 판독기는 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기이고, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장된다. 이 실시예의 다른 변형에서, 바코드 판독기는 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기이고, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 연장된다.
이 실시예의 다른 변형에서, 하나 이상의 2D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함한다.
이 실시예의 다른 변형에서, 향상된 3D 이미지 데이터를 처리하는 단계는 조작자에 의해 수행된 액션을 식별하는 것, 및 조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 2D 이미지 데이터 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 것을 포함한다.
이 실시예의 다른 변형에서, 하나 이상의 2D 이미지 특징을 식별하는 단계는 2D 이미지 상의 환경 특징들을 식별하는 단계 - 환경 특징들은 제1 FOV 내에 제시된 물체의 외부의 이미지에서의 특징들임 -; 환경 특징들을 2D 이미지에서의 식별된 환경 특징들을 커버하도록 구성된 마스킹 특징들(masking features)로 변환하는 단계; 및 마스킹 특징들을 하나 이상의 2D 이미지 특징으로서 식별하는 단계를 포함한다.
이 실시예의 다른 변형에서, 하나 이상의 2D 이미지 특징을 식별하는 단계는 2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 물체 식별을 결정하는 단계; 및 물체 식별로부터, 하나 이상의 2D 이미지 특징을 결정하는 단계를 포함한다.
이 실시예의 다른 변형에서, 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하기 위해 향상된 3D 이미지 데이터를 처리하는 단계는, 2D 이미지 데이터에서 바코드를 식별하고, 바코드 검출 이벤트 타임프레임을 결정하고, 바코드 검출 이벤트 타임프레임에 대응하는 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하는 단계; 또는 2D 이미지 데이터에서 바코드를 식별하고, 2D 이미지 데이터에서의 바코드에 대응하는 향상된 3D 이미지 데이터 내에서 물체를 식별하고, 바코드에 대응하지 않는 3D 이미지에서 다른 물체를 식별하면, 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하기 전에 향상된 3D 이미지 데이터로부터 다른 물체들을 제거하는 단계를 포함한다.
이 실시예의 다른 변형에서, 3D 이미징 장치와 연관된 적어도 하나의 파라미터는 3D 이미징 장치의 투영된 조명량(projected amount of illumination), 3D 이미징 장치의 투영된 조명 방향 또는 3D 이미징 장치의 조명 소스를 포함한다.
다른 실시예에서, 본 발명은 바코드 판독기를 이용하여 물체의 적절한 스캐닝 또는 물체의 부적절한 스캐닝을 식별하는 방법이다. 방법은 바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계를 포함한다. 방법은 바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계를 더 포함한다. 방법은 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계 및 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계를 더 포함한다. 거기서부터, 방법은 제1 물체 식별을 제2 물체 식별과 비교하고, (a) 제1 물체 식별이 제2 물체 식별과 매칭할 때 물체의 적절한 스캐닝 및 (b) 제1 물체 식별이 제2 물체 식별과 매칭하지 않을 때 물체의 부적절한 스캐닝을 결정하는 단계를 포함한다.
이 실시예의 변형에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는 2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 및 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 단계를 포함한다.
이 실시예의 변형에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는 2D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 단계; 및 훈련된 물체 인식 모델을 이용하여, 물체의 제1 물체 식별을 생성하는 단계를 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계는 3D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 단계; 및 훈련된 물체 인식 모델을 이용하여, 물체의 제2 물체 식별을 생성하는 단계를 포함한다.
이 실시예의 변형에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하기 전에, 방법은 3D 이미지 데이터를 2D 이미지 데이터와 비교하는 단계; 및 3D 이미지 데이터에 기초하여 2D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하는 단계를 더 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하기 전에, 방법은 3D 이미지 데이터를 2D 이미지 데이터와 비교하는 단계; 및 2D 이미지 데이터에 기초하여 3D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하는 단계를 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계는 3D 이미지 데이터로부터 물체의 하나 이상의 컬러 특징(color feature)을 결정하는 단계; 및 하나 이상의 컬러 특징으로부터 제2 물체 식별을 결정하는 단계를 포함한다.
이 실시예의 변형에서, 하나 이상의 컬러 특징은 물체의 컬러를 포함한다.
이 실시예의 일 변형에서, 하나 이상의 컬러 특징은 물체의 컬러 그래디언트를 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계는 3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 단계; 및 하나 이상의 기하학적 특징으로부터 제2 물체 식별을 결정하는 단계를 포함한다.
이 실시예의 변형에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는 2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 및 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 단계를 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터는 복수의 데이터 포인트들을 포함하는 포인트 클라우드를 포함하고, 데이터 포인트들 각각은 3D 이미징 장치로부터의 거리와 연관된 거리 값을 갖고, 3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것은 3D 이미지 데이터의 제1 서브세트에 기초하고 3D 이미지 데이터의 제2 서브세트에 기초하지 않으며, 3D 이미지 데이터의 제1 서브세트는 미리 결정된 범위 내에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제1 서브세트와 연관되고, 3D 이미지 데이터의 제2 서브세트는 미리 결정된 범위 밖에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제2 서브세트와 연관된다.
이 실시예의 변형에서, (a) 물체의 적절한 스캐닝을 결정하는 것에 응답하여, 방법은 물체와 연관된 데이터를 포함하도록 트랜잭션 로그(transaction log)를 처리하는 단계를 더 포함하고, (b) 물체의 부적절한 스캐닝을 결정하는 것에 응답하여, 방법은 (i) 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계, 및 (ii) 물체와 연관된 데이터를 포함하지 않도록 트랜잭션 로그를 처리하는 단계 중 적어도 하나를 더 포함한다.
다른 실시예에서, 바코드 판독기를 이용하여 물체의 부적절한 스캐닝을 식별하는 방법은 바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계; 바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계; 3D 이미지 데이터를 이용하여 스캐닝가능한 물체를 식별하는 단계; 및 2D 이미지 데이터를 이용하여 물체의 물체 식별을 결정하는데 실패 시에, 물체의 부적절한 스캐닝을 결정하고 경보 신호를 생성하는 단계를 포함한다.
다른 실시예에서, 본 발명은 바코드 판독기를 동작하는 방법이다. 방법은 바코드 판독기 내에 있고 제1 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계; 3D 이미지 데이터에 대해 얼굴 인식(facial recognition)을 수행하고, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계; 및 얼굴 데이터의 존재를 식별하는 것에 응답하여, 바코드 판독기 내의 2차원(2D) 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 단계를 포함한다.
이 실시예의 변형에서, 바코드 판독기는 프레젠테이션 바코드 판독기(presentation barcode reader)이고, 2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 단계는 조명 어셈블리(illumination assembly) 및 조준 어셈블리(aiming assembly) 중 적어도 하나의 강도를 감소시키는 단계를 포함한다.
이 실시예의 변형에서, 바코드 판독기는 프레젠테이션 바코드 판독기이고, 2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 단계는 후속 3D 이미지와 연관된 후속 3D 이미지 데이터에 대한 얼굴 인식의 후속 수행이 후속 3D 이미지 데이터에서 얼굴 데이터의 다른 존재를 식별하는데 실패할 때까지 2D 이미징 장치의 적어도 일부 부분의 활성화를 방지하는 단계를 포함한다.
이 실시예의 변형에서, 방법은 물체의 2D 이미지를 캡처하는 단계, 적어도 하나의 동작 파라미터에 따라 조정된 2D 이미징 장치를 이용하는 단계, 및 물체를 식별하기 위해 2D 이미지에서의 바코드를 디코딩하는 단계를 더 포함한다.
이 실시예의 변형에서, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계는 3D 이미징 장치의 제1 FOV에서 얼굴 데이터의 위치를 결정하는 단계를 포함하고, 2D 이미징 장치의 동작 파라미터들을 조정하는 단계는 얼굴 데이터의 위치에 기초하여 동작 파라미터들을 조정하는 단계를 포함한다.
이 실시예의 변형에서, 동작 파라미터들은 2D 이미징 장치의 제2 FOV를 포함한다.
이 실시예의 변형에서, 동작 파라미터들은 2D 이미징 장치의 초점 거리(focal distance)를 포함한다.
이 실시예의 변형에서, 2D 이미징 장치의 적어도 하나의 동작 파라미터는 노출 시간, 조명 펄스 지속기간 또는 이미징 줌 레벨이다.
다른 실시예에서, 바코드 판독기를 동작하는 방법은 바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계; 2D 이미지 데이터에 대해 얼굴 인식을 수행하고, 2D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계; 바코드 판독기 내에 있고 제1 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계; 및 2D 이미지 데이터에서 얼굴 데이터와 연관된 하나 이상의 3D 이미지 특징을 식별하는 것에 응답하여, (a) 바코드 판독기로부터의 얼굴 데이터의 거리를 결정하고, 거리에 기초하여 바코드 판독기의 스캐닝을 선택적으로 디스에이블링/인에이블링하는 것, (b) 얼굴 데이터에 대한 인체측정 데이터(anthropometric data)를 결정하고, 얼굴 데이터가 사람으로부터의 것인지의 여부를 결정하는 것, 및 (c) 바코드 판독기 내의 2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 것 중 적어도 하나를 수행하는 단계를 포함한다.
이 실시예의 변형에서, 2D 이미징 장치의 적어도 하나의 동작 파라미터는 노출 시간, 조명 펄스 지속기간, 초점 위치 또는 이미징 줌 레벨이다.
이 실시예의 변형에서, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계는 3D 이미징 장치의 제1 FOV에서 얼굴 데이터의 위치를 결정하는 단계를 포함하고, 2D 이미징 장치의 동작 파라미터들을 조정하는 단계는 얼굴 데이터의 위치에 기초하여 동작 파라미터들을 조정하는 단계를 포함한다.
다른 실시예에서, 본 발명은 바코드 판독기를 갖는 포인트-오브-세일(point-of-sale) 스캐닝 스테이션을 동작하는 방법이다. 방법은 포인트-오브-세일 스캐닝 스테이션과 연관되고 제1 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계를 포함한다. 방법은 3D 이미지 데이터에 대해 얼굴 인식을 수행하고, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계; 얼굴 데이터에 대해 얼굴 식별을 수행하고, 얼굴 식별을 인증하는 단계; 및 얼굴 식별을 인증하는 것에 응답하여, (a) 바코드 판독기 내의 2D 이미징 장치를 이용하여 물체의 2차원(2D) 이미지를 캡처하고, 물체를 식별하기 위해 2D 이미지에서 바코드를 디코딩하는 것, 및 (b) 2D 이미지의 이미지에서 캡처된 바코드의 디코딩을 방지하거나 후속 스캐닝된 물품(item)을 스캐닝된 물품들의 트랜잭션 로그에 추가하는 것을 방지하기 위해 해제 조건(release condition)을 만족시키는 것 중 적어도 하나를 수행하는 단계를 더 포함한다.
이 실시예에 대한 변형에서, 얼굴 식별을 인증하는 단계는 얼굴 식별을 인가된 사용자 데이터베이스와 비교하는 단계를 포함한다. 이 실시예에 대한 변형에서, 얼굴 식별을 인증하는 단계는 얼굴 데이터가 3D 이미징 장치의 제1 FOV 내에서 수용가능한 위치에 있다고 결정하는 단계를 포함한다. 이 실시예에 대한 변형에서, 3D 이미지 데이터에 대해 얼굴 인식을 수행하고, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계 전에, 방법은 3D 이미지 데이터에서 환경 특징들을 식별하는 단계 - 환경 특징들은 물체의 외부의 3D 이미지에서의 특징들임 -; 및 3D 이미지 데이터로부터 환경 특징들을 제거하는 단계를 포함한다.
다른 실시예에서, 머신 비전 방법은 2차원(2D) 이미징 장치를 이용하여, 물체의 2D 이미지를 캡처하고, 2D 이미지에서 물체의 바코드를 식별하고, 2D 이미지에서의 바코드로부터 물체의 하나 이상의 3차원(3D) 물체 특징을 결정하는 단계를 포함한다. 방법은 머신 비전 시스템의 3차원(3D) 이미징 장치를 이용하여, 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계를 더 포함한다. 방법은 하나 이상의 3D 물체 특징의 존재에 대해 3D 이미지 데이터를 검사하는 단계; 하나 이상의 3D 물체 특징 중 적어도 하나가 3D 이미지 데이터에 없다고 결정하는 것에 응답하여, 디지털 고장 검출 신호(digital fault detection signal)를 머신 비전 시스템의 사용자에게 제공하는 단계; 및 하나 이상의 3D 물체 특징 중 적어도 하나가 3D 이미지 데이터로부터 존재한다고 결정하는 것에 응답하여, 머신 비전 시스템과 연관된 적어도 하나의 파라미터를 변경하는 단계를 포함한다.
이 방법의 일부 변형예들에서, 2D 이미지에서의 바코드로부터 물체의 하나 이상의 3D 물체 특징을 결정하는 단계는 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 물체 식별을 결정하는 단계; 및 물체 식별로부터, 물체의 하나 이상의 3D 물체 특징을 결정하는 단계를 포함한다. 이 방법의 일부 변형예들에서, 2D 이미지에서의 바코드로부터 물체의 하나 이상의 3D 물체 특징을 결정하는 단계는 2D 이미지에서의 바코드의 위치로부터 물체의 배향(orientation)을 결정하는 단계; 및 물체의 배향으로부터, 하나 이상의 3D 물체 특징을 제1 FOV 내의 이용가능한 3D 물체 특징들의 서브세트로서 결정하는 단계를 포함한다.
이 방법의 일부 변형들에서, 하나 이상의 3D 물체 특징은 치수 특징(dimensional feature) 및 형상 특징(shape feature) 중 적어도 하나이다.
이 실시예의 다른 변형에서, 머신 비전 시스템과 연관된 적어도 하나의 파라미터를 변경하는 단계는 머신 비전 시스템의 2D 이미징 장치의 노출 시간, 머신 비전 시스템의 조명 어셈블리의 조명 펄스 지속기간, 머신 비전 시스템의 2D 이미징 장치의 초점 위치, 2D 이미징 장치의 이미징 줌 레벨, 조명 밝기, 조명 파장, 또는 머신 비전 시스템의 조명 소스를 변경하는 단계를 포함한다. 일부 그러한 실시예들에서, 조명 소스는 확산 조명 소스 또는 직접 조명 소스이다. 일부 그러한 실시예들에서, 조명 소스를 변경하는 단계는 제1 파장에서 방출하는 조명 소스로부터 제1 파장과는 상이한 제2 파장에서 방출하는 조명 소스로 변경하는 단계를 포함한다.
다른 실시예에서, 본 발명은 스캐닝 스테이션이다. 스캐닝 스테이션은 2차원(2D) 이미징 장치를 포함하고, 2D 이미징 장치는 2D 이미징 장치의 시야(FOV)에서 물체의 2D 이미지를 캡처하고; 2D 이미지에서 바코드를 식별하고; 바코드 페이로드로부터 물체를 식별하도록 구성된다. 스캐닝 스테이션은 3D 이미징 장치를 더 포함하고, 3D 이미징 장치는 3D 이미징 장치의 FOV에서 물체의 3D 이미지를 캡처하고; 3D 이미지로부터 3D 이미지 데이터를 생성하도록 구성된다. 스캐닝 스테이션은 프로세서, 및 명령어들을 저장하는 메모리를 더 포함하고, 명령어들은 실행될 때 프로세서로 하여금, 3D 이미지 데이터로부터 하나 이상의 3D 물체 특징을 식별하고; 하나 이상의 3D 물체 특징을 물체의 아이덴티티(identity)에 대해 평가하고; 하나 이상의 3D 물체 특징을 물체의 아이덴티티에 대해 평가하는 것에 응답하여, 스캐닝 스테이션의 동작 파라미터를 조정하게 한다.
이 실시예의 변형에서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 물체 특징은 물체의 기하학적 특징들, 물체의 컬러, 물체의 컬러 그래디언트 중 적어도 하나를 포함한다. 이 실시예의 다른 변형에서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 물체 특징은 3D 이미징 장치의 FOV에서의 물체의 위치를 포함한다. 일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미징 장치의 FOV에서의 물체의 위치가 2D 이미징 장치를 이용하여 물체의 2D 이미지를 캡처하기 위해 수용가능한 범위에 있는지를 결정하고; 3D 이미징 장치의 FOV에서의 물체의 위치가 수용가능한 범위에 있지 않는 것에 응답하여, 해제 조건이 만족될 때까지 2D 이미징 장치에 의해 후속 2D 이미지를 캡처하는 것을 삼가하게 하는 명령어들을 더 저장한다.
이 실시예의 다른 변형에서, 동작 파라미터는 2D 이미징 장치에서의 조명 장치의 조명 강도, 2D 이미징 장치의 FOV, 및 2D 이미징 장치의 초점 거리 중 적어도 하나를 포함한다. 이 실시예의 다른 변형에서, 스캐닝 스테이션은 타워 부분(tower portion) 및 플래터 부분(platter portion)을 갖는 바이옵틱 스캐너이다. 일부 변형들에서, 3D 이미징 장치는 타워 부분 및 플래터 부분 중 하나이고, 2D 이미징 장치는 타워 부분 및 플래터 부분 중 다른 하나에 있다. 일부 변형들에서, 3D 이미징 장치 및 2D 이미지 장치는 모두 타워 부분 및 플래터 부분 중 하나에 있다.
일부 변형들에서, 스캐닝 스테이션은 플래터 부분 내에 계량 플래터(weigh platter)를 더 포함하고, 계량 플래터는 계량 플래터 상에 배치된 물체의 무게를 계량 모듈(weighing module)을 통해 측정하도록 구성되고, 계량 플래터는 계량 표면을 갖고, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터로부터, 계량 플래터에 대한 물체의 위치를 결정하고; 계량 플래터에 대한 물체의 위치가 계량 플래터 고장 위치(weigh platter fault position)에 있는 것에 응답하여, 해제 조건이 만족될 때까지, 계량 모듈의 동작을 제1 상태로부터 제2 상태로 수정하게 하는 명령어들을 더 저장한다. 일부 변형들에서, 계량 모듈의 제1 상태는 계량 플래터 상에 배치된 물체의 무게의 보고를 허용하고, 계량 모듈의 제2 상태는 계량 플래터 상에 배치된 물체의 무게의 보고를 방지한다. 일부 변형들에서, 계량 플래터 고장 위치는 물체의 적어도 일부가 계량 플래터 위로 돌출하는 오버행 위치(overhang position)를 포함한다. 일부 변형들에서, 계량 플래터 고장 위치는 물체가 계량 플래터 위에 적어도 부분적으로 매달리는 매달림 위치(suspended position)를 포함한다.
이 실시예의 일부 변형들에서, 스캐닝 스테이션은 플래터 부분 내에 계량 플래터를 더 포함하고, 계량 플래터는 계량 플래터 상에 배치된 물체의 무게를 계량 모듈을 통해 측정하도록 구성되고, 계량 플래터는 계량 표면을 갖고, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터로부터, 물체와 접촉하고 있는 조작자의 손을 검출하고; 물체와 접촉하고 있는 조작자의 손의 검출에 응답하여, 해제 조건이 만족될 때까지, 계량 모듈의 동작을 제1 상태로부터 제2 상태로 수정하게 하는 명령어들을 더 저장한다.
다른 실시예에서, 본 발명은 스캐닝 스테이션이다. 스캐닝 스테이션은 2D 이미징 장치의 시야에서 물체의 2D 이미지를 캡처하고, 2D 이미지로부터 2D 이미지 데이터를 생성하도록 구성된 2D 이미징 장치; 및 3D 이미징 장치의 시야에서 물체의 3D 이미지를 캡처하고, 3D 이미지로부터 3D 이미지 데이터를 생성하도록 구성된 3D 이미징 장치를 포함한다. 스캐닝 스테이션은 프로세서, 및 명령어들을 저장하는 메모리를 더 포함하고, 명령어들은 실행될 때 프로세서로 하여금, 3D 이미지 데이터를 2D 이미지 데이터와 비교하고, 물체에 대해 인증 프로세스를 수행하게 한다.
이 실시예의 변형에서, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하고; 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하고; 제1 물체 식별을 제2 물체 식별과 비교하고, (a) 제1 물체 식별이 제2 물체 식별과 매칭할 때 물체의 적절한 스캐닝을 결정하고, (b) 제1 물체 식별이 제2 물체 식별과 매칭하지 않을 때 물체의 부적절한 스캐닝을 결정하게 하는 명령어들을 더 저장한다. 이 실시예의 다른 변형에서, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 것; 및 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 것에 의해, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하게 하는 명령어들을 더 저장한다. 이 실시예의 다른 변형에서, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 것; 및 훈련된 물체 인식 모델을 이용하여, 물체의 제1 물체 식별을 생성하는 것에 의해, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하게 하는 명령어들을 더 저장한다.
일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 것; 및 훈련된 물체 인식 모델을 이용하여, 물체의 제2 물체 식별을 생성하는 것에 의해, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하게 하는 명령어들을 더 저장한다. 일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하기 전에, 3D 이미지 데이터를 2D 이미지 데이터와 비교하고; 3D 이미지 데이터에 기초하여 2D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하게 하는 명령어들을 더 저장한다. 일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하기 전에, 3D 이미지 데이터를 2D 이미지 데이터와 비교하고; 2D 이미지 데이터에 기초하여 3D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하게 하는 명령어들을 더 저장한다. 일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터로부터 물체의 하나 이상의 컬러 특징을 결정하는 것; 및 하나 이상의 컬러 특징으로부터 제2 물체 식별을 결정하는 것에 의해, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하게 하는 명령어들을 더 저장한다. 일부 변형들에서, 하나 이상의 컬러 특징은 물체의 컬러를 포함한다. 일부 변형들에서, 하나 이상의 컬러 특징은 물체의 컬러 그래디언트를 포함한다. 일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것; 및 하나 이상의 기하학적 특징으로부터 제2 물체 식별을 결정하는 것에 의해, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하게 하는 명령어들을 더 저장한다.
일부 변형들에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는 2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 및 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 단계를 포함한다.
일부 변형들에서, 3D 이미지 데이터는 복수의 데이터 포인트들을 포함하는 포인트 클라우드를 포함하고, 데이터 포인트들 각각은 3D 이미징 장치로부터의 거리와 연관된 거리 값을 갖고, 3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것은 3D 이미지 데이터의 제1 서브세트에 기초하고 3D 이미지 데이터의 제2 서브세트에 기초하지 않으며, 3D 이미지 데이터의 제1 서브세트는 미리 결정된 범위 내에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제1 서브세트와 연관되고, 3D 이미지 데이터의 제2 서브세트는 미리 결정된 범위 밖에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제2 서브세트와 연관된다.
일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, (a) 물체의 적절한 스캐닝을 결정하는 것에 응답하여, 프로세서로 하여금 물체와 연관된 데이터를 포함하도록 트랜잭션 로그를 처리하고, (b) 물체의 부적절한 스캐닝을 결정하는 것에 응답하여, (i) 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 것, 및 (ii) 물체와 연관된 데이터를 포함하지 않도록 트랜잭션 로그를 처리하는 것 중 적어도 하나를 수행하게 하는 명령어들을 더 저장한다.
일부 변형예들에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터로부터, 2D 이미징 장치에 대한 물체의 스캐닝 방향을 결정하고; 스캐닝 방향이 부적절한 스캐닝 방향인 것에 응답하여, 해제 조건이 만족될 때까지 2D 이미징 장치에 의한 2D 이미지의 캡처링을 방지하게 하는 명령어들을 더 저장한다.
일부 변형들에서, 물체는 생산물(produce)이고, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별로서, 물체의 하나 이상의 컬러를 결정하고; 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별로서, 물체의 형상 또는 치수를 결정하고; 제1 물체 식별을 제2 물체 식별과 비교하고, 생산물의 타입을 결정하게 하는 명령어들을 더 저장한다.
일부 변형들에서, 물체는 생산물이고, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별로서, 물체의 하나 이상의 컬러를 결정하고; 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별로서, 물체의 형상 또는 치수를 결정하고; 제1 물체 식별을 제2 물체 식별과 비교하고, 생산물의 리스팅 잠재적 타입들(listing potential types)을 결정하고; 선택을 위해 리스팅을 스캐닝 스테이션의 사용자에게 제시하게 하는 명령어들을 더 저장한다.
일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별로서, 부분적으로 디코딩가능한 바코드의 존재를 결정하고, 부분적으로 디코딩가능한 바코드로부터 잠재적인 물체 매치들(potential object matches)의 리스팅을 결정하고; 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별로서, 물체의 형상 또는 치수를 결정하고; 제1 물체 식별을 제2 물체 식별과 비교하고, 잠재적인 물체 매치들의 리스팅 중 하나 이상이 3D 이미지 데이터로부터 제2 물체 식별에 표시된 형상 또는 치수에 대응하는지를 결정하게 하는 명령어들을 더 저장한다.
다른 실시예에서, 본 발명은 스캐닝 스테이션이다. 스캐닝 스테이션은 2차원(2D) 이미징 장치의 시야(FOV)에서 물체의 2D 이미지를 캡처하고, 바코드 페이로드로부터 물체를 식별하기 위해 2D 이미지에서 바코드를 식별하도록 구성된 2D 이미징 장치를 포함한다. 스캐닝 스테이션은 3D 이미징 장치의 FOV에서 물체의 3D 이미지를 캡처하고, 3D 이미지로부터 3D 이미지 데이터를 생성하도록 구성된 3D 이미징 장치를 더 포함한다. 스캐닝 스테이션은 프로세서, 및 명령어들을 저장하는 메모리를 더 포함하고, 명령어들은, 실행될 때, 프로세서로 하여금, 물체의 3D 이미지를 캡처하고, 3D 이미지 데이터를 생성하고; 3D 이미지 데이터로부터 물체의 하나 이상의 3D 물체 특징을 식별하고; (a) 3D 이미지 데이터로 물체 인식 모델을 훈련하는 것 또는 (b) 3D 이미지 데이터를 이용하여 물체 인식을 수행하는 것 중 하나를 수행하게 한다.
다른 실시예에서, 본 발명은 시스템이다. 시스템은 제1 시야(FOV)를 가지며 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하도록 구성되는 2차원(2D) 이미징 장치를 포함하고, 2D 이미지는 2D 이미지에 대응하는 2D 이미지 데이터로서 저장된다. 시스템은 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 더 포함하고, 3D 이미징 장치는 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하도록 구성되고, 3D 이미지는 3D 이미지에 대응하는 3D 이미지 데이터로서 저장된다. 시스템은, 프로세서, 및 명령어들을 저장하는 메모리를 더 포함하고, 명령어들은, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터로부터 제2 환경 내의 하나 이상의 3D 이미지 특징을 식별하고; 하나 이상의 3D 이미지 특징을 2D 이미지 데이터에서의 적어도 하나 이상의 2D 이미지 특징과 상관시킴으로써, 향상된 2D 이미지 데이터가 되도록 2D 이미지 데이터를 향상시키고, (a) 향상된 2D 이미지 데이터 내에서 캡처된 바코드를 디코딩하는 것, (b) 향상된 2D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (c) 향상된 2D 이미지 데이터 내에서 물체를 인식하는 것, 및 (d) 바코드 판독기의 조작자에 의해 수행된 액션을 식별하는 것 중 적어도 하나를 위해 향상된 2D 이미지 데이터를 처리하게 한다.
이 실시예의 변형에서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징을 포함한다. 이 실시예의 다른 변형에서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체에 대응하는 컬러 또는 컬러 그래디언트를 포함한다. 이 실시예의 다른 변형에서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위 내에 위치되는 하나 이상의 3D 이미지 특징을 식별함으로써 하나 이상의 3D 이미지 특징을 식별하게 하는 명령어들을 더 저장한다. 일부 변형예들에서, 메모리는, 실행될 때, 프로세서로 하여금, 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 적어도 하나 이상의 2D 이미지 특징을 필터링함으로써 2D 이미지 데이터를 향상시키게 하는 명령어들을 더 저장한다. 일부 변형들에서, 메모리는, 실행될 때, 프로세서로 하여금, 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 적어도 하나 이상의 2D 이미지 특징을 필터링함으로써 2D 이미지 데이터를 향상시키게 하는 명령어들을 더 저장한다. 일부 변형들에서, 시스템은 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기를 더 포함하고, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장된다. 일부 변형들에서, 시스템은 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기를 더 포함하고, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 연장된다.
이 실시예의 다른 변형에서, 하나 이상의 3D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함한다.
이 실시예의 다른 변형에서, 메모리는, 실행될 때, 프로세서로 하여금, 조작자에 의해 수행된 액션을 식별함으로써 향상된 2D 이미지 데이터를 처리하고; 조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하게 하는 명령어들을 더 저장한다.
아래의 상세한 설명과 함께, 유사한 참조 번호들이 별개의 도면들 전반에 걸쳐 동일하거나 기능적으로 유사한 요소들을 지칭하는 첨부 도면들은 명세서에 포함되고 명세서의 일부를 형성하고, 청구된 발명을 포함하는 개념들의 실시예들을 추가로 예시하고, 그 실시예들의 다양한 원리들 및 이점들을 설명하는 역할을 한다.
도 1은 예시적인 포인트-오브-세일(POS) 시스템에서 구현된, 2차원(2D) 이미징 장치 및 3차원(3D) 이미징 장치를 갖는 바이옵티컬(bi-optical)("바이옵틱"이라고도 지칭됨) 기호 판독기를 갖는 예시적인 이미징 시스템의 사시도이다.
도 2는 예시적인 POS 시스템에서 구현된, 2D 이미징 장치 및 3D 이미징 장치를 갖는 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도이다.
도 3은 예시적인 POS 시스템에서 구현된, 2D 이미징 장치 및 3D 이미징 장치를 갖는 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도이다.
도 4a 및 도 4b는 각각, 내부 3D 이미징 장치를 보여주고 그 3D 이미징 장치의 시야를 보여주는, 예시적인 POS 시스템에서 구현된, 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도 및 단면도이다.
도 5는 예시적인 POS 시스템에서 구현된, 판독기 하우징 내의 연관된 2D 이미징 장치 및 판독기 하우징 외부의 연관된 3D 이미징 장치를 갖는 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도이다.
도 6은 2D 이미징 장치 및 3D 이미징 장치를 갖는 핸드헬드 기호 판독기를 갖는 다른 예시적 이미징의 사시도이다.
도 7은 도 1 내지 도 6의 이미징 시스템들의 것들을 포함하는 본 명세서에서 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한 스캐닝 스테이션 및 원격 서버의 예시적인 논리 회로의 블록도를 도시한다.
도 8은 캡처된 2D 및 3D 이미지들을 이용하는 바코드 스캐닝을 위한 기술들을 포함하는 본 명세서에서 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 9a는 제1 시야의 2D 이미징 장치에 의해 캡처된 2D 이미지를 도시한다.
도 9b는 제2 시야의 3D 이미징 장치에 의해 캡처된 3D 이미지의 일부를 도시한다.
도 9c는 3D 이미지와 연관된 이미지 특징들을 추출함으로써 생성된 향상된 2D 이미지를 도시한다.
도 10은 캡처된 2D 및 3D 이미지들을 이용하여 데이터를 처리하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 11a는 제1 시야의 3D 이미징 장치에 의해 캡처된 3D 이미지를 도시한다.
도 11b는 제2 시야의 2D 이미징 장치에 의해 캡처된 2D 이미지의 일부를 도시한다.
도 11c는 2D 이미지와 연관된 이미지 특징들을 추출함으로써 생성된 향상된 3D 이미지를 도시한다.
도 12는 캡처된 2D 이미지들 및 3D 이미지들을 이용하여 적절한 스캐닝 및 부적절한 스캐닝을 식별하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 13은 캡처된 3D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 14a는 시야의 3D 이미징 장치에 의해 캡처된, 스캐닝 스테이션에서 3D 이미징 장치로부터 제1 거리에 있는 얼굴을 보여주는 3D 이미지를 도시한다.
도 14b는 시야의 3D 이미징 장치에 의해 캡처된, 스캐닝 스테이션에서 3D 이미징 장치로부터 제2 거리에 있는 얼굴을 보여주는 3D 이미지를 도시한다.
도 15는 캡처된 2D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 16은 캡처된 3D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 17은 캡처된 3D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 머신 비전 시스템에서 도 18의 논리 회로에 의해 구현될 수 있는 다른 예시적인 프로세스의 흐름도이다.
도 18은 캡처된 2D 및 3D 이미지들을 이용한 머신 비전 분석을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한 예시적인 머신 비전 시스템의 블록도를 도시한다.
통상의 기술자들이라면, 도면들에서의 요소들은 단순성 및 명료성을 위해 예시된 것이고, 반드시 축척에 맞게 그려지지 않았다는 것을 알 것이다. 예를 들어, 도면들에서의 요소들 중 일부의 치수들은 본 발명의 실시예들의 이해를 개선하는 것을 돕기 위해 다른 요소들에 비해 과장될 수 있다.
장치 및 방법 컴포넌트들은 적절한 경우 도면들에서 종래의 심볼들에 의해 표현되었고, 본 명세서의 설명의 혜택을 받는 본 기술분야의 통상의 기술자들에게 쉽게 명백할 상세들로 본 개시내용을 모호하게 하지 않도록 본 발명의 실시예들을 이해하는 것과 관련된 특정 상세들만을 도시한다.
도 1은 예시적인 포인트-오브-세일(POS) 시스템에서 구현된, 2차원(2D) 이미징 장치 및 3차원(3D) 이미징 장치를 갖는 바이옵티컬(bi-optical)("바이옵틱"이라고도 지칭됨) 기호 판독기를 갖는 예시적인 이미징 시스템의 사시도이다.
도 2는 예시적인 POS 시스템에서 구현된, 2D 이미징 장치 및 3D 이미징 장치를 갖는 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도이다.
도 3은 예시적인 POS 시스템에서 구현된, 2D 이미징 장치 및 3D 이미징 장치를 갖는 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도이다.
도 4a 및 도 4b는 각각, 내부 3D 이미징 장치를 보여주고 그 3D 이미징 장치의 시야를 보여주는, 예시적인 POS 시스템에서 구현된, 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도 및 단면도이다.
도 5는 예시적인 POS 시스템에서 구현된, 판독기 하우징 내의 연관된 2D 이미징 장치 및 판독기 하우징 외부의 연관된 3D 이미징 장치를 갖는 바이옵틱 기호 판독기를 갖는 다른 예시적인 이미징 시스템의 사시도이다.
도 6은 2D 이미징 장치 및 3D 이미징 장치를 갖는 핸드헬드 기호 판독기를 갖는 다른 예시적 이미징의 사시도이다.
도 7은 도 1 내지 도 6의 이미징 시스템들의 것들을 포함하는 본 명세서에서 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한 스캐닝 스테이션 및 원격 서버의 예시적인 논리 회로의 블록도를 도시한다.
도 8은 캡처된 2D 및 3D 이미지들을 이용하는 바코드 스캐닝을 위한 기술들을 포함하는 본 명세서에서 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 9a는 제1 시야의 2D 이미징 장치에 의해 캡처된 2D 이미지를 도시한다.
도 9b는 제2 시야의 3D 이미징 장치에 의해 캡처된 3D 이미지의 일부를 도시한다.
도 9c는 3D 이미지와 연관된 이미지 특징들을 추출함으로써 생성된 향상된 2D 이미지를 도시한다.
도 10은 캡처된 2D 및 3D 이미지들을 이용하여 데이터를 처리하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 11a는 제1 시야의 3D 이미징 장치에 의해 캡처된 3D 이미지를 도시한다.
도 11b는 제2 시야의 2D 이미징 장치에 의해 캡처된 2D 이미지의 일부를 도시한다.
도 11c는 2D 이미지와 연관된 이미지 특징들을 추출함으로써 생성된 향상된 3D 이미지를 도시한다.
도 12는 캡처된 2D 이미지들 및 3D 이미지들을 이용하여 적절한 스캐닝 및 부적절한 스캐닝을 식별하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 13은 캡처된 3D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 14a는 시야의 3D 이미징 장치에 의해 캡처된, 스캐닝 스테이션에서 3D 이미징 장치로부터 제1 거리에 있는 얼굴을 보여주는 3D 이미지를 도시한다.
도 14b는 시야의 3D 이미징 장치에 의해 캡처된, 스캐닝 스테이션에서 3D 이미징 장치로부터 제2 거리에 있는 얼굴을 보여주는 3D 이미지를 도시한다.
도 15는 캡처된 2D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 16은 캡처된 3D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 도 7의 논리 회로에 의해 구현될 수 있는 예시적인 프로세스의 흐름도이다.
도 17은 캡처된 3D 이미지들을 이용하여 얼굴 인식을 수행하기 위한 기법들을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한, 머신 비전 시스템에서 도 18의 논리 회로에 의해 구현될 수 있는 다른 예시적인 프로세스의 흐름도이다.
도 18은 캡처된 2D 및 3D 이미지들을 이용한 머신 비전 분석을 포함한 본 명세서에 설명된 예시적인 방법들 및/또는 동작들을 구현하기 위한 예시적인 머신 비전 시스템의 블록도를 도시한다.
통상의 기술자들이라면, 도면들에서의 요소들은 단순성 및 명료성을 위해 예시된 것이고, 반드시 축척에 맞게 그려지지 않았다는 것을 알 것이다. 예를 들어, 도면들에서의 요소들 중 일부의 치수들은 본 발명의 실시예들의 이해를 개선하는 것을 돕기 위해 다른 요소들에 비해 과장될 수 있다.
장치 및 방법 컴포넌트들은 적절한 경우 도면들에서 종래의 심볼들에 의해 표현되었고, 본 명세서의 설명의 혜택을 받는 본 기술분야의 통상의 기술자들에게 쉽게 명백할 상세들로 본 개시내용을 모호하게 하지 않도록 본 발명의 실시예들을 이해하는 것과 관련된 특정 상세들만을 도시한다.
도 1은, 이 설명을 수반하는 도면들의 흐름도들에 의해 표현될 수 있는, 본 명세서에 설명된 예시적 방법들의 동작들을 구현할 수 있는 예시적인 이미징 시스템의 사시도를 도시한다. 도시된 예에서, 이미징 시스템(100)은 카운터(104)를 갖는 워크스테이션(102), ("바이옵틱"이라고도 지칭되는) 바이옵티컬 기호 판독기(106)(본 명세서에서 설명된 도난 검출 및 방지, 얼굴 인식, 물체 인식, 및 인증 시스템들 및 방법들에서 이용될 수 있음), 및 각각이 적어도 부분적으로 기호 판독기(106)의 하우징 내에 위치되고, 본 명세서에서 바코드 판독기라고도 지칭되는 제1 카메라(107) 및 제2 카메라(109)를 갖는 포인트-오브-세일(POS) 시스템의 형태이다. 본 명세서의 예에서, 기호 판독기(106)는 바코드 판독기라고 지칭된다.
본 명세서의 예들에서, 카메라들(107 및 109)(뿐만 아니라 도 2 내지 도 4의 것들을 포함하는 다른 예들에서 설명된 다른 카메라들)은 이미지 획득 어셈블리들이라고도 지칭될 수 있고, 컬러 카메라, 단색 카메라, 또는 물체의 이미지들을 획득하도록 구성된 다른 카메라로서 구현될 수 있다. 도시된 예에서, 카메라(107)는 바코드 판독기(106)의 수직으로 연장하는 상부 하우징(114)(상부 부분 또는 타워 부분이라고도 지칭됨) 내에 있고, 카메라(109)는 수평으로 연장하는 하부 하우징(112)(하부 부분 또는 플래터 부분이라고도 지칭됨) 내에 있다. 상부 하우징(114)은 카메라(107)를 위한 수평으로 연장하는 시야를 특징으로 한다. 하부 하우징(112)은 카메라(109)에 대한 수직으로 연장하는 시야를 특징으로 한다. 일부 예들에서, 상부 하우징(114) 및 하부 하우징(112) 각각은, 예를 들어, 각각의 카메라들이 카메라 센서의 상이한 픽셀 영역들로부터 연장하는 상이한 시야들을 갖도록 (예를 들어, 각도 반사기들을 통해) 구성되는 경우, 2개 이상의 시야를 가질 수 있다.
일부 예들에서, 하부 하우징(112)은 계량 플래터 어셈블리의 일부로서 계량 플래터(111)를 포함하고, 계량 플래터 어셈블리는 일반적으로 계량 플래터(111) 및 상단 부분(top portion)(116) 또는 그의 일부 부분의 예시적인 표면 상에 배치된 물체의 무게를 측정하도록 구성된 스케일(scale)을 포함할 것이다. 그 상단 부분(116)의 표면은 제1 횡방향 평면에서 연장되고, 계량 플래터(111)를 적어도 부분적으로 둘러싸는 워크스테이션(102)의 예시적인 상단 표면(124)에 일반적으로 또는 실질적으로 평행하다.
계량 플래터(111)는 예시적인 광 방출 어셈블리(128) 및 예시적인 광 검출 어셈블리(130)를 포함하는 오프-플래터 검출 어셈블리(off-platter detection assembly)(126)의 일부일 수 있다. 예에서, 광 방출 어셈블리(128)의 광 소스(예시의 명확성을 위해 도시되지 않음)은 하나 이상의 광 펄스들을 방출하도록 제어되고, 광 검출 어셈블리(130)의 광 센서(예시의 명확성을 위해 도시되지 않음)는 광을 캡처하며, 오프-플래터 검출 어셈블리(126)는 물품, 물체 등의 일부가 오프-플래터 계량 조건으로서 계량 플래터(111)의 에지 상에 놓여 있지 않거나 계량 플래터(111)의 에지에 걸쳐 연장되고 있을 때를 검출하기 위해 광 검출 정보를 처리할 수 있다. 단순화를 위해, 단일 광 방출 어셈블리(128)만이 그리고 단일 광 검출 어셈블리(130)만이 본 명세서에 설명되지만, 오프-플래터 검출 어셈블리(126)는 또한 임의의 수 및/또는 타입(들)의 광 방출 어셈블리들을 포함할 수 있고, 임의의 수 및/또는 타입(들)의 광 검출 어셈블리들은 오프-플래터 계량 조건을 검출하도록 구현될 수 있다는 것을 이해할 것이다. 오프-플래터 검출을 갖는 다른 예시적인 기호 판독기들은 도 5 내지 도 7을 참조하여 논의된다.
도 1의 도시된 예에서, 카메라들(107, 109) 중 하나는 2D 카메라이고, 카메라들 중 다른 하나는 3D 카메라이다. 즉, 다양한 실시예들에서, 상부 하우징(114)은 2D 카메라 또는 3D 카메라를 포함할 수 있는 한편, 하부 하우징(112)은 3D 카메라 또는 2D 카메라를 포함할 수 있다.
카메라들(107 및 109)이 각각 상이한 하우징 부분에 있는 예시적인 구성으로 도시되지만, 본 명세서에서의 이미징 시스템들은 임의의 수의 상이한 디바이스들에 하우징되는 임의의 수의 이미저들을 포함할 수 있다. 도 2는, 예를 들어, 도 1의 이미징 시스템(100)과 유사한 특징들(및 유사한 참조 번호들)을 갖지만, 카메라 어셈블리(207)가 하부 하우징(112)에 개별 카메라 없이 상부 하우징(114) 내에 각각 2D 카메라(207A) 및 3D 카메라(207B) 둘 다를 포함하는 이미징 시스템(100')을 도시한다. 도 3은 도 1의 이미징 시스템(100)과 유사한 특징들(및 유사한 참조 번호들)을 갖지만, 상부 하우징(114)에 개별 카메라가 없는, 하부 하우징(114)을 각각 갖는 2D 카메라(307A) 및 3D 카메라(307B)를 포함하는 카메라 어셈블리(307)를 갖는 다른 이미징 시스템(100")을 도시한다.
또한, 도 1 내지 도 3은 이미저(각각의 도면은 상이한 카메라 구성을 도시함)로서 예시적인 바이옵틱 바코드 판독기들(106)을 도시하며, 다른 예들에서 이미저는 핸드헬드 바코드 판독기와 같은 핸드헬드 디바이스, 또는 베이스(base)에서 제자리에 유지되고 "프레젠테이션 모드"라고 하는 것 내에서 동작되는 바코드 판독기와 같은 고정 이미저일 수 있다. 도 6에 도시된 예는 이하 추가로 논의된다.
도 1로 돌아가면, 하부 하우징(112)은 플래터 또는 제1 하우징 부분으로 지칭될 수 있고, 상부 하우징(114)은 타워, 상승된(raised), 또는 제2 하우징 부분으로 지칭될 수 있다. 하부 하우징(112)은 제1 광학적 투과성 윈도우(optically transmissive window)(118)가 바코드 판독기(106)의 전체 구성 및 배치에 대해 일반적으로 수평 평면을 따라 그 안에 위치되는 상단 부분(116)을 포함한다. 윈도우(118)는 도 1의 예에서 카메라(109)의 시야(들)와 일치하고, 도 3의 예에서 카메라 어셈블리(307)의 시야(들)와 일치한다. 일부 예들에서, 상단 부분(116)은 제거가능 또는 제거불가능 플래터(예를 들어, 계량 플래터)를 포함한다. 상부 하우징(114)은 일반적으로 수직 평면을 따라 그곳에 위치되고 카메라(107)의 시야(들)와 일치하는 제2 광학적 투과성 윈도우(120)를 포함한다.
도 1 뿐만 아니라 도 2 내지 도 4의 도시된 예에서, 바코드 판독기(106)는 사용자(108), 예를 들어, 고객 또는 판매원에 의해 스캐닝된 물체, 특히 예를 들어 박스와 같은 제품(122)의 이미지들을 캡처한다. 일부 구현들에서, 바코드 판독기(106)는 제1 및 제2 광학적 투과성 윈도우들(118, 120) 중 하나를 통해 제품(122)의 이러한 이미지들을 캡처한다. 예를 들어, 바코드 판독기(106) 내부에 하우징된 디지털 이미징 센서(들)의 시야 FOV 내에 제품(122)을 위치시킴으로써 이미지 캡처가 행해질 수 있다. 바코드 판독기(106)는 이러한 윈도우들(118, 120)을 통해 이미지들을 캡처하여, 제품(122)과 연관된 바코드(124)가 제1 및 제2 광학적 투과성 윈도우들(118, 120) 중 적어도 하나를 통해 디지털 방식으로 판독되게 한다. 또한, 일부 예들에서, 제품 상의 그래픽(126)도 역시 이들 윈도우(118, 120)를 통해 캡처된 이미지들을 통해 디지털 방식으로 분석될 수 있다.
도 1의 예시적인 구성들에서, 제품(122)의 2D 이미지들은 카메라(107)의 시야(FOV)를 통해 카메라(107)에 의해 캡처되고, 각각의 2D 이미지는 그 FOV 내에 나타나는 환경의 것이다. 즉, 예에서, 카메라(107)는 2D 이미지들을 캡처하고, 예를 들어, 스캐닝된 제품(122)이 바코드(124)와 매칭되는 것을 입증하기 위해 처리될 수 있는 2D 이미지 데이터를 생성하는 2D 카메라이고/이거나, 이미지 데이터가 데이터베이스를 채우는데 이용될 수 있다.
도 1의 예시적인 구성들에서, 제품(122)의 3D 이미지들은 카메라(109)의 FOV를 통해 카메라(109)에 의해 캡처되고, 각각의 2D 이미지는 그 FOV 내에 나타나는 환경의 것이다. 즉, 예에서, 카메라(109)는 3D 이미지들을 캡처하고, 예를 들어, 스캐닝된 제품(122)이 바코드(124)와 매칭되는 것을 입증하기 위해 처리될 수 있는 3D 이미지 데이터를 생성하는 3D 카메라이고/이거나, 이미지 데이터가 데이터베이스를 채우는데 이용될 수 있다. 다른 예들에서, 카메라(107)는 3D 카메라일 수 있고, 카메라(109)는 2D 카메라일 수 있다. 도 2에서, 카메라(207)는 상부 하우징(114) 내에 2D 카메라(207A) 및 3D 카메라(207B)를 포함하고, 도 3에서, 카메라(307)는 하부 하우징(112) 내에 2D 카메라(307A) 및 3D 카메라(307B)를 포함한다.
도 8 내지 도 16의 것들을 포함하는, 본 명세서에서의 예시적인 물체 검출 기법들의 동작들을 구현하기 위해, 본 명세서의 예들에서 2D 카메라들 및 3D 카메라들에 의해 캡처된 이미지들은, 예컨대, 물체의 캡처된 이미지들을 이용하여 제1 물체 식별 데이터를 결정하는 것, (바코드(124)와 같은) 물체에 대한 기호를 이용하여 제2 물체 식별 데이터를 결정하는 것, 및 2개의 식별 데이터를 비교하는 것과 같이, (제품(122)과 같은) 물체를 식별하기 위해 이용될 수 있다. 일부 예들에서, 2D 카메라(들) 및 3D 카메라(들)에 의해 캡처된 이미지들은 기호 판독기의 동작과 연관된 파라미터들을 제어하기 위한 2D 이미지 특징들 및/또는 3D 이미지 특징들을 각각 식별하기 위해 이용된다. 일부 예들에서, 2D 카메라(들) 및 3D 카메라(들)에 의해 캡처된 이미지들은 기호 판독기의 동작과 연관된 파라미터들을 제어하기 위한 또는 기호 판독기의 동작을 인증하기 위한 얼굴 데이터를 식별하기 위해 이용된다. 2D 이미지 데이터 및 3D 이미지 데이터를 캡처하고 처리함으로써, 다양한 예들에서의 기호 판독기들은 향상된 2D 또는 3D 이미지 데이터를 처리하여 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하고, 향상된 이미지 데이터 내에서 물체를 인식하고, 바코드 판독기의 사용자에 의해 수행된 액션을 식별하고, 및/또는 기호 판독기와 연관된 적어도 하나의 파라미터, 그 파라미터가 3D 이미징 장치, 2D 이미징 장치, 또는 기호 판독기와 연관된 다른 시스템과 연관되어 있는지를 변경할 수 있다.
도 1의 도시된 예에서, 이미징 시스템(100)은 유선 또는 무선 통신 링크를 통해 바코드 판독기(106)에 통신가능하게 결합된 원격 서버(130)를 포함한다. 일부 예들에서, 원격 서버(130)는, 예를 들어, 설비의 체크아웃 영역에 위치된 복수의 이미징 시스템들(100)에 통신가능하게 결합된다. 일부 예들에서, 원격 서버(130)는 물체 식별 데이터를 생성하고 비교하는 재고 관리 서버로서 구현된다. 일부 예들에서, 원격 서버(130)는 이미징 시스템(100)에 의한 동작 및 부적절한 제품 스캐닝을 모니터링하기 위해 관리자에 의해 액세스가능하다.
도 4a는 이 예에서는 기호 판독기(142)의 타워부(146) 내의 3D 이미징 장치(144)를 갖는 기호 판독기(142)를 갖는 예시적인 이미징 시스템(140)의 다른 사시도를 도시한다. 플래터 부분(148)이 유사하게 도시되어 있다. 3D 이미징 장치(144)에 대한 수평으로 연장하는 FOV(150)가 도시된다. 3D 이미징 장치(144)는, 본 명세서에서의 다른 예들에서의 다른 3D 이미징 장치들에서와 같이, FOV(150) 내의 환경의 3D 이미지들을 캡처하고, 그 시야에서의 하나 이상의 물체의 위치를 추가로 결정할 수 있다. 예시적인 평면들(152, 154, 및 156)은 3D 이미징 장치(144)로부터의 상이한 거리를 각각 나타내는 것으로 도시되어 있다. 따라서, 물체들 및 물체 거리들이 3D 이미지들에서 식별되고, 3D 이미징 장치(144)에 의해 생성된 3D 이미지 데이터에 저장될 수 있다. 특히, 본 명세서에서 더 논의되는 바와 같이, 물체 타입(예를 들어, 스캐닝될 제품, 조작자 손, 또는 사람 얼굴)이 3D 이미지 데이터로부터 식별될 수 있고, 그 물체의 위치는 기호 판독기(142)의 동작을 제어하기 위해 결정될 수 있다. 예를 들어, 일부 예들에서, 기호 판독기(142)는 특정 타입의 물체가 식별되었을 때 또는 특정 타입의 물체가 기호 판독기(142)의 거리 내에 있는 것으로, 예컨대, 3D 이미징 장치(144)와 평면(154)에 의해 제시된 거리 사이에 있는 것으로 식별될 때에만 바코드 판독을 위한 2D 이미지를 캡처하도록 제어될 수 있다. 예를 들어, (평면(156)에서의 물체들과 같은) 평면(154)보다 더 멀리 떨어진 물체들은 무시되고 스캐닝되지 않을 수 있다. 유사하게, 평면(152)보다 더 가까운 물체들은 무시될 수 있거나, 상이한 조명 어셈블리를 이용하여 또는 2D 이미징 장치의 포커싱 평면을 조정함으로써 스캐닝될 수 있다. 일부 예들에서, 환경 내에 나타나는 물체들의 거리는 스캐닝 정확도를 증가시키기 위해 또는 물체 인식 모델에 대한 훈련 이미지들을 생성하기 위해 3D 이미지 데이터로부터 특정 물체들을 세그먼트화하는데 이용될 수 있다. 다른 예들이 설명된다.
도 4b는 이미징 시스템(140)의 각각의 외부 세로 에지 상에 하나씩 2개의 오프-플래터 검출 어셈블리를 나타낼 수 있는 오프-플래터 검출 어셈블리(158)를 갖는 기호 판독기(142)를 도시하는 이미징 시스템(140)의 단면도이다. 오프-플래터 검출을 제공하기 위해, 광 방출 어셈블리(160)가 기호 판독기(140)의 제어기(162)에 결합되어 제공될 수 있으며, 제어기(162)는 다양한 모드에서 오프-플래터 검출 어셈블리(158)를 동작시키도록 구성될 수 있다. 예를 들어, 제1 동작 모드에서, 제어기(162)는 시준된 광 빔(164)을 연속적으로 방출하라는 명령(instruction)을 광 방출 어셈블리(160)에 전송할 수 있으며, 이는 광 확산 장벽(166) 중 하나가 조명되지 않을 때마다 오프-플래터 이벤트의 표시를 제공할 것이다. 제2 동작 모드에서, 제어기(162)는 또한 계량 플래터(168)에 동작가능하게 결합될 수 있고, 제어기(162)가 계량 플래터(168) 상의 물체를 검출하고 물체의 측정된 무게가 안정될 때까지 시준된 광 빔(164)을 방출하지 않도록 광 방출 어셈블리(160)에 명령을 전송할 수 있다. 측정된 무게가 (포지티브 드웰 기간(positive dwell period) 후에) 안정되면, 제어기(162)는 시준된 광 빔(164)을 방출하라는 명령을 광 방출 어셈블리(160)에 전송하여, 사용자가 오프-플래터 이벤트가 있는지를 결정하고, 제어기(162)가 계량 플래터(168)로부터의 물체의 제거를 검출하면 시준된 광 빔(164)의 방출을 중지하게 할 수 있다. 이 동작 모드는 에너지를 보존하고, 비-계량(non-weighing) 물체가 기호 판독기(140)에 의해 스캐닝되도록 계량 플래터(168) 위를 지나갈 때마다 광 확산 장벽(166)이 연속적으로 조명 및 조명 해제하는 것을 방지한다. 제3 동작 모드에서, 제어기(162)는 다시 계량 플래터(168)에 동작가능하게 결합된다. 그러나, 이 동작 모드에서, 제어기(162)는 광 확산 장벽(166)이 체크되어야 한다는 경고를 제공하고 사용자의 주의를 끌기 위해 제어기(162)가 계량 플래터(168) 상에 배치된 물체를 검출하면 시준된 광 빔(164)을 깜빡이도록 광 방출 어셈블리(160)에 명령을 전송할 수 있다. 제어기(162)는 또한 광 확산 장벽(166)을 체크하도록 사용자에게 상기시키기 위해 통지 사운드 또는 경보를 생성할 수 있다. 물체의 측정된 무게가 (포지티브 드웰 기간 후에) 안정되면, 제어기(162)는 다음에 시준된 광 빔(164)을 깜박이는 것을 중지하고 시준된 광 빔(164)을 연속적으로 방출하라는 명령을 광 방출 어셈블리(160)에 전송한다.
일부 예들에서, 시준된 광 빔(164)은 광 소스(170)에 의해 방출된다. 광 방출 어셈블리(160)는 또한 하우징의 벽 또는 돌출부에 형성될 수 있거나, 시준된 광 빔(164)을 계량 플래터(168)의 측방향 에지를 따라 좁은 빔으로 포커싱하기 위해 광 소스(170)의 전방에 위치된 계량 플래터(168)의 일부인 다른 벽 또는 구조물을 통해 형성될 수 있는 개구(aperture)(172)를 포함할 수 있다. 렌즈(174)는 또한 시준된 광 빔(164)의 강도를 증가시키기 위해 개구(172)의 앞에 위치될 수 있다.
도시된 바와 같이, 3D 이미징 장치(144)는 계량 플래터(168)를 따라 연장되고 광 확산 장벽(166)을 포함하고 제어기(162)와 통신하는 FOV(150)를 갖는다. 이 예에서, 제어기(162)는 3D 카메라(144)로부터의 3D 이미지들 및 타워 부분(146)에서의 2D 카메라(176) 및/또는 플래터 부분(148)에서의 2D 카메라(178)로부터의 2D 이미지들을 수신하도록 구성된다. 일부 구현들에서, 2D 카메라들 중 하나만이 제공될 수 있다. 제어기(162)는 카메라들(144 및 176/178)로부터 이미지들을 수신하고, 수신된 이미지들에 기초하여, 예를 들어, 기호 판독기(140)의 하나 이상의 동작 파라미터를 조정하는 것과 같은 본 명세서에 설명된 다양한 동작들을 수행하도록 구성될 수 있다. 제어기(162)는 카메라(144)에 의해 캡처된 3D 이미지들로부터 또는 카메라(176)에 의해 캡처된 2D 이미지들로부터, 광 확산 장벽(166)이 조명되는 것으로 보이는지 또는 조명되지 않는 것으로 보이는지를 추가로 결정할 수 있다. 광 확산 장벽(166)이 조명되는 것으로 보인다고 제어기(162)가 결정하는 경우, 제어기(162)는 계량 플래터(168) 상의 물체의 측정된 무게가 제어기(162)에 동작가능하게 결합된 호스트 시스템에 의해 기록되는 것을 허용할 것이다. 광 확산 장벽(166)이 조명되지 않는 것으로 보인다고 제어기(162)가 결정하는 경우, 제어기(162)는 물체의 측정된 무게가 호스트 시스템에 의해 기록되는 것을 방지할 것이고/것이거나, 오프-플래터 이벤트가 있다는 경보를 사용자에게 제공할 수 있다.
도 5는 도 4a 및 도 4b의 이미징 시스템(140)의 대안적인 구현을 도시하며, 140'으로 라벨링되고, 유사한 요소들에 대한 유사한 참조 번호들을 이용한다. 3D 이미징 장치(144)가 기호 판독기(142)의 내부에 있었던 이미징 시스템(140)과 대조적으로, 이미징 시스템(140')에서, 3D 이미징 장치(144')는 여전히 기호 판독기(142)와 연관되지만, 그것에 대해 외부에 있고, 수직의 하향 연장 FOV(150')로 오버헤드로 위치된다. 도시된 예에서, 3D 이미징 어셈블리(144')는 기호 판독기 하우징의 후방으로부터 연장되는 구즈넥 포스트(gooseneck post)(180)에 위치한 도시된 오버헤드 카메라 시스템 내에 있다. 그러나, 3D 이미징 어셈블리(144')를 갖는 오버헤드 카메라 시스템은 기호 판독기(142)의 하우징 위의 어디에나 위치할 수 있다. 예를 들어, 오버헤드 카메라 시스템은 기호 판독기(142) 위의 천장에 위치하고, 어떤 포인트-오브-세일 시스템들에서 이용되는 보안 카메라들과 같이, 기호 판독기(142)를 내려다볼 수 있다. 일부 예들에서, 하나 이상의 3D 이미징 장치들을 갖는 단일 오버헤드 카메라 시스템은 하나 이상의 이미징 시스템들을 내려다볼 수 있다.
도 6은, 이 설명을 수반하는 도면들의 흐름도들에 의해 표현될 수 있는, 본 명세서에 설명된 예시적 방법들의 동작들을 구현할 수 있는 다른 예시적인 이미징 시스템을 도시한다. 도시된 예에서, 이미징 시스템(200)은 물체 이미징 및 본 명세서에서 설명되는 다른 방법들에서 이용될 수 있는 핸드헬드 또는 프레젠테이션 바코드 판독기(202) 형태의 기호 판독기를 포함한다. 도시된 예에서, 바코드 판독기(202)는 워크스테이션 표면(208)에 장착된 고정 크레이들(206) 및 핸드헬드 판독기(204)를 포함할 수 있다. 도시된 예에서, 핸드헬드 판독기(204)는 고정 크레이들 내에 배치되어, 물체들을 스캐닝하기 위한, 프레젠테이션 모드라고도 하는 핸즈프리 스캐닝 모드를 설정한다. 따라서, 핸드헬드 판독기(204)는 핸드헬드 판독기(204)의 하우징에서의 스캐닝 윈도우(210)를 갖는 이미징 판독기로서 동작하며, 그 뒤에는 카메라 어셈블리(212) 및 옵션으로서 (직접 조명 소스들 및 2D 및/또는 3D 이미지들을 캡처하기 위한 확산 조명 소스와 같은 하나 이상의 상이한 조명 소스를 나타낼 수 있는) 조명 어셈블리(211)가 있다. 핸즈프리 스캐닝 모드에서, 핸드헬드 판독기(204)는 중심 축(215)을 갖는 FOV(214)를 정의한다. 본 명세서의 기술들에 따르면, 핸드헬드 판독기(204)는 FOV(214) 내의 식별 및 이미징을 위해 물체의 이미지들을 캡처한다. 일부 예들에서, 트리거(216)는 핸즈프리 스캐닝 모드를 개시하기 위해 이용될 수 있다. 일부 예들에서, 수행되는 핸즈프리 스캐닝은 판독기(204)를 크레이들(206) 내에 배치함으로써 개시된다.
예시된 예에서, 카메라 어셈블리(212)는 FOV(314)에서 물체의 2D 이미지들을 캡처하고 2D 이미지 데이터를 생성하기 위한 2D 카메라(212A)를 포함한다. 카메라 어셈블리(212)는 FOV(314)에서 물체의 3D 이미지들을 캡처하고 3D 이미지 데이터를 생성하기 위한 3D 카메라(212B)를 더 포함한다. FOV(314)가 카메라들(212A 및 212B) 각각에 대한 것일 수 있지만, 다른 예들에서, 카메라들(212A 및 212B) 각각은 상이한 FOV(부분적으로 중첩되거나 중첩되지 않음)를 가질 수 있다. 일부 예들에서, FOV(314)는 2D 카메라(212A)에 대응하는 제1 부분 및 3D 카메라(212B)에 대응하는 제2 부분을 포함할 수 있다.
도 7은 본 발명의 실시예들이 구현될 수 있는 예시적인 시스템을 도시한다. 본 예에서, 환경은 각각 도 1, 2, 3, 4a, 4b, 5, 및 6의 이미징 시스템들(100, 100', 100", 140, 140", 및 200)과 같은 이미징 시스템에 대응하는 하나 이상의 스캐닝 위치(300)를 갖는 설비의 형태로 제공되며, 여기서 물체의 구매를 완료하기 위해, 부적절한 구매 시도를 무효화하기 위한 부적절한 물체 검출을 위해, 그리고 본 명세서의 다른 목적들을 위해 다양한 물체들이 스캐닝될 수 있다.
예에서, 스캐닝 위치(300)는 포인트-오브-세일 위치이고, 도 1 내지 도 5에서의 바코드 판독기(106) 및 도 6에서의 핸드헬드 바코드 판독기(202)와 같은 바이옵틱 바코드 판독기와 같은 기호 판독기(304)를 갖는 스캐닝 스테이션(302)을 포함한다. 기호 판독기(304)는 바코드 스캐너와 같은 스캐너, 및 RFID 태그 판독기와 같은 임의의 추가적인 타입의 기호 판독기를 포함할 수 있다. 도 1의 예에서, 기호 판독기(304)는 또한 편의상 판독기(304)로서 설명되지만, 임의의 타입의 기호 판독기가 포함되도록 의도된다.
다른 예에서, 스캐닝 위치는 머신 비전 위치이고, 스캐닝 스테이션(302)은 2D 이미징 장치 및 3D 이미징 장치를 갖고, 도 11을 참조하여 그리고 본 명세서의 다른 곳에서 설명된 것들과 같은 프로세스들을 수행하도록 구성된 머신 비전 시스템이다.
판독기(304)는 이미징 디바이스(306)(예를 들어, 카메라 어셈블리(306) 또는 다른 광검출 디바이스(photodetection device) 형태의 이미징 어셈블리) 및 하나 이상의 센서(308)를 포함한다. 카메라 어셈블리(306)는 본 명세서에 설명된 기술들에 따라, 각각의 이미지들을 캡처하고 각각의 이미지 데이터를 생성하기 위한 2D 카메라(310) 및 3D 카메라(312)를 포함한다. 본 명세서의 다양한 예들에서 논의된 바와 같이, 2D 카메라(310) 및 3D 카메라(312)는 기호 판독기(304)와 연관되고, 그것의 하우징 내에 또는 하우징의 외부에 있을 수 있지만 유선 또는 무선 통신 링크를 통해 기호 판독기(304)에 결합될 수 있다. 일부 예들에서, 판독기(304)는 표시(314)로서 1D 바코드, QR 코드, 3D 바코드, 또는 다른 기호를 스캐닝할 뿐만 아니라 물체(316) 자체의 이미지들을 캡처할 수 있는 바코드 이미지 스캐너일 수 있다. 도시된 예에서, 스캐닝 스테이션(304)은 센서들(308)을 포함하며, 센서들(308)은 표시(314)가 바코드와 같은 시각적 표시 대신에 RFID 태그일 때 표시(314)로부터 캡처된 전자기 신호의 형태인 표시 데이터를 캡처하기 위한 RFID 트랜스폰더를 포함할 수 있다.
판독기(304)는 이미지 프로세서(318) 및 표시 디코더(320)를 더 포함한다. 일부 예들에서, 이미지 프로세서(318)는 물체의 컬러 이미지 데이터, 포인트 클라우드 이미지 데이터 등을 처리할 수 있는 2D 이미지 데이터 프로세서 및 3D 이미지 데이터 프로세서이다.
이미지 프로세서(318)는 물체(316)의 캡처된 이미지들을 분석하고, 예를 들어, 2D 및 3D 이미지들 및 이미지 데이터가 네트워크(324)를 통해 원격 서버(350)로 전송되기 전에, 예비 이미지 처리를 수행하도록 구성될 수 있다. 판독기(304)는 네트워크(324)를 통해 통신하기 위한 임의의 적절한 프로토콜(들)에 따라 동작하도록 구성된 임의의 적절한 타입의 통신 인터페이스(들)(예를 들어, 유선 및/또는 무선 인터페이스들)를 나타내는 네트워크 인터페이스(326)를 포함한다.
바이옵틱 바코드 판독기의 예에서, 기호 판독기(304)는 카메라 어셈블리(306)와 상이한, 광 방출 어셈블리 및 광 검출 어셈블리를 포함할 수 있는 오프-플래터 검출 어셈블리(321)를 포함한다.
도시된 예에서, 판독기(304)는, 예를 들어, 하나 이상의 마이크로프로세서, 제어기 및/또는 임의의 적절한 타입의 프로세서와 같은 프로세서(328)를 갖는 처리 플랫폼(323)을 포함한다. 처리 플랫폼(323)은 (예를 들어, 메모리 제어기를 통해) 프로세서(328)에 의해 액세스가능한 메모리(330)(예를 들어, 휘발성 메모리, 비휘발성 메모리)를 더 포함한다. 예시적인 프로세서(328)는, 예를 들어, 도 8, 10, 12, 13, 15, 및 16의 동작들을 포함하는, 본 개시내용의 흐름도들에 의해 표현되는 동작들에 대응하는, 예를 들어, 메모리(330)에 저장되는 머신 판독가능 명령어들을 획득하기 위해 메모리(330)와 상호작용한다. 추가적으로 또는 대안적으로, 본 명세서에 설명되는 예시적인 동작들에 대응하는 머신 판독가능 명령어들은, 그 상에 저장되는 머신 판독가능 명령어들에 대한 액세스를 제공하기 위해 판독기(304)에 결합될 수 있는 하나 이상의 이동식 매체(예를 들어, 콤팩트 디스크, 디지털 다기능 디스크, 이동식 플래시 메모리 등) 상에 저장될 수 있다.
프로세스(328)는 프로그램가능 프로세서, 프로그램가능 제어기, 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP) 등일 수 있다. 대안적으로, 주문형 집적 회로(ASIC), 프로그래머블 논리 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 필드 프로그래머블 논리 디바이스(FPLD), 논리 회로 등은 프로세서(328)를 구현하도록 구조화되거나 구성될 수 있다. 예시적인 메모리(330)는 하드 디스크 드라이브(HDD), 광학 저장 드라이브, 솔리드 스테이트 저장 디바이스, 솔리드 스테이트 드라이브(SSD), 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 콤팩트 디스크(CD), 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 블루레이 디스크, 캐시, 플래시 메모리, 또는 정보가 임의의 지속기간 동안(예를 들어, 영구적으로, 연장된 시간 기간 동안, 짧은 순간 동안, 일시적으로 버퍼링하기 위해, 정보의 캐싱을 위해 등) 저장될 수 있는 임의의 다른 저장 디바이스 또는 저장 디스크와 같은 임의의 수 또는 타입(들)의 비일시적 컴퓨터 판독가능 저장 매체 또는 디스크를 포함한다.
도 7의 판독기(304)는 또한 사용자 입력의 수신 및 사용자로의 출력 데이터의 통신을 가능하게 하는 입력/출력(I/O) 인터페이스들(332), 사용자로부터 입력을 수신하기 위한 입력 디바이스(334), 및 데이터, 경보들, 및 다른 표시들을 사용자에게 디스플레이하기 위한 디스플레이(336) 디바이스를 포함한다. 도시된 예에서, I/O 인터페이스들(332)은 네트워크 인터페이스(326)와 함께 처리 플랫폼(323)의 일부이다. 도 7은 I/O 인터페이스들(332)을 단일 블록으로서 도시하지만, I/O 인터페이스들(332)은 프로세서(328)가 주변 I/O 디바이스들과 통신할 수 있게 하는 다수의 상이한 타입의 I/O 회로들 또는 컴포넌트들을 포함할 수 있다. 예시적인 인터페이스들(332)은 이더넷 인터페이스, USB(universal serial bus), Bluetooth® 인터페이스, NFC(near field communication) 인터페이스, 및/또는 PCI Express 인터페이스를 포함한다. 주변 I/O 디바이스들은 키보드, 디스플레이(액정 디스플레이(LCD), 음극선관(CRT) 디스플레이, 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 인-플레이스 스위칭(IPS) 디스플레이, 터치 스크린 등), 내비게이션 디바이스(마우스, 트랙볼, 용량성 터치 패드, 조이스틱 등), 스피커, 마이크로폰, 프린터, 버튼, 통신 인터페이스, 안테나 등과 같은 임의의 원하는 타입의 I/O 디바이스일 수 있다.
표시 식별을 수행하기 위해, 일부 예들에서, 이미지 프로세서(318)는, 예를 들어, 에지 검출 및/또는 패턴 인식을 수행함으로써 2D 이미지에서 캡처된 표시(314)를 식별하도록 구성되고, 표시 디코더(320)는 표시를 디코딩하고 표시(314)에 대응하는 물체 식별 데이터를 생성한다.
일부 예들에서, 이미지 프로세서(318)는 물체(316)의 이미지들을 캡처하고, 2D 이미지 데이터, 3D 이미지 데이터, 또는 이들의 조합에서의 특징들에 기초하여 다른 물체 식별 데이터를 결정하도록 추가로 구성된다.
예를 들어, 일부 예들에서, 이미지 프로세서(318)는 2D 이미지 데이터에 의해 캡처된 물체(316)의 이미지 특징들을 식별한다. 예시적인 이미지 특징들은 물체의 주변 형상, 물체의 대략적인 크기, 물체의 패키징 부분의 크기, 패키징 내의 제품의 크기(예를 들어, 패키징된 고기 또는 제품의 경우에), 제품의 크기와 패키징의 크기 사이의 상대 크기 차이, 물체의 컬러, 패키징, 및/또는 양호한(good), 물체 상의 이미지들, 물체 상의 텍스트, 물품이 스캐닝된 포인트-오브-세일 레인 및 상점 ID, 제품의 형상, 제품의 무게, 특히 과일들에 대한 제품의 다양성, 및 제품의 신선도를 포함한다.
이미지 프로세서(318)에 의해 식별되는 이미지 특징들은 2D 카메라(310)에 의해 캡처되는 2D 이미지 데이터로부터 도출되는 이미지 특징들 및 3D 카메라(312)에 의해 캡처되는 3D 이미지 데이터로부터 도출되는 이미지 특징들로 분류될 수 있다. 이미지 프로세서(318)는 이미지 스캔 데이터 내의 이러한 이미지 특징들을 원격 서버(350)에 전송할 수 있다.
일부 예들에서, 이미지 프로세서(318)는 캡처된 3D 이미지 데이터에서 하나 이상의 3D 이미지 특징을 식별하고, 캡처된 2D 이미지 데이터에서 하나 이상의 2D 이미지 특징을 식별하도록 구성된다. 3D 이미지 데이터는 포인트 클라우드 데이터일 수 있고, 3D 이미지 특징들은 물체들에 대한 컬러 데이터, 물체들에 대한 컬러 그래디언트 데이터, 물체들에 대한 형상 데이터, 물체들에 대한 치수 데이터, 다른 물체들에 대한 또는 기호 판독기에 대한 또는 3D 카메라에 대한 물체들에 대한 거리 데이터, 또는 다른 3D 특징들을 포함할 수 있다. 2D 이미지 특징들은 물체들에 대한 형상 데이터, 물체들에 대한 치수 데이터, 물체들 상의 그래픽, 물체들 상의 라벨들, 물체들 상의 텍스트, 또는 다른 2D 특징들일 수 있다.
일부 예들에서, 2D 및 3D 이미지 특징들은 이미지 프로세서(318)에서 식별되지만, 다른 예들에서, 2D 이미지 특징 결정 및 3D 이미지 특징 결정은 저장된 2D 이미지 특징들(340) 및 저장된 3D 이미지 특징들(342)을 갖는 이미지 특징 관리자(338)에서 수행된다.
2D 이미지 특징들 및/또는 3D 이미지 특징들이 이미지 프로세서(318)에서 결정되든 또는 이미지 특징 관리자(338)에서 결정되든, 다양한 예들에서, 판독기(304)는 캡처된 3D 이미지 데이터를 이용하여 2D 이미지 데이터에서 캡처된 표시(314)의 디코딩을 향상시키도록 구성된다. 다양한 예들에서, 판독기(304)는 3D 이미지 데이터로 2D 이미지 데이터 및/또는 2D 이미지 데이터 분석을 향상시키도록 구성된다. 다양한 예들에서, 판독기(304)는 2D 이미지 데이터로 3D 이미지 데이터 및/또는 3D 이미지 데이터 분석을 향상시키도록 구성된다. 다양한 예들에서, 판독기(304)는 2D 이미지 데이터와 3D 이미지 데이터 둘 다를 이용하여 도난 검출 및 방지, 얼굴 인식, 물체 인식, 및/또는 인증 프로세스들을 향상시키도록 구성된다. 다양한 예들에서, 판독기(304)는 판독기(304)에 의해 캡처된 3D 이미지 데이터만을 이용하여 이러한 프로세스들(즉, 도난 검출 및 방지, 얼굴 인식, 물체 인식 및/또는 인증)을 수행하도록 구성된다. 본 명세서의 기술들에 따라 이들 및 다른 프로세스들을 수행하기 위해, 이미지 특징 관리자(338)는 이하에서 더 설명되는 도 8 내지 도 16에 상세히 설명된 프로세스들을 수행하도록 구성될 수 있다. 더욱이, 일부 예들에서, 이러한 프로세스들 중 하나 이상은 원격 서버(350)에서 수행될 수 있으며, 원격 서버(350)는 도 8 내지 도 16에서 설명되는 것들과 같이 본 명세서에서 설명되는 프로세스들 중 하나 이상을 수행하도록 구성되는 이미지 특징 관리자(351)를 포함할 수 있다.
예에서, 원격 서버(350)는 스캐닝 스테이션(302)으로부터 2D 이미지들(2D 이미지 데이터) 및 3D 이미지들(3D 이미지 데이터)(및 옵션으로서 디코딩된 표시 데이터, 물리적 특징들 등과 같은 다른 이미지 스캔 데이터)을 수신하고, 물체 식별 및 부적절한 물체 검출과 같은 물체 식별 및 도 8 내지 도 16을 참조하여 설명되는 프로세스들 중 적어도 일부를 포함하는 본 명세서에서 설명되는 다른 기술들을 수행하도록 구성되는 이미지 처리 및 물체 식별 서버이다.
원격 서버(350)는, 예를 들어, RESTful(representational state transfer) API 서비스들, 메시지 큐잉 서비스, 및 다양한 플랫폼들 또는 사양들, 예컨대, Oracle WebLogic Server 플랫폼, JBoss 플랫폼, 또는 IBM WebSphere 플랫폼 등 중에서의 어느 하나에 의해 구현되는 J2EE 사양에 의해 제공될 수 있는 이벤트 서비스들을 포함할 수 있는 엔터프라이즈 서비스 소프트웨어를 구현할 수 있다. Ruby on Rails, Microsoft.NET, 또는 유사한 것과 같은, 다른 기술들 또는 플랫폼들이 또한 이용될 수 있다.
원격 서버(350)는, 예를 들어, 본 명세서에 설명된 예시적인 방법들의 동작들을 구현할 수 있는 처리 플랫폼(352) 형태의 예시적인 논리 회로를 포함한다. 처리 플랫폼(352)은, 예를 들어, 하나 이상의 마이크로프로세서, 제어기 및/또는 임의의 적절한 타입의 프로세서와 같은 프로세서(354)를 포함한다. 예시적인 처리 플랫폼(352)은 (예를 들어, 메모리 제어기를 통해) 프로세서(354)에 의해 액세스가능한 메모리(예를 들어, 휘발성 메모리, 비휘발성 메모리)(356)를 포함한다. 예시적인 프로세서(354)는, 예를 들어, 본 개시내용의 흐름도들에 의해 표현되는 동작들에 대응하는, 예를 들어, 메모리(356)에 저장되는 머신 판독가능 명령어들을 획득하기 위해 메모리(356)와 상호작용한다. 추가적으로 또는 대안적으로, 본 명세서에 설명된 예시적인 동작들에 대응하는 머신 판독가능 명령어들은 저장된 머신 판독가능 명령어들에 대한 액세스를 제공하기 위해 처리 플랫폼(352)에 결합될 수 있는 하나 이상의 이동식 매체(예를 들어, 콤팩트 디스크, 디지털 다기능 디스크, 이동식 플래시 메모리 등) 상에 저장될 수 있다.
예시적인 처리 플랫폼(352)은 또한, 예를 들어, 스캐닝 스테이션(302)을 포함하는 하나 이상의 네트워크를 통해 다른 머신들과의 통신을 가능하게 하는 네트워크 인터페이스(358)를 포함한다. 예시적인 네트워크 인터페이스(358)는 임의의 적절한 프로토콜(들)에 따라 동작하도록 구성되는 임의의 적절한 타입의 통신 인터페이스(들)(예를 들어, 유선 및/또는 무선 인터페이스들) 뿐만 아니라, 네트워크 인터페이스(326)를 포함한다. 예시적인 처리 플랫폼(352)은, I/O 인터페이스(332)의 것과 유사한 방식으로, 사용자 입력의 수신 및 사용자로의 출력 데이터의 통신을 가능하게 하는 입력/출력(I/O) 인터페이스들(360)을 또한 포함한다.
일부 예들에서, 원격 서버(350)는 분류 서버일 수 있거나 이것을 포함할 수 있다. 따라서, 예시된 예에서, 원격 서버(350)는, 훈련된 신경망(364)을 개발하고 그 훈련된 신경망을 이용하여 기호 판독기(304)에 의해 캡처된 2D 및 3D 이미지들을 수신하고, 수신된 이미지들 내의 물체들을 식별하고, 이들 물체를 분류하도록 구성된 신경망 프레임워크(362)를 포함한다. 신경망 프레임워크(362)는, 예를 들어, 식별된 이미지 특징들을 평가하고 훈련된 신경망(364)에 대한 분류기들을 생성하기 위해 다층 분류기를 이용하는 컨볼루션 신경망으로서 구성될 수 있다.
훈련된 신경망(364)은 수신된 2D 및/또는 3D 이미지 데이터에서의 물체들을 물체 타입, 물체의 스캐닝 표면, 물체가 모바일 디바이스 디스플레이와 같은 디스플레이 스크린인지 여부, 물체의 반사율, 및/또는 물체 상의 표시들의 타입에 의해 분류하도록 훈련될 수 있다. 예로서, 훈련된 신경망(364)은 2D 이미지들, 3D 이미지 데이터로 향상된 2D 이미지 데이터, 3D 이미지 데이터, 및/또는 2D 이미지 데이터로 향상된 3D 이미지 데이터를 이용하여 훈련될 수 있다.
이러한 방식들로, 프레임워크(362) 및 훈련된 신경망(364)을 통해, 다양한 예들에서, 본 기술들은 스캐닝 스테이션(302) 또는 다른 이미징 디바이스들을 동작하는데 이용할 컨텍스트 구성 설정들을 식별하기 위해, 하나 이상의 훈련된 예측 모델을 배치하여 (표시를 갖거나 갖지 않는) 물체의 수신된 2D 및/또는 3D 이미지들을 평가하고, 그러한 이미지들을 분류하여 물체 및 물체 분류를 결정한다.
결정된 분류들로부터, 다양한 예들에서, 본 기술들은 물체의 분류를 이용하여 이미징 스캐너의 구성 설정들에 대한 조정들을 결정한다. 즉, 예측 모델은 신경망 프레임워크(k362)를 이용하여 훈련되고, 그에 따라 예측 모델은 본 명세서에서 "신경망" 또는 "훈련된 신경망"이라고 지칭된다. 본 명세서에서 신경망은 다양한 방식으로 구성될 수 있다. 일부 예들에서, 신경망은 심층 신경망 및/또는 컨볼루션 신경망(CNN)일 수 있다. 일부 예들에서, 신경망은 분산 및 스케일러블 신경망일 수 있다. 신경망은, 로지스틱스 회귀 최상위 계층(logistics regression top layer)과 같지만 이에 제한되지는 않는 특정 최상위 계층을 제공하는 것을 포함하여, 다양한 방식들로 맞춤화될 수 있다. 컨볼루션 신경망은 타이드 파라미터들(tied parameters)을 갖는 노드들의 세트들을 포함하는 신경망으로서 간주될 수 있다. 심층 컨볼루션 신경망은 복수의 계층을 갖는 적층된 구조를 갖는 것으로 간주될 수 있다. 본 명세서의 예들에서, 신경망은 다수의 계층, 즉, 다수의 적층된 계층을 갖는 것으로 설명되지만, 신경망의 임의의 적절한 구성이 이용될 수 있다.
예를 들어, CNN들은 이미지 인식 및 분류를 위해 특히 이용하는 예측 모델의 머신 학습 타입이다. 본 명세서의 예시적인 실시예들에서, 예를 들어, CNN들은 2D 또는 3D 이미지들에 대해 동작할 수 있으며, 여기서, 예를 들어, 그러한 이미지들은 이미지 스캔 데이터 내의 픽셀 값들의 행렬로서 표현된다. 설명된 바와 같이, 신경망(예를 들어, CNN들)은 이미지를 일련의 계산 동작 계층들을 통과시킴으로써 주어진 이미지에 대한 하나 이상의 분류를 결정하기 위해 이용될 수 있다. 이러한 다양한 계층들을 훈련하고 이용함으로써, CNN 모델은 이미지(또는 이미지 내의 물체(들)) 또는 물리적 이미지 특징들이 특정 클래스에 속할 확률을 결정할 수 있다. 훈련된 CNN 모델들은 복원(restoration) 및 이용을 위해 지속되고, 추가 훈련에 의해 정제될 수 있다. 훈련된 모델들은 클라우드 서버들 상에 호스팅되는 RAM, 플래시 스토리지, 하드 디스크 또는 유사한 스토리지와 같은 임의의 구내 컴퓨터 휘발성 또는 비휘발성 스토리지 매체들 상에 상주할 수 있다.
도 8에는, 도 7의 스캐닝 스테이션(302)과, 각각 도 1, 2, 3, 4a, 4b, 5 및 6의 이미징 시스템들(100, 100', 100", 140, 140", 200) 중 임의의 것에 의해 수행될 수 있는, 캡처된 2D 이미지들 및 캡처된 3D 이미지들을 이용한 기호 판독을 위한 예시적인 프로세스(400)의 흐름도가 도시되어 있다. 블록(402)에서, 이미징 시스템의 기호 판독기는 기호 판독기의 2D 이미징 장치를 통해 하나 이상의 2D 이미지를 캡처한다. 특히, 2D 이미지들은 FOV 내의 제1 환경에 걸쳐 캡처되고, 여기서 그 제1 환경은 바이옵틱 판독기의 상부 부분의 수평으로 연장하는 FOV로부터, 바이옵틱 판독기의 하부 부분의 수직으로 연장하는 FOV로부터, 핸드헬드 기호 판독기의 FOV로부터, 또는 다른 예일 수 있다. 블록(404)에서, 기호 판독기의 3D 이미징 장치는 3D 이미징 장치에 대응하는 제2 FOV의 다른 환경의 하나 이상의 3D 이미지를 캡처한다. 3D 이미징 장치의 FOV는 바이옵틱 판독기의 상부 부분 또는 하부 부분으로부터 또는 기호 판독기와 연관된 외부적으로 위치된 3D 이미징 장치로부터, 예컨대, 오버헤드로 하향 연장되는 FOV로부터 또는 기호 판독기를 향하는 측면 뷰 포인팅으로부터일 수 있다. FOV는 핸드헬드 기호 판독기의 3D 이미징 장치의 그것일 수 있다. 어떤 경우이든, 일부 예들에서, 2D 이미징 장치 및 3D 이미징 장치는 부분적으로 중첩되는 상이한 FOV들을 갖는다. 일부 예들에서, 2D 이미징 장치 및 3D 이미징 장치의 FOV들은 동일하다.
일부 예들에서, 다수의 2D 이미징 장치/어셈블리는 기호 판독기의 상부 부분 및 하부 부분 각각에서 2D 이미징 장치들과 같은 2D 이미지들을 캡처하는데 이용될 수 있다.
블록(406)에서, 이미징 시스템은 3D 이미지 데이터를 분석하고, 3D 이미징 장치의 FOV에서 캡처된 환경 내의 3D 이미지 특징들을 식별한다. 예를 들어, 3D 이미지 데이터는 3D 포인트 클라우드 데이터일 수 있고, 3D 이미지 특징들은 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징 및/또는 FOV 내의 물체에 대응하는 컬러 또는 컬러 그래디언트일 수 있다. 일부 예들에서, 3D 이미지 특징들을 식별하는 것은 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위 내에 위치되는 하나 이상의 3D 이미지 특징을 식별하는 것을 포함한다. 도 4a의 이미징 시스템(140)에서, 예를 들어, 3D 이미징 장치(144)는 FOV(150)의 3D 이미지에서 캡처된 하나 이상의 물체를 검출하고, 하나 이상의 물체의 거리를 결정하고, 관련 물체들이 거리 평면(156)과 같은 결정된 최대 거리를 초과하는지를 결정하도록 구성될 수 있다. 본 예에서, 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기의, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계, 예를 들어, 거리 평면(156)까지 연장될 수 있다. 일부 예들에서, 3D 이미지 특징들은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함한다.
도 6의 것과 같은 핸드헬드 바코드 판독기와 같은, 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기의 예에서, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장될 수 있다.
블록(408)에서, 3D 이미지 데이터를 분석하고 3D 이미지 특징들을 식별하면, 이미징 시스템은 식별된 3D 이미지 특징들을 2D 이미징 장치의 FOV의 환경에서 캡처된 2D 이미지들의 2D 이미지 데이터로부터 식별된 2D 이미지 특징들과 상관시킴으로써 2D 이미지 데이터를 향상시킨다. 예를 들어, 2D 이미지 데이터를 향상시키는 것은, 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 하나 이상의 2D 이미지 특징을 필터링하는 것을 포함할 수 있다. 일부 예들에서, 2D 이미지 데이터를 향상시키는 것은, 향상된 2D 이미지 데이터의 처리가 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 하나 이상의 2D 이미지 특징을 필터링하는 것을 더 포함한다. 이러한 방식으로, 3D 이미지 특징들은 2D 이미지들의 처리를 개선하고, 처리를 위한 가치가 있지 않다고 결정된 2D 이미지 특징들의 처리를 제거하고/하거나 처리를 위한 가치가 있는 2D 이미지 특징들을 식별하는데 이용될 수 있다.
예를 예시하기 위해, 도 9a는 이 예에서 이미징 시스템의 상부 부분으로부터 이미징 시스템의 2D 이미징 어셈블리에 의해 캡처된 FOV의 제1 환경의 2D 이미지를 도시한다. 2D 이미지는 타깃(452)과 연관된 바코드(450)를 포함한다. 2D 이미지는 타깃(452) 및 바코드(450)보다 많은 것을 포함한다. 2D 이미지는 점원(454) 및 배경 물체들(예를 들어, 의자(456) 및 사람(458))을 포함한다.
도 9a의 예에서 2D 이미지의 분석을 향상시키기 위해, 블록(406)은 3D 이미징 장치를 위해 FOV를 통해 캡처된 3D 이미지의 3D 이미지 데이터를 이용한다. 예를 들어, 기호 판독기로부터의 물체들 각각의 거리와 같은, 물체들(452-458)에 대응하는 3D 이미지 특징들이 결정될 수 있다. 3D 이미지의 FOV는 바이옵틱 판독기의 상부 부분 또는 하부 부분으로부터 또는 오버헤드와 같은 외부의 연관된 위치로부터 유래할 수 있다. 예를 들어, 블록(406)에서, 타깃(452), 점원(454), 의자(456), 및 사람(458)의 거리가 결정될 수 있다. 또한, 블록(406)에서, 물체들 중 어느 것이 기호 판독기에 대해 허용된 스캐닝 거리 내에 있는지 및 나중에 제거될 수 있도록 어느 것들이 그렇지 않은지가 결정될 수 있다. 예시의 목적을 위해, 도 9b는 의자(456) 및 사람(458)이 허용된 스캐닝 거리 밖에 있는 것으로 식별되는 3D 이미지의 예시적인 부분을 도시하며, 3D 이미징 장치는 3D 포인트 클라우드 데이터로부터 결정하고, 기하학적 특징들을 포함하는 3D 이미지 특징들을 결정하는 것은 물체의 형상 및 물체의 거리를 식별할 수 있다. 일부 예들에서, 3D 이미지 특징들은 3D 이미지에서 상이한 물체들을 식별하는데 이용되는 컬러 또는 컬러 그래디언트일 수 있다. 일부 예들에서, 3D 이미지 특징들은 조작자의 손의 적어도 일부 및 조작자의 손에 의해 쥐어진 물체를 포함한다. 일부 예들에서, 식별된 3D 이미지 특징들은 물체 식별을 위해, 하나 이상의 훈련된 물체 인식 모델을 갖는 훈련된 신경망으로 전송될 수 있다. 물체 인식 모델들은 허용된 스캐닝 거리 내에 있든 밖에 있든 상이한 물체들을 식별하도록 훈련될 수 있다.
거리 데이터가 3D 이미지 특징들로부터 결정되면, 도 9a의 2D 이미지는 블록(408)에서, 예에서, 본 명세서에서 제품 스캐닝 영역의 미리 결정된 거리 범위라고도 지칭되는 허용된 스캐닝 거리 밖의 거리들을 갖는 물체들을 2D 이미지들로부터 제거함으로써, 도 9c에서와 같이 향상된 2D 이미지로 변환될 수 있다. 예를 들어, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 또는 조작자에 근접한 워크스테이션의 에지까지 또는 오프-플래터 검출 어셈블리의 확산기까지 연장될 수 있다.
예를 들어, 도 9c의 향상된 2D 이미지는 의자(456) 및 사람(458)이 제거되어 있다. 일부 예들에서, 블록(408)은 분석을 위한 물체들을 식별하기 위해 2D 이미지들로부터 결정된 식별된 2D 이미지 특징들과 3D 이미지들로부터 결정된 식별된 3D 이미지 특징들을 비교한다.
블록(408)은, 특정 이미지 데이터(예를 들어, 하나 이상의 물체)가 블록(410)에서의 추가 처리로부터 배제되도록 또는 이미지 처리가 특정 이미지 데이터로 제한되도록 2D 이미지 데이터를 향상시킬 수 있다.
블록(410)에 도시된 바와 같이, 향상된 2D 이미지 데이터 내에서 캡처된 바코드들을 디코딩하는 것(예컨대, 바코드(450)의 더 빠르고 더 정확한 디코딩), 향상된 2D 이미지 데이터를 이용하여 훈련된 신경망(364)의 것과 같은 물체 인식 모델들을 훈련하는 것, 향상된 2D 이미지 데이터를 이용하여 물체 인식을 수행하는 것, 향상된 2D 이미지 데이터를 이용하여 조작자에 의해 수행된 액션을 식별하는 것, 또는 바코드 판독기를 동작하는 것과 연관된 하나 이상의 파라미터를 변경하는 것을 포함하는 다양한 처리가 향상된 2D 이미지 데이터를 생성한 결과로서 유리할 수 있다.
예를 들어, 블록(410)에서, 조작자에 의해 수행되는 액션은 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별될 수 있다. 향상된 2D 이미지 데이터로, 블록(410)은, 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 어떠한 바코드도 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성할 수 있다. 도 9a의 예에서, 2D 이미징 장치가 타깃(452)이 2D 이미지 데이터에 존재하고 3D 이미지 특징들로부터 결정된 바와 같은 허용된 스캐닝 거리(예를 들어, 제품 스캐닝 영역) 내에 있지만, 바코드(450)가 존재하지 않고, 부분적으로 커버되거나 가시적이지 않거나, 완전히 커버되거나 가시적이지 않고, 따라서 완전히 디코딩가능하지 않다고 결정하면, 블록(410)은 조작자를 제품 스캔을 시도하는 것으로서 식별할 수 있고, 블록(410)은 경보 신호 또는 잠재적인 도난 이벤트를 시그널링하기에 적합한 다른 표시를 생성할 수 있다.
일부 예들에서, 블록(410)은 3D 이미지 특징들을 이용하여 2D 이미지 데이터를 분석하는 것에 응답하여 기호 판독기 동작과 연관된 하나 이상의 파라미터를 조정할 수 있다. 예시적인 특징들은 기호 판독기의 노출 시간, 기호 판독기의 조명 펄스 지속기간, 기호 판독기의 초점 위치, 기호 판독기의 이미징 줌 레벨, 및 기호 판독기의 조명 소스를 포함한다. 예를 들어, 타깃(452)의 위치가 2D 이미지 데이터로부터 검출가능하지 않은 경우, 3D 이미지 특징들을 이용함으로써, 거리가 결정가능하다. 그 거리에 따라, 블록(410)은 바코드 판독을 위해 이용되는 직접 조명 소스를 직접 부분 마킹(direct part marking)(DPM) 기호 판독을 위해 이용되는 확산 조명 소스로 스위칭할 수 있다. 일부 예들에서, 블록(410)은 추가의 2D 이미지들을 캡처하기 전에 조명 어셈블리의 밝기를 조정할 수 있다. 예를 들어, 타깃들이 3D 이미징 어셈블리에 가까우면, 감소된 조명 밝기가 이용될 수 있다. 또는, 얼굴 데이터와 같은 물체들이 3D 이미지들에서 식별되면, 조명 밝기가 감소될 수 있거나 조명 어셈블리가 턴 오프될 수 있다.
블록(410)의 처리 동작의 하나 이상의 양태는, 예를 들어, 스캐닝 스테이션(302)에서 또는 서버(350)에서 수행될 수 있다.
도 10에는, 도 7의 스캐닝 스테이션(302) 및 각각 도 1, 2, 3, 4a, 4b, 5, 및 6의 이미징 시스템들(100, 100', 100", 140, 140", 200) 중 임의의 것에 의해 수행될 수 있는, 캡처된 2D 이미지들 및 캡처된 3D 이미지들을 이용한 기호 판독을 위한 예시적인 프로세스(500)의 흐름도가 도시되어 있다. 블록(502)에서, 블록(402)과 유사하게, 이미징 시스템의 기호 판독기는 기호 판독기의 2D 이미징 장치를 통해 하나 이상의 2D 이미지를 캡처한다. 특히, 2D 이미지들은 FOV 내의 제1 환경을 통해 캡처된다. 블록(504)에서, 블록(404)과 유사하게, 기호 판독기와 연관된 3D 이미징 장치는 3D 이미징 장치에 대응하는 제2 FOV의 다른 환경의 하나 이상의 3D 이미지를 캡처한다.
블록(506)에서, 이미징 시스템은 2D 이미지 데이터를 분석하고, 3D 이미징 장치의 FOV에서 캡처된 환경 내의 2D 이미지 특징들을 식별한다. 예를 들어, 2D 이미지 데이터는 단색 이미지 데이터, 그레이스케일 이미지 데이터, 및 다색 이미지 데이터일 수 있다. 2D 이미지 특징들은 2D 이미징 장치의 FOV 내에 제시되는 물체의 바코드 및 하나 이상의 기하학적 특징일 수 있다. 일부 예들에서, 2D 이미지 특징들은, 도 9a의 예에서의 조작자(454) 및 조작자의 손이 잡고 있는 타깃(452)과 같은, (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함한다. 일부 예들에서, 2D 이미지 특징들을 식별하는 것은 2D 이미지 상의 환경 특징들을 식별하는 것을 포함하고, 여기서 이 환경 특징들은, 도 9a의 예에서의 의자(456) 및 사람(458)과 같은, 제1 FOV 내에 제시되는 물체 외부의 이미지에서의 특징들이다. 블록(506)은 이러한 환경 특징들을 2D 이미지에서 식별된 환경 특징들을 커버하도록 구성된 마스킹 특징들로 변환한 다음, 이러한 마스킹 특징들을 하나 이상의 2D 이미지 특징으로서 식별할 수 있다. 일부 예들에서, 블록(506)은 2D 이미지 데이터에서 물체에 대한 바코드를 식별하고, 바코드를 디코딩하여 바코드 페이로드 데이터를 생성함으로써 2D 이미지 특징들을 식별한다. 그로부터, 블록(506)은 바코드 페이로드 데이터로부터 물체 식별을 결정하고, 물체 식별로부터, 물체의 형상 및/또는 치수들과 같은 하나 이상의 2D 이미지 특징을 결정할 수 있다.
블록(508)에서, 2D 이미지 데이터를 분석하고 3D 이미지 특징들을 식별하면, 이미징 시스템은 식별된 2D 이미지 특징들을 3D 이미징 장치의 FOV의 환경에서 캡처된 3D 이미지(들)의 3D 이미지 데이터로부터 식별된 3D 이미지 특징들과 상관시킴으로써 3D 이미지 데이터를 향상시킨다. 예를 들어, 3D 이미지 데이터를 향상시키는 것은 2D 이미지 데이터로부터 3D 이미지 데이터로 바코드의 위치를 매핑하는 것을 포함할 수 있다. 다른 예에서, 3D 이미지 데이터를 향상시키는 것은 2D 이미징 장치의 FOV 내에 제시되는 물체의 하나 이상의 기하학적 특징에 적어도 부분적으로 기초하여 다색 이미지 데이터의 적어도 일부를 3D 이미지 데이터에 매핑하는 것을 포함할 수 있다. 일부 예들에서, 3D 이미지 데이터를 향상시키는 것은, 향상된 3D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 하나 이상의 3D 이미지 특징을 필터링하는 것을 포함할 수 있다. 일부 예들에서, 3D 이미지 데이터를 향상시키는 것은, 향상된 3D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 하나 이상의 3D 이미지 특징을 필터링하는 것을 포함할 수 있다. 예를 들어, 형상 및 치수 데이터는 2D 이미지 데이터에서 디코딩된 바코드로부터 결정될 수 있고, 그 형상 및 치수에 대응하는 3D 이미지 데이터에서 물체를 식별하기 위해 이용될 수 있다. 일부 예들에서, 3D 이미지 데이터를 향상시키는 것은 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위에 기초하여 3D 이미지 데이터를 필터링하는 것을 포함한다. 예를 들어, 일부 핸드헬드 바코드 판독기들에 대해, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장된다. 일부 바이옵틱 판독기들에 대해, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 연장된다. 이러한 방식으로, 2D 이미지 특징들은 3D 이미지들의 처리를 개선하고, 처리를 위한 가치가 있지 않다고 결정된 3D 이미지 특징들의 처리를 제거하고/하거나 처리를 위한 가치가 있는 3D 이미지 특징들을 식별하는데 이용될 수 있다.
도 11a는 허용된 스캐닝 거리에서 타깃(550)을 식별하고 타깃(550)을 손(554)에 잡고 있는 조작자(552)를 식별하는 예시적 3D 이미지를 도시한다. 3D 이미지에서 의자(556) 및 사람(558)도 식별된다. 도 11b는 의자(556) 및 사람(558)에 대응하는 2D 이미지 특징들로부터 개발된 필터 마스크를 도시한다. 도 11c는 도 11b의 2D 이미지 특징들이 마스킹 특징들로 변환되는 환경 특징들인 것으로 결정되고, 이들 특징들에 대응하는 대응하는 3D 이미지 데이터가 제거되어 도 11c의 향상된 3D 이미지를 형성하는 향상된 3D 이미지 데이터를 도시한다.
블록(510)에 도시된 바와 같이, 향상된 3D 이미지 데이터를 이용하여 훈련된 신경망(364)의 것들과 같은 물체 인식 모델들을 훈련하는 것, 향상된 3D 이미지 데이터를 이용하여 물체 인식을 수행하는 것, 조작자에 의해 수행되는 액션을 식별하는 것, 또는 3D 이미징 장치와 연관된 적어도 하나의 파라미터를 조정하는 것을 포함하는 다양한 처리가 결과로서 유리할 수 있다. 예를 들어, 블록(510)은 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 조작자에 의해 수행되는 액션을 식별하는 향상된 3D 이미지 데이터를 분석할 수 있다. 2D 이미지 데이터 내에서 바코드가 검출되지 않는 것에 응답하여, 프로세스(510)는 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성할 수 있다. 블록(510)의 처리 동작의 하나 이상의 양태는, 예를 들어, 스캐닝 스테이션(302)에서 또는 서버(350)에서 수행될 수 있다.
일부 예들에서, 블록(510)은 신경망 프레임워크의 물체 인식 모델을 훈련하기 위해 향상된 3D 이미지 데이터를 제공할 수 있다. 예를 들어, 블록(506)은 2D 이미지 데이터에서 바코드를 식별하고, 바코드 검출 이벤트 타임프레임을 결정할 수 있다. 블록(508)은 향상된 3D 이미지들을 그 바코드 검출 이벤트 타임프레임에 대응하여 캡처된 3D 이미지로서 생성할 수 있고, 블록(510)은 물체 인식 모델을 훈련하기 위해 그 3D 이미지를 제공할 수 있다. 이 예에서, 기호 디코딩 이벤트에 대응하는 3D 이미지 데이터만이 물체 인식 모델을 훈련하는데 이용된다. 더욱이, 물체 인식 모델을 훈련하는데 이용되는 3D 이미지는 훈련을 위해 이용되는 향상된 3D 이미지(예를 들어, 도 11c)를 생성하기 위해 물체들을 제거함으로써 추가로 향상될 수 있다.
또한, 일부 예들에서, 블록(510)은, 기호 판독기의 하나 이상의 동작 파라미터, 예를 들어, 3D 이미징 장치의 투사된 조명량, 3D 이미징 장치의 투사된 조명 방향, 3D 이미징 장치에 대한 조명 소스와 같은 3D 이미징 장치의 하나 이상의 동작 파라미터를 조정한다.
블록(510)의 처리 동작의 하나 이상의 양태는, 예를 들어, 스캐닝 스테이션(302)에서 또는 서버(350)에서 수행될 수 있다.
도 12에는, 도 7의 스캐닝 스테이션(302) 및 각각 도 1, 2, 3, 4a, 4b, 5, 및 6의 이미징 시스템들(100, 100', 100'', 140, 140'' 및 200) 중 임의의 것에 의해 수행될 수 있는, 캡처된 2D 이미지들 및 캡처된 3D 이미지들을 이용한 기호 판독을 위한 예시적인 프로세스(600)의 흐름도가 도시되어 있다. 블록(602)에서, 블록(402)과 유사하게, 이미징 시스템의 기호 판독기는 기호 판독기의 2D 이미징 장치를 통해 하나 이상의 2D 이미지를 캡처한다. 특히, 2D 이미지들은 FOV 내의 제1 환경을 통해 캡처된다. 블록(604)에서, 블록(404)과 유사하게, 기호 판독기의 3D 이미징 장치는 3D 이미징 장치에 대응하는 제2 FOV의 다른 환경의 하나 이상의 3D 이미지를 캡처한다.
블록(606)에서, 이미징 시스템은 캡처된 2D 이미지 데이터를 이용하여 제1 물체 식별 데이터를 그리고 캡처된 3D 이미지 데이터를 이용하여 제2 물체 식별 데이터를 결정한다. 일부 예들에서, 제1 물체 식별 데이터와 제2 물체 식별 데이터 양쪽 모두는 스캐닝 스테이션에서, 예를 들어, 기호 판독기(304)에서 결정된다. 일부 예들에서, 이들 물체 식별 데이터 중 하나 또는 둘 다가 원격 서버, 예컨대, 서버(350)에서 결정된다. 예를 들어, 제1 물체 식별 데이터는 기호 판독기에서 결정될 수 있고, 제2 물체 식별 데이터는 그 기호에 저장되거나 서버(350)에 원격으로 저장된 훈련된 신경망을 이용하여 결정될 수 있다.
도시된 예에서, 블록(608)에서, 이미징 시스템은 제1 물체 식별을 제2 물체 식별과 비교하고, 매칭이 있을 때 물체의 적절한 스캐닝이 발생한 것으로 결정하거나, 매칭이 없을 때 부적절한 스캐닝이 발생한 것으로 결정한다. 일부 예들에서, 물체의 적절한 스캐닝을 결정하는 것에 응답하여, 블록(608)은 이미징 시스템(예를 들어, POS, 기호 판독기, 및/또는 원격 서버)이 물체와 연관된 데이터를 포함하도록 트랜잭션 로그를 처리하는 것을 더 포함할 수 있다. 일부 예들에서, 물체의 부적절한 스캐닝을 결정하는 것에 응답하여, 이미징 시스템은 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하고/하거나 물체와 연관된 데이터를 포함하지 않도록 트랜잭션 로그를 처리할 수 있다.
블록(606)은 다양한 방식으로 구현될 수 있다. 예에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 것은 2D 이미지 데이터에서 물체에 대한 바코드를 식별하고, 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하는 것, 및 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 것을 포함한다. 예에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 것은 2D 이미지 데이터를 훈련된 신경망(364)과 같은 훈련된 물체 인식 모델에 제공하는 것, 및 훈련된 물체 인식 모델을 이용하여, 물체의 제1 물체 식별을 생성하는 것을 포함한다. 예에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 것은 3D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 것, 및 훈련된 물체 인식 모델을 이용하여, 물체의 제2 물체 식별을 생성하는 것을 포함한다.
블록(606)의 다른 예에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하기 전에, 이미징 시스템은 3D 이미지 데이터를 2D 이미지 데이터와 비교하고, 3D 이미지 데이터에 기초하여 2D 이미지 데이터로부터 물체 외부의 환경 특징들을 제거한다. 다른 예에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하기 전에, 이미징 시스템은 3D 이미지 데이터를 2D 이미지 데이터와 비교하고, 2D 이미지 데이터에 기초하여 3D 이미지 데이터로부터 물체 외부의 환경 특징들을 제거한다.
블록(606)의 또 다른 예에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 것은, 3D 이미지 데이터로부터 물체의 하나 이상의 컬러 특징들을 결정하는 것 및 그로부터 하나 이상의 컬러 특징으로부터 제2 물체 식별을 결정하는 것을 포함한다. 이러한 컬러 특징들은 물체의 컬러 및/또는 컬러 그래디언트를 포함할 수 있다. 그러한 기능은, 예를 들어, 상이한 생산물의 캡처된 3D 이미지 데이터의 컬러 및/또는 컬러 그래디언트를 검사함으로써 그 생산물을 식별하는데 이용될 수 있다.
블록(606)의 다른 예에서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 것은 3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것 및 하나 이상의 기하학적 특징으로부터 제2 물체 식별을 결정하는 것을 포함한다.
다른 예에서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 것은 2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 것 및 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하는 것 및 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 것을 포함한다. 3D 이미지 데이터가 복수의 데이터 포인트들을 갖는 포인트 클라우드를 포함하는 경우, 3D 이미징 장치로부터의 거리와 연관된 거리 값을 갖는 각각의 데이터 포인트들은 물체의 하나 이상의 기하학적 특징으로부터 결정될 수 있다. 예를 들어, 블록(606)은 3D 이미지 데이터로부터의 물체의 하나 이상의 기하학적 특징이 3D 이미지 데이터의 제1 서브세트에 기초하고, 3D 이미지 데이터의 제2 서브세트에 기초하지 않는다고 결정할 수 있다. 3D 이미지 데이터의 제1 서브세트는 미리 결정된 범위 내에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제1 서브세트와 연관될 수 있고, 3D 이미지 데이터의 제2 서브세트는 미리 결정된 범위 밖에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제2 서브세트와 연관될 수 있다.
이러한 방식으로, 일부 예들에서, 3D 이미지 특징들은 스캐닝되려고 시도하는 물체를 식별하고 물체 스캔 시도가 허용된 스캐닝 거리 내에 있는지를 결정하기 위해 2D 이미지 특징들과 함께 이용될 수 있다. 도 9a의 예에서, (제1 물체 식별 데이터로서의) 바코드(450)는 2D 이미지에서 식별될 수 있고, 바코드(450)와 연관된 타깃(452)의 위치는, (제2 물체 식별 데이터로서의) 타깃(452)과 기호 판독기 사이의 거리와 함께, 3D 이미지 데이터로부터 식별될 수 있다. 그 거리가 허용된 스캐닝 거리보다 짧은 경우, 예를 들어, 도 4a의 예에서 평면(152)의 거리보다 짧은 경우, 또는 거리 평면(156)(이 예에서, 허용된 스캐닝 거리를 정의하는 평면들(152 및 156) 사이의 FOV의 영역)보다 긴 경우, 제1 물체 식별 데이터와 제2 물체 식별 데이터를 비교하는 블록(608)은 부적절한 스캔 시도가 시도되었다고 결정할 수 있고, 그에 의해 바코드(450)의 디코딩을 차단하고/하거나 스캐닝 스테이션과 연관된 트랜잭션 로그에서의 타깃(452) 및 바코드(450)의 포함을 차단할 수 있다.
다른 예에서, 블록(604)은 3D 이미지 데이터를 이용하여 스캐닝가능한 물체를 식별할 수 있고, 블록(606)이 2D 이미지 데이터를 이용하여 물체의 물체 식별을 결정하는데 실패하면, 블록(608)은 물체의 부적절한 스캐닝을 결정하고 경보 신호를 생성할 수 있다. 예를 들어, 2D 이미지가 블록(602)에서 캡처될 수 있지만, 그 2D 이미지는 어떠한 바코드도 보이지 않을 수 있거나, 또는 예를 들어, 조작자가 바코드의 전부 또는 일부를 커버하는 경우 부분 바코드만이 보일 수 있다. 블록(604)에서 결정된 바와 같이, 3D 이미징 장치의 FOV에서 허용된 스캐닝 거리에 걸쳐 스캐닝되는 물체의 존재를 검출하면, 블록(606)은 2D 이미지 데이터 및 3D 이미지 데이터에서, 즉, 제1 및 제2 물체 식별을 각각 결정함으로써 스캐닝된 물체를 식별하려고 시도할 것이다. 제2 물체 식별은 (즉, 훈련된 물체 인식 모델로부터의) 물리적 형상, 거리, 또는 제품 분류일 수 있다. 그러나, 제1 물체 식별이 결정될 수 없는 경우(예를 들어, 2D 이미지로부터 바코드가 적절히 디코딩될 수 없을 때), 블록(608)은 부적절한 스캐닝을 결정하고 경보 신호를 생성한다.
도 13은 도 7의 스캐닝 스테이션(302) 및 각각 도 1, 2, 3, 4a, 4b, 5, 및 6의 이미징 시스템들(100, 100', 100", 140, 140", 200) 중 임의의 것에 의해 수행될 수 있는, 캡처된 3D 이미지들을 이용한 기호 판독을 위한 예시적인 프로세스(700)를 도시한 흐름도이다. 예를 들어, 프로세스(700)는, 추가의 2D 이미징 장치를 갖거나 갖지 않는 3D 이미징 장치를 갖는 기호 판독기에 의해 구현될 수 있다. 블록(702)에서, 이미징 시스템의 기호 판독기는 기호 판독기와 연관된 3D 이미징 장치를 통해 하나 이상의 3D 이미지를 캡처한다. 특히, 3D 이미지들은 3D 이미징 장치의 FOV 내의 환경에 걸쳐 캡처된다. 블록(704)에서, 이미징 시스템은 환경 내의 얼굴 데이터의 존재를 식별하는 3D 이미지 데이터에 대한 얼굴 인식을 수행한다. 얼굴 인식은, 예를 들어, 포인트 클라우드 데이터를 검사하고, 기하학적 특징들을 식별하고 이들을 훈련된 물체 식별 모델, 스캐닝 스테이션 또는 원격 서버에 저장된 3D 인체측정 데이터 모델, 또는 얼굴 특징들을 식별하기 위한 다른 모델들과 비교함으로써 수행될 수 있다. 3차원 데이터를 갖는 모델들을 이용함으로써, 더 정확한 얼굴 인식이 수행될 수 있다.
얼굴 데이터의 존재의 식별에 응답하여, 블록(706)에서, 이미징 시스템은 그 얼굴 데이터의 존재에 기초하여 이미징 장치의 하나 이상의 동작 파라미터를 조정한다. 일부 예들에서, 블록(706)은 이미징 시스템 내의 2D 이미징 장치의 하나 이상의 동작 파라미터를 조정한다. 예에서, 블록(706)은 핸드헬드 바코드 판독기의 2D 이미징 장치의 동작 파라미터들을 조정하여 기호 판독기에 또한 포함될 수 있는 조명 어셈블리 및 조준 어셈블리 중 적어도 하나의 강도를 감소시킨다. 핸드헬드 바코드 판독기의 다른 예에서, 블록(706)은 후속 3D 이미지와 연관된 후속 3D 이미지 데이터에 대한 얼굴 인식의 후속 수행이 후속 3D 이미지 데이터에서 얼굴 데이터의 다른 존재를 식별하는데 실패할 때까지 2D 이미징 장치의 적어도 일부 부분의 활성화를 방지함으로써 2D 이미징 장치의 동작 파라미터를 조정할 수 있다.
일부 예들에서, 프로세스(700)는 블록(706)에서 조정된 동작 파라미터를 갖는 2D 이미징 장치를 이용하여 물체의 2D 이미지를 캡처하는 블록(708)을 더 포함할 수 있다. 이어서, 이미징 시스템은 캡처된 2D 이미지에서의 바코드를 디코딩하여 물체를 식별할 수 있다.
일부 예들에서, 블록(704)은 3D 이미징 장치의 FOV에서 얼굴 데이터의 위치를 결정함으로써 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하고, 블록(706)은 얼굴 데이터의 위치에 기초하여 동작 파라미터들을 조정함으로써 2D 이미징 장치의 동작 파라미터들을 조정한다. 일부 예에서, 블록(706)에서 조정된 동작 파라미터는 2D 이미징 장치의 FOV이다. 예를 들어, 제2 이미징 장치의 FOV는 얼굴 데이터가 FOV의 환경에 존재할 위치들을 배제하도록 조정될 수 있다. 일부 예들에서, 블록(706)에서 조정된 동작 파라미터는, 예를 들어, 물체의 2D 이미지를 캡처하기 위해 및/또는 물체에서의 바코드를 식별하기 위해 2D 이미징 장치가 어디에 포커싱하는지를 조정하기 위한 2D 이미징 장치의 초점 거리이다. 일부 예들에서, 동작 파라미터는 2D 이미징 장치의 노출 시간, 조명 펄스 지속기간, 초점 위치, 또는 이미징 줌 레벨이다.
도 14a는 3D 이미징 장치의 FOV의 제1 환경의 예시적인 3D 이미지를 도시한다. 도 14b는 제2 환경의 예시적인 3D를 도시한다. 도 14a의 제1 환경에서, 얼굴(750)은 기호 판독기의 플래터(752)에 인접한 제1 거리에서 인식되는 반면, 도 14b의 제2 환경에서, 얼굴(754)은 플래터(752)로부터 먼 제2 거리에서 인식된다. 블록(704)에서의 얼굴 데이터의 식별에 기초하여, 도 14a에서의 환경을 캡처하는 3D 이미지에 대해, 바이옵틱 판독기 높이에 서 있는 어린이의 얼굴과 같은 얼굴을 식별하는 블록(706)은 조명 어셈블리로부터의 광에 의해 조명되는 것으로부터 사람을 보호하기 위해 2D 이미징 장치의 동작 파라미터를 조정할 수 있다. 예를 들어, 블록(706)은, 도 14b의 환경에 응답하여, 기호 판독기가 바코드 스캐닝 시도를 수행하지 못하게 할 수 있다. 블록(706)은 2D 이미징 장치의 노출 시간, 조명 펄스 지속기간 또는 이미징 줌 레벨을 조정하여, 2D 이미지를 캡처하기 위해 제어를 블록(708)으로 전달하기 전에 사람을 보호할 수 있다.
유사한 프로세스가 2D 이미지 데이터 및 얼굴 인식을 이용하여 수행될 수 있다. 도 15는 예시적인 프로세스(780)를 나타내는 흐름도이다. 블록(782)에서, 2D 이미지들이 2D 이미징 어셈블리에 의해 캡처되고, 블록(784)에서 2D 이미지들에 대해 얼굴 인식이 수행된다. 예를 들어, 이미징 프로세서는 스캐닝 스테이션에 저장된 2D 인체측정 데이터 모델을 이용하여, 2D 이미지에서 식별된 에지 데이터 또는 다른 콘트라스트가 얼굴 데이터에 대응하는지를 결정하도록 구성될 수 있다. 블록(786)에서, 3D 이미지 데이터가 캡처되고, 블록(788)은 2D 이미지 데이터와 3D 이미지 데이터를 비교하여 2D 이미지 데이터에서의 얼굴 데이터와 연관된 3D 이미지 특징들을 식별한다. 3D 특징들이 식별되면, 블록(790)은 하나 이상의 상이한 기능, 특히, 바코드 판독기로부터의 얼굴 데이터의 거리를 결정하고 거리에 기초하여 바코드 판독기의 스캐닝을 선택적으로 디스에이블링/인에이블링하는 것, 얼굴 데이터에 대한 인체측정 데이터를 결정하고 얼굴 데이터가 사람으로부터의 것인지 여부를 결정하는 것, 및 바코드 판독기 내의 2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 것을 수행한다. 프로세스(700)에서와 같이, 예시적인 동작 파라미터들은 노출 시간, 조명 펄스 지속기간, 초점 거리, 또는 이미징 줌 레벨을 포함한다.
도 16은 도 7의 스캐닝 스테이션(302) 및 각각 도 1, 2, 3, 4a, 4b, 5, 및 6의 이미징 시스템들(100, 100', 100'', 140, 140'' 및 200) 중 임의의 것에 의해 수행될 수 있는, 포인트-오브-세일과 같은 스캐닝 스테이션에 의해 수행될 수 있는 예시적인 프로세스(800)를 도시한 흐름도이며, 스캐닝 스테이션은 그와 연관된 3D 이미징 장치를 갖는다. 예를 들어, 프로세스(800)는, 추가의 2D 이미징 장치를 갖거나 갖지 않는, 3D 이미징 장치와 연관된 기호 판독기에 의해 구현될 수 있다. 블록(802)에서, 블록(702)과 유사하게, 이미징 시스템의 기호 판독기는 기호 판독기의 3D 이미징 장치를 통해 하나 이상의 3D 이미지를 캡처한다. 특히, 3D 이미지들은 3D 이미징 장치의 FOV 내의 환경에 걸쳐 캡처된다. 블록(804)에서, 블록(704)과 유사하게, 이미징 시스템은 환경 내의 얼굴 데이터의 존재를 식별하는 3D 이미지 데이터에 대한 얼굴 인식을 수행한다.
블록(806)에서, 이미징 시스템은 블록(704)으로부터의 얼굴 데이터에 대해 얼굴 식별을 수행한다. 특히, 블록(806)은 얼굴 식별을 인증하려고 시도한다. 얼굴 식별이 인증되는 것에 응답하여, 블록(808)에서 2D 이미징 장치는 2D 이미징 장치의 FOV의 환경에서 물체의 2D 이미지들을 캡처하는데 이용될 수 있다. 예에서, 얼굴 식별을 인증하는 것은 얼굴 식별을 인가된 사용자 데이터베이스와 비교함으로써 달성된다. 예에서, 얼굴 식별을 인증하는 것은 얼굴 데이터가 3D 이미징 장치로부터 수용가능한 거리에 있다고 결정함으로써 달성된다. 예를 들어, 도 14a에서의 얼굴 데이터(750)는 비-인증(non-authentication)을 초래하여, 2D 이미징 장치를 이용한 2D 이미지들의 캡처를 방지할 수 있는 반면, 얼굴 데이터(754)는 인증을 초래할 수 있다. 일부 예들에서, 3D 이미지 데이터에 대해 얼굴 인식을 수행하기 전에, 블록(806)은 3D 이미지 데이터에서 환경 특징들을 식별할 수 있고, 환경 특징들은 물체 외부의 3D 이미지에서의 특징들이고, 프로세스(800)는 3D 이미지 데이터로부터 환경 특징들을 제거할 수 있다.
블록(808)은 얼굴 데이터를 인증하는 것에 응답하여 다수의 동작을 수행하도록 구성될 수 있다. 2D 이미지들을 캡처한 후에, 블록(808)은 스캐닝 스테이션의 2D 이미징 장치를 이용하여 2D 이미지들을 캡처할 수 있다. 즉, 일부 예들에서, 블록(808)은 얼굴 데이터 인증에 응답하여 2D 이미지들 및 물체 스캐닝을 허용하도록 구성된다. 일부 예들에서, 블록(808)은 후속 2D 이미지 캡처를 방지하도록 구성될 수 있다. 예를 들어, 블록(808)은 얼굴 데이터를 인증하고 2D 이미지의 이미지에서 캡처된 바코드의 디코딩을 방지하는 해제 조건을 만족시킬 수 있다. 또는, 블록(808)은 2D 이미지 및 바코드 디코딩이 발생하게 할 수 있지만, 블록은 포인트-오브-세일에서 스캐닝된 물품들의 트랜잭션 로그에 후속하여 스캐닝된 물품을 추가하는 것을 방지할 수 있다. 예를 들어, 얼굴 데이터가 비-인가된 사용자, 예를 들어, 미성년자(minor)가 이미지를 스캐닝하려고 시도하고 있다는 것을 나타낸다면, 블록(808)은 2D 이미지가 캡처되는 것을 방지하거나 2D 이미지가 캡처되는 것을 허용하지만 이미지에서의 임의의 바코드의 디코딩을 방지할 수 있다. 일부 예들에서, 인증은 불가지론적(agnostic)이고 2D 이미지에서 바코드의 임의의 디코딩을 방지할 수 있다. 일부 예들에서, 인증은 알코올 또는 다른 나이 부적절한 물품들과 같은 특정 타입들의 물체들에 대해서만 그러한 디코딩을 방지할 수 있다. 그러한 예들에서, 블록(808)은 2D 이미지가 캡처되고, 바코드가 식별되고 디코딩되는 것을 허용할 수 있고, 그 후 그 디코딩에 의해 식별된 물체에 따라, 디코딩된 바코드가 포인트-오브-세일 스캐닝 스테이션에서의 트랜잭션 로그에 추가되지 않도록 해제 조건이 만족되는지를 결정하고, 그에 의해 미성년자가 물체의 스캐닝 및 구매에 영향을 미치는 것을 방지할 수 있다.
도 15 및 도 16의 예시적인 프로세스들은 기호 판독기 및 스캐닝 스테이션의 맥락에서 설명되지만, 설명된 프로세스들은 분배된 물품들을 구매하기 위한 자동화된 키오스크(automated kiosk), 자동화된 현금 스테이션 또는 텔러(automated cash station or teller), 또는 다른 시스템과 같은 임의의 이미지 기반 인증 시스템 또는 사기 검출 시스템에서 구현될 수 있다.
다양한 예들에서, 본 발명의 기술들은, 예를 들어, 머신 비전 응용들을 포함하는 다른 스캐닝 응용에서 구현될 수 있다. 도 17에서, 예를 들어, 머신 비전 시스템으로서 구현된 스캐닝 스테이션(302)과 같은 머신 비전 시스템에 의해 수행될 수 있는, 캡처된 2D 이미지들 및 캡처된 3D 이미지들을 이용하여 머신 비전 시스템에 의해 수행될 수 있는, 물체 스캐너에 대한 예시적인 프로세스(900)의 흐름도가 도시되어 있다. 도 18은 예시적인 머신 비전 시스템(1000)에서 구현된 예시적인 논리 회로를 도시한다. 예시된 예에서, 머신 비전 시스템(1000)은 2D 이미징 장치의 FOV 내에서 2D 이미지 데이터를 감지하도록 일반적으로 구성된 2D 컬러 이미지 센서 어레이(1002)를 포함한다. 더 구체적으로, 컬러 이미지 센서 어레이(1002)는 컬러 이미지 센서 어레이(1002)의 개별 이미지 센서들과 각각 연관된 컬러 필터들을 포함하는 컬러 필터 어레이(1004)와 연관될 수 있다. 예를 들어, 컬러 이미지 센서 어레이(1002)의 제1 이미지 센서는 녹색 필터와 연관될 수 있고, 컬러 이미지 센서 어레이(1002)의 제2 이미지 센서는 적색 필터와 연관될 수 있다. 컬러 필터 어레이(1004)를 형성하는 컬러 필터들의 패턴은 베이어(Bayer) 패턴일 수 있다. 예시된 바와 같이, 머신 비전 시스템(1000)은 또한 2D 컬러 이미지 센서 어레이(1004)의 이미징 FOV를 향해 지향된 조명 광을 생성하도록 구성된 조명 어셈블리(1014)를 포함한다. 예를 들어, 조명 어셈블리(1014)는 하나 이상의 발광 다이오드(LED) 또는 다른 타입들의 광 소스들을 포함할 수 있다. 일부 실시예들에서, 조명 어셈블리(1014)는 백색 광(예를 들어, 가시 스펙트럼 전체에 걸친 파장들을 포함하는 광)을 방출하도록 구성된다. 조명 어셈블리(1014)는 직접 조명 소스 및 확산 조명 소스와 같은 다수의 조명 소스들을 포함할 수 있다. 일부 예들에서, 조명 어셈블리(1014)는 적색 광 조명 소스, 녹색 광 조명 소스, 청색 광 조명 소스, 및/또는 백색 광 조명 소스와 같은, 상이한 파장들에서 방출하는 조명 소스들을 포함한다. 이와 같이, 다양한 예들에서, 2D 컬러 이미지 센서 어레이(1002)는 광 반사들의 전체 범위를 감지할 수 있다. 머신 비전 시스템(1000)은 3D 이미징 장치의 FOV에서 환경의 3D 이미지들을 캡처하기 위한 3D 이미징 장치(1005)를 포함한다.
또한, 머신 비전 시스템(1000)은, 이 설명을 수반하는 도면들의 흐름도들에 의해 표현될 수 있는 바와 같이, 예를 들어, 본 명세서에 설명된 예시적인 방법들의 동작들을 구현하기 위한 명령어들을 실행할 수 있는 하나 이상의 이미지 프로세서(1006)를 포함한다. 이미지 프로세서들(1006)은 하나 이상의 마이크로프로세서, 제어기, 및/또는 임의의 적절한 타입의 프로세서일 수 있다. 예시적인 머신 비전 시스템(1000)은 (예를 들어, 메모리 제어기를 통해) 이미지 프로세서들(1006)에 의해 액세스가능한 메모리(예를 들어, 휘발성 메모리, 비휘발성 메모리)(1008)를 포함한다. 예시적인 머신 비전 시스템(1000)은 또한, 디코더(1010), 및 이미지 프로세서들(1006)에 의해 처리된 이미지 데이터를 포함하는 2D 및 3D 이미지 데이터를 분석하도록 구성된 머신 비전 모듈(1012)을 포함한다. 예시적인 디코더(1010)는 2D 컬러 이미지 센서 어레이(1002)로부터의 2D 이미지 데이터가 바코드를 나타내는지를 결정하고, 그러한 경우, 인코딩된 정보를 결정하기 위해 바코드를 디코딩하도록 구성된다. 예시적인 머신 비전 모듈(1012)은 2D 이미지 데이터 및/또는 3D 이미지 데이터에 대해 물체 인식 기술들을 수행하여 그 타깃 특징들을 식별하도록 구성된다. 예를 들어, 머신 비전 모듈(1012)은, 물체 상의 균열 및/또는 2D 이미지 데이터 및 3D 이미지 데이터 중 어느 하나 또는 양쪽 모두로부터 결정되는 마이크로칩의 핀에 대한 불완전한 납땜 접속과 같은 타깃 특징들을 검출하도록 구성될 수 있다. 일부 예들에서, 머신 비전 모듈(1012)은, 3D 이미지 데이터로 향상된 2D 이미지 데이터 또는 2D 이미지 데이터를 이용하여 향상된 3D 이미지 데이터를 이용하여 특징들을 검출하도록 구성될 수 있다.
예시적인 머신 비전 시스템(1000)은 또한, 예를 들어, 하나 이상의 네트워크를 통해 다른 머신들과의 통신을 가능하게 하는 네트워크 인터페이스(1016), 및 사용자 입력의 수신 및 사용자로의 출력 데이터의 통신을 가능하게 하는 입력/출력(I/O) 인터페이스들(1018)을 포함한다. 예를 들어, 출력 데이터는 디코더(1010)에 의해 결정된 인코딩된 정보 및/또는 머신 비전 모듈(1012)에 의해 검출된 특징들의 표시일 수 있다.
도 17로 돌아가면, 블록(902)에서, (2D 컬러 이미지 감각 어레이(1002)와 같은) 머신 비전 시스템의 2D 이미징 장치는 FOV를 통해 물체의 2D 이미지를 캡처한다. 머신 비전 시스템은 2D 이미지에서 물체의 바코드를 식별하고, 바코드로부터 물체의 하나 이상의 3D 물체 특징을 결정한다. 예를 들어, 블록(902)은 바코드를 디코딩하고, 연관된 물체를 식별하고, 물체의 형상, 표면들, 및/또는 치수들과 같은 기하학적 특징들과 같은 물체의 3D 특징들을 결정할 수 있다. 블록(904)에서, (3D 이미징 장치(1005)와 같은) 머신 비전 시스템의 3D 이미징 장치는 FOV를 통해 환경의 3D 이미지(들)를 캡처하고, 3D 이미지(들)에 대응하는 3D 이미지 데이터를 저장한다. 블록(906)에서, 3D 이미지 데이터는 위에서 논의된 것들과 같은 하나 이상의 3D 물체 특징의 존재를 식별하기 위해 머신 비전 시스템에 의해(예를 들어, 머신 비전 모듈(1012)에 의해) 검사된다. 하나 이상의 3D 물체 특징의 존재를 결정하는 것에 응답하여, 블록(908)은 디지털 고장 검출 신호를 머신 비전 시스템의 사용자에게 제공한다. 예시된 예에서, 블록(908)이 블록(902)으로부터 결정된 3D 물체 특징들이 블록(906)으로부터의 3D 이미지 데이터에 존재하지 않는다고 결정하면, 디지털 고장 검출 신호가 사용자에게 제공된다. 예에서, 2D 이미지에서의 바코드로부터 3D 물체 특징들을 결정하는 것은 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 물체 식별을 결정하고, 물체 식별로부터, 물체의 하나 이상의 3D 물체 특징을 결정하는 것에 의해 수행된다. 다른 예에서, 2D 이미지에서의 바코드로부터 물체의 3D 물체 특징들을 결정하는 것은 2D 이미지에서의 바코드의 위치로부터 물체의 배향을 결정하고, 물체의 배향으로부터, 하나 이상의 3D 물체 특징을 이용가능한 3D 물체 특징들의 서브세트로서 결정하는 것에 의해 수행된다. 일부 예들에서, 3D 물체 특징들은 치수 특징 및 형상 특징 중 적어도 하나를 포함한다.
블록(908)에서 고장이 검출되지 않으면, 블록(910)에서, 블록(902)으로부터 결정된 3D 물체 특징들이 블록(906)으로부터의 3D 이미지 데이터에 존재한다고 결정되면, 블록(910)은 머신 비전 시스템과 연관된 적어도 하나의 파라미터에 대해 변경이 이루어져야 하는지를 결정할 수 있다. 이러한 방식으로, 블록(910)은 2D 컬러 이미지 센서 어레이로부터의 컬러 데이터를 이용하여 컬러 체크를 수행할 수 있고, 이로부터 블록(910)은 머신 비전 시스템에 의해 검사 중인 물체를 더 양호하게 조명하기 위해 조명 소스가 변경되어야 하는지를 결정한다. 블록(910)은 2D 이미지 데이터 및 3D 이미지 데이터를 평가하여 물체의 배향, 조명 및 위치와 같은 특성들을 결정한 후에 (예를 들어, 상이한 파장들의 조명 소스들을 이용하여) 조명 소스, 조명의 방향, 조명 소스의 파장을 조정할 수 있다. 예를 들어, 블록(910)은 '골든 유닛(golden unit)' 머신 비전 스캐닝을 위한 조명 컬러, 강도, 및/또는 방향 값들과 같은 최적 조명 조건들을 결정하고, 그러한 최적 조명 조건들에 대한 변경 파라미터들을 이용한다. 이러한 방식으로, 2D 이미지 데이터로부터 결정된 적색의 컬러의 존재와 같은 컬러 데이터는 2D 이미징 장치 또는 3D 이미징 장치로 머신 비전 스캔들을 수행하기 위한 조명 조건들을 조정하는데 이용될 수 있다. 다른 예들에서, 컬러 데이터는 3D 이미징 장치에 의해 캡처된 3D 이미지 데이터로부터 결정될 수 있다. 프로세스(900)는 머신 비전 시스템이 2D 이미징 장치 및 3D 이미징 장치로부터 데이터를 캡처하고, 결과적인 2D 이미지 데이터와 3D 이미지 데이터를 비교하고, 머신 비전 시스템의 동작 파라미터들에서의 변화들을 결정하여, 개선된 조건들 하에서 이미지들을 캡처하기 위해 머신 비전 시스템을 신속하게 온 더 플라이(on the fly)로 조정함으로써, 이 시스템들의 정확도 및 스캐닝 처리량을 증가시키는 것을 허용한다.
상기의 설명은 첨부 도면들의 블록도를 참조한다. 블록도에 의해 표현된 예의 대안적인 구현들은 하나 이상의 추가적인 또는 대안적인 요소, 프로세스 및/또는 디바이스를 포함한다. 추가적으로 또는 대안적으로, 도면의 예시적인 블록들 중 하나 이상은 결합, 분할, 재배열 또는 생략될 수 있다. 도면의 블록들에 의해 표현되는 컴포넌트들은 하드웨어, 소프트웨어, 펌웨어, 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현된다. 일부 예들에서, 블록들에 의해 표현되는 컴포넌트들 중 적어도 하나는 논리 회로에 의해 구현된다. 본 명세서에서 이용되는 바와 같이, "논리 회로"라는 용어는 하나 이상의 머신을 제어하고/하거나 하나 이상의 머신의 동작들을 수행하도록 (예를 들어, 미리 결정된 구성에 따른 동작을 통해 및/또는 저장된 머신 판독가능 명령어들의 실행을 통해) 구성된 적어도 하나의 하드웨어 컴포넌트를 포함하는 물리적 디바이스로서 명시적으로 정의된다. 논리 회로의 예들은 하나 이상의 프로세서, 하나 이상의 코프로세서, 하나 이상의 마이크로프로세서, 하나 이상의 제어기, 하나 이상의 디지털 신호 프로세서(DSP), 하나 이상의 주문형 집적 회로(ASIC), 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA), 하나 이상의 마이크로컨트롤러 유닛(MCU), 하나 이상의 하드웨어 가속기, 하나 이상의 특수 목적 컴퓨터 칩, 및 하나 이상의 시스템 온 칩(SoC) 디바이스를 포함한다. ASIC들 또는 FPGA들과 같은 일부 예시적인 논리 회로들은 동작들(예를 들어, 존재하는 경우, 본 명세서에 설명되고 본 개시내용의 흐름도들에 의해 표현되는 동작들 중 하나 이상)을 수행하기 위해 구체적으로 구성된 하드웨어이다. 일부 예시적인 논리 회로들은, 동작들(예를 들어, 존재하는 경우, 본 명세서에 설명되고 본 개시내용의 흐름도들에 의해 표현되는 동작들 중 하나 이상)을 수행하기 위해 머신 판독가능 명령어들을 실행하는 하드웨어이다. 일부 예시적인 논리 회로들은 머신 판독가능 명령어들을 실행하는 하드웨어와 특별히 구성된 하드웨어의 조합을 포함한다. 상기의 설명은 본 명세서에 설명된 다양한 동작들 및 그 동작들의 흐름을 예시하기 위해 여기에 첨부될 수 있는 흐름도들을 참조한다. 임의의 그러한 흐름도들은 본 명세서에 개시된 예시적인 방법들을 나타낸다. 일부 예들에서, 흐름도들에 의해 표현되는 방법들은 블록도들에 의해 표현되는 장치를 구현한다. 본 명세서에 개시된 예시적인 방법들의 대안적인 구현들은 추가적인 또는 대안적인 동작들을 포함할 수 있다. 또한, 본 명세서에 개시된 방법들의 대안적인 구현들의 동작들은 결합, 분할, 재배열 또는 생략될 수 있다. 일부 예들에서, 본 명세서에 설명된 동작들은 하나 이상의 논리 회로(예를 들어, 프로세서(들))에 의한 실행을 위해 매체(예를 들어, 유형의 머신 판독가능 매체) 상에 저장된 머신 판독가능 명령어들(예를 들어, 소프트웨어 및/또는 펌웨어)에 의해 구현된다. 일부 예들에서, 본 명세서에 설명된 동작들은 하나 이상의 특별히 설계된 논리 회로(예를 들어, ASIC(들))의 하나 이상의 구성에 의해 구현된다. 일부 예들에서, 본 명세서에 설명된 동작들은 논리 회로(들)에 의한 실행을 위해 매체(예를 들어, 유형의 머신 판독가능 매체) 상에 저장된 머신 판독가능 명령어들 및 특별히 설계된 논리 회로(들)의 조합에 의해 구현된다.
본 명세서에서 이용된 바와 같이, "유형의 머신 판독가능 매체", "비일시적 머신 판독가능 매체" 및 "머신 판독가능 저장 디바이스"라는 용어들 각각은 머신 판독가능 명령어들(예를 들어, 소프트웨어 및/또는 펌웨어 형태의 프로그램 코드)이 임의의 적절한 지속기간 동안(예를 들어, 영구적으로, 연장된 시간 기간 동안(예를 들어, 머신 판독가능 명령어들과 연관된 프로그램이 실행되고 있는 동안) 및/또는 짧은 시간 기간 동안(예를 들어, 머신 판독가능 명령어들이 캐싱되는 동안 및/또는 버퍼링 프로세스 동안)) 저장되는 저장 매체(예를 들어, 하드 디스크 드라이브, 디지털 다기능 디스크, 콤팩트 디스크, 플래시 메모리, 판독 전용 메모리, 랜덤 액세스 메모리 등의 플래터)로서 명시적으로 정의된다. 또한, 본 명세서에서 이용된 바와 같이, "유형의 머신 판독가능 매체", "비일시적 머신 판독가능 매체" 및 "머신 판독가능 저장 디바이스"라는 용어들 각각은 전파 신호들을 배제하도록 명시적으로 정의된다. 즉, 본 특허의 임의의 청구항에서 이용되는 바와 같이, "유형의 머신 판독가능 매체", "비일시적 머신 판독가능 매체", 및 "머신 판독가능 저장 디바이스"라는 용어들 중 어느 것도 전파 신호에 의해 구현되는 것으로 해석될 수 없다.
전술한 명세서에서, 특정 실시예들이 설명되었다. 그러나, 본 기술분야의 통상의 기술자라면, 이하의 청구항들에 개시된 본 발명의 범위로부터 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 것으로 간주되어야 하고, 모든 그러한 수정들은 본 교시들의 범위 내에 포함되는 것으로 의도된다. 추가적으로, 설명된 실시예들/예들/구현들은 상호 배타적인 것으로서 해석되지 않아야 하고, 대신에 그러한 조합들이 임의의 방식으로 허용가능하다면 잠재적으로 조합가능한 것으로서 이해되어야 한다. 즉, 전술한 실시예들/예들/구현들 중 임의의 것에 개시된 임의의 특징은 다른 전술한 실시예들/예들/구현들 중 임의의 것에 포함될 수 있다.
혜택들, 이점들, 문제들에 대한 해결책들, 및 임의의 혜택, 이점, 또는 해결책이 발생하거나 더 두드러지게 할 수 있는 임의의 요소(들)는, 임의의 또는 모든 청구항의 결정적이거나, 요구되거나, 본질적인 특징들 또는 요소들로서 해석되어서는 안 된다. 청구된 발명은 본 출원의 계류 중에 이루어진 임의의 보정들을 포함하는 첨부된 청구항들 및 발행된 청구항들의 모든 등가물들에 의해서만 정의된다.
더욱이, 이 문서에서, 제1 및 제2, 상단 및 하단 등과 같은 관계 용어들은 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션과 구별하기 위해서만 이용될 수 있으며, 그러한 엔티티들 또는 액션들 사이의 임의의 실제 그러한 관계 또는 순서를 반드시 요구하거나 암시하는 것은 아니다. 용어들 "포함한다(comprises)", "포함하는(comprising)", "갖는다(has)", "갖는(having)", "포함한다(includes)", "포함하는(including)", "포함한다(contains)", "포함하는(containing)" 또는 이들의 임의의 다른 변형은 비배타적 포함을 커버하도록 의도되며, 따라서 요소들의 리스트를 포함하고(comprises), 갖고(has), 포함하고(includes), 포함하는(contains) 프로세스, 방법, 물건 또는 장치는 그러한 요소들만을 포함하는 것이 아니라, 명시적으로 열거되지 않거나 그러한 프로세스, 방법, 물건 또는 장치에 고유한 다른 요소들을 포함할 수 있다. "...을 포함한다(comprises ...a)", "...을 갖는다(has ...a)", "...을 포함한다(includes ...a)", "...을 포함한다(contains ...a)"에 의해 선행되는 요소는, 더 많은 제약들 없이, 요소를 포함하고(comprises), 갖고(has), 포함하고(includes), 포함하는(contains) 프로세스, 방법, 물품, 또는 장치에서의 추가적인 동일한 요소들의 존재를 배제하지 않는다. 단수 표현("a" 및 "an")은 본 명세서에서 이와 다르게 명시적으로 기재되지 않으면 하나 이상으로서 정의된다. 용어들 "실질적으로", "본질적으로", "대략적으로", "약" 또는 그것의 임의의 다른 버전은 본 기술분야의 통상의 기술자에 의해 이해되는 것과 가깝게 정의되고, 하나의 비제한적인 실시예에서 용어는 10% 내에, 다른 실시예에서 5% 내에, 다른 실시예에서 1% 내에 그리고 다른 실시예에서 0.5% 내에 있는 것으로 정의된다. 본 명세서에서 이용되는 바와 같은 "결합된"이라는 용어는 반드시 직접적이고 반드시 기계적일 필요는 없지만 접속되는 것으로 정의된다. 특정 방식으로 "구성되는" 디바이스 또는 구조는 적어도 그 방식으로 구성되지만, 또한 열거되지 않은 방식들로 구성될 수 있다.
본 개시내용의 요약서는 독자가 기술적 개시내용의 본질을 신속하게 확인할 수 있게 하기 위해 제공된다. 그것은 청구항들의 범위 또는 의미를 해석하거나 제한하기 위해 이용되지 않을 것이라는 이해 하에 제출된다. 또한, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화할 목적으로 다양한 실시예들에서 함께 그룹화되는 것을 알 수 있다. 이러한 개시 방법은 청구되는 실시예들이 각각의 청구항에 명시적으로 기재된 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 주제는 단일의 개시된 실시예의 모든 특징들보다 적은 것에 있을 수 있다. 따라서, 이하의 청구항들은 이로써 상세한 설명에 포함되며, 각각의 청구항은 개별적으로 청구되는 주제로서 독립적이다.
예들:
1. 바코드 판독기를 이용한 바코드 스캐닝의 방법으로서,
바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
3D 이미지 데이터로부터 제2 환경 내의 하나 이상의 3D 이미지 특징을 식별하는 단계;
하나 이상의 3D 이미지 특징을 2D 이미지 데이터에서의 적어도 하나 이상의 2D 이미지 특징과 상관시킴으로써, 향상된 2D 이미지 데이터가 되도록 2D 이미지 데이터를 향상시키는 단계; 및
(a) 향상된 2D 이미지 데이터 내에서 캡처된 바코드를 디코딩하는 것, (b) 향상된 2D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (c) 향상된 2D 이미지 데이터 내에서 물체를 인식하는 것, (d) 바코드 판독기의 조작자에 의해 수행된 액션을 식별하는 것, 및 (e) 바코드 판독기 동작과 연관된 적어도 하나의 파라미터를 변경하는 것 중 적어도 하나를 위해 향상된 2D 이미지 데이터를 처리하는 단계를 포함하는, 방법.
2. 예 1의 방법으로서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징을 포함하는, 방법.
3. 예 1의 방법으로서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체에 대응하는 컬러 또는 컬러 그래디언트를 포함하는, 방법.
4. 예 1의 방법으로서, 하나 이상의 3D 이미지 특징을 식별하는 단계는 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위 내에 위치되는 하나 이상의 3D 이미지 특징을 식별하는 단계를 포함하는, 방법.
5. 예 4의 방법으로서, 2D 이미지 데이터를 향상시키는 단계는 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 적어도 하나 이상의 2D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법.
6. 예 4의 방법으로서, 2D 이미지 데이터를 향상시키는 단계는 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 적어도 하나 이상의 2D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법.
7. 예 4의 방법으로서, 바코드 판독기는 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기이고,
3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장되는, 방법.
8. 예 4의 방법으로서, 바코드 판독기는 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기이고,
3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 연장되는, 방법.
9. 예 1의 방법으로서, 하나 이상의 3D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함하는, 방법.
10. 예 1의 방법으로서, 향상된 2D 이미지 데이터를 처리하는 단계는
조작자에 의해 수행된 액션을 식별하는 단계, 및
조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계를 포함하는, 방법.
11. 예 1의 방법으로서, 향상된 2D 이미지 데이터를 처리하는 단계는
조작자에 의해 수행된 액션을 식별하는 단계, 및
조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것, 및 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 물체 상의 부분적으로 커버된 바코드 또는 완전히 커버된 바코드를 검출하는 것 중 하나로서 식별되는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계를 포함하는, 방법.
12. 예 1의 방법으로서, 바코드 판독기 동작과 연관된 적어도 하나의 파라미터는 바코드 판독기의 노출 시간, 바코드 판독기의 조명 펄스 지속기간, 바코드 판독기의 초점 위치, 바코드 판독기의 이미징 줌 레벨, 및 바코드 판독기의 조명 소스인, 방법.
13. 예 12의 방법으로서, 조명 소스는 확산 조명 소스 또는 직접 조명 소스인, 방법.
14. 예 1의 방법으로서, 3D 이미지 데이터로부터 제2 환경 내의 하나 이상의 3D 이미지 특징을 식별하는 것에 응답하여, 제1 환경의 2D 이미지를 캡처하기 전에 바코드 판독기의 조명 밝기를 조정하는, 방법.
15. 바코드 판독기를 이용하여 데이터를 처리하는 방법으로서,
바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
2D 이미지 데이터로부터 제1 환경 내의 하나 이상의 2D 이미지 특징을 식별하는 단계;
하나 이상의 2D 이미지 특징을 3D 이미지 데이터에서의 적어도 하나 이상의 3D 이미지 특징과 상관시킴으로써, 향상된 3D 이미지 데이터가 되도록 3D 이미지 데이터를 향상시키는 단계; 및
(a) 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (b) 향상된 3D 이미지 데이터 내에서 물체를 인식하는 것, (c) 바코드 판독기의 사용자에 의해 수행된 액션을 식별하는 것, 및 (d) 3D 이미징 장치와 연관된 적어도 하나의 파라미터를 변경하는 것 중 적어도 하나를 위해 향상된 3D 이미지 데이터를 처리하는 단계를 포함하는, 방법.
16. 예 15의 방법으로서, 2D 이미지 데이터는 단색 이미지 데이터, 그레이스케일 이미지 데이터, 및 다색 이미지 데이터 중 하나를 포함하고,
하나 이상의 2D 이미지 특징은 제1 FOV 내에 제시된 물체의 바코드 및 하나 이상의 기하학적 특징 중 적어도 하나를 포함하는, 방법.
17. 예 16의 방법으로서,
하나 이상의 2D 이미지 특징은 바코드를 포함하고,
3D 이미지 데이터를 향상시키는 단계는 바코드의 위치를 2D 이미지 데이터로부터 3D 이미지 데이터로 매핑하는 단계를 포함하는, 방법.
18. 예 16의 방법으로서,
2D 이미지 데이터는 다색 이미지 데이터를 포함하고,
하나 이상의 2D 이미지 특징은 제1 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징을 포함하고,
3D 이미지 데이터를 향상시키는 단계는 제1 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징에 적어도 부분적으로 기초하여 다색 이미지 데이터의 적어도 일부를 3D 이미지 데이터에 매핑하는 단계를 포함하는, 방법.
19. 예 16의 방법으로서, 3D 이미지 데이터를 향상시키는 단계는 향상된 3D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 적어도 하나 이상의 3D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법.
20. 예 16의 방법으로서, 3D 이미지 데이터를 향상시키는 단계는 향상된 3D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 적어도 하나 이상의 3D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법.
21. 예 16의 방법으로서, 3D 이미지 데이터를 향상시키는 단계는 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위에 기초하여 3D 이미지 데이터를 필터링하는 단계를 더 포함하는, 방법.
22. 예 21의 방법으로서, 바코드 판독기는 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기이고,
3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장되는, 방법.
23. 예 21의 방법으로서, 바코드 판독기는 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기이고,
3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 연장되는, 방법.
24. 예 15의 방법으로서, 하나 이상의 2D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함하는, 방법.
25. 예 15의 방법으로서, 향상된 3D 이미지 데이터를 처리하는 단계는 조작자에 의해 수행된 액션을 식별하는 단계, 및
조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 2D 이미지 데이터 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계를 포함하는, 방법.
26. 예 15의 방법으로서, 하나 이상의 2D 이미지 특징을 식별하는 단계는,
2D 이미지 상의 환경 특징들을 식별하는 단계 - 환경 특징들은 제1 FOV 내에 제시된 물체의 외부의 이미지에서의 특징들임 -;
환경 특징들을 2D 이미지에서의 식별된 환경 특징들을 커버하도록 구성된 마스킹 특징들로 변환하는 단계; 및
마스킹 특징들을 하나 이상의 2D 이미지 특징으로서 식별하는 단계를 포함하는, 방법.
27. 예 15의 방법으로서, 하나 이상의 2D 이미지 특징을 식별하는 단계는,
2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계;
바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 물체 식별을 결정하는 단계; 및
물체 식별로부터, 하나 이상의 2D 이미지 특징을 결정하는 단계를 포함하는, 방법.
28. 예 15의 방법으로서, 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하기 위해 향상된 3D 이미지 데이터를 처리하는 단계는,
2D 이미지 데이터에서 바코드를 식별하고, 바코드 검출 이벤트 타임프레임을 결정하고, 바코드 검출 이벤트 타임프레임에 대응하는 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하는 단계; 또는
2D 이미지 데이터에서 바코드를 식별하고, 2D 이미지 데이터에서의 바코드에 대응하는 향상된 3D 이미지 데이터 내에서 물체를 식별하고, 바코드에 대응하지 않는 3D 이미지에서 다른 물체를 식별하면, 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하기 전에 향상된 3D 이미지 데이터로부터 다른 물체들을 제거하는 단계를 포함하는, 방법.
29. 예 15의 방법으로서, 3D 이미징 장치와 연관된 적어도 하나의 파라미터는 3D 이미징 장치의 투영된 조명량, 3D 이미징 장치의 투영된 조명 방향 또는 3D 이미징 장치의 조명 소스를 포함하는, 방법.
30. 바코드 판독기를 이용하여 물체의 적절한 스캐닝 또는 물체의 부적절한 스캐닝을 식별하는 방법으로서,
바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계;
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계; 및
제1 물체 식별을 제2 물체 식별과 비교하고, (a) 제1 물체 식별이 제2 물체 식별과 매칭할 때 물체의 적절한 스캐닝 및 (b) 제1 물체 식별이 제2 물체 식별과 매칭하지 않을 때 물체의 부적절한 스캐닝을 결정하는 단계를 포함하는, 방법.
31. 예 30의 방법으로서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는,
2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 및
바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 단계를 포함하는, 방법.
32. 예 30의 방법으로서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는,
2D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 단계; 및
훈련된 물체 인식 모델을 이용하여, 물체의 제1 물체 식별을 생성하는 단계를 포함하는, 방법.
33. 예 30의 방법으로서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계는,
3D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 단계; 및
훈련된 물체 인식 모델을 이용하여, 물체의 제2 물체 식별을 생성하는 단계를 포함하는, 방법.
34. 예 30의 방법으로서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하기 전에, 방법은,
3D 이미지 데이터를 2D 이미지 데이터와 비교하는 단계; 및
3D 이미지 데이터에 기초하여 2D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하는 단계를 더 포함하는, 방법.
35. 예 30의 방법으로서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하기 전에, 방법은,
3D 이미지 데이터를 2D 이미지 데이터와 비교하는 단계; 및
2D 이미지 데이터에 기초하여 3D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하는 단계를 포함하는, 방법.
36. 예 30의 방법으로서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계는,
3D 이미지 데이터로부터 물체의 하나 이상의 컬러 특징을 결정하는 단계; 및
하나 이상의 컬러 특징으로부터 제2 물체 식별을 결정하는 단계를 포함하는, 방법.
37. 예 36의 방법으로서, 하나 이상의 컬러 특징은 물체의 컬러를 포함하는, 방법.
38. 예 36의 방법으로서, 하나 이상의 컬러 특징은 물체의 컬러 그래디언트를 포함하는, 방법.
39. 예 30의 방법으로서, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하는 단계는,
3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 단계; 및
하나 이상의 기하학적 특징으로부터 제2 물체 식별을 결정하는 단계를 포함하는, 방법.
40. 예 39의 방법으로서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는,
2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 및
바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 단계를 포함하는, 방법.
41. 예 40의 방법으로서, 3D 이미지 데이터는 복수의 데이터 포인트들을 포함하는 포인트 클라우드를 포함하고, 데이터 포인트들 각각은 3D 이미징 장치로부터의 거리와 연관된 거리 값을 갖고,
3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것은 3D 이미지 데이터의 제1 서브세트에 기초하고 3D 이미지 데이터의 제2 서브세트에 기초하지 않으며, 3D 이미지 데이터의 제1 서브세트는 미리 결정된 범위 내에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제1 서브세트와 연관되고, 3D 이미지 데이터의 제2 서브세트는 미리 결정된 범위 밖에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제2 서브세트와 연관되는, 방법.
42. 예 30의 방법으로서, (a) 물체의 적절한 스캐닝을 결정하는 것에 응답하여, 방법은 물체와 연관된 데이터를 포함하도록 트랜잭션 로그를 처리하는 단계를 더 포함하고,
(b) 물체의 부적절한 스캐닝을 결정하는 것에 응답하여, 방법은 (i) 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계, 및 (ii) 물체와 연관된 데이터를 포함하지 않도록 트랜잭션 로그를 처리하는 단계 중 적어도 하나를 더 포함하는, 방법.
43. 바코드 판독기를 이용하여 물체의 부적절한 스캐닝을 식별하는 방법으로서,
바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
바코드 판독기와 연관되고 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
3D 이미지 데이터를 이용하여 스캐닝가능한 물체를 식별하는 단계; 및
2D 이미지 데이터를 이용하여 물체의 물체 식별을 결정하는데 실패 시에, 물체의 부적절한 스캐닝을 결정하고 경보 신호를 생성하는 단계를 포함하는, 방법.
44. 바코드 판독기를 동작하는 방법으로서,
바코드 판독기 내에 있고 제1 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
3D 이미지 데이터에 대해 얼굴 인식을 수행하고, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계; 및
얼굴 데이터의 존재를 식별하는 것에 응답하여, 바코드 판독기 내의 2차원(2D) 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 단계를 포함하는, 방법.
45. 예 44의 방법으로서, 바코드 판독기는 프레젠테이션 바코드 판독기이고,
2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 단계는 조명 어셈블리 및 조준 어셈블리 중 적어도 하나의 강도를 감소시키는 단계를 포함하는, 방법.
46. 예 44의 방법으로서, 바코드 판독기는 프레젠테이션 바코드 판독기이고,
2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 단계는 후속 3D 이미지와 연관된 후속 3D 이미지 데이터에 대한 얼굴 인식의 후속 수행이 후속 3D 이미지 데이터에서 얼굴 데이터의 다른 존재를 식별하는데 실패할 때까지 2D 이미징 장치의 적어도 일부 부분의 활성화를 방지하는 단계를 포함하는, 방법.
47. 예 44의 방법으로서, 방법은 물체의 2D 이미지를 캡처하는 단계, 적어도 하나의 동작 파라미터에 따라 조정된 2D 이미징 장치를 이용하는 단계, 및 물체를 식별하기 위해 2D 이미지에서의 바코드를 디코딩하는 단계를 더 포함하는, 방법.
48. 예 44의 방법으로서, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계는 3D 이미징 장치의 제1 FOV에서 얼굴 데이터의 위치를 결정하는 단계를 포함하고, 2D 이미징 장치의 동작 파라미터들을 조정하는 단계는 얼굴 데이터의 위치에 기초하여 동작 파라미터들을 조정하는 단계를 포함하는, 방법.
49. 예 44의 방법으로서, 동작 파라미터들은 2D 이미징 장치의 제2 FOV를 포함하는, 방법.
50. 예 44의 방법으로서, 동작 파라미터들은 2D 이미징 장치의 초점 거리를 포함하는, 방법.
51. 예 44의 방법으로서, 2D 이미징 장치의 적어도 하나의 동작 파라미터는 노출 시간, 조명 펄스 지속기간 또는 이미징 줌 레벨인, 방법.
52. 바코드 판독기를 동작하는 방법으로서,
바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
2D 이미지 데이터에 대해 얼굴 인식을 수행하고, 2D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계;
바코드 판독기 내에 있고 제1 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계; 및
2D 이미지 데이터에서 얼굴 데이터와 연관된 하나 이상의 3D 이미지 특징을 식별하는 것에 응답하여, (a) 바코드 판독기로부터의 얼굴 데이터의 거리를 결정하고, 거리에 기초하여 바코드 판독기의 스캐닝을 선택적으로 디스에이블링/인에이블링하는 것, (b) 얼굴 데이터에 대한 인체측정 데이터를 결정하고, 얼굴 데이터가 사람으로부터의 것인지의 여부를 결정하는 것, 및 (c) 바코드 판독기 내의 2D 이미징 장치의 적어도 하나의 동작 파라미터를 조정하는 것 중 적어도 하나를 수행하는 단계를 포함하는, 방법.
53. 예 52의 방법으로서, 2D 이미징 장치의 적어도 하나의 동작 파라미터는 노출 시간, 조명 펄스 지속기간, 초점 위치 또는 이미징 줌 레벨인, 방법.
54. 예 52의 방법으로서, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계는 3D 이미징 장치의 제1 FOV에서 얼굴 데이터의 위치를 결정하는 단계를 포함하고, 2D 이미징 장치의 동작 파라미터들을 조정하는 단계는 얼굴 데이터의 위치에 기초하여 동작 파라미터들을 조정하는 단계를 포함하는, 방법.
55. 바코드 판독기를 갖는 포인트-오브-세일 스캐닝 스테이션을 동작하는 방법으로서,
포인트-오브-세일 스캐닝 스테이션과 연관되고 제1 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 제1 FOV 내에 나타나는 제1 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
3D 이미지 데이터에 대해 얼굴 인식을 수행하고, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계;
얼굴 데이터에 대해 얼굴 식별을 수행하고, 얼굴 식별을 인증하는 단계; 및
얼굴 식별을 인증하는 것에 응답하여, (a) 바코드 판독기 내의 2D 이미징 장치를 이용하여 물체의 2차원(2D) 이미지를 캡처하고, 물체를 식별하기 위해 2D 이미지에서 바코드를 디코딩하는 것, 및 (b) 2D 이미지의 이미지에서 캡처된 바코드의 디코딩을 방지하거나 후속 스캐닝된 물품을 스캐닝된 물품들의 트랜잭션 로그에 추가하는 것을 방지하기 위해 해제 조건을 만족시키는 것 중 적어도 하나를 수행하는 단계를 포함하는, 방법.
56. 예 55의 방법으로서, 얼굴 식별을 인증하는 단계는 얼굴 식별을 인가된 사용자 데이터베이스와 비교하는 단계를 포함하는, 방법.
57. 예 55의 방법으로서, 얼굴 식별을 인증하는 단계는 얼굴 데이터가 3D 이미징 장치의 제1 FOV 내에서 수용가능한 위치에 있다고 결정하는 단계를 포함하는, 방법.
58. 예 55의 방법으로서, 3D 이미지 데이터에 대해 얼굴 인식을 수행하고, 3D 이미지 데이터에서 얼굴 데이터의 존재를 식별하는 단계 전에, 방법은,
3D 이미지 데이터에서 환경 특징들을 식별하는 단계 - 환경 특징들은 물체의 외부의 3D 이미지에서의 특징들임 -; 및
3D 이미지 데이터로부터 환경 특징들을 제거하는 단계를 포함하는, 방법.
59. 머신 비전 방법으로서,
2차원(2D) 이미징 장치를 이용하여, 물체의 2D 이미지를 캡처하고, 2D 이미지에서 물체의 바코드를 식별하고, 2D 이미지에서의 바코드로부터 물체의 하나 이상의 3차원(3D) 물체 특징을 결정하는 단계;
머신 비전 시스템의 3차원(3D) 이미징 장치를 이용하여, 환경의 3D 이미지를 캡처하고, 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
하나 이상의 3D 물체 특징의 존재에 대해 3D 이미지 데이터를 검사하는 단계;
하나 이상의 3D 물체 특징 중 적어도 하나가 3D 이미지 데이터에 없다고 결정하는 것에 응답하여, 디지털 고장 검출 신호를 머신 비전 시스템의 사용자에게 제공하는 단계; 및
하나 이상의 3D 물체 특징 중 적어도 하나가 3D 이미지 데이터로부터 존재한다고 결정하는 것에 응답하여, 머신 비전 시스템과 연관된 적어도 하나의 파라미터를 변경하는 단계를 포함하는, 머신 비전 방법.
60. 예 59의 머신 비전 방법으로서, 2D 이미지에서의 바코드로부터 물체의 하나 이상의 3D 물체 특징을 결정하는 단계는,
바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 물체 식별을 결정하는 단계; 및
물체 식별로부터, 물체의 하나 이상의 3D 물체 특징을 결정하는 단계를 포함하는, 머신 비전 방법.
61. 예 59의 머신 비전 방법으로서, 2D 이미지에서의 바코드로부터 물체의 하나 이상의 3D 물체 특징을 결정하는 단계는,
2D 이미지에서의 바코드의 위치로부터 물체의 배향을 결정하는 단계; 및
물체의 배향으로부터, 하나 이상의 3D 물체 특징을 이용가능한 3D 물체 특징들의 서브세트로서 결정하는 단계를 포함하는, 머신 비전 방법.
62. 예 59의 머신 비전 방법으로서, 하나 이상의 3D 물체 특징은 치수 특징 및 형상 특징 중 적어도 하나인, 머신 비전 방법.
63. 예 59의 머신 비전 방법으로서, 머신 비전 시스템과 연관된 적어도 하나의 파라미터를 변경하는 단계는 머신 비전 시스템의 2D 이미징 장치의 노출 시간, 머신 비전 시스템의 조명 어셈블리의 조명 펄스 지속기간, 머신 비전 시스템의 2D 이미징 장치의 초점 위치, 2D 이미징 장치의 이미징 줌 레벨, 조명 밝기, 조명 파장, 또는 머신 비전 시스템의 조명 소스를 변경하는 단계를 포함하는, 머신 비전 방법.
64. 예 63의 머신 비전 방법으로서, 조명 소스는 확산 조명 소스 또는 직접 조명 소스인, 머신 비전 방법.
65. 예 63의 머신 비전 방법으로서, 조명 소스를 변경하는 단계는 제1 파장에서 방출하는 조명 소스로부터 제1 파장과는 상이한 제2 파장에서 방출하는 조명 소스로 변경하는 단계를 포함하는, 방법.
66. 스캐닝 스테이션으로서,
2차원(2D) 이미징 장치 - 2D 이미징 장치는,
2D 이미징 장치의 시야(FOV)에서 물체의 2D 이미지를 캡처하고;
2D 이미지에서 바코드를 식별하고;
바코드 페이로드로부터 물체를 식별하도록 구성됨 -;
3D 이미징 장치 - 3D 이미징 장치는,
3D 이미징 장치의 FOV에서 물체의 3D 이미지를 캡처하고;
3D 이미지로부터 3D 이미지 데이터를 생성하도록 구성됨 -; 및
프로세서, 및 명령어들을 저장하는 메모리 - 명령어들은 실행될 때 프로세서로 하여금,
3D 이미지 데이터로부터 하나 이상의 3D 물체 특징을 식별하고;
하나 이상의 3D 물체 특징을 물체의 아이덴티티에 대해 평가하고;
하나 이상의 3D 물체 특징을 물체의 아이덴티티에 대해 평가하는 것에 응답하여, 스캐닝 스테이션의 동작 파라미터를 조정하게 함 - 를 포함하는, 스캐닝 스테이션.
67. 예 66의 스캐닝 스테이션으로서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 물체 특징은 물체의 기하학적 특징들, 물체의 컬러, 물체의 컬러 그래디언트 중 적어도 하나를 포함하는, 스캐닝 스테이션.
68. 예 66의 스캐닝 스테이션으로서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 물체 특징은 3D 이미징 장치의 FOV에서의 물체의 위치를 포함하는, 스캐닝 스테이션.
69. 예 68의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
3D 이미징 장치의 FOV에서의 물체의 위치가 2D 이미징 장치를 이용하여 물체의 2D 이미지를 캡처하기 위해 수용가능한 범위에 있는지를 결정하고;
3D 이미징 장치의 FOV에서의 물체의 위치가 수용가능한 범위에 있지 않는 것에 응답하여, 해제 조건이 만족될 때까지 2D 이미징 장치에 의해 후속 2D 이미지를 캡처하는 것을 삼가하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
70. 예 66의 스캐닝 스테이션으로서, 동작 파라미터는 2D 이미징 장치에서의 조명 장치의 조명 강도, 2D 이미징 장치의 FOV, 및 2D 이미징 장치의 초점 거리 중 적어도 하나를 포함하는, 스캐닝 스테이션.
71. 예 66의 스캐닝 스테이션으로서, 스캐닝 스테이션은 타워 부분 및 플래터 부분을 갖는 바이옵틱 스캐너인, 스캐닝 스테이션.
72. 예 71의 스캐닝 스테이션으로서, 3D 이미징 장치는 타워 부분 및 플래터 부분 중 하나이고, 2D 이미징 장치는 타워 부분 및 플래터 부분 중 다른 하나에 있는, 스캐닝 스테이션.
73. 예 71의 스캐닝 스테이션으로서, 3D 이미징 장치 및 2D 이미지 장치는 모두 타워 부분 및 플래터 부분 중 하나에 있는, 방법.
74. 예 71의 스캐닝 스테이션으로서, 플래터 부분 내에 계량 플래터를 더 포함하고, 계량 플래터는 계량 플래터 상에 배치된 물체의 무게를 계량 모듈을 통해 측정하도록 구성되고, 계량 플래터는 계량 표면을 갖고,
메모리는, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터로부터, 계량 플래터에 대한 물체의 위치를 결정하고;
계량 플래터에 대한 물체의 위치가 계량 플래터 고장 위치에 있는 것에 응답하여, 해제 조건이 만족될 때까지, 계량 모듈의 동작을 제1 상태로부터 제2 상태로 수정하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
75. 예 74의 스캐닝 스테이션으로서, 계량 모듈의 제1 상태는 계량 플래터 상에 배치된 물체의 무게의 보고를 허용하고,
계량 모듈의 제2 상태는 계량 플래터 상에 배치된 물체의 무게의 보고를 방지하는, 스캐닝 스테이션.
76. 예 74의 스캐닝 스테이션으로서, 계량 플래터 고장 위치는 물체의 적어도 일부가 계량 플래터 위로 돌출하는 오버행 위치를 포함하는, 스캐닝 스테이션.
77. 예 74의 스캐닝 스테이션으로서, 계량 플래터 고장 위치는 물체가 계량 플래터 위에 적어도 부분적으로 매달리는 매달림 위치를 포함하는, 스캐닝 스테이션.
78. 예 71의 스캐닝 스테이션으로서, 플래터 부분 내에 계량 플래터를 더 포함하고, 계량 플래터는 계량 플래터 상에 배치된 물체의 무게를 계량 모듈을 통해 측정하도록 구성되고, 계량 플래터는 계량 표면을 갖고,
메모리는, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터로부터, 물체와 접촉하고 있는 조작자의 손을 검출하고;
물체와 접촉하고 있는 조작자의 손의 검출에 응답하여, 해제 조건이 만족될 때까지, 계량 모듈의 동작을 제1 상태로부터 제2 상태로 수정하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
79. 스캐닝 스테이션으로서,
2D 이미징 장치의 시야에서 물체의 2D 이미지를 캡처하고, 2D 이미지로부터 2D 이미지 데이터를 생성하도록 구성된 2D 이미징 장치;
3D 이미징 장치의 시야에서 물체의 3D 이미지를 캡처하고, 3D 이미지로부터 3D 이미지 데이터를 생성하도록 구성된 3D 이미징 장치; 및
프로세서, 및 명령어들을 저장하는 메모리 - 명령어들은 실행될 때 프로세서로 하여금,
3D 이미지 데이터를 2D 이미지 데이터와 비교하고, 물체에 대해 인증 프로세스를 수행하게 함 - 를 포함하는, 스캐닝 스테이션.
80. 예 79의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하고;
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하고;
제1 물체 식별을 제2 물체 식별과 비교하고, (a) 제1 물체 식별이 제2 물체 식별과 매칭할 때 물체의 적절한 스캐닝을 결정하고, (b) 제1 물체 식별이 제2 물체 식별과 매칭하지 않을 때 물체의 부적절한 스캐닝을 결정하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
81. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 것; 및
바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 것에 의해,
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하게 하는 명령어들을 더 저장하는, 스캐닝 스테이션.
82. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
2D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 것; 및
훈련된 물체 인식 모델을 이용하여, 물체의 제1 물체 식별을 생성하는 것에 의해,
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하게 하는 명령어들을 더 저장하는, 스캐닝 스테이션.
83. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터를 훈련된 물체 인식 모델에 제공하는 것; 및
훈련된 물체 인식 모델을 이용하여, 물체의 제2 물체 식별을 생성하는 것에 의해,
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하게 하는 명령어들을 더 저장하는, 스캐닝 스테이션.
84. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하기 전에,
3D 이미지 데이터를 2D 이미지 데이터와 비교하고;
3D 이미지 데이터에 기초하여 2D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
85. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하기 전에,
3D 이미지 데이터를 2D 이미지 데이터와 비교하고;
2D 이미지 데이터에 기초하여 3D 이미지 데이터로부터 물체의 외부의 환경 특징들을 제거하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
86. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터로부터 물체의 하나 이상의 컬러 특징을 결정하는 것; 및
하나 이상의 컬러 특징으로부터 제2 물체 식별을 결정하는 것에 의해,
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하게 하는 명령어들을 더 저장하는, 스캐닝 스테이션.
87. 예 86의 스캐닝 스테이션으로서, 하나 이상의 컬러 특징은 물체의 컬러를 포함하는, 스캐닝 스테이션.
88. 예 86의 스캐닝 스테이션으로서, 하나 이상의 컬러 특징은 물체의 컬러 그래디언트를 포함하는, 스캐닝 스테이션.
89. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것; 및
하나 이상의 기하학적 특징으로부터 제2 물체 식별을 결정하는 것에 의해,
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별을 결정하게 하는 명령어들을 더 저장하는, 스캐닝 스테이션.
90. 예 89의 스캐닝 스테이션으로서, 2D 이미지 데이터를 이용하여 물체의 제1 물체 식별을 결정하는 단계는,
2D 이미지 데이터에서 물체에 대한 바코드를 식별하는 단계; 및
바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 바코드 페이로드 데이터로부터 제1 물체 식별을 결정하는 단계를 포함하는, 스캐닝 스테이션.
91. 예 90의 스캐닝 스테이션으로서, 3D 이미지 데이터는 복수의 데이터 포인트들을 포함하는 포인트 클라우드를 포함하고, 데이터 포인트들 각각은 3D 이미징 장치로부터의 거리와 연관된 거리 값을 갖고,
3D 이미지 데이터로부터 물체의 하나 이상의 기하학적 특징을 결정하는 것은 3D 이미지 데이터의 제1 서브세트에 기초하고 3D 이미지 데이터의 제2 서브세트에 기초하지 않으며, 3D 이미지 데이터의 제1 서브세트는 미리 결정된 범위 내에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제1 서브세트와 연관되고, 3D 이미지 데이터의 제2 서브세트는 미리 결정된 범위 밖에 있는 3D 이미징 장치로부터의 거리와 연관된 각각의 거리 값을 갖는 데이터 포인트들의 제2 서브세트와 연관되는, 스캐닝 스테이션.
92. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금, (a) 물체의 적절한 스캐닝을 결정하는 것에 응답하여, 프로세서로 하여금 물체와 연관된 데이터를 포함하도록 트랜잭션 로그를 처리하고,
(b) 물체의 부적절한 스캐닝을 결정하는 것에 응답하여, (i) 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 것, 및 (ii) 물체와 연관된 데이터를 포함하지 않도록 트랜잭션 로그를 처리하는 것 중 적어도 하나를 수행하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
93. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터로부터, 2D 이미징 장치에 대한 물체의 스캐닝 방향을 결정하고;
스캐닝 방향이 부적절한 스캐닝 방향인 것에 응답하여, 해제 조건이 만족될 때까지 2D 이미징 장치에 의한 2D 이미지의 캡처링을 방지하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
94. 예 79의 스캐닝 스테이션으로서, 물체는 생산물이고, 메모리는, 실행될 때, 프로세서로 하여금,
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별로서, 물체의 하나 이상의 컬러를 결정하고;
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별로서, 물체의 형상 또는 치수를 결정하고;
제1 물체 식별을 제2 물체 식별과 비교하고, 생산물의 타입을 결정하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
95. 예 79의 스캐닝 스테이션으로서, 물체는 생산물이고, 메모리는, 실행될 때, 프로세서로 하여금,
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별로서, 물체의 하나 이상의 컬러를 결정하고;
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별로서, 물체의 형상 또는 치수를 결정하고;
제1 물체 식별을 제2 물체 식별과 비교하고, 생산물의 리스팅 잠재적 타입들을 결정하고; 선택을 위해 리스팅을 스캐닝 스테이션의 사용자에게 제시하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
96. 예 80의 스캐닝 스테이션으로서, 메모리는, 실행될 때, 프로세서로 하여금,
2D 이미지 데이터를 이용하여 물체의 제1 물체 식별로서, 부분적으로 디코딩가능한 바코드의 존재를 결정하고, 부분적으로 디코딩가능한 바코드로부터 잠재적인 물체 매치들의 리스팅을 결정하고;
3D 이미지 데이터를 이용하여 물체의 제2 물체 식별로서, 물체의 형상 또는 치수를 결정하고;
제1 물체 식별을 제2 물체 식별과 비교하고, 잠재적인 물체 매치들의 리스팅 중 하나 이상이 3D 이미지 데이터로부터 제2 물체 식별에 표시된 형상 또는 치수에 대응하는지를 결정하게 하는
명령어들을 더 저장하는, 스캐닝 스테이션.
97. 스캐닝 스테이션으로서,
2차원(2D) 이미징 장치의 시야(FOV)에서 물체의 2D 이미지를 캡처하고, 바코드 페이로드로부터 물체를 식별하기 위해 2D 이미지에서 바코드를 식별하도록 구성된 2D 이미징 장치;
3D 이미징 장치의 FOV에서 물체의 3D 이미지를 캡처하고, 3D 이미지로부터 3D 이미지 데이터를 생성하도록 구성된 3D 이미징 장치; 및
프로세서, 및 명령어들을 저장하는 메모리 - 명령어들은, 실행될 때, 프로세서로 하여금,
물체의 3D 이미지를 캡처하고, 3D 이미지 데이터를 생성하고;
3D 이미지 데이터로부터 물체의 하나 이상의 3D 물체 특징을 식별하고;
(a) 3D 이미지 데이터로 물체 인식 모델을 훈련하는 것 또는 (b) 3D 이미지 데이터를 이용하여 물체 인식을 수행하는 것 중 하나를 수행하게 함 - 를 포함하는, 스캐닝 스테이션.
98. 시스템으로서,
제1 시야(FOV)를 가지며 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하도록 구성되는 2차원(2D) 이미징 장치 - 2D 이미지는 2D 이미지에 대응하는 2D 이미지 데이터로서 저장됨 -;
제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치 - 3D 이미징 장치는 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하도록 구성되고, 3D 이미지는 3D 이미지에 대응하는 3D 이미지 데이터로서 저장됨 -; 및
프로세서, 및 명령어들을 저장하는 메모리 - 명령어들은, 실행될 때, 프로세서로 하여금,
3D 이미지 데이터로부터 제2 환경 내의 하나 이상의 3D 이미지 특징을 식별하고;
하나 이상의 3D 이미지 특징을 2D 이미지 데이터에서의 적어도 하나 이상의 2D 이미지 특징과 상관시킴으로써, 향상된 2D 이미지 데이터가 되도록 2D 이미지 데이터를 향상시키고,
(a) 향상된 2D 이미지 데이터 내에서 캡처된 바코드를 디코딩하는 것, (b) 향상된 2D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (c) 향상된 2D 이미지 데이터 내에서 물체를 인식하는 것, 및 (d) 바코드 판독기의 조작자에 의해 수행된 액션을 식별하는 것 중 적어도 하나를 위해 향상된 2D 이미지 데이터를 처리하게 함 - 를 포함하는, 시스템.
99. 예 98의 시스템으로서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징을 포함하는, 시스템.
100. 예 98의 시스템으로서, 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 하나 이상의 3D 이미지 특징은 제2 FOV 내에 제시된 물체에 대응하는 컬러 또는 컬러 그래디언트를 포함하는, 시스템.
101. 예 98의 시스템으로서, 메모리는, 실행될 때, 프로세서로 하여금, 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위 내에 위치되는 하나 이상의 3D 이미지 특징을 식별함으로써 하나 이상의 3D 이미지 특징을 식별하게 하는 명령어들을 더 저장하는, 시스템.
102. 예 101의 시스템으로서, 메모리는, 실행될 때, 프로세서로 하여금, 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 적어도 하나 이상의 2D 이미지 특징을 필터링함으로써 2D 이미지 데이터를 향상시키게 하는 명령어들을 더 저장하는, 시스템.
103. 예 101의 시스템으로서, 메모리는, 실행될 때, 프로세서로 하여금, 향상된 2D 이미지 데이터를 처리하는 것이 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 적어도 하나 이상의 2D 이미지 특징을 필터링함으로써 2D 이미지 데이터를 향상시키게 하는 명령어들을 더 저장하는, 시스템.
104. 예 101의 시스템으로서, 워크스테이션 내에 위치되고 조작자에 의해 조작되도록 구성된 고정 바코드 판독기를 더 포함하고,
3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 조작자에 근접한 워크스테이션의 에지까지 연장되는, 시스템.
105. 예 101의 시스템으로서, 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기를 더 포함하고,
3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위는 3D 이미징 장치로부터 제품 스캐닝 영역의 원위 경계까지 연장되는, 시스템.
106. 예 98의 시스템으로서, 하나 이상의 3D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함하는, 시스템.
107. 예 98의 시스템으로서, 메모리는, 실행될 때, 프로세서로 하여금,
조작자에 의해 수행된 액션을 식별함으로써 향상된 2D 이미지 데이터를 처리하고;
조작자에 의해 수행된 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 제품 스캐닝 영역에 근접하여 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 2D 이미지 데이터 및 향상된 2D 이미지 데이터 중 적어도 하나 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하게 하는
명령어들을 더 저장하는, 시스템.
Claims (29)
- 바코드 판독기를 이용한 바코드 스캐닝의 방법으로서,
바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 상기 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 상기 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
상기 바코드 판독기와 연관되고 상기 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 상기 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 상기 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
상기 3D 이미지 데이터로부터 상기 제2 환경 내의 하나 이상의 3D 이미지 특징을 식별하는 단계;
상기 하나 이상의 3D 이미지 특징을 상기 2D 이미지 데이터에서의 적어도 하나 이상의 2D 이미지 특징과 상관시킴으로써, 향상된 2D 이미지 데이터가 되도록 상기 2D 이미지 데이터를 향상시키는 단계; 및
(a) 상기 향상된 2D 이미지 데이터 내에서 캡처된 바코드를 디코딩하는 것, (b) 상기 향상된 2D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (c) 상기 향상된 2D 이미지 데이터 내에서 물체를 인식하는 것, (d) 상기 바코드 판독기의 조작자에 의해 수행된 액션을 식별하는 것, 및 (e) 바코드 판독기 동작과 연관된 적어도 하나의 파라미터를 변경하는 것 중 적어도 하나를 위해 상기 향상된 2D 이미지 데이터를 처리하는 단계
를 포함하는, 방법. - 제1항에 있어서,
상기 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 상기 하나 이상의 3D 이미지 특징은 상기 제2 FOV 내에 제시된 물체의 하나 이상의 기하학적 특징을 포함하는, 방법. - 제1항에 있어서,
상기 3D 이미지 데이터는 3D 포인트 클라우드 데이터를 포함하고, 상기 하나 이상의 3D 이미지 특징은 상기 제2 FOV 내에 제시된 물체에 대응하는 컬러 또는 컬러 그래디언트를 포함하는, 방법. - 제1항에 있어서,
상기 하나 이상의 3D 이미지 특징을 식별하는 단계는 상기 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위 내에 위치되는 상기 하나 이상의 3D 이미지 특징을 식별하는 단계를 포함하는, 방법. - 제4항에 있어서,
상기 2D 이미지 데이터를 향상시키는 단계는 상기 향상된 2D 이미지 데이터를 처리하는 것이 상기 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 상기 적어도 하나 이상의 2D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법. - 제4항에 있어서,
상기 2D 이미지 데이터를 향상시키는 단계는 상기 향상된 2D 이미지 데이터를 처리하는 것이 상기 적어도 하나 이상의 2D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 상기 적어도 하나 이상의 2D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법. - 제4항에 있어서,
상기 바코드 판독기는 워크스테이션 내에 위치되고 상기 조작자에 의해 조작되도록 구성된 고정 바코드 판독기이고,
상기 3D 이미징 장치로부터 떨어진 상기 미리 결정된 거리 범위는 상기 3D 이미징 장치로부터 상기 조작자에 근접한 상기 워크스테이션의 에지까지 연장되는, 방법. - 제4항에 있어서,
상기 바코드 판독기는 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기이고,
상기 3D 이미징 장치로부터 떨어진 상기 미리 결정된 거리 범위는 상기 3D 이미징 장치로부터 상기 제품 스캐닝 영역의 원위 경계까지 연장되는, 방법. - 제1항에 있어서,
상기 하나 이상의 3D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 상기 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
상기 향상된 2D 이미지 데이터를 처리하는 단계는
상기 조작자에 의해 수행된 상기 액션을 식별하는 단계, 및
상기 조작자에 의해 수행된 상기 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 상기 제품 스캐닝 영역에 근접하여 상기 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 상기 2D 이미지 데이터 및 상기 향상된 2D 이미지 데이터 중 적어도 하나 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계
를 포함하는, 방법. - 제1항에 있어서,
상기 향상된 2D 이미지 데이터를 처리하는 단계는
상기 조작자에 의해 수행된 상기 액션을 식별하는 단계, 및
상기 조작자에 의해 수행된 상기 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 상기 제품 스캐닝 영역에 근접하여 상기 물체를 제시하는 것, 및 상기 2D 이미지 데이터 및 상기 향상된 2D 이미지 데이터 중 적어도 하나 내에서 상기 물체 상의 부분적으로 커버된 바코드 또는 완전히 커버된 바코드를 검출하는 것 중 하나로서 식별되는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계
를 포함하는, 방법. - 제1항에 있어서,
상기 바코드 판독기 동작과 연관된 상기 적어도 하나의 파라미터는 상기 바코드 판독기의 노출 시간, 상기 바코드 판독기의 조명 펄스 지속기간, 상기 바코드 판독기의 초점 위치, 상기 바코드 판독기의 이미징 줌 레벨, 및 상기 바코드 판독기의 조명 소스인, 방법. - 제12항에 있어서,
상기 조명 소스는 확산 조명 소스 또는 직접 조명 소스인, 방법. - 제1항에 있어서,
상기 3D 이미지 데이터로부터 상기 제2 환경 내의 상기 하나 이상의 3D 이미지 특징을 식별하는 것에 응답하여, 상기 제1 환경의 상기 2D 이미지를 캡처하기 전에 상기 바코드 판독기의 조명 밝기를 조정하는, 방법. - 바코드 판독기를 이용하여 데이터를 처리하는 방법으로서,
상기 바코드 판독기 내에 있고 제1 시야(FOV)를 갖는 2차원(2D) 이미징 장치를 이용하여, 상기 제1 FOV 내에 나타나는 제1 환경의 2D 이미지를 캡처하고, 상기 2D 이미지에 대응하는 2D 이미지 데이터를 저장하는 단계;
상기 바코드 판독기와 연관되고 상기 제1 FOV와 적어도 부분적으로 중첩되는 제2 FOV를 갖는 3차원(3D) 이미징 장치를 이용하여, 상기 제2 FOV 내에 나타나는 제2 환경의 3D 이미지를 캡처하고, 상기 3D 이미지에 대응하는 3D 이미지 데이터를 저장하는 단계;
상기 2D 이미지 데이터로부터 상기 제1 환경 내의 하나 이상의 2D 이미지 특징을 식별하는 단계;
상기 하나 이상의 2D 이미지 특징을 상기 3D 이미지 데이터에서의 적어도 하나 이상의 3D 이미지 특징과 상관시킴으로써, 향상된 3D 이미지 데이터가 되도록 상기 3D 이미지 데이터를 향상시키는 단계; 및
(a) 상기 향상된 3D 이미지 데이터로 물체 인식 모델을 훈련하는 것, (b) 상기 향상된 3D 이미지 데이터 내에서 물체를 인식하는 것, (c) 상기 바코드 판독기의 사용자에 의해 수행된 액션을 식별하는 것, 및 (d) 상기 3D 이미징 장치와 연관된 적어도 하나의 파라미터를 변경하는 것 중 적어도 하나를 위해 상기 향상된 3D 이미지 데이터를 처리하는 단계
를 포함하는, 방법. - 제15항에 있어서,
상기 2D 이미지 데이터는 단색 이미지 데이터, 그레이스케일 이미지 데이터, 및 다색 이미지 데이터 중 하나를 포함하고,
상기 하나 이상의 2D 이미지 특징은 상기 제1 FOV 내에 제시된 물체의 바코드 및 하나 이상의 기하학적 특징 중 적어도 하나를 포함하는, 방법. - 제16항에 있어서,
상기 하나 이상의 2D 이미지 특징은 상기 바코드를 포함하고,
상기 3D 이미지 데이터를 향상시키는 단계는 상기 바코드의 위치를 상기 2D 이미지 데이터로부터 상기 3D 이미지 데이터로 매핑하는 단계를 포함하는, 방법. - 제16항에 있어서,
상기 2D 이미지 데이터는 다색 이미지 데이터를 포함하고,
상기 하나 이상의 2D 이미지 특징은 상기 제1 FOV 내에 제시된 상기 물체의 상기 하나 이상의 기하학적 특징을 포함하고,
상기 3D 이미지 데이터를 향상시키는 단계는 상기 제1 FOV 내에 제시된 상기 물체의 상기 하나 이상의 기하학적 특징에 적어도 부분적으로 기초하여 상기 다색 이미지 데이터의 적어도 일부를 상기 3D 이미지 데이터에 매핑하는 단계를 포함하는, 방법. - 제16항에 있어서,
상기 3D 이미지 데이터를 향상시키는 단계는 상기 향상된 3D 이미지 데이터를 처리하는 것이 상기 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리를 배제하도록 상기 적어도 하나 이상의 3D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법. - 제16항에 있어서,
상기 3D 이미지 데이터를 향상시키는 단계는 상기 향상된 3D 이미지 데이터를 처리하는 것이 상기 적어도 하나 이상의 3D 이미지 특징과 연관된 이미지 데이터의 처리로 제한되도록 상기 적어도 하나 이상의 3D 이미지 특징을 필터링하는 단계를 더 포함하는, 방법. - 제16항에 있어서,
상기 3D 이미지 데이터를 향상시키는 단계는 상기 3D 이미징 장치로부터 떨어진 미리 결정된 거리 범위에 기초하여 상기 3D 이미지 데이터를 필터링하는 단계를 더 포함하는, 방법. - 제21항에 있어서,
상기 바코드 판독기는 워크스테이션 내에 위치되고 상기 조작자에 의해 조작되도록 구성된 고정 바코드 판독기이고,
상기 3D 이미징 장치로부터 떨어진 상기 미리 결정된 거리 범위는 상기 3D 이미징 장치로부터 상기 조작자에 근접한 상기 워크스테이션의 에지까지 연장되는, 방법. - 제21항에 있어서,
상기 바코드 판독기는 제품 스캐닝 영역을 갖는 바이옵틱 바코드 판독기이고,
상기 3D 이미징 장치로부터 떨어진 상기 미리 결정된 거리 범위는 상기 3D 이미징 장치로부터 상기 제품 스캐닝 영역의 원위 경계까지 연장되는, 방법. - 제15항에 있어서,
상기 하나 이상의 2D 이미지 특징은 (i) 조작자의 손의 적어도 일부, 및 (ii) 상기 조작자의 손에 의해 쥐어진 물체 중 적어도 하나를 포함하는, 방법. - 제15항에 있어서,
상기 향상된 3D 이미지 데이터를 처리하는 단계는
상기 조작자에 의해 수행된 상기 액션을 식별하는 단계, 및
상기 조작자에 의해 수행된 상기 액션이 제품 스캐닝 영역 내에 물체를 제시하는 것 및 상기 제품 스캐닝 영역에 근접하여 상기 물체를 제시하는 것 중 하나로서 식별되는 것에 응답하여, 그리고 또한 상기 2D 이미지 데이터 내에서 바코드가 검출되지 않는 것에 응답하여, 잠재적인 도난 이벤트를 시그널링하기에 적합한 경보를 생성하는 단계
를 포함하는, 방법. - 제15항에 있어서,
상기 하나 이상의 2D 이미지 특징을 식별하는 단계는,
상기 2D 이미지 상의 환경 특징들을 식별하는 단계 - 상기 환경 특징들은 상기 제1 FOV 내에 제시된 물체의 외부의 상기 이미지에서의 특징들임 -;
상기 환경 특징들을 상기 2D 이미지에서의 상기 식별된 환경 특징들을 커버하도록 구성된 마스킹 특징들로 변환하는 단계; 및
상기 마스킹 특징들을 상기 하나 이상의 2D 이미지 특징으로서 식별하는 단계
를 포함하는, 방법. - 제15항에 있어서,
상기 하나 이상의 2D 이미지 특징을 식별하는 단계는,
상기 2D 이미지 데이터에서 상기 물체에 대한 바코드를 식별하는 단계;
상기 바코드를 디코딩하여 바코드 페이로드 데이터를 생성하고, 상기 바코드 페이로드 데이터로부터 물체 식별을 결정하는 단계; 및
상기 물체 식별로부터, 상기 하나 이상의 2D 이미지 특징을 결정하는 단계
를 포함하는, 방법. - 제15항에 있어서,
상기 향상된 3D 이미지 데이터로 상기 물체 인식 모델을 훈련하기 위해 상기 향상된 3D 이미지 데이터를 처리하는 단계는,
상기 2D 이미지 데이터에서 바코드를 식별하고, 바코드 검출 이벤트 타임프레임을 결정하고, 상기 바코드 검출 이벤트 타임프레임에 대응하는 상기 향상된 3D 이미지 데이터로 상기 물체 인식 모델을 훈련하는 단계; 또는
상기 2D 이미지 데이터에서 바코드를 식별하고, 상기 2D 이미지 데이터에서의 상기 바코드에 대응하는 상기 향상된 3D 이미지 데이터 내에서 상기 물체를 식별하고, 상기 바코드에 대응하지 않는 상기 3D 이미지에서 다른 물체를 식별하면, 상기 향상된 3D 이미지 데이터로 상기 물체 인식 모델을 훈련하기 전에 상기 향상된 3D 이미지 데이터로부터 상기 다른 물체들을 제거하는 단계
를 포함하는, 방법. - 제15항에 있어서,
상기 3D 이미징 장치와 연관된 상기 적어도 하나의 파라미터는 상기 3D 이미징 장치의 투영된 조명량, 상기 3D 이미징 장치의 투영된 조명 방향 또는 상기 3D 이미징 장치의 조명 소스를 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/888,273 | 2020-05-29 | ||
| US16/888,273 US11334739B2 (en) | 2020-05-29 | 2020-05-29 | Barcode readers with 3D camera(s) |
| PCT/US2021/034420 WO2021242959A1 (en) | 2020-05-29 | 2021-05-27 | Barcode readers with 3d camera(s) |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230017879A true KR20230017879A (ko) | 2023-02-06 |
Family
ID=78706330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227046277A KR20230017879A (ko) | 2020-05-29 | 2021-05-27 | 3d 카메라(들)를 갖는 바코드 판독기들 |
Country Status (11)
| Country | Link |
|---|---|
| US (4) | US11334739B2 (ko) |
| JP (1) | JP2023528391A (ko) |
| KR (1) | KR20230017879A (ko) |
| CN (1) | CN116134444A (ko) |
| AU (1) | AU2021282277B2 (ko) |
| CA (1) | CA3180745A1 (ko) |
| DE (1) | DE112021003033T5 (ko) |
| ES (2) | ES2936433B2 (ko) |
| GB (1) | GB2610734A (ko) |
| PL (1) | PL444032A1 (ko) |
| WO (1) | WO2021242959A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11334739B2 (en) * | 2020-05-29 | 2022-05-17 | Zebra Technologies Corporation | Barcode readers with 3D camera(s) |
| US11341698B1 (en) * | 2020-12-18 | 2022-05-24 | Tiliter Pty Ltd. | Methods and apparatus for simulating images of produce with markings from images of produce and images of markings |
| JP2022132745A (ja) * | 2021-03-01 | 2022-09-13 | 東芝テック株式会社 | 商品登録装置及びプログラム |
| US20230297990A1 (en) * | 2022-03-18 | 2023-09-21 | Toshiba Global Commerce Solutions Holdings Corporation | Bi-optic object classification system |
| US20230316020A1 (en) * | 2022-03-31 | 2023-10-05 | Zebra Technologies Corporation | Adapters for Handheld Barcode Readers and Assemblies with Vision Cameras |
| US20240037358A1 (en) * | 2022-07-29 | 2024-02-01 | Zebra Technologies Corporation | Bi-optic barcode readers and platters for use therewith |
| US20240046678A1 (en) * | 2022-08-02 | 2024-02-08 | Datalogic IP Tech, S.r.l. | Direct part marking code reading with multimodal object sensing |
| JP7335651B1 (ja) | 2022-08-05 | 2023-08-30 | 株式会社Interior Haraguchi | 顔認証決済システムおよび顔認証決済方法 |
| US20240144222A1 (en) * | 2022-10-31 | 2024-05-02 | Zebra Technologies Corporation | Imaging-based vision analysis and systems and methods associated therewith |
| US20240242470A1 (en) * | 2023-01-14 | 2024-07-18 | Radiusai, Inc. | Automatic item recognition from captured images during assisted checkout |
| US20240289569A1 (en) * | 2023-02-24 | 2024-08-29 | Zebra Technologies Corporation | Use of distance measurement to aid in vision applications in handheld scanner devices |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7909248B1 (en) * | 2007-08-17 | 2011-03-22 | Evolution Robotics Retail, Inc. | Self checkout with visual recognition |
| US8678287B2 (en) | 2008-02-12 | 2014-03-25 | Datalogic ADC, Inc. | Two-plane optical code reader for acquisition of multiple views of an object |
| US8534540B2 (en) * | 2011-01-14 | 2013-09-17 | Echostar Technologies L.L.C. | 3-D matrix barcode presentation |
| KR101833375B1 (ko) | 2011-07-21 | 2018-02-28 | 에스프린팅솔루션 주식회사 | 현상카트리지 및 이를 포함하는 화상형성장치 |
| US9367770B2 (en) * | 2011-08-30 | 2016-06-14 | Digimarc Corporation | Methods and arrangements for identifying objects |
| US8750566B2 (en) | 2012-02-23 | 2014-06-10 | General Electric Company | Apparatus and method for spatially relating views of sky images acquired at spaced apart locations |
| KR102132758B1 (ko) | 2012-06-01 | 2020-07-13 | 삼성전자주식회사 | 클라우드 셀 통신 시스템에서 네트워크 진입 절차 수행 장치 및 방법 |
| US20140339296A1 (en) * | 2013-05-20 | 2014-11-20 | John B. McAdams | Barcode, barcode device, system, and method |
| ITUB20154043A1 (it) | 2015-09-30 | 2017-03-30 | Datalogic IP Tech Srl | Sistema e metodo di lettura di informazioni codificate |
| US10041827B2 (en) * | 2015-12-21 | 2018-08-07 | Ncr Corporation | Image guided scale calibration |
| US10587858B2 (en) | 2016-03-14 | 2020-03-10 | Symbol Technologies, Llc | Device and method of dimensioning using digital images and depth data |
| US9805240B1 (en) | 2016-04-18 | 2017-10-31 | Symbol Technologies, Llc | Barcode scanning and dimensioning |
| US10185906B2 (en) * | 2016-04-26 | 2019-01-22 | Hand Held Products, Inc. | Indicia reading device and methods for decoding decodable indicia employing stereoscopic imaging |
| US10558844B2 (en) * | 2017-12-18 | 2020-02-11 | Datalogic Ip Tech S.R.L. | Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification |
| JP2020035015A (ja) * | 2018-08-27 | 2020-03-05 | 東芝テック株式会社 | チェックアウト装置 |
| US11868842B2 (en) * | 2019-09-09 | 2024-01-09 | Zebra Technologies Corporation | Point-of-sale scanner signaling to a camera |
| US11514665B2 (en) * | 2020-04-01 | 2022-11-29 | Scandit Ag | Mapping optical-code images to an overview image |
| US11409977B1 (en) * | 2020-05-15 | 2022-08-09 | Grabango Co. | Universal product labeling for vision-based commerce |
| US11334739B2 (en) * | 2020-05-29 | 2022-05-17 | Zebra Technologies Corporation | Barcode readers with 3D camera(s) |
| JP7504730B2 (ja) * | 2020-09-04 | 2024-06-24 | 東芝テック株式会社 | 決済装置 |
| US11809949B2 (en) * | 2021-04-30 | 2023-11-07 | Zebra Technologies Corporation | Systems and methods to optimize imaging settings and image capture for a machine vision job |
-
2020
- 2020-05-29 US US16/888,273 patent/US11334739B2/en active Active
-
2021
- 2021-05-27 PL PL444032A patent/PL444032A1/pl unknown
- 2021-05-27 GB GB2217959.2A patent/GB2610734A/en active Pending
- 2021-05-27 DE DE112021003033.7T patent/DE112021003033T5/de active Pending
- 2021-05-27 CA CA3180745A patent/CA3180745A1/en active Pending
- 2021-05-27 ES ES202290082A patent/ES2936433B2/es active Active
- 2021-05-27 ES ES202430139A patent/ES2967105R1/es active Pending
- 2021-05-27 JP JP2022573530A patent/JP2023528391A/ja active Pending
- 2021-05-27 CN CN202180059719.0A patent/CN116134444A/zh active Pending
- 2021-05-27 WO PCT/US2021/034420 patent/WO2021242959A1/en active Application Filing
- 2021-05-27 AU AU2021282277A patent/AU2021282277B2/en active Active
- 2021-05-27 KR KR1020227046277A patent/KR20230017879A/ko active Search and Examination
-
2022
- 2022-05-12 US US17/742,757 patent/US11720764B2/en active Active
-
2023
- 2023-03-07 US US18/118,659 patent/US12045687B2/en active Active
-
2024
- 2024-06-26 US US18/755,400 patent/US20240346269A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| ES2967105A2 (es) | 2024-04-26 |
| ES2936433B2 (es) | 2024-09-04 |
| AU2021282277A1 (en) | 2023-01-05 |
| US20240346269A1 (en) | 2024-10-17 |
| WO2021242959A1 (en) | 2021-12-02 |
| US11334739B2 (en) | 2022-05-17 |
| US20230222306A1 (en) | 2023-07-13 |
| US20210374373A1 (en) | 2021-12-02 |
| ES2967105R1 (es) | 2024-08-23 |
| JP2023528391A (ja) | 2023-07-04 |
| GB202217959D0 (en) | 2023-01-11 |
| GB2610734A (en) | 2023-03-15 |
| AU2021282277B2 (en) | 2024-02-01 |
| US11720764B2 (en) | 2023-08-08 |
| US12045687B2 (en) | 2024-07-23 |
| CA3180745A1 (en) | 2021-12-02 |
| ES2936433A2 (es) | 2023-03-16 |
| DE112021003033T5 (de) | 2023-03-16 |
| CN116134444A (zh) | 2023-05-16 |
| PL444032A1 (pl) | 2023-08-28 |
| ES2936433R1 (es) | 2023-07-17 |
| US20220269876A1 (en) | 2022-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021282277B2 (en) | Barcode readers with 3D camera(s) | |
| US11538262B2 (en) | Multiple field of view (FOV) vision system | |
| US8528820B2 (en) | Object identification using barcode reader | |
| US20200202091A1 (en) | System and method to enhance image input for object recognition system | |
| US20120000982A1 (en) | Adaptive data reader and method of operating | |
| EP3284069B1 (en) | A pos terminal | |
| AU2020391392B2 (en) | Method for optimizing improper product barcode detection | |
| US20210097517A1 (en) | Object of interest selection for neural network systems at point of sale | |
| US9235836B2 (en) | Point-of-sale scanner | |
| US8479994B2 (en) | Individualized scanner | |
| US11809999B2 (en) | Object recognition scanning systems and methods for implementing artificial based item determination | |
| US11308303B2 (en) | Using barcodes to determine item dimensions | |
| US9038903B2 (en) | Method and apparatus for controlling illumination | |
| CN109308430B (zh) | 对彩色条形码进行解码 | |
| US20240211712A1 (en) | Multiple field of view (fov) vision system | |
| US20240289764A1 (en) | Systems, methods and devices for imaging-based detection of barcode misplacement | |
| US20240292083A1 (en) | Systems and methods for rapid camera illumination tuning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |