KR20230172390A - Apparatus and method for identifying objects - Google Patents
Apparatus and method for identifying objects Download PDFInfo
- Publication number
- KR20230172390A KR20230172390A KR1020230044374A KR20230044374A KR20230172390A KR 20230172390 A KR20230172390 A KR 20230172390A KR 1020230044374 A KR1020230044374 A KR 1020230044374A KR 20230044374 A KR20230044374 A KR 20230044374A KR 20230172390 A KR20230172390 A KR 20230172390A
- Authority
- KR
- South Korea
- Prior art keywords
- module
- camera module
- identification device
- object identification
- dimensional image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000004891 communication Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/01—Details for indicating
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
- G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Accounting & Taxation (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Electromagnetism (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 사물 식별 장치에 관한 것으로, 베이스모듈 위에 놓여진 복수의 사물을 상기 베이스모듈에 대해 회전 또는 이동하며 복수의 각도에서 촬영하는 카메라모듈; 및 상기 카메라모듈에 의해 복수의 각도에서 촬영된 영상 데이터를 이용하여 상기 복수의 사물을 식별하는 프로세서를 포함하는 것을 특징으로 한다.The present invention relates to an object identification device, comprising: a camera module that rotates or moves a plurality of objects placed on a base module and photographs them from a plurality of angles; and a processor that identifies the plurality of objects using image data captured from a plurality of angles by the camera module.
Description
본 발명은 사물 식별 장치 및 방법에 관한 것으로, 보다 상세하게는 사물을 촬영하여 식별하는 시스템에서 사물의 식별력을 향상시킬 수 있도록 하는 사물 식별 장치 및 방법에 관한 것이다.The present invention relates to an object identification device and method, and more specifically, to an object identification device and method that improves object identification in a system that photographs and identifies objects.
최근 다수의 사업장에서 무인 결제 창구가 설치되고 있으며, 또한 관리자가 없이 무인 결제 시스템만으로 운영되는 점포도 증가하고 있다.Recently, unmanned payment counters have been installed in many businesses, and the number of stores that operate only with unmanned payment systems without managers is also increasing.
이러한 무인 결제 시스템은, 기존에는 사용자가 바코드 리더기를 통해 사물(예 : 상품)의 바코드를 하나씩 인식시켜야 하는 방식이 주로 사용되었으나, 최근에는 물품 받침대 위에 놓여 있는 단일 또는 복수의 사물(예 : 상품)들을 촬영하여 한번에 인식(식별)하는 방식으로 전환되고 있다.These unmanned payment systems were mainly used in the past where users had to recognize the barcodes of objects (e.g. products) one by one through a barcode reader, but recently, single or multiple objects (e.g. products) placed on a product stand have been used. There is a shift to a method of recognizing (identifying) objects at once by photographing them.
그런데 무인 결제 시스템의 식별력이 낮아 물품 받침대에 놓여 있는 사물을 정확히 식별하지 못함으로써, 결제할 금액에 오류가 발생하여 점포나 사용자에게 손실을 발생시킬 수 있는 문제점이 있다.However, there is a problem in that the unmanned payment system's low identification power makes it unable to accurately identify objects placed on the product stand, which may cause errors in the amount to be paid, causing losses to the store or user.
따라서 이러한 문제점을 방지하기 위해서 사물의 식별력을 향상시킬 수 있도록 하는 기술이 필요한 상황이다.Therefore, in order to prevent these problems, there is a need for technology that can improve the identification of objects.
본 발명의 배경기술은 대한민국 공개특허 10-2023-0015618호(2023.01.31.)에 개시되어 있다. The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2023-0015618 (January 31, 2023).
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 사물을 촬영하여 식별하는 시스템에서 사물의 식별력을 향상시킬 수 있도록 하는 사물 식별 장치 및 방법을 제공하는 데 그 목적이 있다. The present invention is intended to solve the above problems, and its purpose is to provide an object identification device and method that can improve object identification in a system that photographs and identifies objects.
본 발명의 일 측면에 따른 사물 식별 장치는, 베이스모듈 위에 놓여진 복수의 사물을 상기 베이스모듈에 대해 회전 또는 이동하며 복수의 각도에서 촬영하는 카메라모듈; 및 상기 카메라모듈에 의해 복수의 각도에서 촬영된 영상 데이터를 이용하여 상기 복수의 사물을 식별하는 프로세서를 포함하는 것을 특징으로 한다.An object identification device according to an aspect of the present invention includes a camera module for photographing a plurality of objects placed on a base module from a plurality of angles while rotating or moving with respect to the base module; and a processor that identifies the plurality of objects using image data captured from a plurality of angles by the camera module.
본 발명의 다른 측면에 따른 사물 식별 장치는, 식별 대상인 사물을 올려 놓을 수 있는 베이스모듈; 상기 베이스모듈에 대해 지정된 각도로 형성된 지지대모듈; 상기 지지대모듈을 통해 회전 또는 이동하며, 상기 베이스모듈에 놓여 있는 사물을 다양한 각도에서 촬영할 수 있는 카메라모듈; 및 상기 카메라모듈이 회전 또는 이동하며 상기 베이스모듈에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 영상 또는 입체 영상을 생성하고, 상기 베이스모듈에 놓여 있는 사물이 촬영된 적어도 하나의 상기 이차원 영상이나 상기 깊이 영상이나 상기 입체 영상을 이용하여 상기 사물을 식별하는 프로세서를 포함하는 것을 특징으로 한다.An object identification device according to another aspect of the present invention includes a base module on which an object to be identified can be placed; a support module formed at a specified angle with respect to the base module; A camera module that rotates or moves through the support module and can take pictures of objects placed on the base module from various angles; And the camera module rotates or moves to generate a two-dimensional image, a depth image, or a three-dimensional image captured from various angles of an object placed on the base module, and at least one two-dimensional image captured by an object placed on the base module. or a processor that identifies the object using the depth image or the three-dimensional image.
본 발명의 다른 측면에 따른 사물 식별 방법은, 프로세서가 카메라모듈을 지정된 방향으로 회전시키거나 이동시키며 베이스모듈에 놓여 있는 사물을 촬영하는 단계; 상기 프로세서가 회전 또는 이동하며 상기 베이스모듈에 놓여 있는 사물을 상기 카메라모듈이 다양한 각도에서 촬영한 이차원 영상 또는 깊이 영상 또는 입체 영상을 생성하는 단계; 및 상기 프로세서가 상기 베이스모듈에 놓여 있는 사물이 촬영된 적어도 하나의 상기 이차원 영상이나 상기 깊이 영상이나 상기 입체 영상을 이용하여 사물을 식별하는 단계;를 포함하는 것을 특징으로 한다.An object identification method according to another aspect of the present invention includes the steps of a processor rotating or moving a camera module in a designated direction and photographing an object placed on a base module; The processor rotates or moves and generates a two-dimensional image, a depth image, or a three-dimensional image captured by the camera module at various angles of an object placed on the base module; and identifying the object by the processor using at least one two-dimensional image, the depth image, or the three-dimensional image in which the object placed on the base module is photographed.
본 발명은 사물을 촬영하고 촬영 영상에서 해당 사물을 식별하는 시스템에서 사물을 다각도로 또는 입체적으로 촬영하여 사물의 식별력을 향상시킬 수 있도록 한다.The present invention makes it possible to improve the identification of an object by photographing the object from multiple angles or in three dimensions in a system that photographs the object and identifies the object in the captured image.
또한 본 발명은 카메라를 회전시키거나 이동시킴으로써 하나의 카메라를 이용하더라도 사물을 다각도로 또는 입체적으로 촬영할 수 있도록 한다.Additionally, the present invention allows objects to be photographed from multiple angles or in three dimensions even when using a single camera by rotating or moving the camera.
도 1은 본 발명의 일 실시예에 따른 사물 식별 장치의 개략적인 구성을 보인 예시도이다.
도 2는 본 발명의 일 실시예에 따른 사물 식별 장치의 학습모드 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 사물 식별 장치의 식별모드 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 카메라모듈의 회전 방법을 설명하기 위한 예시도이다.
도 5는 도 4에 있어서, 카메라모듈의 회전 범위를 보인 예시도이다.
도 6은 도 4에 있어서, 복수의 지지대모듈을 이용한 카메라모듈의 회전 방법을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 카메라모듈의 이동 방법을 설명하기 위한 예시도이다.
도 8은 도 7에 있어서, 복수의 카메라모듈의 이동 방법을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 사물 식별 장치의 개략적인 형태를 보인 예시도이다.
도 10은 본 발명의 일 실시예에 따른 사물 식별 장치의 테스트 과정을 촬영한 사진을 보인 예시도이다.1 is an exemplary diagram showing the schematic configuration of an object identification device according to an embodiment of the present invention.
Figure 2 is a flowchart for explaining the learning mode operation of the object identification device according to an embodiment of the present invention.
Figure 3 is a flowchart for explaining the identification mode operation of the object identification device according to an embodiment of the present invention.
Figure 4 is an example diagram for explaining a method of rotating a camera module according to an embodiment of the present invention.
Figure 5 is an example diagram showing the rotation range of the camera module in Figure 4.
Figure 6 is an example diagram for explaining a method of rotating the camera module using a plurality of support modules in Figure 4.
Figure 7 is an example diagram for explaining a method of moving a camera module according to an embodiment of the present invention.
Figure 8 is an example diagram for explaining a method of moving a plurality of camera modules in Figure 7.
Figure 9 is an exemplary diagram showing the schematic form of an object identification device according to an embodiment of the present invention.
Figure 10 is an example diagram showing a photograph taken during a test process of an object identification device according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 사물 식별 장치 및 방법의 실시예들에 대해 설명한다. Hereinafter, embodiments of an object identification device and method according to the present invention will be described with reference to the attached drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.
카메라를 이용하여 사물을 식별하는 사물 식별 장치는, 식별력을 향상시키기 위하여, 여러 방향에서 사물을 촬영하고 촬영한 영상을 학습시켜야 하는데, 조명이나 촬영 각도에 따라 사물을 정확히 식별하지 못하는 문제점이 발생할 수 있다. 따라서 이러한 문제점을 해결하기 위하여, 여러 각도에서 사물을 촬영할 수 있는 복수의 카메라를 고정 설치할 수 있으나, 이 경우에는 카메라의 수가 증가함으로써 사물 식별 장치의 제작 단가가 증가하게 되는 문제점이 발생할 수 있다. An object identification device that uses a camera to identify objects must photograph objects from various directions and learn from the captured images in order to improve identification, but problems may arise in which objects cannot be accurately identified depending on lighting or shooting angles. there is. Therefore, in order to solve this problem, a plurality of cameras capable of photographing objects from various angles can be fixedly installed. However, in this case, as the number of cameras increases, a problem may occur in which the manufacturing cost of the object identification device increases.
이에 따라 본 발명은 카메라를 회전시키거나 이동시킴으로써 하나의 카메라를 이용하더라도 사물을 다양한 각도에서 입체적으로 촬영할 수 있도록 함으로써, 사물 식별 장치의 제작 단가를 낮추면서 오히려 식별력을 향상시킬 수 있도록 한다.Accordingly, the present invention allows three-dimensional photography of objects from various angles even when using a single camera by rotating or moving the camera, thereby lowering the manufacturing cost of the object identification device and improving identification ability.
도 1은 본 발명의 일 실시예에 따른 사물 식별 장치의 개략적인 구성을 보인 예시도이다.1 is an exemplary diagram showing the schematic configuration of an object identification device according to an embodiment of the present invention.
도 1에 도시된 본 실시예에 따른 사물 식별 장치는, 카메라모듈(120)과 프로세서(150)를 포함할 수 있다. 또 다르게는 도 1에 도시된 바와 같이 본 발명의 실시예에 따른 사물 식별 장치는 지지대모듈(110), 카메라모듈(120), 베이스모듈(130), 센서모듈(140), 프로세서(150), 통신모듈(160), 조명모듈(170), 및 데이터베이스(DB)를 포함할 수 있다.The object identification device according to this embodiment shown in FIG. 1 may include a
지지대모듈(110)은 사물 식별 장치의 바디(또는 프레임)의 내부 일 측면에 지정된 각도로 형성되며, 카메라모듈(120)이 부착될 수 있다.The
지지대모듈(110)은 카메라모듈(120)의 회전 방향 또는 이동 방향에 대응하여 지정된 형태(예 : 원형, 사각형, 타원형, C형, ㄷ형 등)의 궤도로 형성되거나, 지정된 형태의 궤도가 부착될 수 있다.The
지지대모듈(110)에는 적어도 하나의 카메라모듈(120)이 부착될 수 있다.At least one
지지대모듈(110)은 카메라모듈(120)이 부착된 상태에서 지정된 속도에 따라 지정된 방향으로 회전되거나 이동될 수 있다.The
지지대모듈(110)은 전동식 모터(미도시)를 포함할 수 있다.The
지지대 모듈(110)은 베이스모듈(130)에 놓여 있는 사물을 다양한 높이에서 촬영하기 위하여 베이스모듈(130)을 기준으로 복수의 높이에 복수로 배치될 수 있다. 지지대 모듈(110)이 복수의 높이에 복수로 구성되는 경우, 그에 대응되게 각 지지대 모듈(110)에 카메라모듈(120)이 구비될 수 있다.A plurality of
카메라모듈(120)은 지지대모듈(110)에 고정 부착될 수 있으며, 지지대모듈(110)의 궤도를 따라 능동적으로 회전 또는 이동할 수 있다.The
카메라모듈(120)은, 전동식 모터(미도시)를 구비하여, 지지대모듈(110)의 궤도를 따라 능동적으로 회전 또는 이동할 수도 있다.The
카메라모듈(120)은, 지지대모듈(110)에 고정 부착되어, 지지대모듈(110)의 회전이나 이동에 따라 수동적으로 회전 또는 이동될 수도 있다.The
카메라모듈(120)은, 회전 또는 이동하며, 베이스모듈(130)에 놓여 있는 사물(예 : 상품, 물품 등)을 다양한 각도에서 연속하여 촬영할 수 있다.The
카메라모듈(120)은 베이스모듈(130)의 중심을 기준으로 내측 또는 외측으로 촬영 각도가 조정될 수 있다.The
카메라모듈(120)은 베이스모듈(130)에 놓여 있는 사물을 다양한 높이에서 촬영하기 위하여 베이스모듈(130)을 기준으로 복수의 높이에 복수로 배치될 수도 있다.The
카메라모듈(120)은 2차원 카메라, 깊이 카메라(Depth camera), 스테레오 카메라 등 3차원 카메라를 포함한다. 카메라모듈(120)은 이차원 영상 또는 깊이 정보를 포함한 3차원 영상 취득이 가능하며, 회전 또는 이동하여 베이스모듈(130)에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 정보를 포함한 3차원 영상을 바탕으로 깊이 영상 또는 입체 영상을 생성할 수도 있다.The
베이스모듈(130)은 물품 받침대의 기능을 수행한다.The
베이스모듈(130)은 카메라모듈(120)의 위치 및 포즈 혹은 상기 사물의 놓인 위치, 크기 및 특징을 추출하여 사물 인식 성능을 높이는 미리 지정된 참조패턴(미도시)을 베이스모듈(130)의 적어도 일 측면에 구비할 수 있다. 이러한 참조패턴은 보다 더 강인한 사물 인식 성능을 도출할 수 있게 한다.The
베이스모듈(130)은 전동식 모터(미도시)에 의해 지정된 방향으로 지정된 속도에 따라 회전될 수 있으며, 또한 지정된 세기로 진동될 수도 있다.The
센서모듈(140)은 엔코더와 포지션 센서를 포함할 수 있으며, 프로세서(150)가 센서모듈(140)로부터의 센싱 정보(예: 위치, 각도 등)를 바탕으로 카메라모듈(120)의 촬영 각도나 회전 위치나 이동 위치를 정확하게 감지하고 제어할 수 있도록 한다.The
프로세서(150)는 회전 또는 이동하는 카메라모듈(120)이 베이스모듈(130)에 놓여 있는 사물을 다양한 각도에서 연속 촬영한 영상을 바탕으로 각 사물을 식별한다. 또한, 프로세서(150)는 이차원 영상, 깊이 영상(예: 카메라 시점에서 사물간의 거리값을 지닌 데이터) 및/또는 입체 영상(예: x축, y축, z축 세가지 3차원 위치 정보를 담고 있는 영상 데이터) 등을 생성할 수 있고, 이렇게 생성된 영상에 대해 전처리 및 후처리를 통해 사물을 식별해낸다. 또한, 카메라모듈(120)이 이차원 영상 또는 깊이 정보를 포함한 3차원 영상 취득이 가능하므로, 회전 또는 이동하면서 베이스모듈(130)에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 정보를 포함한 3차원 영상을 바탕으로 프로세서(150)는 깊이 영상 또는 입체 영상을 생성하여 이를 이용해 사물을 식별할 수도 있다.The
프로세서(150)는 베이스모듈(130)에 놓여 있는 사물을 식별함에 있어 미리 학습(예 : 패턴매칭, 기계학습 또는 딥러닝학습)된 결과를 이용하여 사물 식별을 수행한다. 또는 프로세서(150)는 베이스모듈(130)에 놓여지는 사물의 위치와 형상과 형태 및 사물의 상태 조건(예: 조명모듈의 발광 세기, 외부 빛의 영향 등) 등을 바꿔가며 실험한 결과를 토대로 패턴매칭, 기계학습 또는 딥러닝학습을 수행하여 그 결과를 데이터베이스(DB)에 저장시킨다.When identifying an object placed on the
프로세서(150)는 베이스모듈(130)에 놓여 있는 사물이 촬영된 영상, 또는 베이스모듈(130)에 놓여 있는 사물이 촬영된 영상으로부터 생성한 깊이 영상이나 입체 영상을 이용하여, 사물을 식별하기 위한 학습(예 : 패턴매칭, 기계학습 또는 딥러닝학습)을 수행한다.The
이 때, 상기와 같은 패턴매칭, 기계학습 또는 딥러닝학습은 프로세서(150)에 의해 사물 식별 장치내에서 수행될 수도 있지만, 실시 환경이나 실시 의도에 따라 상기 사물 식별 장치와 통신모듈(160)을 통해 유선/무선으로 연결되는 서버나 미리 지정된 클라우드(미도시)에서 수행되고 그 학습 결과가 다시 전송되어 데이터베이스(DB)에 저장되며, 프로세서(150)에 의해 사물 식별 시에 이용된다.At this time, the above pattern matching, machine learning, or deep learning may be performed within the object identification device by the
프로세서(150)는 베이스모듈(130)에 놓여 있는 사물의 학습을 위한 학습모드, 및 베이스모듈(130)에 놓여 있는 사물의 식별을 위한 식별모드를 포함한다.The
프로세서(150)는 학습모드 및 식별모드 수행 시, 지지대모듈(110), 카메라모듈(120), 및 베이스모듈(130)에 포함된 전동식 모터(미도시)를 제어한다.The
프로세서(150)는 학습모드 및 식별모드 수행 시, 카메라모듈(120)을 통해 촬영된 영상 및 센서모듈(140)을 통해 검출된 카메라모듈(120)의 위치(즉, 회전/이동 위치) 및/또는 각도 정보를 대응시켜 데이터베이스(DB)에 저장한다.When performing the learning mode and identification mode, the
데이터베이스(DB)는 카메라모듈(120)을 통해 촬영된 영상(예: 이차원 영상, 깊이 영상, 입체 영상)과 센서모듈(140)을 통해 검출된 위치 정보 및/또는 각도 정보를 대응시켜 저장한다. 데이터베이스(DB)에는 학습모드 및 식별모드를 수행하기 위한 프로그램, 학습 관련 정보, 학습 결과, 사물의 특성 정보(예 : 길이, 부피, 높이, 색상 등), 및 사물의 가격 정보 중 적어도 하나 이상이 저장된다.The database DB stores images captured through the camera module 120 (e.g., two-dimensional images, depth images, and stereoscopic images) in correspondence with location information and/or angle information detected through the
통신모듈(160)은 학습모드 및 식별모드 수행과 관련된 정보를 입력하거나 출력하기 위한 적어도 하나 이상의 외부 장치(예 : 디스플레이모듈, 사용자단말기, 서버 등)와 유선 또는 무선 방식으로 통신을 연결한다.The
예컨대 디스플레이모듈은 학습모드에서 학습을 수행하기 위한 안내메시지를 출력할 수 있으며, 또한 디스플레이모듈은 식별모드에서 식별한 사물의 이름과 가격 정보를 출력할 수 있다. 사용자단말기는 식별모드에서 식별한 사물의 이름과 가격 정보 및 결제 정보를 출력할 수 있다. 서버는 어느 하나의 사물 식별 장치에서 학습한 정보를 다른 사물 식별 장치와 공유할 수 있도록 한다. 가령, 제1 사물 식별 장치에서 제1 사물에 대하여 학습한 학습 정보를, 제2 사물 식별 장치에 전달하여 상호간에 동일한 사물에 대한 학습 정보를 공유할 수 있도록 한다. 또한 서버는 사물 식별 장치에 대한 운영 프로그램이나 데이터를 업데이트할 수 있도록 한다.For example, the display module can output a guidance message for performing learning in the learning mode, and the display module can also output the name and price information of the identified object in the identification mode. The user terminal can output the name, price information, and payment information of the identified object in identification mode. The server allows information learned from one object identification device to be shared with other object identification devices. For example, the learning information learned about the first object from the first object identification device is transmitted to the second object identification device so that learning information about the same object can be shared with each other. Additionally, the server allows updating operating programs or data for the object identification device.
이 때, 또 다른 실시예에서는 상기 디스플레이모듈이 사물 식별 장치에 일체로 결합되어 형성될 수도 있다.At this time, in another embodiment, the display module may be formed by being integrally combined with the object identification device.
조명모듈(170)은 바디(또는 프레임)의 내부 일 측면에 부착되어 조명한다.The
조명모듈(170)은 적어도 하나 이상의 색상으로 조명할 수 있으며, 조명 시 밝기가 조정될 수도 있다. The
이 때 조명에 대한 색상이나 밝기의 조정은, 사물의 선명한 촬영(즉, 식별력 향상)을 위한 것으로서, 가령, 사물의 포장지의 재질(예 : 비닐, 종이, 알루미늄 등), 및 포장지에 인쇄된 정보(예 : 사물의 상표, 도안, 바코드, 홀로그램 등)의 종류에 따라, 선명한 촬영을 위하여 조명에 대한 색상이나 밝기가 조정될 수 있다.At this time, adjusting the color or brightness of the lighting is for clear photography of the object (i.e., improving identification), for example, the material of the object's packaging (e.g. vinyl, paper, aluminum, etc.) and the information printed on the packaging. Depending on the type of object (e.g. trademark, design, barcode, hologram, etc.), the color or brightness of the lighting can be adjusted for clear photography.
조명모듈(170)은 가시광 엘이디(LED)를 포함할 수 있으며, 조명 특성(예 : 할로겐, 적외선, 자외선 등)이 다른 복수의 조명 소자가 추가로 포함될 수도 있다.The
이 때 조명 소자의 선택은, 사물의 선명한 촬영(즉, 식별력 향상)을 위한 것으로서, 가령, 사물의 포장지의 재질(예 : 비닐, 종이, 알루미늄 등), 및 포장지에 인쇄된 정보(예 : 사물의 상표, 도안, 바코드, 홀로그램 등)의 종류에 따라, 선명한 촬영을 위하여 조명 소자가 선택될 수 있다.At this time, the selection of the lighting element is for clear photography of the object (i.e., improved identification), for example, the material of the object's packaging (e.g. vinyl, paper, aluminum, etc.) and the information printed on the packaging (e.g. the object) Depending on the type (brand, design, barcode, hologram, etc.), a lighting device may be selected for clear photography.
도 2는 본 발명의 일 실시예에 따른 사물 식별 장치의 학습모드 동작을 설명하기 위한 흐름도이다.Figure 2 is a flowchart for explaining the learning mode operation of the object identification device according to an embodiment of the present invention.
도 2를 참조하면, 사물 식별 장치의 현재 모드가 학습모드이고(S101의 예), 베이스모듈(130) 위에 사물이 탑재되어 있을 경우(S102의 예), 프로세서(150)는 카메라모듈(120)을 지정된 속도에 따라 지정된 방향으로 회전시키거나 이동시키며, 베이스모듈(130)에 놓여 있는 사물을 촬영한다(S103).Referring to FIG. 2, when the current mode of the object identification device is the learning mode (example of S101) and an object is mounted on the base module 130 (example of S102), the
이 때 프로세서(150)는, 전동식 모터(미도시)를 제어하여, 지지대모듈(110)의 형태(예 : 궤도 형태)에 따라 카메라모듈(120)을 능동적으로 회전 또는 이동시킬 수 있으며, 또는 지지대모듈(110)에 카메라모듈(120)을 고정 부착시켜, 지지대모듈(110)의 회전이나 이동에 따라 카메라모듈(120)을 수동적으로 회전 또는 이동될 수도 있다(도 4 내지 도 8 참조).At this time, the
이에 따라 프로세서(150)는 카메라모듈(120)이 회전이나 이동(즉, 능동적/수동적인 회전이나 이동)을 수행하면서 베이스모듈(130)에 놓여 있는 사물을 촬영한 영상(즉, 이차원 영상), 또는 베이스모듈(130)에 놓여 있는 사물이 촬영된 영상들로부터 생성한 깊이 영상 및/또는 입체 영상을 이용하여, 사물을 식별(또는 인식)하는 학습(예 : 패턴매칭, 기계학습 또는 딥러닝학습)을 수행하고(S104), 학습 정보(즉, 사물의 식별 또는 인식 정보) 및 이에 대응하는 판매 정보(예 : 가격)를 데이터베이스(DB)에 저장한다(S105). 또한, 카메라모듈(120)이 이차원 영상뿐만 아니라 깊이 정보를 포함한 3차원 영상 취득이 가능한 경우, 회전 또는 이동하면서 베이스모듈(130)에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 정보를 포함한 3차원 영상을 바탕으로 깊이 영상 또는 입체 영상을 생성하며 프로세서(150)가 상기 깊이 영상 또는 입체 영상을 이용하여 사물을 식별하는 학습을 수행할 수도 있다. 또 다르게는, 상기 학습이 서버나 클라우드(미도시)에서 수행되게 할 수도 있으므로, 이 경우엔 프로세서(150)가 상기 영상(이차원 영상), 또는 상기 생성한 깊이 영상 및/또는 입체 영상을 외부의 서버나 클라우드(미도시)에 전송시킨다.Accordingly, the
또한 도면으로 도시되지는 않았으나, 프로세서(150)는 디스플레이모듈을 통해 학습모드에서 학습을 수행하기 위한 안내메시지를 출력할 수 있다.Additionally, although not shown in the drawing, the
도 3은 본 발명의 일 실시예에 따른 사물 식별 장치의 식별모드 동작을 설명하기 위한 흐름도이다.Figure 3 is a flowchart for explaining the identification mode operation of the object identification device according to an embodiment of the present invention.
도 3을 참조하면, 사물 식별 장치의 현재 모드가 식별모드이고(S201의 예), 베이스모듈(130) 위에 사물이 탑재되어 있을 경우(S202의 예), 프로세서(150)는 카메라모듈(120)을 지정된 속도에 따라 지정된 방향으로 회전시키거나 이동시키며, 베이스모듈(130)에 놓여 있는 사물을 촬영한다(S203).Referring to FIG. 3, when the current mode of the object identification device is the identification mode (example of S201) and an object is mounted on the base module 130 (example of S202), the
이 때 프로세서(150)는, 학습모드인 경우와 마찬가지로, 전동식 모터(미도시)를 제어하여, 지지대모듈(110)의 형태(예 : 궤도 형태)에 따라 카메라모듈(120)을 능동적으로 회전 또는 이동시킬 수 있으며, 또는 지지대모듈(110)에 카메라모듈(120)이 고정 부착된 경우, 지지대모듈(110)의 회전이나 이동에 따라 카메라모듈(120)을 수동적으로 회전 또는 이동시킬 수도 있다(도 4 내지 도 8 참조).At this time, as in the learning mode, the
이에 따라 프로세서(150)는 카메라모듈(120)이 회전이나 이동(즉, 능동적/수동적인 회전이나 이동)을 수행하면서 베이스모듈(130)에 놓여 있는 사물을 촬영한 영상(즉, 2차원 영상), 또는 베이스모듈(130)에 놓여 있는 사물이 촬영된 영상들로부터 생성한 깊이 영상 및/또는 입체 영상을 이용하여, 사물을 식별(또는 인식)하고(S204), 식별(또는 인식)된 사물에 대응하는 판매 정보(예 : 가격)를 데이터베이스(DB)로부터 로딩한다(S205). 또한, 카메라모듈(120)이 이차원 영상뿐만 아니라 깊이 정보를 포함한 3차원 영상 취득이 가능한 경우, 회전 또는 이동하면서 베이스모듈(130)에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 정보를 포함한 3차원 영상을 바탕으로 깊이 영상 또는 입체 영상을 생성하고 프로세서(150)가 상기 깊이 영상 또는 입체 영상을 이용하여 사물을 식별(또는 인식)할 수도 있고(S204), 이렇게 식별(또는 인식)된 사물에 대응하는 판매 정보(예 : 가격)를 데이터베이스(DB)로부터 로딩시킬 수 있다(S205).Accordingly, the
또한 도면으로 도시되지는 않았으나, 프로세서(150)는 식별(또는 인식)된 사물에 대응하는 판매 정보(예 : 가격)를 합산한 결제 정보를, 디스플레이모듈이나 사용자 단말에 출력(즉, 전송이나 표시)할 수 있다.In addition, although not shown in the drawing, the
이하 도 4 내지 도 8을 참조하여, 카메라모듈(120)의 회전 또는 이동 방법에 대해서 설명한다.Hereinafter, a method of rotating or moving the
도 4는 본 발명의 일 실시예에 따른 카메라모듈의 회전 방법을 설명하기 위한 예시도이다.Figure 4 is an example diagram for explaining a method of rotating a camera module according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 지지대모듈(110)은 바디(또는 프레임)의 내부 일 측면에 지정된 각도로 형성되며, 이에 카메라모듈(120)이 부착된다.As shown in FIG. 4, the
예컨대 도 4의 (a)와 (b)에 도시된 바와 같이, 지지대모듈(110)은 바디(또는 프레임)의 내부 상측에 수평하게 형성될 수 있으며, 구체적으로 (a)에 도시된 바와 같이 하나의 지지대모듈(110)에 하나의 카메라모듈(120)이 부착되거나, (b)에 도시된 바와 같이 하나의 지지대모듈(110)에 복수의 카메라모듈(120)이 부착될 수 있다. For example, as shown in (a) and (b) of Figures 4, the
또한 도 4의 (c)와 (d)에 도시된 바와 같이, 지지대모듈(110)은 바디(또는 프레임)의 내부 일 측면에 지정된 각도로 형성될 수 있으며, (c)에 도시된 바와 같이 하나의 지지대모듈(110)이 지정된 각도로 형성되거나, (d)에 도시된 바와 같이 복수의 지지대모듈(110)이 각각 지정된 각도로 형성될 수 있다.Additionally, as shown in (c) and (d) of Figures 4, the
도 5는 도 4에 있어서, 카메라모듈의 회전 범위를 보인 예시도이다. Figure 5 is an example diagram showing the rotation range of the camera module in Figure 4.
도 5의 (a)에 도시된 바와 같이 카메라모듈(120)은 360도 회전하며 베이스모듈(130) 위에 놓여 있는 사물을 360도 전방향에서 촬영할 수 있다. As shown in (a) of FIG. 5, the
또는 도 5의 (b)에 도시된 바와 같이 카메라모듈(120)은 지정된 각도 범위(예 : 180도, 270도 등) 내에서 회전하며 베이스모듈(130) 위에 놓여 있는 사물을 지정된 각도 범위(예 : 180도, 270도 등)에서 촬영할 수도 있다.Alternatively, as shown in (b) of FIG. 5, the
도 6은 도 4에 있어서, 복수의 지지대모듈을 이용한 카메라모듈의 회전 방법을 설명하기 위한 예시도이다.Figure 6 is an example diagram for explaining a method of rotating the camera module using a plurality of support modules in Figure 4.
도 6을 참조하면, 사물 식별 장치의 바디(또는 프레임) 내부의 각기 다른 높이(예 : 상측, 하측)에 복수의 지지대모듈(110)이 형성되되, (a)에 도시된 바와 같이 각기 다른 높이(예 : 상측, 하측)에 형성된 복수의 지지대모듈(110)이 모두 카메라모듈(120)을 360도 회전시킬 수 있는 형태로 형성될 수 있으며, 또는 (b)에 도시된 바와 같이 각기 다른 높이(예 : 상측, 하측)에 형성된 복수의 지지대모듈(110) 중 어느 하나는 카메라모듈(120)을 360도 회전시킬 수 있는 형태로 형성되고, 다른 하나는 카메라모듈(120)을 지정된 각도 범위(예 : 270도) 내에서 회전시킬 수 있는 호 형태로 형성되며, 또는 (c)에 도시된 바와 같이 각기 다른 높이(예 : 상측, 하측)에 형성된 복수의 지지대모듈(110)이 모두 카메라모듈(120)을 지정된 각도 범위(예 : 270도) 내에서 회전시킬 수 있는 호 형태로 형성될 수 있다.Referring to FIG. 6, a plurality of
도 7은 본 발명의 일 실시예에 따른 카메라모듈의 이동 방법을 설명하기 위한 예시도이다.Figure 7 is an example diagram for explaining a method of moving a camera module according to an embodiment of the present invention.
도 7의 (a)에 도시된 바와 같이 카메라모듈(120)은 바디(또는 프레임)의 내부 모서리에 형성된 지지대모듈(110)을 따라, 모서리 부분에서 수평 방향(또는 X,Y 방향)으로 이동하거나 모서리 부분에서 수직 방향(또는 Z 방향)으로 이동할 수 있으며, (b)와 (c)에 도시된 바와 같이 바디(또는 프레임)의 내부 일 측면(예 : 상측)에 대하여 수평하게 형성된 지지대모듈(110)을 따라, X축 방향 또는 Y축 방향으로 이동할 수 있으며, (d)에 도시된 바와 같이 바디(또는 프레임)의 내부 일 측면의 일 지점에서 타 측면의 일 지점으로 지정된 각도의 호(arc) 형태로 형성된 지지대모듈(110)을 따라, 지정된 각도 범위(예 : 270도) 내에서 이동할 수 있으며, (e)에 도시된 바와 같이 바디(또는 프레임)의 내부 일 측면의 일 지점에서 타 측면의 일 지점으로 직선 형태(또는 기울기가 있는 직선 형태)로 형성된 지지대모듈(110)을 따라 직진 방향(또는 대각 방향)으로 이동할 수도 있다.As shown in (a) of FIG. 7, the
도 8은 도 7에 있어서, 복수의 카메라모듈의 이동 방법을 설명하기 위한 예시도이다.Figure 8 is an example diagram for explaining a method of moving a plurality of camera modules in Figure 7.
도 8의 (a)에 도시된 바와 같이 복수의 카메라모듈(120)이 바디(또는 프레임)의 내부 일 측면에 대하여 수평하게 형성된 지지대모듈(110)을 따라 X축 방향으로 수평하게 이동할 수 있으며, (b)에 도시된 바와 같이 복수의 카메라모듈(120)이 바디(또는 프레임)의 내부 일 측면에 대하여 수평하게 형성된 지지대모듈(110)을 따라 Y축 방향으로 수평하게 이동할 수도 있다.As shown in (a) of FIG. 8, a plurality of
본 실시예는 하나의 카메라모듈(120)만으로도 사물의 입체적 촬영이 가능하지만, 복수의 카메라모듈(120)을 이용함으로써 이미지 취득 및 인식 시간을 최소화 할 수 있는 효과가 있으며, 복수의 카메라모듈(120)을 설치할 경우 각 카메라모듈(120)의 화각을 다르게 구성하여 사물 인식(식별)률을 향상시킬 수 있다.In this embodiment, three-dimensional photography of objects is possible with only one
도 9는 본 발명의 일 실시예에 따른 사물 식별 장치의 개략적인 형태를 보인 예시도로서, (a)에 도시된 바와 같이 사물 식별 장치는 전면측이 개방되어 사물을 베이스모듈(130)에 올려놓고 쉽게 회수할 수 있는 형태로 형성될 수 있다. 또한, (b)와 (c)에 도시된 바와 같이 사물 식별 장치는 전면측과 좌우측면부가 완전 개방되어 보다 더 쉽게 사물을 베이스모듈(130)에 올려놓거나 회수할 수 있는 형태로 형성될 수 있다. 그리고, (c)에서와 같이 상부측은 원형으로 형성될 수도 있고, 후방측은 전면에서 볼 때 베이스모듈(130)의 폭보다 더 좁게 형성할 수도 있는 등, 본 발명에 따른 사물 식별 장치는 다양한 형태로 디자인될 수 있음은 당연하며, 예시된 예들에 국한되지 않는다.Figure 9 is an exemplary diagram showing the schematic form of an object identification device according to an embodiment of the present invention. As shown in (a), the object identification device has an open front side and places an object on the
도면에는 구체적으로 도시되어 있지 않지만, 프로세서(150)는 카메라모듈(120)이나 센서모듈(140)을 통해 베이스모듈(130) 상의 스캔(촬영) 영역 내의 사물을 식별할 수 있고 사용자의 행위(예 : 사물을 올려놓거나 꺼내는 행위, 결제를 위해 사물 식별 장치에 접근하는 행위, 베이스모듈에 사물을 올려놓은 후 결제를 기다리는 행위, 결제가 완료되어 사물 식별 장치로부터 멀어지는 행위 등)에 따른 변화를 실시간 감지할 수 있다.Although not specifically shown in the drawing, the
또한 본 실시예에 따른 사물 식별 장치는 결제 시스템(예 : POS 시스템)과 결합되어, 사물 식별(인식) 정보를 바탕으로 곧바로 결제를 수행할 수 있도록 한다.Additionally, the object identification device according to this embodiment is combined with a payment system (e.g., POS system), allowing immediate payment based on object identification (recognition) information.
도 10은 본 발명의 일 실시예에 따른 사물 식별 장치의 테스트 과정을 촬영한 사진을 보인 예시도로서, 사물 식별 장치의 바디(프레임)를 개방한 상태에서, (a)는 전면에서 촬영된 사진이고, (b)는 측면에서 촬영된 사진이며, (c)는 바디(프레임) 내부의 상측이 촬영된 사진이다.Figure 10 is an exemplary diagram showing a photograph taken during a test process of an object identification device according to an embodiment of the present invention. In a state in which the body (frame) of the object identification device is opened, (a) is a photograph taken from the front. , (b) is a photo taken from the side, and (c) is a photo taken from the top inside the body (frame).
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and various modifications and equivalent embodiments can be made by those skilled in the art. You will understand the point. Therefore, the scope of technical protection of the present invention should be determined by the claims below. Implementations described herein may also be implemented as, for example, a method or process, device, software program, data stream, or signal. Although discussed only in the context of a single form of implementation (eg, only as a method), implementations of the features discussed may also be implemented in other forms (eg, devices or programs). The device may be implemented with appropriate hardware, software, firmware, etc. The method may be implemented in a device such as a processor, which generally refers to a processing device that includes a computer, microprocessor, integrated circuit, or programmable logic device. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDAs”) and other devices that facilitate communication of information between end-users.
110,111,112 : 지지대모듈 120 : 카메라모듈
130 : 베이스모듈 140 : 센서모듈
150 : 프로세서 160 : 통신모듈
170 : 조명모듈 DB : 데이터베이스110,111,112: Support module 120: Camera module
130: Base module 140: Sensor module
150: processor 160: communication module
170: Lighting module DB: Database
Claims (17)
상기 카메라모듈에 의해 복수의 각도에서 촬영된 영상 데이터를 이용하여 상기 복수의 사물을 식별하는 프로세서를 포함하는 것을 특징으로 하는 사물 식별 장치.
A camera module that rotates or moves a plurality of objects placed on a base module with respect to the base module and photographs them from a plurality of angles; and
An object identification device comprising a processor that identifies the plurality of objects using image data captured from a plurality of angles by the camera module.
상기 베이스모듈에 대해 지정된 각도로 형성된 지지대모듈;
상기 지지대모듈을 통해 회전 또는 이동하며, 상기 베이스모듈에 놓여 있는 사물을 다양한 각도에서 촬영할 수 있는 카메라모듈; 및
상기 카메라모듈이 회전 또는 이동하며 상기 베이스모듈에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 영상 또는 입체 영상을 생성하고, 상기 베이스모듈에 놓여 있는 사물이 촬영된 적어도 하나의 상기 이차원 영상이나 상기 깊이 영상이나 상기 입체 영상을 이용하여 상기 사물을 식별하는 프로세서를 포함하는 것을 특징으로 하는 사물 식별 장치.
A base module on which objects subject to identification can be placed;
a support module formed at a specified angle with respect to the base module;
A camera module that rotates or moves through the support module and can take pictures of objects placed on the base module from various angles; and
The camera module rotates or moves to generate a two-dimensional image, a depth image, or a three-dimensional image captured from various angles of an object placed on the base module, and at least one two-dimensional image captured by an object placed on the base module is captured. An object identification device comprising a processor that identifies the object using the depth image or the stereoscopic image.
상기 카메라모듈의 회전 방향 또는 이동 방향에 대응하여 지정된 형태의 궤도로 형성되거나, 지정된 형태의 궤도가 부착될 수 있도록 형성된 것을 특징으로 하는 사물 식별 장치.
The method of claim 2, wherein the support module is:
An object identification device characterized in that it is formed into a trajectory of a designated shape corresponding to the rotation direction or moving direction of the camera module, or is formed so that a trajectory of a designated shape can be attached.
상기 카메라모듈이 부착된 상태에서, 지정된 속도에 따라 지정된 방향으로 회전되거나 이동될 수 있도록 형성된 것을 특징으로 하는 사물 식별 장치.
The method of claim 2, wherein the support module is:
An object identification device, characterized in that it is formed to be rotated or moved in a specified direction according to a specified speed when the camera module is attached.
지지대모듈의 궤도를 따라 능동적으로 회전 또는 이동하거나,
상기 지지대모듈에 고정 부착되어 상기 지지대모듈의 회전이나 이동에 따라 수동적으로 회전 또는 이동되는 것을 특징으로 하는 사물 식별 장치.
The method of claim 1 or 2, wherein the camera module,
Actively rotate or move along the orbit of the support module,
An object identification device that is fixedly attached to the support module and passively rotates or moves according to the rotation or movement of the support module.
상기 베이스모듈에 놓여 있는 사물을 복수의 높이에서 촬영하기 위하여 상기 베이스모듈을 기준으로 복수의 높이에 복수로 배치될 수 있는 것을 특징으로 하는 사물 식별 장치.
The method of claim 1 or 2, wherein the camera module,
An object identification device that can be arranged at multiple heights based on the base module in order to photograph objects placed on the base module from multiple heights.
상기 카메라모듈의 위치 및 포즈 혹은 상기 사물의 놓인 위치, 크기 및 특징을 추출하여 사물 인식 성능을 높이는 지정된 참조패턴을 적어도 일 측면에 구비하는 것을 특징으로 하는 사물 식별 장치.
The method of claim 1 or 2, wherein the base module,
An object identification device comprising a designated reference pattern on at least one side that improves object recognition performance by extracting the position and pose of the camera module or the position, size and characteristics of the object.
상기 카메라모듈을 회전 또는 이동시키기 위하여 상기 카메라모듈의 회전 위치나 이동 위치나 각도 정보를 검출하기 위한 센서모듈;을 더 포함하는 것을 특징으로 하는 사물 식별 장치.
According to claim 1 or 2,
An object identification device further comprising a sensor module for detecting rotational position, moving position or angle information of the camera module in order to rotate or move the camera module.
상기 베이스모듈에 놓여 있는 사물의 학습을 위한 학습모드, 또는
상기 베이스모듈에 놓여 있는 사물의 식별을 위한 식별모드로 동작하는 것을 특징으로 하는 사물 식별 장치.
The method of claim 1 or 2, wherein the processor:
A learning mode for learning objects placed on the base module, or
An object identification device characterized in that it operates in an identification mode for identification of objects placed on the base module.
상기 카메라모듈을 통해 촬영된 영상 정보 및 센서모듈을 통해 검출된 상기 카메라 모듈의 회전 또는 이동 위치 및/또는 각도 정보를 대응시켜 저장하는 데이터베이스;를 더 포함하고,
상기 데이터베이스는,
학습모드 및 식별모드를 수행하기 위한 프로그램; 학습 관련 정보; 학습 결과, 색상, 부피, 높이 및 길이를 포함한 사물의 특성 정보; 및 사물의 가격 정보 중 적어도 하나 이상이 저장되는 것을 특징으로 하는 사물 식별 장치.
According to claim 1 or 2,
It further includes a database that stores image information captured through the camera module and rotation or movement position and/or angle information of the camera module detected through the sensor module in correspondence,
The database is,
Program for performing learning mode and identification mode; learning-related information; Learning outcomes: object characteristic information, including color, volume, height and length; and an object identification device that stores at least one of the object's price information.
학습모드 및 식별모드 수행에 관련된 정보를 입력하거나 출력하기 위한 적어도 하나 이상의 외부 장치와 유선 또는 무선 방식으로 통신을 연결하는 통신모듈;을 더 포함하고,
상기 외부 장치는,
학습모드에서 학습을 수행하기 위한 안내메시지를 출력하고, 식별모드에서 식별한 사물의 이름과 가격 정보를 출력할 수 있는 디스플레이모듈; 어느 하나의 사물 식별 장치에서 학습한 정보를 다른 사물 식별 장치와 공유할 수 있도록 하는 서버; 및 상기 식별모드에서 식별한 정보 및 결제를 수행할 수 있는 사용자단말기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 사물 식별 장치.
According to claim 1 or 2,
It further includes a communication module that connects to communicate in a wired or wireless manner with at least one external device for inputting or outputting information related to performing the learning mode and identification mode,
The external device is,
A display module capable of outputting a guidance message for performing learning in a learning mode and outputting the name and price information of an object identified in an identification mode; A server that allows information learned from one object identification device to be shared with another object identification device; and an object identification device comprising at least one of a user terminal capable of performing payment and information identified in the identification mode.
내부 일 측면에 부착되어 조명하는 조명모듈;을 더 포함하고,
상기 조명모듈은,
적어도 하나 이상의 색상으로 조명될 수 있고, 밝기가 조정될 수 있으며,
조명 특성이 다른 복수의 조명 소자를 포함하는 것을 특징으로 하는 사물 식별 장치.
According to claim 1 or 2,
It further includes a lighting module attached to one side of the interior to illuminate,
The lighting module is,
Can be illuminated with at least one color, the brightness can be adjusted,
An object identification device comprising a plurality of lighting elements having different lighting characteristics.
상기 프로세서가, 회전 또는 이동하며 상기 베이스모듈에 놓여 있는 사물을 상기 카메라모듈이 다양한 각도에서 촬영한 이차원 영상 또는 깊이 영상 또는 입체 영상을 생성하는 단계; 및
상기 프로세서가 상기 베이스모듈에 놓여 있는 사물이 촬영된 적어도 하나의 상기 이차원 영상이나 상기 깊이 영상이나 상기 입체 영상을 이용하여 사물을 식별하는 단계;를 포함하는 것을 특징으로 하는 사물 식별 방법.
A step where the processor rotates or moves the camera module in a designated direction and photographs an object placed on the base module;
generating, by the processor, a two-dimensional image, a depth image, or a three-dimensional image captured by the camera module at various angles of an object placed on the base module while rotating or moving; and
An object identification method comprising: the processor identifying an object using at least one two-dimensional image, the depth image, or the three-dimensional image in which an object placed on the base module is photographed.
상기 카메라모듈을 지정된 방향으로 회전시키거나 이동시키는 단계에서,
상기 카메라모듈은,
각기 다른 높이나 각기 다른 각도에서 회전시키거나 이동시킬 수 있도록 하기 위하여, 적어도 하나 이상 형성된 것을 특징으로 하는 사물 식별 방법.
According to clause 13,
In the step of rotating or moving the camera module in a designated direction,
The camera module is,
A method for identifying objects, characterized in that at least one object is formed to enable rotation or movement at different heights or different angles.
상기 카메라모듈은,
360도 회전시킬 수 있는 형태, 지정된 각도 범위 내에서 회전시킬 수 있는 호 형태, 수평 방향 또는 수직 방향으로 이동시킬 수 있는 형태, 바디의 내부 일 측면의 일 지점에서 타 측면의 일 지점으로 지정된 각도의 호 형태로 이동시킬 수 있는 형태, 바디의 내부 일 측면의 일 지점에서 타 측면의 일 지점까지 직진 방향으로 이동시킬 수 있는 형태, 중 적어도 어느 하나의 형태로 형성되는 것을 특징으로 하는 사물 식별 방법.
According to clause 14,
The camera module is,
A shape that can be rotated 360 degrees, an arc shape that can be rotated within a specified angle range, a shape that can be moved horizontally or vertically, a shape that has a specified angle from a point on one side of the body to a point on the other side. A method for identifying an object, characterized in that it is formed in at least one of a form that can be moved in an arc shape, a form that can be moved in a straight direction from a point on one side of the body to a point on the other side.
상기 카메라모듈은 회전 또는 이동하며 상기 베이스모듈에 놓여 있는 사물을 다양한 각도에서 촬영한 이차원 영상 또는 깊이 정보를 포함한 3차원 영상을 바탕으로 깊이 영상 또는 입체 영상을 생성하고, 상기 프로세서가 상기 깊이 영상 또는 상기 입체 영상을 이용하여 사물을 식별하는 것을 특징으로 하는 사물 식별 방법.
According to clause 13,
The camera module rotates or moves and generates a depth image or three-dimensional image based on a two-dimensional image or a three-dimensional image including depth information taken from various angles of an object placed on the base module, and the processor generates the depth image or three-dimensional image. An object identification method characterized by identifying an object using the three-dimensional image.
상기 카메라모듈은 이차원 영상 또는 깊이 정보를 포함한 3차원 영상 취득이 가능하며, 회전 또는 이동하여 상기 베이스모듈에 놓여 있는 사물을 다양한 각도에서 촬영한 상기 이차원 영상 또는 깊이 정보를 포함한 3차원 영상을 바탕으로 깊이 영상 또는 입체 영상을 생성하며, 상기 프로세서는 상기 깊이 영상 또는 입체 영상을 이용하여 상기 사물을 식별하는 것을 특징으로 하는 사물 식별 장치.According to claim 1 or 2,
The camera module is capable of acquiring two-dimensional images or three-dimensional images including depth information, and rotates or moves to capture objects placed on the base module from various angles based on the two-dimensional images or three-dimensional images including depth information. An object identification device that generates a depth image or three-dimensional image, and the processor identifies the object using the depth image or three-dimensional image.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220071905 | 2022-06-14 | ||
KR20220071905 | 2022-06-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230172390A true KR20230172390A (en) | 2023-12-22 |
Family
ID=89309615
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230044374A KR20230172390A (en) | 2022-06-14 | 2023-04-04 | Apparatus and method for identifying objects |
KR1020230054344A KR20230171859A (en) | 2022-06-14 | 2023-04-25 | Object identification apparatus and 3d image generation method using the same |
KR1020230054343A KR20230171858A (en) | 2022-06-14 | 2023-04-25 | Apparatus and method of identifying objects using reference pattern |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230054344A KR20230171859A (en) | 2022-06-14 | 2023-04-25 | Object identification apparatus and 3d image generation method using the same |
KR1020230054343A KR20230171858A (en) | 2022-06-14 | 2023-04-25 | Apparatus and method of identifying objects using reference pattern |
Country Status (1)
Country | Link |
---|---|
KR (3) | KR20230172390A (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117764094B (en) * | 2024-02-21 | 2024-05-10 | 博诚经纬软件科技有限公司 | Intelligent warehouse management system and method for customs |
-
2023
- 2023-04-04 KR KR1020230044374A patent/KR20230172390A/en unknown
- 2023-04-25 KR KR1020230054344A patent/KR20230171859A/en unknown
- 2023-04-25 KR KR1020230054343A patent/KR20230171858A/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR20230171858A (en) | 2023-12-21 |
KR20230171859A (en) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10402956B2 (en) | Image-stitching for dimensioning | |
CN109584295B (en) | Method, device and system for automatically labeling target object in image | |
US11720766B2 (en) | Systems and methods for text and barcode reading under perspective distortion | |
KR102454854B1 (en) | Item detection system and method based on image monitoring | |
US20200234394A1 (en) | Image processing methods and arrangements useful in automated store shelf inspections | |
US10083522B2 (en) | Image based measurement system | |
US10007964B1 (en) | Image processing methods and arrangements | |
EP3918274B1 (en) | Object dimensioning system and method | |
JP2019530035A (en) | Multiple camera systems for inventory tracking | |
GB2531928A (en) | Image-stitching for dimensioning | |
JP2019192248A (en) | System and method for stitching sequential images of object | |
US10163216B2 (en) | Automatic mode switching in a volume dimensioner | |
EP2774079B1 (en) | Image acquisition method | |
US11948042B2 (en) | System and method for configuring an ID reader using a mobile device | |
US10692230B2 (en) | Document imaging using depth sensing camera | |
US20190164281A1 (en) | Robotic pill filling, counting, and validation | |
KR20230172390A (en) | Apparatus and method for identifying objects | |
US11810304B1 (en) | Perspective distortion correction of discrete optical patterns in images using depth sensing | |
CN109573526A (en) | Carry control method and transfer robot | |
US11907803B2 (en) | Installation support device and installation support method for stationary code reader | |
JP2005031044A (en) | Three-dimensional error measuring device | |
US20200302643A1 (en) | Systems and methods for tracking | |
CN111639735A (en) | Device for positioning and positioning method based on device | |
CN212460586U (en) | Device for positioning | |
US20220414916A1 (en) | Systems and methods for assigning a symbol to an object |