WO2023239079A1 - 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법 - Google Patents

포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023239079A1
WO2023239079A1 PCT/KR2023/006806 KR2023006806W WO2023239079A1 WO 2023239079 A1 WO2023239079 A1 WO 2023239079A1 KR 2023006806 W KR2023006806 W KR 2023006806W WO 2023239079 A1 WO2023239079 A1 WO 2023239079A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
packaging
box
image
packaging box
Prior art date
Application number
PCT/KR2023/006806
Other languages
English (en)
French (fr)
Inventor
양수영
송태호
이경욱
Original Assignee
주식회사 테크타카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테크타카 filed Critical 주식회사 테크타카
Publication of WO2023239079A1 publication Critical patent/WO2023239079A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a product inspection device provided at a packaging workbench and used to inspect products subject to packaging work, and a method of operating the same.
  • a packaging worker at a logistics center packs the product into a packaging box in order to safely deliver the product to the buyer.
  • packaging workers often inspected products directly.
  • the time it takes for the packaging worker to perform the packaging work is long, and in situations where the quantity that the packaging worker has to process is excessive, there is a problem that incorrect delivery often occurs due to the packaging worker's mistake in inspecting the product.
  • the present invention provides a product inspection device and method of operation for inspecting products placed on a packaging workstation and subject to packaging work, thereby determining whether the product placed on the packaging workbench is the product subject to packaging work, We would like to provide support for more efficient inspection.
  • a product inspection device provided at a packaging workbench for inspecting products subject to packaging work includes a camera for photographing products located on the packaging workbench, and a product subject to packaging work.
  • a product identification code storage unit storing a preset product identification code for each of n (n is a natural number of 2 or more) types of products, a first product identification code among the n types of products.
  • Image acquisition unit when the first product image is acquired, the first product image is converted into a pre-machine learned product judgment model - the product judgment model is, when the product image is input, for each of the n types of products. , is a model that calculates the probability of matching with the input product image - is applied as input to, and among the n types of products, the product with the maximum matching probability with the first product image is selected as the first product.
  • a product determination unit that determines that the product corresponds to the image.
  • the product identification code storage unit refers to the product identification code for the product that corresponds to the first product image.
  • the product identification code confirmation unit for checking whether it matches the first product identification code and the product identification code for the product corresponding to the first product image are confirmed to match the first product identification code
  • the first product identification code A work instruction message instructing to start packaging work for the product is generated and displayed on the screen, and it is confirmed that the product identification code for the product corresponding to the first product image does not match the first product identification code.
  • it includes a first message display unit that generates a product error message indicating that the first product is not subject to packaging work and displays it on the screen.
  • the method of operating a product inspection device equipped with a camera for photographing products located on a packaging workbench is a product preset to be the product subject to packaging work (n is a natural value of 2 or more)
  • a step of maintaining a product identification code storage unit in which a preset product identification code is stored for each of the n types of products, and packaging of the product having the first product identification code among the n types of products is performed.
  • the packaging worker who performs packaging work for the first product
  • obtaining a first product image for the first product by photographing the first product through the camera the first product image is obtained
  • the first product image is converted into a pre-machine-learned product judgment model - the product judgment model determines the probability of matching the input product image for each of the n types of products when a product image is input.
  • the product identification code storage unit to check whether the product identification code for the product corresponding to the first product image matches the first product identification code. If the product identification code for the product corresponding to the step and the first product image is confirmed to match the first product identification code, a work instruction message instructing to start packaging work for the first product is generated on the screen. If the product identification code for the product corresponding to the first product image is confirmed not to match the first product identification code, the product indicates that the first product is not subject to packaging work. It includes generating an error message and displaying it on the screen.
  • the present invention provides a product inspection device and method of operation for inspecting products placed on a packaging workstation and subject to packaging work, thereby determining whether the product placed on the packaging workbench is the product subject to packaging work, We can provide support for more efficient inspection.
  • FIG. 1 is a diagram showing the structure of a product inspection device according to an embodiment of the present invention.
  • Figure 2 is a diagram for explaining the operation of a product inspection device according to an embodiment of the present invention.
  • Figure 3 is a flowchart showing a method of operating a product inspection device according to an embodiment of the present invention.
  • each component, functional block, or means may be composed of one or more subcomponents, and the electrical, electronic, and mechanical functions performed by each component may be electronic. It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, and ASICs (Application Specific Integrated Circuits), and may be implemented separately or by integrating two or more into one.
  • ASICs Application Specific Integrated Circuits
  • the blocks in the attached block diagram or the steps in the flow chart are computer program instructions that are mounted on the processor or memory of equipment capable of data processing, such as general-purpose computers, special-purpose computers, portable laptop computers, and network computers, and perform designated functions. It can be interpreted to mean. Because these computer program instructions can be stored in a memory provided in a computer device or in a computer-readable memory, the functions described in the blocks of a block diagram or the steps of a flow diagram can be produced as a manufactured product containing instruction means to perform them. It could be.
  • each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • Figure 1 is a diagram showing the structure of a product inspection device provided on a packaging workbench and used to inspect products subject to packaging work according to an embodiment of the present invention.
  • the product inspection device 110 may be equipped with a camera 111 for photographing products located on the packaging workbench.
  • the product inspection device 110 is, as shown in the illustration shown in FIG. 2, a predetermined packaging workbench 20 on which the packaging worker 130 places the product 21 and performs packaging work. ), and in this case, the camera 111 may be configured to photograph the product 21 located on the packaging work bench 20.
  • the product inspection device 110 is configured to inspect the product that is the subject of packaging work, and includes a product identification code storage unit 112, a product image acquisition unit 113, and a product judgment unit 114. , It may further include a product identification code confirmation unit 115 and a first message display unit 116.
  • the product identification code storage unit 112 contains information on each of '5' types of products preset to be products subject to packaging work, as shown in Table 1 below, A preset product identification code may be stored.
  • the product determination unit 114 uses the first product image as a pre-machine learned product judgment model (the product judgment model is a product image input) Then, it is applied as an input to (a model that calculates the probability of matching with the input product image for each of the n types of products) and, among the n types of products, matches the first product image with the input product image. The product with the highest matching probability is determined to be the product corresponding to the first product image.
  • machine learning for the first convolutional neural network is performed by applying a first product training image, which is one of the plurality of product training images, as an input to the first convolutional neural network to generate an n-dimensional first output vector.
  • a fourth process of performing backpropagation processing so that the first operation value specified as the matching probability for the product matching the first product training image is maximized, for each of the plurality of product training images. This can be done by repetition.
  • n is '5'
  • the product training set includes a plurality of preset product training images for each of the '5' types of products, and the plurality of product training images, as shown in Table 2 below. If it consists of selection information about products matching each, the process of performing machine learning on the first convolutional neural network will be described in detail as an example as follows.
  • each of the '5' operation values 'a (1) , a (2) , a (3) , a (4) , a (5) ' is converted into 'product training image 1'. It can be specified as a matching probability that indicates how well it matches each of these '5' types of products, 'Product 1, Product 2, Product 3, Product 4, and Product 5'.
  • the product matching 'Product Training Image 1' is 'Product 3', so in the fourth process, '5' operation values 'a (1) , a Among (2) , a (3) , a (4) , and a (5) ', backpropagation processing is performed so that 'a (3) ', the first operation value specified as the matching probability for 'product 3', is maximized. can do.
  • n is '5', and among the '5' types of products, 'Product 1, Product 2, Product 3, Product 4, Product 5', there is a product with 'Product Identification Code 1'.
  • 'Product 1' which is one of the '5' types of products, is placed on the packaging workbench by the packaging worker 130 who performs the packaging work of the product. In the provided state, let us assume that a work inquiry command inquiring whether to start packaging work for 'Product 1' is granted to the product inspection device 110 by the packaging worker 130.
  • the product image acquisition unit 113 may acquire 'Product Image 1', which is the first product image for 'Product 1', by photographing 'Product 1' through the camera 111.
  • the product judgment unit 114 applies 'Product Image 1' as an input to the pre-machine learned product judgment model, and selects the product with the highest matching probability with 'Product Image 1' among the '5' types of products.
  • the product can be judged as a product corresponding to ‘Product Image 1’.
  • the product identification code for ‘Product 1’ is ‘Product Identification Code 1’
  • the product identification code confirmation unit 115 stores the product identification code for ‘Product 1’. It can be confirmed that the product identification code matches 'Product Identification Code 1'.
  • the first message display unit 116 can generate a work instruction message instructing to start packaging work for 'Product 1' and display it on the screen.
  • the packaging instruction unit 118 enters the first packaging box standard corresponding to the first product from the packaging box specification information storage unit 117. After extracting the information, a packaging instruction message instructing to package the first product in a packaging box having the first packaging box standard is generated and displayed on the screen.
  • the box image acquisition unit 119 issues a packaging completion command indicating that the first product has been packaged. Once approved, the first box image is obtained by photographing the first packaged product through the camera 111.
  • the packaging box standard determination unit 120 uses the first box image as a pre-machine learned packaging box determination model (the packaging box determination model is, When a box image is input, it is applied as an input to (a model that calculates the probability of matching with the input box image for each of the k types of packaging box specifications), and selects one of the k types of packaging box specifications. , the packaging box standard with the highest matching probability with the first box image is determined to be the packaging box standard corresponding to the first box image.
  • the packaging box determination model is, When a box image is input, it is applied as an input to (a model that calculates the probability of matching with the input box image for each of the k types of packaging box specifications), and selects one of the k types of packaging box specifications.
  • the box training set includes a plurality of preset box training images for each of the '4' types of packaging box specifications, and the plurality of box training, as shown in Table 4 below. If the image consists of selection information about packaging box specifications matching each of the images, the process of performing machine learning on the second convolutional neural network will be described in detail with an example as follows.
  • each of the '4' operation values 'b (1) , b (2) , b (3) , b (4) ', and 'box training image 1' are converted into '4' types. It can be specified as a matching probability that indicates how much it matches each of the packaging box specifications 'No. 1, No. 2, No. 3, and No. 4'.
  • machine learning for the second convolutional neural network for each of the plurality of box training images 'box training image 1, box training image 2, ..., box training image 10', the first It can be performed by repeating the process, the second process, the third process, and the fourth process.
  • the packaging box standard determination unit 120 selects the packaging box standard with the highest matching probability with the first box image among the k types of packaging box specifications, using the camera 111 ) can be confirmed by the packaging box standard corresponding to the first box image taken.
  • the packaging box standard determination unit 120 determines the packaging box standard corresponding to the first box image
  • the packaging box standard confirmation unit 121 corresponds to the first box image. Check whether the packaging box specifications are consistent with the first packaging box specifications.
  • the first message display unit 116 displays Let's assume that a work instruction message instructing to start packaging work for 'Product 1' is displayed on the screen.
  • the packaging worker 130 who confirmed the packaging instruction message, completes packaging 'Product 1' into a packaging box having 'No. 3', which is the first packaging box standard, and then sends a message to the product inspection device 110, ' Assume that a packaging completion command indicating that product 1' has been packaged has been approved.
  • the packaging box standard confirmation unit 121 checks whether the packaging box standard corresponding to 'box image 1' matches the first packaging box standard 'No. 3', and corresponds to 'box image 1'. It can be confirmed that the packaging box standard is consistent with 'No. 3', which is the first packaging box standard.
  • the second message display unit 122 can generate a shipping progress instruction message instructing to ship the packaged 'Product 1' and display it on the screen.
  • the packaging worker 130 when it is confirmed by the packaging box standard confirmation unit 121 that the packaging box standard corresponding to 'box image 1' does not match the first packaging box standard 'No. 3', the packaging worker 130 ) can be seen as a situation where 'Product 1' is packaged in a packaging box of the wrong standard, so the second message display unit 122 displays 'Product 1' in a packaging box having 'No. 3', which is the first packaging box specification.
  • the packaging worker 130 By generating a repackaging instruction message instructing to repackage and displaying it on the screen, the packaging worker 130 can be induced to pack 'Product 1' in a proper packaging box.
  • the product inspection device 110 includes a product attribute vector storage unit 123, an accessory material attribute vector storage unit 124, an operation vector generation unit 125, and an accessory material addition instruction unit ( 126) may be further included.
  • the product attribute vector storage unit 123 contains a t (t is a natural number of 2 or more)-dimensional product attribute vector for each of the n types of products (the product attribute vector for each of the n types of products is For each of n types of products, among t preset product attributes, '1' is designated as an ingredient for the product attribute that matches each product, and '0' is designated as an ingredient for the product attribute that does not match each product. vector) is stored.
  • the product attribute vector storage unit 123 may store '3' dimensional product attribute vectors for each of the '5' types of products as shown in Table 5 below.
  • the subsidiary material attribute vector storage unit 124 contains a t-dimensional subsidiary material attribute vector for each of a plurality of preset subsidiary materials (the subsidiary material attribute vector for each of the plurality of subsidiary materials is, for each of the plurality of subsidiary materials, the t number of subsidiary materials).
  • the product attributes '1' is stored for product attributes that match each subsidiary material, and '0' is a vector designated as a component for product attributes that do not match each subsidiary material.
  • the subsidiary material attribute vector storage unit (124 ) may store a '3' dimensional auxiliary material attribute vector for each of a plurality of preset auxiliary materials, as shown in Table 6 below.
  • the operation vector generator 125 checks the first product attribute vector for the first product from the product attribute vector storage unit 123, and then , By calculating a Hadamard product between the subsidiary material attribute vector for each of the plurality of subsidiary materials stored in the subsidiary material attribute vector storage unit 124 and the first product attribute vector, each of the plurality of subsidiary materials Create an operation vector for .
  • the Hadamard product refers to an operation that multiplies each component in a vector or matrix of the same size. For example, when there are vectors '[a b c]' and '[x y z]', calculating the Hadamard product between the two vectors can yield a vector called '[ax by cz]'.
  • the auxiliary material addition instruction unit 126 calculates the Manhattan norm of the operation vector for each of the plurality of auxiliary materials, checks the target auxiliary materials for which the Manhattan norm of the operation vector is '1' or more among the plurality of auxiliary materials, and then , a subsidiary material addition instruction message instructing to add the target subsidiary materials to the packaging box of the first product is generated and displayed on the screen.
  • the Manhattan norm is the L1 norm indicating the size of a vector or matrix, and can be calculated according to Equation 3 below.
  • x i means the ith component among the n components included in the vector or matrix.
  • a packaging instruction message is displayed on the screen by the packaging instruction unit 118, instructing to package 'Product 1' in a packaging box having 'No. 3', which is the first packaging box standard. Let's assume it has been done.
  • the calculation vector generator 125 can check the first product attribute vector '[1 1 0]' for 'product 1' of the product attribute vector storage unit 123 as shown in Table 5 above.
  • the operation vector generator 125 generates the subsidiary material attribute vectors '[1 1 0], [0 1' for each of the plurality of subsidiary materials stored in the subsidiary material attribute vector storage unit 124 as shown in Table 6 above.
  • the operation vector for each of the plurality of subsidiary materials is '[1 1 0], It can be created as ‘[0 1 0], [0 0 0]’.
  • the subsidiary material addition instruction unit 126 sets the Manhattan norm of '[1 1 0], [0 1 0], [0 0 0]', which is the operation vector for each of the plurality of subsidiary materials, to '2, 1, 0'.
  • target subsidiary materials for which the Manhattan norm of the calculation vector is '1' or more can be identified, such as 'buffer material, ice pack'.
  • Figure 3 is a flowchart showing a method of operating a product inspection device equipped with a camera for photographing products located on a packaging workbench according to an embodiment of the present invention.
  • step S220 as the order in which the packaging operation of the product having the first product identification code among the n types of products is to be performed, the packaging worker performing the packaging operation of the product performs the packaging operation of the n types of products.
  • the packaging worker performing the packaging operation of the product performs the packaging operation of the n types of products.
  • the first product A first product image for the first product is obtained by photographing the product.
  • step S240 when the product corresponding to the first product image is determined, the product identification code storage unit is referred to, and the product identification code for the product corresponding to the first product image is calculated as the first product identification code and Check whether they match.
  • step S250 if it is confirmed that the product identification code for the product corresponding to the first product image matches the first product identification code, a work instruction message instructing to start packaging work for the first product is sent. generated and displayed on the screen, and if it is confirmed that the product identification code for the product corresponding to the first product image does not match the first product identification code, it is confirmed that the first product is not the subject of packaging work. A product error message indicating an error message is generated and displayed on the screen.
  • the method of operating the product inspection device is a packaging box specification pre-designated to correspond to each of the n types of products (pre-designated to correspond to each of the n types of products).
  • the designated packaging box standard is one of the preset k (k is a natural number of 2 or more) types of packaging box standards) of maintaining a packaging box standard information storage unit in which information is stored (S250).
  • the packaging box judgment model matches the input box image for each of the k types of packaging box specifications when a box image is input. (a model that calculates probability) is applied as an input, and among the k types of packaging box specifications, the packaging box specification with the highest matching probability with the first box image is selected as the packaging box corresponding to the first box image.
  • Determining the box standard if the packaging box standard corresponding to the first box image is determined, checking whether the packaging box standard corresponding to the first box image matches the first packaging box standard, and If it is confirmed that the packaging box specifications corresponding to the first box image match the first packaging box specifications, a shipping progress instruction message instructing to ship the fully packaged first product is generated and displayed on the screen. , If it is confirmed that the packaging box specification corresponding to the first box image does not match the first packaging box specification, instructions to repackage the first product into a packaging box having the first packaging box specification.
  • the method may further include generating a repackaging instruction message and displaying it on the screen.
  • the packaging box judgment model matches a plurality of preset box training images for each of the k types of packaging box specifications, and each of the plurality of box training images. It may be a model created by machine learning a second convolutional neural network that calculates a k-dimensional output vector as an output, based on a box training set consisting of selection information about packaging box specifications.
  • machine learning for the second convolutional neural network is performed by applying a first box training image, which is one of the plurality of box training images, as an input to the second convolutional neural network to generate a k-dimensional second output vector.
  • the fourth process of performing backpropagation processing so that the second operation value specified as the matching probability for the matched packaging box standard is maximized may be performed by repeating for each of the plurality of box training images.
  • the method of operating the product inspection device includes a t (t is a natural number of 2 or more)-dimensional product attribute vector for each of the n types of products (the n types of products).
  • the product attribute vector for each product is, for each of the n types of products, '1' for the product attribute that matches each product among the t preset product attributes, and '1' for the product attribute that does not match each product.
  • the packaging instruction message is displayed on the screen by maintaining a subsidiary material attribute vector storage unit in which (a vector designated as a component) is stored, and generating and displaying the repackaging instruction message on the screen
  • the product attribute vector After checking the first product attribute vector for the first product from the storage unit, an auxiliary material attribute vector for each of the plurality of subsidiary materials stored in the subsidiary material attribute vector storage unit and the first product attribute vector are used.
  • the Manhattan norm of the operation vector among the plurality of subsidiary materials is After confirming the number of target subsidiary materials of '1' or more, the step of generating and displaying on the screen an additional material addition instruction message instructing to add the target subsidiary materials to the packaging box of the first product may be further included.
  • the operation method of the product inspection device according to an embodiment of the present invention has been described with reference to FIG. 3.
  • the operation method of the product inspection device according to an embodiment of the present invention may correspond to the configuration of the operation of the product inspection device 110 described using FIGS. 1 and 2, so a detailed description thereof is omitted. I decided to do it.
  • the method of operating the product inspection device may be implemented as a computer program stored in a storage medium to be executed through combination with a computer.
  • the method of operating the product inspection device may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • optical media magnetic-optical media
  • hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)

Abstract

상품 검수 장치 및 그 동작 방법이 개시된다. 본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법을 제시함으로써, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를, 보다 효율적으로 검수할 수 있도록 지원할 수 있다.

Description

포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법
본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법에 대한 것이다.
일반적으로, 구매자가 인터넷을 통해 상품을 구매하면, 물류센터에서는 구매자에게 상품을 안전하게 배송하기 위해서, 포장 작업자가 해당 상품을 포장 박스에 포장하는 작업을 수행한다.
이때, 잘못된 상품이 구매자에게 배송되는 것을 예방하기 위해서, 해당 상품을 포장 박스에 포장하기 전에, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를 검수하는 과정이 필요하다.
기존에는, 포장 작업자가 직접 상품을 검수하는 경우가 많았다. 하지만, 이러한 경우, 포장 작업자가 포장 작업을 수행하는데 소요되는 시간이 길어지고, 포장 작업자가 처리해야 하는 물량이 과다한 상황에서는, 포장 작업자의 상품 검수 실수로 인해 종종 오배송이 발생하는 문제점이 있었다.
이와 관련해서, 포장 작업대 상에 비치된 상품을 촬영하여, 촬영된 이미지를 기초로, 해당 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를 자동으로 검수할 수 있는 기술이 도입된다면, 상품에 대한 검수를 보다 효율적으로 수행할 수 있을 것이다.
본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법을 제시함으로써, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를, 보다 효율적으로 검수할 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치는 상기 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라, 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부, 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 상품 이미지 획득부, 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 상품 판단부, 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 상품 식별 코드 확인부 및 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 제1 메시지 표시부를 포함한다.
또한, 본 발명의 일실시예에 따른 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라가 구비된 상품 검수 장치의 동작 방법은 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부를 유지하는 단계, 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 단계, 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 단계, 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 단계 및 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 단계를 포함한다.
본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법을 제시함으로써, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를, 보다 효율적으로 검수할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 상품 검수 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 상품 검수 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치의 구조를 도시한 도면이다.
먼저, 본 발명에 따른 상품 검수 장치(110)는 상기 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라(111)를 구비하고 있을 수 있다.
이와 관련해서, 본 발명에 따른 상품 검수 장치(110)는 도 2에 도시된 그림의 예시와 같이, 포장 작업자(130)가 상품(21)을 올려두고 포장 작업을 수행하는 소정의 포장 작업대(20) 상에 비치되어 있을 수 있고, 이때, 카메라(111)는 포장 작업대(20) 상에 위치하는 상품(21)을 촬영하도록 구성되어 있을 수 있다.
이때, 본 발명에 따른 상품 검수 장치(110)는 포장 작업의 대상이 되는 상품을 검수하기 위한 구성으로, 상품 식별 코드 저장부(112), 상품 이미지 획득부(113), 상품 판단부(114), 상품 식별 코드 확인부(115) 및 제1 메시지 표시부(116)를 더 포함할 수 있다.
상품 식별 코드 저장부(112)에는 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있다.
예컨대, n을 '5'라고 하는 경우, 상품 식별 코드 저장부(112)에는 하기의 표 1과 같은, 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 '5'가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있을 수 있다.
'5'가지 종류의 상품들 상품 식별 코드
상품 1 상품 식별 코드 1
상품 2 상품 식별 코드 2
상품 3 상품 식별 코드 3
상품 4 상품 식별 코드 4
상품 5 상품 식별 코드 5
상품 이미지 획득부(113)는 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자(130)에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 카메라(111)를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득한다.
상품 판단부(114)는 상품 이미지 획득부(113)에 의해 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델(상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단한다.
이때, 본 발명의 일실시예에 따르면, 상기 상품 판단 모델은 상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망(Convolutional Neural Network, CNN)을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 하기의 수학식 1에 따른 소프트맥스(softmax) 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파(backpropagation) 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
Figure PCTKR2023006806-appb-img-000001
여기서, S(xi)는 상기 n개의 연산 값들 중 i번째 연산 값으로, xi는 상기 제1 출력 벡터를 구성하는 n개의 성분들 중 i번째 성분의 값을 의미하고, e는 자연상수를 의미한다.
이때, n을 '5'라고 하고, 상기 상품 훈련 세트가 하기의 표 2와 같이, '5'가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성되어 있다고 하는 경우, 상기 제1 합성곱 신경망에 대한 기계학습이 수행되는 과정을 예를 들어 상세히 설명하면, 다음과 같다.
복수의 상품 훈련 이미지들 매칭되는 상품에 대한 선택 정보
상품 훈련 이미지1 상품 3
상품 훈련 이미지 2 상품 2
... ...
상품 훈련 이미지 10 상품 5
먼저, 상기 제1 과정에서는, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 '상품 훈련 이미지 1'을, 상기 제1 합성곱 신경망에 입력으로 인가하여, '5'차원의 제1 출력 벡터를 '[a1 a2 a3 a4 a5]'와 같이 산출할 수 있다.
그러고 나서, 상기 제2 과정에서는, 상기 제1 출력 벡터인 '[a1 a2 a3 a4 a5]'를 구성하는 '5'개의 성분들인 'a1, a2, a3, a4, a5' 각각을, 상기 수학식 1에 따른 소프트맥스 함수에 입력으로 인가하여, '5'개의 연산 값들을 'a(1), a(2), a(3), a(4), a(5)'와 같이 산출할 수 있다.
그러면, 상기 제3 과정에서는, '5'개의 연산 값들인 'a(1), a(2), a(3), a(4), a(5)' 각각을, '상품 훈련 이미지 1'이 '5'가지 종류의 상품들인 '상품 1, 상품 2, 상품 3, 상품 4, 상품 5' 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정할 수 있다.
이때, 상기 표 2와 같은 상품 훈련 세트에서는, '상품 훈련 이미지 1'에 매칭되어 있는 상품이 '상품 3'이므로, 상기 제4 과정에서는, '5'개의 연산 값들인 'a(1), a(2), a(3), a(4), a(5)' 중, '상품 3'에 대한 매칭 확률로 지정된 제1 연산 값인 'a(3)'이 최대가 되도록 역전파 처리를 수행할 수 있다.
이러한 방식으로, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들인 '상품 훈련 이미지 1, 상품 훈련 이미지 2, ..., 상품 훈련 이미지 10' 각각에 대해, 상기 제1 과정, 상기 제2 과정, 상기 제3 과정 및 상기 제4 과정을 반복함으로써 수행될 수 있다
이로 인해서, 기계학습이 완료된 상기 상품 판단 모델에 카메라(111)를 통해 촬영된 상기 제1 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 제1 상품 이미지와의 매칭 확률이 산출될 수 있고, 이때, 상품 판단부(114)는 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 카메라(111)를 통해 촬영된 상기 제1 상품 이미지에 대응되는 상품으로 확인할 수 있다.
이러한 상기 상품 판단 모델을 기초로, 상품 판단부(114)에 의해 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상품 식별 코드 확인부(115)는 상품 식별 코드 저장부(112)를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인한다.
제1 메시지 표시부(116)는 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시한다.
이하에서는, 상품 이미지 획득부(113), 상품 판단부(114), 상품 식별 코드 확인부(115) 및 제1 메시지 표시부(116)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, n을 '5'라고 하고, '5'가지 종류의 상품들인 '상품 1, 상품 2, 상품 3, 상품 4, 상품 5' 중, '상품 식별 코드 1'을 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자(130)에 의해, '5'가지 종류의 상품들 중 어느 하나인 '상품 1'이 상기 포장 작업대 상에 비치된 상태에서, 상품 검수 장치(110)에 포장 작업자(130)에 의해, '상품 1'에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되었다고 가정하자.
이때, 상품 이미지 획득부(113)는 카메라(111)를 통해, '상품 1'을 촬영하여 '상품 1'에 대한 제1 상품 이미지인 '상품 이미지 1'을 획득할 수 있다.
그러면, 상품 판단부(114)는 '상품 이미지 1'을 사전 기계학습된 상품 판단 모델에 입력으로 인가하여, '5'가지 종류의 상품들 중, '상품 이미지 1'과의 매칭 확률이 최대인 상품을, '상품 이미지 1'에 대응되는 상품으로 판단할 수 있다.
이때, '5'가지 종류의 상품들 중, '상품 이미지 1'과의 매칭 확률이 최대인 상품이 '상품 1'인 것으로 확인됨에 따라, '상품 1'이 '상품 이미지 1'에 대응되는 상품으로 판단되었다고 가정하자.
그러면, 상품 식별 코드 확인부(115)는 상기 표 1과 같은 상품 식별 코드 저장부(112)를 참조하여, '상품 1'에 대한 상품 식별 코드가, '상품 식별 코드 1'과 일치하는지 여부를 확인할 수 있다.
이때, 상기 표 1과 같은 상품 식별 코드 저장부(112)에서는, '상품 1'에 대한 상품 식별 코드가 '상품 식별 코드 1'이므로, 상품 식별 코드 확인부(115)는 '상품 1'에 대한 상품 식별 코드가, '상품 식별 코드 1'과 일치하는 것으로 확인할 수 있다.
그러면, 제1 메시지 표시부(116)는 '상품 1'에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
한편, 상품 식별 코드 확인부(115)에 의해 '상품 1'에 대한 상품 식별 코드가, '상품 식별 코드 1'과 일치하지 않는 것으로 확인된 경우에는 포장 작업자(130)가 포장 작업대 상에 잘못된 상품을 비치한 상태에서 포장 작업을 수행하려는 상황이라고 볼 수 있으므로, 제1 메시지 표시부(116)는 '상품 1'이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시함으로써, 포장 작업자(130)가 제대로 된 상품을 포장 작업대 상에 비치하여 포장 작업을 수행하도록 유도할 수 있다.
본 발명의 일실시예에 따르면, 상품 검수 장치(110)는 포장 박스 규격 정보 저장부(117), 포장 지시부(118), 박스 이미지 획득부(119), 포장 박스 규격 판단부(120), 포장 박스 규격 확인부(121) 및 제2 메시지 표시부(122)를 더 포함할 수 있다.
포장 박스 규격 정보 저장부(117)에는 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격(상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임)에 대한 정보가 저장되어 있다.
여기서, 포장 박스 규격이란 특정 상품을 포장하기 위한 박스를 크기 별로 사전 구분한 규격을 의미한다. 예컨대, '1호'라는 포장 박스 규격에 해당하는 박스는 가로 길이, 세로 길이, 높이가 각각 '45(cm), 45(cm), 45(cm)'의 크기를 갖는 박스가 사용될 수 있다.
관련해서, 전술한 예와 같이, n을 '5', k를 '4'라고 하고, 사전 설정된 '4'가지 종류의 포장 박스 규격들을 '1호, 2호, 3호, 4호'라고 하는 경우, 포장 박스 규격 정보 저장부(117)에는 하기의 표 3과 같은 '5'가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격에 대한 정보가 저장되어 있을 수 있다.
'5'가지 종류의 상품들 포장 박스 규격에 대한 정보
상품 1 3호
상품 2 4호
상품 3 1호
상품 4 2호
상품 5 4호
포장 지시부(118)는 제1 메시지 표시부(116)에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 포장 박스 규격 정보 저장부(117)로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시한다.
박스 이미지 획득부(119)는 포장 작업자(130)에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 카메라(111)를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득한다.
포장 박스 규격 판단부(120)는 박스 이미지 획득부(119)에 의해 상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델(상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단한다.
이때, 본 발명의 일실시예에 따르면, 상기 포장 박스 판단 모델은 상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 하기의 수학식 2에 따른 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
Figure PCTKR2023006806-appb-img-000002
여기서, S(yi)는 상기 k개의 연산 값들 중 i번째 연산 값으로, yi는 상기 제2 출력 벡터를 구성하는 k개의 성분들 중 i번째 성분의 값을 의미하고, e는 자연상수를 의미한다.
이때, k를 '4'라고 하고, 상기 박스 훈련 세트가 하기의 표 4와 같이, '4'가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성되어 있다고 하는 경우, 상기 제2 합성곱 신경망에 대한 기계학습이 수행되는 과정을 예를 들어 상세히 설명하면, 다음과 같다.
복수의 박스 훈련 이미지들 매칭되는 포장 박스 규격에 대한 선택 정보
박스 훈련 이미지1 2호
박스 훈련 이미지 2 1호
... ...
박스 훈련 이미지 10 4호
먼저, 상기 제1 과정에서는, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 '박스 훈련 이미지 1'을, 상기 제2 합성곱 신경망에 입력으로 인가하여, '4'차원의 제2 출력 벡터를 '[b1 b2 b3 b4]'와 같이 산출할 수 있다.
그러고 나서, 상기 제2 과정에서는, 상기 제2 출력 벡터인 '[b1 b2 b3 b4]'를 구성하는 '4'개의 성분들인 'b1, b2, b3, b4' 각각을, 상기 수학식 2에 따른 소프트맥스 함수에 입력으로 인가하여, '4'개의 연산 값들을 'b(1), b(2), b(3), b(4)'와 같이 산출할 수 있다.
상기 제3 과정에서는, '4'개의 연산 값들인 'b(1), b(2), b(3), b(4)' 각각을, '박스 훈련 이미지 1'이 '4'가지 종류의 포장 박스 규격들인 '1호, 2호, 3호, 4호' 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정할 수 있다.
이때, 상기 표 4와 같은 박스 훈련 세트에서는, '박스 훈련 이미지 1'에 매칭되어 있는 포장 박스 규격이 '2호'이므로, 상기 제4 과정에서는, '4'개의 연산 값들인 'b(1), b(2), b(3), b(4)' 중, '2호'에 대한 매칭 확률로 지정된 제2 연산 값인 ' b(2)'가 최대가 되도록 역전파 처리를 수행할 수 있다.
이러한 방식으로, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들인 '박스 훈련 이미지 1, 박스 훈련 이미지 2, ..., 박스 훈련 이미지 10' 각각에 대해, 상기 제1 과정, 상기 제2 과정, 상기 제3 과정 및 상기 제4 과정을 반복함으로써 수행될 수 있다
이로 인해서, 기계학습이 완료된 상기 포장 박스 판단 모델에 카메라(111)를 통해 촬영된 상기 제1 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 제1 박스 이미지와의 매칭 확률이 산출될 수 있고, 이때, 포장 박스 규격 판단부(120)는 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 카메라(111)를 통해 촬영된 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 확인할 수 있다.
이러한 상기 박스 판단 모델을 기초로, 포장 박스 규격 판단부(120)에 의해 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 포장 박스 규격 확인부(121)는 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인한다.
제2 메시지 표시부(122)는 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시한다.
이하에서는, 포장 지시부(118), 박스 이미지 획득부(119), 포장 박스 규격 판단부(120), 포장 박스 규격 확인부(121) 및 제2 메시지 표시부(122)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 상품 식별 코드 확인부(115)에 의해 '상품 1'에 대한 상품 식별 코드가 '상품 식별 코드 1'과 일치하는 것으로 확인됨에 따라, 제1 메시지 표시부(116)에 의해 '상품 1'에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지가 화면 상에 표시되었다고 가정하자.
그러면, 포장 지시부(118)는 상기 표 3과 같은 포장 박스 규격 정보 저장부(117)로부터, '상품 1'에 대응되는 제1 포장 박스 규격인 '3호'에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 '상품 1'을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
이때, 상기 포장 지시 메시지를 확인한 포장 작업자(130)가, '상품 1'을 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 포장 완료한 후, 상품 검수 장치(110)에, '상품 1'이 포장 완료되었음을 지시하는 포장 완료 명령을 인가하였다고 가정하자.
그러면, 박스 이미지 획득부(119)는 카메라(111)를 통해, 포장이 완료된 '상품 1'을 촬영하여 '박스 이미지 1'을 획득할 수 있다.
그러고 나서, 포장 박스 규격 판단부(120)는 '박스 이미지 1'을 사전 기계학습된 포장 박스 판단 모델에 입력으로 인가하여, '4'가지 종류의 포장 박스 규격들' 중, '박스 이미지 1'과의 매칭 확률이 최대인 포장 박스 규격을, '박스 이미지 1'에 대응되는 포장 박스 규격으로 판단할 수 있다.
이때, '4'가지 종류의 포장 박스 규격들 중, '박스 이미지 1'과의 매칭 확률이 최대인 포장 박스 규격이 '3호'인 것으로 확인됨에 따라, '3호'가 '박스 이미지 1'에 대응되는 포장 박스 규격으로 판단되었다고 가정하자.
그러면, 포장 박스 규격 확인부(121)는 '박스 이미지 1'에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격인 '3호'와 일치하는지 여부를 확인하여, '박스 이미지 1'에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격인 '3호'와 일치하는 것으로 확인할 수 있다.
그러면, 제2 메시지 표시부(122)는 포장이 완료된 '상품 1'을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
한편, 포장 박스 규격 확인부(121)에 의해, '박스 이미지 1'에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격인 '3호'와 일치하지 않는 것으로 확인된 경우에는 포장 작업자(130)가 잘못된 규격의 포장 박스로 '상품 1'을 포장한 상황이라고 볼 수 있으므로, 제2 메시지 표시부(122)는 '상품 1'을, 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시함으로써, 포장 작업자(130)가 제대로 된 포장 박스로 '상품 1'을 포장하도록 유도할 수 있다.
본 발명의 일실시예에 따르면, 상품 검수 장치(110)는 포장 작업자(130)가 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 때, 상기 제1 상품의 상품 속성에 따라 적절한 부자재들 추가하여 포장할 수 있도록 하기 위한 구성을 더 포함할 수 있다.
이와 관련해서, 본 발명의 일실시예에 따르면, 상품 검수 장치(110)는 상품 속성 벡터 저장부(123), 부자재 속성 벡터 저장부(124), 연산 벡터 생성부(125) 및 부자재 추가 지시부(126)를 더 포함할 수 있다.
상품 속성 벡터 저장부(123)에는 상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터(상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있다.
관련해서, n을 '5', t를 '3'이라고 하고, 사전 설정된 '3'개의 상품 속성들이 '깨지기 쉬운, 냉장유지가 필요한, 습도에 약한'이라고 가정하자.
그러면, 상품 속성 벡터 저장부(123)에는 하기의 표 5와 같은 '5'가지 종류의 상품들 각각에 대한 '3'차원의 상품 속성 벡터가 저장되어 있을 수 있다.
'5'가지 종류의 상품들 '3'차원의 상품 속성 벡터
상품 1 [1 1 0]
상품 2 [1 0 1]
상품 3 [1 1 1]
상품 4 [1 0 0]
상품 5 [0 0 1]
부자재 속성 벡터 저장부(124)에는 사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터(상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있다.
관련해서, 전술한 예와 같이, t를 '3'이라고 하고, 사전 설정된 '3'개의 상품 속성들이 '깨지기 쉬운, 냉장유지가 필요한, 습도에 약한'이라고 하는 경우, 부자재 속성 벡터 저장부(124)에는 하기의 표 6과 같이, 사전 설정된 복수의 부자재들 각각에 대한 '3'차원의 부자재 속성 벡터가 저장되어 있을 수 있다.
복수의 부자재들 '3'차원의 부자재 속성 벡터
완충재 [1 1 0]
아이스 팩 [0 1 0]
흡습제 [0 0 1]
연산 벡터 생성부(125)는 포장 지시부(118)에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상품 속성 벡터 저장부(123)로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 부자재 속성 벡터 저장부(124)에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱(Hadamard product)를 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성한다.
여기서, 아다마르 곱이란, 같은 크기의 벡터나 행렬에서 각 성분을 곱하는 연산을 의미한다. 예컨대, '[a b c]'와 '[x y z]'라는 벡터가 있을 때, 두 벡터 간의 아다마르 곱을 연산하면, '[ax by cz]'라는 벡터가 산출될 수 있다.
부자재 추가 지시부(126)는 상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름(Manhattan norm)을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시한다.
여기서, 맨해튼 노름이란, 벡터나 행렬의 크기를 나타내는 L1 노름으로, 하기의 수학식 3에 따라 연산될 수 있다.
Figure PCTKR2023006806-appb-img-000003
여기서
Figure PCTKR2023006806-appb-img-000004
은 맨해튼 노름을 의미하고, xi는 벡터나 행렬에 포함되어 있는 n개의 성분들 중 i번째 성분을 의미한다.
이하에서는, 연산 벡터 생성부(125) 및 부자재 추가 지시부(126)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 포장 지시부(118)에 의해, 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 '상품 1'을 포장할 것을 지시하는 포장 지시 메시지가 화면 상에 표시되었다고 가정하자.
그러면, 연산 벡터 생성부(125)는 상기 표 5와 같은 상품 속성 벡터 저장부(123) '상품 1'에 대한 제1 상품 속성 벡터인 '[1 1 0]'을 확인할 수 있다.
그러고 나서, 연산 벡터 생성부(125)는 상기 표 6과 같은 부자재 속성 벡터 저장부(124)에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터인 '[1 1 0], [0 1 0], [0 0 1]'과, 상기 제1 상품 속성 벡터인 '[1 1 0]' 간의 아다마르 곱을 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 '[1 1 0], [0 1 0], [0 0 0]'과 같이 생성할 수 있다.
그러면, 부자재 추가 지시부(126)는 상기 복수의 부자재들 각각에 대한 연산 벡터인 '[1 1 0], [0 1 0], [0 0 0]'의 맨해튼 노름을 '2, 1, 0'과 같이 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1'이상인 대상 부자재들을 '완충재, 아이스 팩'과 같이 확인할 수 있다.
그러고 나서, 부자재 추가 지시부(126)는 '완충재, 아이스 팩'을 '상품 1'의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
도 3은 본 발명의 일실시예에 따른 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라가 구비된 상품 검수 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부를 유지한다.
단계(S220)에서는 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득한다.
단계(S230)에서는 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델(상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단한다.
단계(S240)에서는 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인한다.
단계(S250)에서는 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시한다.
이때, 본 발명의 일실시예에 따르면, 상기 상품 판단 모델은 상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 상품 검수 장치의 동작 방법은 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격(상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임)에 대한 정보가 저장되어 있는 포장 박스 규격 정보 저장부를 유지하는 단계, 단계(S250)에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 상기 포장 박스 규격 정보 저장부로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시하는 단계, 상기 포장 작업자에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 상기 카메라를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득하는 단계, 상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델(상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단하는 단계, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인하는 단계 및 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 포장 박스 판단 모델은 상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 상품 검수 장치의 동작 방법은 상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터(상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있는 상품 속성 벡터 저장부를 유지하는 단계, 사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터(상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있는 부자재 속성 벡터 저장부를 유지하는 단계, 상기 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계 에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상기 상품 속성 벡터 저장부로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 상기 부자재 속성 벡터 저장부에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱을 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성하는 단계 및 상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시하는 단계를 더 포함할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법은 도 1과 도 2를 이용하여 설명한 상품 검수 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치에 있어서,
    상기 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라;
    포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부;
    상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 상품 이미지 획득부;
    상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 상품 판단부;
    상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 상품 식별 코드 확인부; 및
    상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 제1 메시지 표시부
    를 포함하는 상품 검수 장치.
  2. 제1항에 있어서,
    상기 상품 판단 모델은
    상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망(Convolutional Neural Network, CNN)을 기계학습하여 생성한 모델로서, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 소프트맥스(softmax) 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파(backpropagation) 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치.
  3. 제1항에 있어서,
    상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격 - 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임 - 에 대한 정보가 저장되어 있는 포장 박스 규격 정보 저장부;
    상기 제1 메시지 표시부에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 상기 포장 박스 규격 정보 저장부로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시하는 포장 지시부;
    상기 포장 작업자에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 상기 카메라를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득하는 박스 이미지 획득부;
    상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델 - 상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단하는 포장 박스 규격 판단부;
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인하는 포장 박스 규격 확인부; 및
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시하는 제2 메시지 표시부
    를 더 포함하는 상품 검수 장치.
  4. 제3항에 있어서,
    상기 포장 박스 판단 모델은
    상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델로서, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치.
  5. 제3항에 있어서,
    상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터 - 상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 상품 속성 벡터 저장부;
    사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터 - 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 부자재 속성 벡터 저장부;
    상기 포장 지시부에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상기 상품 속성 벡터 저장부로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 상기 부자재 속성 벡터 저장부에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱(Hadamard product)를 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성하는 연산 벡터 생성부; 및
    상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름(Manhattan norm)을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시하는 부자재 추가 지시부
    를 더 포함하는 상품 검수 장치.
  6. 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라가 구비된 상품 검수 장치의 동작 방법에 있어서,
    포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부를 유지하는 단계;
    상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 단계;
    상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 단계;
    상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 단계; 및
    상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 단계
    를 포함하는 상품 검수 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 상품 판단 모델은
    상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망(Convolutional Neural Network, CNN)을 기계학습하여 생성한 모델로서, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 소프트맥스(softmax) 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파(backpropagation) 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치의 동작 방법.
  8. 제6항에 있어서,
    상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격 - 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임 - 에 대한 정보가 저장되어 있는 포장 박스 규격 정보 저장부를 유지하는 단계;
    상기 상품 오류 메시지를 생성하여 화면 상에 표시하는 단계에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 상기 포장 박스 규격 정보 저장부로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시하는 단계;
    상기 포장 작업자에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 상기 카메라를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득하는 단계;
    상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델 - 상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단하는 단계;
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인하는 단계; 및
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계
    를 더 포함하는 상품 검수 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 포장 박스 판단 모델은
    상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델로서, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치의 동작 방법.
  10. 제8항에 있어서,
    상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터 - 상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 상품 속성 벡터 저장부를 유지하는 단계;
    사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터 - 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 부자재 속성 벡터 저장부를 유지하는 단계;
    상기 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계 에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상기 상품 속성 벡터 저장부로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 상기 부자재 속성 벡터 저장부에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱(Hadamard product)를 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성하는 단계; 및
    상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름(Manhattan norm)을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시하는 단계
    를 더 포함하는 상품 검수 장치의 동작 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
PCT/KR2023/006806 2022-06-10 2023-05-18 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법 WO2023239079A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220070632A KR102501954B1 (ko) 2022-06-10 2022-06-10 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법
KR10-2022-0070632 2022-06-10

Publications (1)

Publication Number Publication Date
WO2023239079A1 true WO2023239079A1 (ko) 2023-12-14

Family

ID=85328495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006806 WO2023239079A1 (ko) 2022-06-10 2023-05-18 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102501954B1 (ko)
WO (1) WO2023239079A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170088715A (ko) * 2016-01-25 2017-08-02 주식회사 인베트 컨베이어 이송방식의 물품 포장 관리 시스템
KR20180061687A (ko) * 2016-11-30 2018-06-08 동명대학교산학협력단 물품 포장 관리 시스템
KR101978369B1 (ko) * 2017-08-04 2019-05-14 주식회사 에스랩아시아 포장 가이드 장치
KR102243039B1 (ko) * 2020-03-04 2021-04-21 주식회사 리브 자동화된 상품의 포장 및 배송 서비스를 위한 스마트 팩토리 시스템
KR20210112030A (ko) * 2020-03-04 2021-09-14 주식회사 리브 스마트 팩토리 기반의 자동화된 물류관리 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170088715A (ko) * 2016-01-25 2017-08-02 주식회사 인베트 컨베이어 이송방식의 물품 포장 관리 시스템
KR20180061687A (ko) * 2016-11-30 2018-06-08 동명대학교산학협력단 물품 포장 관리 시스템
KR101978369B1 (ko) * 2017-08-04 2019-05-14 주식회사 에스랩아시아 포장 가이드 장치
KR102243039B1 (ko) * 2020-03-04 2021-04-21 주식회사 리브 자동화된 상품의 포장 및 배송 서비스를 위한 스마트 팩토리 시스템
KR20210112030A (ko) * 2020-03-04 2021-09-14 주식회사 리브 스마트 팩토리 기반의 자동화된 물류관리 시스템

Also Published As

Publication number Publication date
KR102501954B1 (ko) 2023-02-21

Similar Documents

Publication Publication Date Title
WO2018147712A1 (ko) 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체
WO2020015067A1 (zh) 数据采集方法、装置、设备及存储介质
WO2012050252A1 (ko) 분류기의 동적 결합에 의한 대용량 분류기 자동 생성 시스템 및 방법
WO2009151292A2 (ko) 영상 변환 방법 및 장치
WO2020233089A1 (zh) 测试用例生成方法、装置、终端及计算机可读存储介质
WO2020119115A1 (zh) 数据审核方法、装置、设备及存储介质
WO2023239079A1 (ko) 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법
WO2019132566A1 (ko) 멀티 심도 이미지의 자동 생성 방법
WO2019117450A1 (ko) 부품의 부분 파손을 유지보수하기 위한 부품 검색 및 수리 장치와 방법, 그리고 3d 프린팅 기반 부품 유지보수 시스템
WO2020062615A1 (zh) 显示面板的伽马值调节方法、装置及显示设备
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020119565A1 (zh) 显示面板的控制方法、显示面板及存储介质
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2023167498A1 (ko) 배터리 불량 검출 장치, 방법 및 시스템
WO2023177108A1 (en) Method and system for learning to share weights across transformer backbones in vision and language tasks
WO2023128113A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물의 실제 크기를 추정할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2023136414A1 (ko) 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2023003073A1 (ko) 지속가능한 시설물 관리를 위한 디지털 트윈 자동적용체계 기반의 시설정보통합관리시스템 구축 방법 및 장치
WO2011059182A2 (en) Method and apparatus for displaying data
WO2022108044A1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
WO2024049201A1 (ko) 배터리 전극 검사 장치 및 방법
WO2019139303A1 (ko) 영상 합성 방법 및 장치
WO2019135439A1 (ko) 미러링 노드가 추가된 페리다이나믹 방법 및 이를 이용한 수치해석장치
WO2024096435A1 (ko) 전자 기기 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23820015

Country of ref document: EP

Kind code of ref document: A1