KR102501954B1 - 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법 - Google Patents

포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102501954B1
KR102501954B1 KR1020220070632A KR20220070632A KR102501954B1 KR 102501954 B1 KR102501954 B1 KR 102501954B1 KR 1020220070632 A KR1020220070632 A KR 1020220070632A KR 20220070632 A KR20220070632 A KR 20220070632A KR 102501954 B1 KR102501954 B1 KR 102501954B1
Authority
KR
South Korea
Prior art keywords
product
box
packaging
image
vector
Prior art date
Application number
KR1020220070632A
Other languages
English (en)
Inventor
양수영
송태호
이경욱
Original Assignee
주식회사 테크타카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테크타카 filed Critical 주식회사 테크타카
Priority to KR1020220070632A priority Critical patent/KR102501954B1/ko
Application granted granted Critical
Publication of KR102501954B1 publication Critical patent/KR102501954B1/ko
Priority to PCT/KR2023/006806 priority patent/WO2023239079A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)

Abstract

상품 검수 장치 및 그 동작 방법이 개시된다. 본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법을 제시함으로써, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를, 보다 효율적으로 검수할 수 있도록 지원할 수 있다.

Description

포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법{PRODUCT INSPECTION APPARATUS TO INSPECT THE PRODUCT WHICH IS TO BE A OBJECT OF PACKING, AND THE OPERATING METHOD THEREOF}
본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법에 대한 것이다.
일반적으로, 구매자가 인터넷을 통해 상품을 구매하면, 물류센터에서는 구매자에게 상품을 안전하게 배송하기 위해서, 포장 작업자가 해당 상품을 포장 박스에 포장하는 작업을 수행한다.
이때, 잘못된 상품이 구매자에게 배송되는 것을 예방하기 위해서, 해당 상품을 포장 박스에 포장하기 전에, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를 검수하는 과정이 필요하다.
기존에는, 포장 작업자가 직접 상품을 검수하는 경우가 많았다. 하지만, 이러한 경우, 포장 작업자가 포장 작업을 수행하는데 소요되는 시간이 길어지고, 포장 작업자가 처리해야 하는 물량이 과다한 상황에서는, 포장 작업자의 상품 검수 실수로 인해 종종 오배송이 발생하는 문제점이 있었다.
이와 관련해서, 포장 작업대 상에 비치된 상품을 촬영하여, 촬영된 이미지를 기초로, 해당 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를 자동으로 검수할 수 있는 기술이 도입된다면, 상품에 대한 검수를 보다 효율적으로 수행할 수 있을 것이다.
본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법을 제시함으로써, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를, 보다 효율적으로 검수할 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치는 상기 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라, 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부, 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 상품 이미지 획득부, 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 상품 판단부, 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 상품 식별 코드 확인부 및 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 제1 메시지 표시부를 포함한다.
또한, 본 발명의 일실시예에 따른 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라가 구비된 상품 검수 장치의 동작 방법은 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부를 유지하는 단계, 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 단계, 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 단계, 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 단계 및 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 단계를 포함한다.
본 발명은 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법을 제시함으로써, 포장 작업대에 비치된 상품이 포장 작업의 대상이 되는 상품이 맞는지 여부를, 보다 효율적으로 검수할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 상품 검수 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 상품 검수 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치의 구조를 도시한 도면이다.
먼저, 본 발명에 따른 상품 검수 장치(110)는 상기 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라(111)를 구비하고 있을 수 있다.
이와 관련해서, 본 발명에 따른 상품 검수 장치(110)는 도 2에 도시된 그림의 예시와 같이, 포장 작업자(130)가 상품(21)을 올려두고 포장 작업을 수행하는 소정의 포장 작업대(20) 상에 비치되어 있을 수 있고, 이때, 카메라(111)는 포장 작업대(20) 상에 위치하는 상품(21)을 촬영하도록 구성되어 있을 수 있다.
이때, 본 발명에 따른 상품 검수 장치(110)는 포장 작업의 대상이 되는 상품을 검수하기 위한 구성으로, 상품 식별 코드 저장부(112), 상품 이미지 획득부(113), 상품 판단부(114), 상품 식별 코드 확인부(115) 및 제1 메시지 표시부(116)를 더 포함할 수 있다.
상품 식별 코드 저장부(112)에는 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있다.
예컨대, n을 '5'라고 하는 경우, 상품 식별 코드 저장부(112)에는 하기의 표 1과 같은, 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 '5'가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있을 수 있다.
'5'가지 종류의 상품들 상품 식별 코드
상품 1 상품 식별 코드 1
상품 2 상품 식별 코드 2
상품 3 상품 식별 코드 3
상품 4 상품 식별 코드 4
상품 5 상품 식별 코드 5
상품 이미지 획득부(113)는 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자(130)에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 카메라(111)를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득한다.
상품 판단부(114)는 상품 이미지 획득부(113)에 의해 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델(상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단한다.
이때, 본 발명의 일실시예에 따르면, 상기 상품 판단 모델은 상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망(Convolutional Neural Network, CNN)을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 하기의 수학식 1에 따른 소프트맥스(softmax) 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파(backpropagation) 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
Figure 112022060712194-pat00001
여기서, S(xi)는 상기 n개의 연산 값들 중 i번째 연산 값으로, xi는 상기 제1 출력 벡터를 구성하는 n개의 성분들 중 i번째 성분의 값을 의미하고, e는 자연상수를 의미한다.
이때, n을 '5'라고 하고, 상기 상품 훈련 세트가 하기의 표 2와 같이, '5'가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성되어 있다고 하는 경우, 상기 제1 합성곱 신경망에 대한 기계학습이 수행되는 과정을 예를 들어 상세히 설명하면, 다음과 같다.
복수의 상품 훈련 이미지들 매칭되는 상품에 대한 선택 정보
상품 훈련 이미지1 상품 3
상품 훈련 이미지 2 상품 2
... ...
상품 훈련 이미지 10 상품 5
먼저, 상기 제1 과정에서는, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 '상품 훈련 이미지 1'을, 상기 제1 합성곱 신경망에 입력으로 인가하여, '5'차원의 제1 출력 벡터를 '[a1 a2 a3 a4 a5]'와 같이 산출할 수 있다.
그러고 나서, 상기 제2 과정에서는, 상기 제1 출력 벡터인 '[a1 a2 a3 a4 a5]'를 구성하는 '5'개의 성분들인 'a1, a2, a3, a4, a5' 각각을, 상기 수학식 1에 따른 소프트맥스 함수에 입력으로 인가하여, '5'개의 연산 값들을 'a(1), a(2), a(3), a(4), a(5)'와 같이 산출할 수 있다.
그러면, 상기 제3 과정에서는, '5'개의 연산 값들인 'a(1), a(2), a(3), a(4), a(5)' 각각을, '상품 훈련 이미지 1'이 '5'가지 종류의 상품들인 '상품 1, 상품 2, 상품 3, 상품 4, 상품 5' 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정할 수 있다.
이때, 상기 표 2와 같은 상품 훈련 세트에서는, '상품 훈련 이미지 1'에 매칭되어 있는 상품이 '상품 3'이므로, 상기 제4 과정에서는, '5'개의 연산 값들인 'a(1), a(2), a(3), a(4), a(5)' 중, '상품 3'에 대한 매칭 확률로 지정된 제1 연산 값인 'a(3)'이 최대가 되도록 역전파 처리를 수행할 수 있다.
이러한 방식으로, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들인 '상품 훈련 이미지 1, 상품 훈련 이미지 2, ..., 상품 훈련 이미지 10' 각각에 대해, 상기 제1 과정, 상기 제2 과정, 상기 제3 과정 및 상기 제4 과정을 반복함으로써 수행될 수 있다
이로 인해서, 기계학습이 완료된 상기 상품 판단 모델에 카메라(111)를 통해 촬영된 상기 제1 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 제1 상품 이미지와의 매칭 확률이 산출될 수 있고, 이때, 상품 판단부(114)는 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 카메라(111)를 통해 촬영된 상기 제1 상품 이미지에 대응되는 상품으로 확인할 수 있다.
이러한 상기 상품 판단 모델을 기초로, 상품 판단부(114)에 의해 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상품 식별 코드 확인부(115)는 상품 식별 코드 저장부(112)를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인한다.
제1 메시지 표시부(116)는 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시한다.
이하에서는, 상품 이미지 획득부(113), 상품 판단부(114), 상품 식별 코드 확인부(115) 및 제1 메시지 표시부(116)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, n을 '5'라고 하고, '5'가지 종류의 상품들인 '상품 1, 상품 2, 상품 3, 상품 4, 상품 5' 중, '상품 식별 코드 1'을 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자(130)에 의해, '5'가지 종류의 상품들 중 어느 하나인 '상품 1'이 상기 포장 작업대 상에 비치된 상태에서, 상품 검수 장치(110)에 포장 작업자(130)에 의해, '상품 1'에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되었다고 가정하자.
이때, 상품 이미지 획득부(113)는 카메라(111)를 통해, '상품 1'을 촬영하여 '상품 1'에 대한 제1 상품 이미지인 '상품 이미지 1'을 획득할 수 있다.
그러면, 상품 판단부(114)는 '상품 이미지 1'을 사전 기계학습된 상품 판단 모델에 입력으로 인가하여, '5'가지 종류의 상품들 중, '상품 이미지 1'과의 매칭 확률이 최대인 상품을, '상품 이미지 1'에 대응되는 상품으로 판단할 수 있다.
이때, '5'가지 종류의 상품들 중, '상품 이미지 1'과의 매칭 확률이 최대인 상품이 '상품 1'인 것으로 확인됨에 따라, '상품 1'이 '상품 이미지 1'에 대응되는 상품으로 판단되었다고 가정하자.
그러면, 상품 식별 코드 확인부(115)는 상기 표 1과 같은 상품 식별 코드 저장부(112)를 참조하여, '상품 1'에 대한 상품 식별 코드가, '상품 식별 코드 1'과 일치하는지 여부를 확인할 수 있다.
이때, 상기 표 1과 같은 상품 식별 코드 저장부(112)에서는, '상품 1'에 대한 상품 식별 코드가 '상품 식별 코드 1'이므로, 상품 식별 코드 확인부(115)는 '상품 1'에 대한 상품 식별 코드가, '상품 식별 코드 1'과 일치하는 것으로 확인할 수 있다.
그러면, 제1 메시지 표시부(116)는 '상품 1'에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
한편, 상품 식별 코드 확인부(115)에 의해 '상품 1'에 대한 상품 식별 코드가, '상품 식별 코드 1'과 일치하지 않는 것으로 확인된 경우에는 포장 작업자(130)가 포장 작업대 상에 잘못된 상품을 비치한 상태에서 포장 작업을 수행하려는 상황이라고 볼 수 있으므로, 제1 메시지 표시부(116)는 '상품 1'이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시함으로써, 포장 작업자(130)가 제대로 된 상품을 포장 작업대 상에 비치하여 포장 작업을 수행하도록 유도할 수 있다.
본 발명의 일실시예에 따르면, 상품 검수 장치(110)는 포장 박스 규격 정보 저장부(117), 포장 지시부(118), 박스 이미지 획득부(119), 포장 박스 규격 판단부(120), 포장 박스 규격 확인부(121) 및 제2 메시지 표시부(122)를 더 포함할 수 있다.
포장 박스 규격 정보 저장부(117)에는 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격(상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임)에 대한 정보가 저장되어 있다.
여기서, 포장 박스 규격이란 특정 상품을 포장하기 위한 박스를 크기 별로 사전 구분한 규격을 의미한다. 예컨대, '1호'라는 포장 박스 규격에 해당하는 박스는 가로 길이, 세로 길이, 높이가 각각 '45(cm), 45(cm), 45(cm)'의 크기를 갖는 박스가 사용될 수 있다.
관련해서, 전술한 예와 같이, n을 '5', k를 '4'라고 하고, 사전 설정된 '4'가지 종류의 포장 박스 규격들을 '1호, 2호, 3호, 4호'라고 하는 경우, 포장 박스 규격 정보 저장부(117)에는 하기의 표 3과 같은 '5'가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격에 대한 정보가 저장되어 있을 수 있다.
'5'가지 종류의 상품들 포장 박스 규격에 대한 정보
상품 1 3호
상품 2 4호
상품 3 1호
상품 4 2호
상품 5 4호
포장 지시부(118)는 제1 메시지 표시부(116)에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 포장 박스 규격 정보 저장부(117)로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시한다.
박스 이미지 획득부(119)는 포장 작업자(130)에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 카메라(111)를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득한다.
포장 박스 규격 판단부(120)는 박스 이미지 획득부(119)에 의해 상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델(상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단한다.
이때, 본 발명의 일실시예에 따르면, 상기 포장 박스 판단 모델은 상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 하기의 수학식 2에 따른 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
Figure 112022060712194-pat00002
여기서, S(yi)는 상기 k개의 연산 값들 중 i번째 연산 값으로, yi는 상기 제2 출력 벡터를 구성하는 k개의 성분들 중 i번째 성분의 값을 의미하고, e는 자연상수를 의미한다.
이때, k를 '4'라고 하고, 상기 박스 훈련 세트가 하기의 표 4와 같이, '4'가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성되어 있다고 하는 경우, 상기 제2 합성곱 신경망에 대한 기계학습이 수행되는 과정을 예를 들어 상세히 설명하면, 다음과 같다.
복수의 박스 훈련 이미지들 매칭되는 포장 박스 규격에 대한 선택 정보
박스 훈련 이미지1 2호
박스 훈련 이미지 2 1호
... ...
박스 훈련 이미지 10 4호
먼저, 상기 제1 과정에서는, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 '박스 훈련 이미지 1'을, 상기 제2 합성곱 신경망에 입력으로 인가하여, '4'차원의 제2 출력 벡터를 '[b1 b2 b3 b4]'와 같이 산출할 수 있다.
그러고 나서, 상기 제2 과정에서는, 상기 제2 출력 벡터인 '[b1 b2 b3 b4]'를 구성하는 '4'개의 성분들인 'b1, b2, b3, b4' 각각을, 상기 수학식 2에 따른 소프트맥스 함수에 입력으로 인가하여, '4'개의 연산 값들을 'b(1), b(2), b(3), b(4)'와 같이 산출할 수 있다.
상기 제3 과정에서는, '4'개의 연산 값들인 'b(1), b(2), b(3), b(4)' 각각을, '박스 훈련 이미지 1'이 '4'가지 종류의 포장 박스 규격들인 '1호, 2호, 3호, 4호' 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정할 수 있다.
이때, 상기 표 4와 같은 박스 훈련 세트에서는, '박스 훈련 이미지 1'에 매칭되어 있는 포장 박스 규격이 '2호'이므로, 상기 제4 과정에서는, '4'개의 연산 값들인 'b(1), b(2), b(3), b(4)' 중, '2호'에 대한 매칭 확률로 지정된 제2 연산 값인 ' b(2)'가 최대가 되도록 역전파 처리를 수행할 수 있다.
이러한 방식으로, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들인 '박스 훈련 이미지 1, 박스 훈련 이미지 2, ..., 박스 훈련 이미지 10' 각각에 대해, 상기 제1 과정, 상기 제2 과정, 상기 제3 과정 및 상기 제4 과정을 반복함으로써 수행될 수 있다
이로 인해서, 기계학습이 완료된 상기 포장 박스 판단 모델에 카메라(111)를 통해 촬영된 상기 제1 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 제1 박스 이미지와의 매칭 확률이 산출될 수 있고, 이때, 포장 박스 규격 판단부(120)는 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 카메라(111)를 통해 촬영된 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 확인할 수 있다.
이러한 상기 박스 판단 모델을 기초로, 포장 박스 규격 판단부(120)에 의해 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 포장 박스 규격 확인부(121)는 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인한다.
제2 메시지 표시부(122)는 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시한다.
이하에서는, 포장 지시부(118), 박스 이미지 획득부(119), 포장 박스 규격 판단부(120), 포장 박스 규격 확인부(121) 및 제2 메시지 표시부(122)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 상품 식별 코드 확인부(115)에 의해 '상품 1'에 대한 상품 식별 코드가 '상품 식별 코드 1'과 일치하는 것으로 확인됨에 따라, 제1 메시지 표시부(116)에 의해 '상품 1'에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지가 화면 상에 표시되었다고 가정하자.
그러면, 포장 지시부(118)는 상기 표 3과 같은 포장 박스 규격 정보 저장부(117)로부터, '상품 1'에 대응되는 제1 포장 박스 규격인 '3호'에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 '상품 1'을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
이때, 상기 포장 지시 메시지를 확인한 포장 작업자(130)가, '상품 1'을 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 포장 완료한 후, 상품 검수 장치(110)에, '상품 1'이 포장 완료되었음을 지시하는 포장 완료 명령을 인가하였다고 가정하자.
그러면, 박스 이미지 획득부(119)는 카메라(111)를 통해, 포장이 완료된 '상품 1'을 촬영하여 '박스 이미지 1'을 획득할 수 있다.
그러고 나서, 포장 박스 규격 판단부(120)는 '박스 이미지 1'을 사전 기계학습된 포장 박스 판단 모델에 입력으로 인가하여, '4'가지 종류의 포장 박스 규격들' 중, '박스 이미지 1'과의 매칭 확률이 최대인 포장 박스 규격을, '박스 이미지 1'에 대응되는 포장 박스 규격으로 판단할 수 있다.
이때, '4'가지 종류의 포장 박스 규격들 중, '박스 이미지 1'과의 매칭 확률이 최대인 포장 박스 규격이 '3호'인 것으로 확인됨에 따라, '3호'가 '박스 이미지 1'에 대응되는 포장 박스 규격으로 판단되었다고 가정하자.
그러면, 포장 박스 규격 확인부(121)는 '박스 이미지 1'에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격인 '3호'와 일치하는지 여부를 확인하여, '박스 이미지 1'에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격인 '3호'와 일치하는 것으로 확인할 수 있다.
그러면, 제2 메시지 표시부(122)는 포장이 완료된 '상품 1'을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
한편, 포장 박스 규격 확인부(121)에 의해, '박스 이미지 1'에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격인 '3호'와 일치하지 않는 것으로 확인된 경우에는 포장 작업자(130)가 잘못된 규격의 포장 박스로 '상품 1'을 포장한 상황이라고 볼 수 있으므로, 제2 메시지 표시부(122)는 '상품 1'을, 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시함으로써, 포장 작업자(130)가 제대로 된 포장 박스로 '상품 1'을 포장하도록 유도할 수 있다.
본 발명의 일실시예에 따르면, 상품 검수 장치(110)는 포장 작업자(130)가 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 때, 상기 제1 상품의 상품 속성에 따라 적절한 부자재들 추가하여 포장할 수 있도록 하기 위한 구성을 더 포함할 수 있다.
이와 관련해서, 본 발명의 일실시예에 따르면, 상품 검수 장치(110)는 상품 속성 벡터 저장부(123), 부자재 속성 벡터 저장부(124), 연산 벡터 생성부(125) 및 부자재 추가 지시부(126)를 더 포함할 수 있다.
상품 속성 벡터 저장부(123)에는 상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터(상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있다.
관련해서, n을 '5', t를 '3'이라고 하고, 사전 설정된 '3'개의 상품 속성들이 '깨지기 쉬운, 냉장유지가 필요한, 습도에 약한'이라고 가정하자.
그러면, 상품 속성 벡터 저장부(123)에는 하기의 표 5와 같은 '5'가지 종류의 상품들 각각에 대한 '3'차원의 상품 속성 벡터가 저장되어 있을 수 있다.
'5'가지 종류의 상품들 '3'차원의 상품 속성 벡터
상품 1 [1 1 0]
상품 2 [1 0 1]
상품 3 [1 1 1]
상품 4 [1 0 0]
상품 5 [0 0 1]
부자재 속성 벡터 저장부(124)에는 사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터(상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있다.
관련해서, 전술한 예와 같이, t를 '3'이라고 하고, 사전 설정된 '3'개의 상품 속성들이 '깨지기 쉬운, 냉장유지가 필요한, 습도에 약한'이라고 하는 경우, 부자재 속성 벡터 저장부(124)에는 하기의 표 6과 같이, 사전 설정된 복수의 부자재들 각각에 대한 '3'차원의 부자재 속성 벡터가 저장되어 있을 수 있다.
복수의 부자재들 '3'차원의 부자재 속성 벡터
완충재 [1 1 0]
아이스 팩 [0 1 0]
흡습제 [0 0 1]
연산 벡터 생성부(125)는 포장 지시부(118)에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상품 속성 벡터 저장부(123)로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 부자재 속성 벡터 저장부(124)에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱(Hadamard product)를 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성한다.
여기서, 아다마르 곱이란, 같은 크기의 벡터나 행렬에서 각 성분을 곱하는 연산을 의미한다. 예컨대, '[a b c]'와 '[x y z]'라는 벡터가 있을 때, 두 벡터 간의 아다마르 곱을 연산하면, '[ax by cz]'라는 벡터가 산출될 수 있다.
부자재 추가 지시부(126)는 상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름(Manhattan norm)을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시한다.
여기서, 맨해튼 노름이란, 벡터나 행렬의 크기를 나타내는 L1 노름으로, 하기의 수학식 3에 따라 연산될 수 있다.
Figure 112022060712194-pat00003
여기서
Figure 112022060712194-pat00004
은 맨해튼 노름을 의미하고,
Figure 112022060712194-pat00005
는 벡터나 행렬에 포함되어 있는 n개의 성분들 중 i번째 성분을 의미한다.
이하에서는, 연산 벡터 생성부(125) 및 부자재 추가 지시부(126)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 포장 지시부(118)에 의해, 상기 제1 포장 박스 규격인 '3호'를 갖는 포장 박스로 '상품 1'을 포장할 것을 지시하는 포장 지시 메시지가 화면 상에 표시되었다고 가정하자.
그러면, 연산 벡터 생성부(125)는 상기 표 5와 같은 상품 속성 벡터 저장부(123) '상품 1'에 대한 제1 상품 속성 벡터인 '[1 1 0]'을 확인할 수 있다.
그러고 나서, 연산 벡터 생성부(125)는 상기 표 6과 같은 부자재 속성 벡터 저장부(124)에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터인 '[1 1 0], [0 1 0], [0 0 1]'과, 상기 제1 상품 속성 벡터인 '[1 1 0]' 간의 아다마르 곱을 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 '[1 1 0], [0 1 0], [0 0 0]'과 같이 생성할 수 있다.
그러면, 부자재 추가 지시부(126)는 상기 복수의 부자재들 각각에 대한 연산 벡터인 '[1 1 0], [0 1 0], [0 0 0]'의 맨해튼 노름을 '2, 1, 0'과 같이 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1'이상인 대상 부자재들을 '완충재, 아이스 팩'과 같이 확인할 수 있다.
그러고 나서, 부자재 추가 지시부(126)는 '완충재, 아이스 팩'을 '상품 1'의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시할 수 있다.
도 3은 본 발명의 일실시예에 따른 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라가 구비된 상품 검수 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부를 유지한다.
단계(S220)에서는 상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득한다.
단계(S230)에서는 상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델(상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단한다.
단계(S240)에서는 상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인한다.
단계(S250)에서는 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시한다.
이때, 본 발명의 일실시예에 따르면, 상기 상품 판단 모델은 상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 상품 검수 장치의 동작 방법은 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격(상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임)에 대한 정보가 저장되어 있는 포장 박스 규격 정보 저장부를 유지하는 단계, 단계(S250)에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 상기 포장 박스 규격 정보 저장부로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시하는 단계, 상기 포장 작업자에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 상기 카메라를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득하는 단계, 상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델(상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임)에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단하는 단계, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인하는 단계 및 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 포장 박스 판단 모델은 상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델일 수 있다.
이때, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 상품 검수 장치의 동작 방법은 상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터(상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있는 상품 속성 벡터 저장부를 유지하는 단계, 사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터(상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임)가 저장되어 있는 부자재 속성 벡터 저장부를 유지하는 단계, 상기 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계 에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상기 상품 속성 벡터 저장부로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 상기 부자재 속성 벡터 저장부에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱을 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성하는 단계 및 상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시하는 단계를 더 포함할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법은 도 1과 도 2를 이용하여 설명한 상품 검수 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 상품 검수 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 상품 검수 장치
111: 카메라 112: 상품 식별 코드 저장부
113: 상품 이미지 획득부 114: 상품 판단부
115: 상품 식별 코드 확인부 116: 제1 메시지 표시부
117: 포장 박스 규격 정보 저장부 118: 포장 지시부
119: 박스 이미지 획득부 120: 포장 박스 규격 판단부
121: 포장 박스 규격 확인부 122: 제2 메시지 표시부
123: 상품 속성 벡터 저장부 124: 부자재 속성 벡터 저장부
125: 연산 벡터 생성부 126: 부자재 추가 지시부
130: 포장 작업자

Claims (12)

  1. 포장 작업대에 비치되어, 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치에 있어서,
    상기 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라;
    포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부;
    상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격 - 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임 - 에 대한 정보가 저장되어 있는 포장 박스 규격 정보 저장부;
    상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터 - 상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 상품 속성 벡터 저장부;
    사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터 - 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 부자재 속성 벡터 저장부;
    상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 상품 이미지 획득부;
    상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 상품 판단부;
    상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 상품 식별 코드 확인부;
    상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 제1 메시지 표시부;
    상기 제1 메시지 표시부에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 상기 포장 박스 규격 정보 저장부로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시하는 포장 지시부;
    상기 포장 지시부에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상기 상품 속성 벡터 저장부로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 상기 부자재 속성 벡터 저장부에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱(Hadamard product)를 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성하는 연산 벡터 생성부;
    상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름(Manhattan norm)을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시하는 부자재 추가 지시부;
    상기 포장 작업자에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 상기 카메라를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득하는 박스 이미지 획득부;
    상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델 - 상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단하는 포장 박스 규격 판단부;
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인하는 포장 박스 규격 확인부; 및
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시하는 제2 메시지 표시부
    를 포함하는 상품 검수 장치.
  2. 제1항에 있어서,
    상기 상품 판단 모델은
    상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망(Convolutional Neural Network, CNN)을 기계학습하여 생성한 모델로서, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 소프트맥스(softmax) 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파(backpropagation) 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 포장 박스 판단 모델은
    상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델로서, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치.
  5. 삭제
  6. 포장 작업대 상에 위치하는 상품을 촬영하기 위한 카메라가 구비된 상품 검수 장치의 동작 방법에 있어서,
    포장 작업의 대상이 되는 상품인 것으로 사전 설정된 n(n은 2 이상의 자연수임)가지 종류의 상품들 각각에 대한, 사전 설정된 상품 식별 코드가 저장되어 있는 상품 식별 코드 저장부를 유지하는 단계;
    상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격 - 상기 n가지 종류의 상품들 각각에 대응되는 것으로 사전 지정된 포장 박스 규격은, 사전 설정된 k(k는 2 이상의 자연수임)가지 종류의 포장 박스 규격들 중 어느 하나임 - 에 대한 정보가 저장되어 있는 포장 박스 규격 정보 저장부를 유지하는 단계;
    상기 n가지 종류의 상품들 각각에 대한 t(t는 2 이상의 자연수임)차원의 상품 속성 벡터 - 상기 n가지 종류의 상품들 각각에 대한 상품 속성 벡터는, 상기 n가지 종류의 상품들 각각에 대해, 사전 설정된 t개의 상품 속성들 중, 각 상품에 매칭되는 상품 속성에 대해 '1'이, 각 상품에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 상품 속성 벡터 저장부를 유지하는 단계;
    사전 설정된 복수의 부자재들 각각에 대한 t차원의 부자재 속성 벡터 - 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터는, 상기 복수의 부자재들 각각에 대해, 상기 t개의 상품 속성들 중, 각 부자재에 매칭되는 상품 속성에 대해 '1'이, 각 부자재에 매칭되지 않는 상품 속성에 대해 '0'이 성분으로 지정된 벡터임 - 가 저장되어 있는 부자재 속성 벡터 저장부를 유지하는 단계;
    상기 n가지 종류의 상품들 중 제1 상품 식별 코드를 갖는 상품의 포장 작업이 수행되어야 하는 순서가 됨에 따라, 상품의 포장 작업을 수행하는 포장 작업자에 의해, 상기 n가지 종류의 상품들 중 어느 하나인 제1 상품이 상기 포장 작업대 상에 비치된 상태에서, 상기 제1 상품에 대한 포장 작업을 시작할지 여부를 질의하는 작업 질의 명령이 인가되면, 상기 카메라를 통해, 상기 제1 상품을 촬영하여 상기 제1 상품에 대한 제1 상품 이미지를 획득하는 단계;
    상기 제1 상품 이미지가 획득되면, 상기 제1 상품 이미지를, 사전 기계학습된 상품 판단 모델 - 상기 상품 판단 모델은, 상품 이미지가 입력되면, 상기 n가지 종류의 상품들 각각에 대한, 상기 입력된 상품 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 n가지 종류의 상품들 중, 상기 제1 상품 이미지와의 매칭 확률이 최대인 상품을, 상기 제1 상품 이미지에 대응되는 상품으로 판단하는 단계;
    상기 제1 상품 이미지에 대응되는 상품이 판단되면, 상기 상품 식별 코드 저장부를 참조하여, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가, 상기 제1 상품 식별 코드와 일치하는지 여부를 확인하는 단계;
    상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하는 것으로 확인되면, 상기 제1 상품에 대한 포장 작업을 시작할 것을 지시하는 작업 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 상품 이미지에 대응되는 상품에 대한 상품 식별 코드가 상기 제1 상품 식별 코드와 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품이 포장 작업의 대상이 아님을 지시하는 상품 오류 메시지를 생성하여 화면 상에 표시하는 단계;
    상기 상품 오류 메시지를 생성하여 화면 상에 표시하는 단계에 의해 상기 작업 지시 메시지가 화면 상에 표시되면, 상기 포장 박스 규격 정보 저장부로부터, 상기 제1 상품에 대응되는 제1 포장 박스 규격에 대한 정보를 추출한 후, 상기 제1 포장 박스 규격을 갖는 포장 박스로 상기 제1 상품을 포장할 것을 지시하는 포장 지시 메시지를 생성하여 화면 상에 표시하는 단계;
    상기 포장 지시 메시지를 생성하여 화면 상에 표시하는 단계에 의해 상기 포장 지시 메시지가 화면 상에 표시되면, 상기 상품 속성 벡터 저장부로부터, 상기 제1 상품에 대한 제1 상품 속성 벡터를 확인한 후, 상기 부자재 속성 벡터 저장부에 저장되어 있는 상기 복수의 부자재들 각각에 대한 부자재 속성 벡터와, 상기 제1 상품 속성 벡터 간의 아다마르 곱(Hadamard product)를 연산함으로써, 상기 복수의 부자재들 각각에 대한 연산 벡터를 생성하는 단계;
    상기 복수의 부자재들 각각에 대한 연산 벡터의 맨해튼 노름(Manhattan norm)을 연산하여, 상기 복수의 부자재들 중, 연산 벡터의 맨해튼 노름이 '1' 이상인 대상 부자재들을 확인한 후, 상기 대상 부자재들을, 상기 제1 상품의 포장 박스에 추가할 것을 지시하는 부자재 추가 지시 메시지를 생성하여 화면 상에 표시하는 단계;
    상기 포장 작업자에 의해, 상기 제1 상품이 상기 제1 포장 박스 규격을 갖는 포장 박스로 포장 완료된 후, 상기 제1 상품이 포장 완료되었음을 지시하는 포장 완료 명령이 인가되면, 상기 카메라를 통해, 포장이 완료된 상기 제1 상품을 촬영하여 제1 박스 이미지를 획득하는 단계;
    상기 제1 박스 이미지가 획득되면, 상기 제1 박스 이미지를, 사전 기계학습된 포장 박스 판단 모델 - 상기 포장 박스 판단 모델은, 박스 이미지가 입력되면, 상기 k가지 종류의 포장 박스 규격들 각각에 대한, 상기 입력된 박스 이미지와의 매칭 확률을 산출하는 모델임 - 에 입력으로 인가하여, 상기 k가지 종류의 포장 박스 규격들 중, 상기 제1 박스 이미지와의 매칭 확률이 최대인 포장 박스 규격을, 상기 제1 박스 이미지에 대응되는 포장 박스 규격으로 판단하는 단계;
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 판단되면, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이, 상기 제1 포장 박스 규격과 일치하는지 여부를 확인하는 단계; 및
    상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하는 것으로 확인되면, 포장이 완료된 상기 제1 상품을 출고할 것을 지시하는 출고 진행 지시 메시지를 생성하여 화면 상에 표시하고, 상기 제1 박스 이미지에 대응되는 포장 박스 규격이 상기 제1 포장 박스 규격과 일치하지 않는 것으로 확인되는 경우, 상기 제1 상품을, 상기 제1 포장 박스 규격을 갖는 포장 박스로 재포장할 것을 지시하는 재포장 지시 메시지를 생성하여 화면 상에 표시하는 단계
    를 포함하는 상품 검수 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 상품 판단 모델은
    상기 n가지 종류의 상품들 각각에 대한 사전 설정된 복수의 상품 훈련 이미지들과, 상기 복수의 상품 훈련 이미지들 각각에 매칭되는 상품에 대한 선택 정보로 구성된 상품 훈련 세트를 기반으로, n차원의 벡터를 출력으로 산출하는 제1 합성곱 신경망(Convolutional Neural Network, CNN)을 기계학습하여 생성한 모델로서, 상기 제1 합성곱 신경망에 대한 기계학습은, 상기 복수의 상품 훈련 이미지들 중 어느 하나인 제1 상품 훈련 이미지를, 상기 제1 합성곱 신경망에 입력으로 인가하여 n차원의 제1 출력 벡터를 산출하는 제1 과정, 상기 제1 출력 벡터를 구성하는 n개의 성분들 각각을, 소프트맥스(softmax) 함수에 입력으로 인가하여 n개의 연산 값들을 산출하는 제2 과정, 상기 n개의 연산 값들 각각을, 상기 제1 상품 훈련 이미지가 상기 n가지 종류 상품들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 n개의 연산 값들 중, 상기 상품 훈련 세트에서 상기 제1 상품 훈련 이미지에 매칭되어 있는 상품에 대한 매칭 확률로 지정된 제1 연산 값이 최대가 되도록 역전파(backpropagation) 처리를 수행하는 제4 과정을, 상기 복수의 상품 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치의 동작 방법.
  8. 삭제
  9. 제6항에 있어서,
    상기 포장 박스 판단 모델은
    상기 k가지 종류의 포장 박스 규격들 각각에 대한 사전 설정된 복수의 박스 훈련 이미지들과, 상기 복수의 박스 훈련 이미지들 각각에 매칭되는 포장 박스 규격에 대한 선택 정보로 구성된 박스 훈련 세트를 기반으로, k차원의 출력 벡터를 출력으로 산출하는 제2 합성곱 신경망을 기계학습하여 생성한 모델로서, 상기 제2 합성곱 신경망에 대한 기계학습은, 상기 복수의 박스 훈련 이미지들 중 어느 하나인 제1 박스 훈련 이미지를, 상기 제2 합성곱 신경망에 입력으로 인가하여 k차원의 제2 출력 벡터를 산출하는 제1 과정, 상기 제2 출력 벡터를 구성하는 k개의 성분들 각각을, 소프트맥스 함수에 입력으로 인가하여 k개의 연산 값들을 산출하는 제2 과정, 상기 k개의 연산 값들 각각을, 상기 제1 박스 훈련 이미지가 상기 k가지 종류 포장 박스 규격들 각각에 얼마나 매칭되는지를 지시하는 매칭 확률로 지정하는 제3 과정, 상기 k개의 연산 값들 중, 상기 박스 훈련 세트에서 상기 제1 박스 훈련 이미지에 매칭되어 있는 포장 박스 규격에 대한 매칭 확률로 지정된 제2 연산 값이 최대가 되도록 역전파 처리를 수행하는 제4 과정을, 상기 복수의 박스 훈련 이미지들 각각에 대해 반복함으로써 수행되는 것을 특징으로 하는 상품 검수 장치의 동작 방법.
  10. 삭제
  11. 제6항, 제7항 또는 제9항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항, 제7항 또는 제9항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020220070632A 2022-06-10 2022-06-10 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법 KR102501954B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220070632A KR102501954B1 (ko) 2022-06-10 2022-06-10 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법
PCT/KR2023/006806 WO2023239079A1 (ko) 2022-06-10 2023-05-18 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220070632A KR102501954B1 (ko) 2022-06-10 2022-06-10 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102501954B1 true KR102501954B1 (ko) 2023-02-21

Family

ID=85328495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220070632A KR102501954B1 (ko) 2022-06-10 2022-06-10 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102501954B1 (ko)
WO (1) WO2023239079A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101978369B1 (ko) * 2017-08-04 2019-05-14 주식회사 에스랩아시아 포장 가이드 장치
KR102243039B1 (ko) * 2020-03-04 2021-04-21 주식회사 리브 자동화된 상품의 포장 및 배송 서비스를 위한 스마트 팩토리 시스템
KR20210112030A (ko) * 2020-03-04 2021-09-14 주식회사 리브 스마트 팩토리 기반의 자동화된 물류관리 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527775B1 (ko) * 2016-01-25 2023-05-02 주식회사 인베트 컨베이어 이송방식의 물품 포장 관리 시스템
KR20180061687A (ko) * 2016-11-30 2018-06-08 동명대학교산학협력단 물품 포장 관리 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101978369B1 (ko) * 2017-08-04 2019-05-14 주식회사 에스랩아시아 포장 가이드 장치
KR102243039B1 (ko) * 2020-03-04 2021-04-21 주식회사 리브 자동화된 상품의 포장 및 배송 서비스를 위한 스마트 팩토리 시스템
KR20210112030A (ko) * 2020-03-04 2021-09-14 주식회사 리브 스마트 팩토리 기반의 자동화된 물류관리 시스템

Also Published As

Publication number Publication date
WO2023239079A1 (ko) 2023-12-14

Similar Documents

Publication Publication Date Title
JP7054423B2 (ja) 期間演算装置及び期間演算プログラム。
US9361534B2 (en) Image recognition apparatus using neural network processing
JP2020530167A5 (ko)
US20090046900A1 (en) Imaging apparatus, imaging method and computer program
KR102513707B1 (ko) 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
US20150339851A1 (en) Finite element mesh customisation
US20230230221A1 (en) Damage detection using machine learning
KR20130089935A (ko) 실시간 포장 관리 장치
US20180129914A1 (en) Image recognition device and image recognition method
EP3506168A1 (en) Method, apparatus, and computer readable medium for processing image
KR102501954B1 (ko) 포장 작업의 대상이 되는 상품을 검수하기 위한 상품 검수 장치 및 그 동작 방법
JP7033439B2 (ja) 石垣管理システム、石垣管理方法及びコンピュータプログラム
CN115100673A (zh) 一种电子图纸的识别方法、装置、电子设备及存储介质
JP6724484B2 (ja) 検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラム
JP7018371B2 (ja) 家屋異動判読システム、家屋異動判読方法、家屋異動判読プログラム及び滅失判読モデル
US20090169111A1 (en) System and method for finding edge points of an object
US20190370954A1 (en) Measurement information integrating device and program
JP7024405B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN112991429A (zh) 箱体体积测量方法、装置、计算机设备和存储介质
KR102507976B1 (ko) 상품의 포장을 위한 박스 추천을 수행하는 박스 추천 장치 및 그 동작 방법
KR20130083862A (ko) 실시간 포장 관리 장치
US9407791B2 (en) Information processing apparatus and computer-readable storage medium storing program for interpolating an input color
JP3981804B2 (ja) 変換テーブルの生成方法及び装置、並びに実装基板検査用プログラムの生成方法
JPWO2011155288A1 (ja) データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置
JPH0636048A (ja) ボリュームデータクリッピング方式

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant