KR20210153270A - 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법 - Google Patents

인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법 Download PDF

Info

Publication number
KR20210153270A
KR20210153270A KR1020200070136A KR20200070136A KR20210153270A KR 20210153270 A KR20210153270 A KR 20210153270A KR 1020200070136 A KR1020200070136 A KR 1020200070136A KR 20200070136 A KR20200070136 A KR 20200070136A KR 20210153270 A KR20210153270 A KR 20210153270A
Authority
KR
South Korea
Prior art keywords
picking
image
worker
management server
logistics
Prior art date
Application number
KR1020200070136A
Other languages
English (en)
Other versions
KR102469825B1 (ko
Inventor
김종명
Original Assignee
비전커넥트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비전커넥트 주식회사 filed Critical 비전커넥트 주식회사
Priority to KR1020200070136A priority Critical patent/KR102469825B1/ko
Publication of KR20210153270A publication Critical patent/KR20210153270A/ko
Application granted granted Critical
Publication of KR102469825B1 publication Critical patent/KR102469825B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/305—Authentication, i.e. establishing the identity or authorisation of security principals by remotely controlling device operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)

Abstract

본 발명은 인공 지능을 기반으로 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법에 관한 것이다. 본 발명의 물류 피킹 감시 시스템은 작업자가 착용하는 스마트 글래스의 카메라를 이용하여 피킹 작업에 대한 동영상을 실시간으로 획득하고, 통신망을 통해 피킹 관리 서버로 전송한다. 피킹 관리 서버는 스마트 글래스로부터 전송된 동영상을 인공 지능 학습에 의해 구간 피킹 영상을 인식 및 분리하고, 구간 피킹 영상에서 복수 개의 키프레임 이미지를 추출한다. 피킹 관리 서버는 키프레임 이미지들 중 물품 피킹 상태를 나타내는하는 하나의 대표이미지를 설정한다. 피킹 관리 서버는 피킹 작업에 대한 다양한 정보와 영상들을 작업자별, 작업 시간별 및 피킹 물품별로 분류하여, 저장 관리한다. 본 발명에 의하면, 작업자가 착용한 스마트 글래스의 카메라를 이용하여 실시간으로 피킹 작업에 대한 영상을 획득하여 모니터링함으로써, 작업자에 의해 발생될 수 있는 작업 오류 즉, 휴먼 에러의 발생 여부를 판별하여, 피킹 작업에서의 오류, 작업자의 업무 능력 등을 관리할 수 있다.

Description

인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법{LOGISTICS PICKING MONITORING SYSTEM USING IMAGE RECOGNITION BASED ON ARTIFICIAL INTELLIGENCE AND METHOD FOR PROCESSING THEREOF}
본 발명은 물류 피킹 감시 시스템에 관한 것으로, 좀 더 구체적으로 제품 생산 공장, 유통 회사, 물류 회사 등에서 물류 포장 시, 포장 작업 과정을 자동으로 작업자가 착용한 스마트 글래스의 카메라를 이용하여 영상을 획득 및 저장하고, 이를 인공 지능 학습하여 이미지 인식을 통해 작업자의 포장 실수를 파악하여 물품 배송 후에 발생되는 고객의 클레임을 해소하는데 활용하여 블랙컨슈머를 방지하도록 하는 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법에 관한 것이다.
스마트 팩토리의 일환으로 물류 센터와 같은 산업 현장은 디지털화 및 자동화의 도입이 활발히 진행되고 있는 분야이다. 물류 작업 중 출고가 가장 까다롭고, 그 중에서도 피킹 작업 즉, 복수 개의 상품, 물품 등을 동일한 박스에 담는 작업이 가장 까다롭다. 예를 들어, 상품 피킹 시, 일반적으로 작업자에 의해 피킹 작업이 이루어지거나, 피킹 솔루션을 도입하여 피킹 작업이 진행되고 있다.
피킹은 가장 작은 단위의 상품들을 주문 수량에 맞게 모으는 작업이므로, 휴먼 에러가 가장 많이 발생하는 부분이다. 피킹 솔루션을 도입하더라도 개별 상품들을 수량에 맞게 담는 작업은 온전히 사람의 손으로 진행된다. 피킹에서 실수가 발생하면, 출고 후 잘못된 상품이 고객에게 전달되고, 고객 센터에 불만이 접수되며, 이는 판매자나 물류 센터 의뢰인의 신뢰도 하락으로 이어진다. 또한, 고객의 클레임(claim)을 정확하게 확인하는 과정에서도 너무 오랜 시간이 요구된다. 특히 국가 간의 물류인 경우, 배송 거리가 국내보다 훨씬 멀므로, 이에 대한 확인 시간이 더 길어지게 되어 고객의 불만이 더욱 야기되는 문제점이 발생된다.
일반적으로 배송 클레임 발생 시, 상품 반품 및 확인 과정은 물류 센터에서 고객으로부터 상품이 주문되면, 해당 상품을 하나의 박스에 피킹 및 포장하여 출고 및 배송 처리한다. 이 후, 고객이 상품을 수령 및 확인하여 이상이 발생되면, 고객 센터나 물류 센터 등으로 클레임을 접수하게 된다. 이에 고객 센터나 물류 센터 또는 판매자 등은 접수된 클레임의 내역을 확인한 후, 고객에게 사과하고 반품이나 교환 요청을 접수 받아서 반품 처리한 후, 해당 제품의 클레임 상황을 확인하여 후속 조치를 처리한다.
물류 센터에서 입출고를 관리함에 있어서, 휴먼 에러로 인한 피해는 항상 존재한다. 특히, 증거가 부족한 상황에서 블랙 컨슈머의 집요한 보상 요구는 고스란히 기업의 피해로 돌아오게 된다. 따라서 휴먼 에러를 줄이는 것이야 말로 출고 및 배송 오류를 막아 고객의 신뢰를 유지할 수 있는 최선의 방법이라 하겠다. 그러므로 피킹의 효율화가 물류 전체 시스템의 효율을 결정하며, 물류 자동화에 투자하는 기업은 피킹에 가장 많은 투자가 이루어지고 있는 실정이다.
한국 등록특허공보 제10-1515962호(공고일 2015년 05월 04일) 한국 등록특허공보 제10-1866513호(공고일 2018년 07월 04일) 한국 공개특허공보 제10-2018-0061687호(공개일 2018년 06월 08일) 한국 공개특허공보 제10-2017-0107805호(공개일 2017년 09월 26일)
본 발명의 목적은 카메라를 이용하여 피킹 작업에 대한 영상을 획득하고 영상으로부터 이미지를 인식하여 피킹 작업에 대한 정보를 모니터링하기 위한 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법을 제공하는 것이다.
본 발명의 다른 목적은 작업자가 착용한 스마트 글래스의 카메라를 이용하여 피킹 작업에 대한 영상을 획득 및 모니터링하기 위한 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 고객의 클레임, 블랙컨슈머를 예방하기 위한 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 피킹 작업에 대한 증거 자료로 활용하기 위한 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법을 제공하는 것이다.
상기 목적들을 달성하기 위한, 본 발명의 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템은 물류 피킹 시, 작업자가 착용한 스마트 글래스의 카메라를 이용하여 피킹 과정에 대한 영상을 획득하고, 이를 인공 지능 분석하여 이미지 인식에 따른 피킹 작업을 확인할 수 있도록 제공하는데 그 한 특징이 있다. 이와 같은 본 발명의 물류 피킹 감시 시스템은 피킹 작업 시의 휴먼 에러를 확인하여 블랙컨슈머를 방지하는데 활용할 수 있다.
이 특징에 따른 본 발명의 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템은, 카메라를 이용하여 작업자의 식별 정보가 구비된 로그인 카드를 인식하여 작업자 정보를 전송하고, 물류 포장 시, 상기 카메라를 통해 작업자의 시선에 위치하는 물품을 인식 및 추적하여 피킹 작업에 대한 동영상을 획득하고, 획득된 상기 동영상을 실시간으로 전송하는 스마트 글래스; 및 사전에 하나의 포장 박스의 피킹 작업에 대한 정상적인 상태를 나타내는 샘플 이미지를 이용하여 인공 지능 학습하고, 통신망을 통하여 상기 스마트 글래스로부터 작업자 정보가 전송되면, 작업자를 인증 처리하고, 상기 스마트 글래스로부터 상기 동영상과, 상기 작업자 정보와, 피킹 작업에 대한 작업 시간 및 피킹 물품 정보를 포함하는 피킹 작업 정보를 전송받고, 상기 동영상으로부터 하나의 포장 박스에 대한 각각의 피킹 구간을 인식하여 피킹 구간 영상으로 분리하고, 피킹 구간 영상에서 피킹된 물품을 인식하여 복수 개의 키프레임 이미지를 추출 및 저장하고, 상기 키프레임 이미지들 중 상기 샘플 이미지와 유사도가 가장 높은 이미지를 대표 이미지로 설정하여 하나의 포장 박스에 대한 피킹 작업 정보를 적어도 작업자별, 작업 시간별, 피킹 물품별로 분류하여 인덱싱하고, 피킹 이벤트가 발생되는 시점을 판별하여 판별된 피킹 이벤트 발생 시점에 대한 상기 피킹 구간 영상, 상기 키프레임 이미지, 상기 대표 이미지 및 상기 피킹 작업 정보를 모니터링하도록 제공하는 피킹 관리 서버를 포함한다.
이 특징에 있어서, 상기 피킹 관리 서버는, 상기 피킹 이벤트 발생 시점으로부터 분석 대상 후보의 상기 키프레임 이미지를 추출하고, 추출된 각각의 상기 키프레임 이미지를 상기 샘플 데이터와 비교하여 유사도에 따른 상대적인 값으로 인식 스코어를 산출하여, 가장 높은 인식 스코어를 갖는 키프레임 이미지를 피킹 작업에 대한 상기 대표 이미지로 설정하며, 상기 대표 이미지를 상기 피킹 작업 정보에 매칭시켜서 저장, 관리한다.
이 특징에 있어서, 상기 피킹 관리 서버는, 통신망을 통해 외부의 물류 관리 시스템과 연동해서 상기 피킹 구간 영상, 상기 키프레임 이미지, 상기 대표 이미지 및 상기 피킹 작업 정보를 검색 및 모니터링하도록 제공한다.
본 발명의 다른 특징에 따르면, 본 발명의 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템의 처리 방법이 제공된다.
이 특징에 따른 본 발명의 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템의 처리 방법은, 피킹 관리 서버가 사전에 정상적인 피킹 작업에 대한 샘플 이미지를 인공 지능 학습하고, 피킹 작업의 작업자 정보와 피킹 물품 정보를 저장, 관리하는 단계; 물품 포장 시, 피킹 작업을 처리하는 작업자가 스마트 글래스를 착용하고, 상기 스마트 글래스의 카메라가 작업자의 로그인 카드를 인식하면, 상기 스마트 글래스가 통신망을 통해 상기 피킹 관리 서버에 자동으로 접속되어 작업자 인증을 통해 로그인되는 단계; 상기 스마트 글래스가 작업자의 시선에 대응하는 위치의 물품을 인식하고, 인식된 물품을 추적하여 하나의 포장 박스의 피킹 작업에 대한 동영상을 획득하고, 획득된 상기 동영상과, 상기 작업자 정보, 작업 시간 및 상기 피킹 물품 정보가 포함된 피킹 작업 정보를 통신망을 통하여 실시간으로 상기 피킹 관리 서버로 전송하는 단계; 상기 피킹 관리 서버가 상기 스마트 글래스로부터 전송된 상기 동영상을 실시간으로 수신하여 저장하고, 상기 동영상으로부터 인공 지능 학습을 통한 이미지 인식 기술을 이용하여 해당 물품의 하나의 포장 박스에 대한 피킹 작업을 구간별로 인식하여 동영상을 구간 피킹 영상으로 분리 및 저장하는 단계; 상기 피킹 관리 서버가 분리된 상기 구간 피킹 영상들 각각으로부터 복수 개의 키프레임 이미지들을 인식 및 추출하고, 상기 키프레임 이미지들 증 하나의 이미지를 물품이 피킹 완료된 상태를 나타내는 대표 이미지로 설정, 저장하는 단계; 및 상기 피킹 관리 서버가 상기동영상, 상기 구간 피킹 영상, 상기 키프레임 이미지 및 상기 대표 이미지를 상기 피킹 작업 정보와 함께 작업자명, 작업 시간별, 피킹 물품별로 분류하여 저장하여 피킹 작업을 검색 및 모니터링하도록 처리하는 단계를 포함한다.
이 특징에 있어서, 상기 대표 이미지를 설정, 저장하는 단계는, 상기 피킹 관리 서버가 상기 키프레임 이미지들 각각을 상기 샘플 이미지와 유사도에 따른 인식 스코어를 산출하여 저장하고, 상기 키프레임 이미지들 중 가장 높은 인식 스코어의 이미지를 상기 대표 이미지로 설정, 저장한다.
상술한 바와 같이, 본 발명의 물류 피킹 감시 시스템은 작업자가 착용한 스마트 글래스의 카메라를 이용하여 실시간으로 피킹 작업에 대한 영상을 획득하여 모니터링함으로써, 작업자에 의해 발생될 수 있는 작업 오류 즉, 휴먼 에러의 발생 여부를 판별하여, 피킹 작업에서의 오류, 작업자의 업무 능력 등을 관리할 수 있다.
또 본 발명의 물류 피킹 감시 시스템은 고객의 클레임 발생 시, 클레임의 원인 및 책임 소재를 정확히 파악하여 대처할 수 있으며, 이를 통해 블랙컨슈머(black comsumer)를 방지할 수 있다.
또 본 발명의 물류 피킹 감시 시스템은 인공 지능 학습을 통한 이미지 인식 기술을 이용하여 피킹 작업에 대한 영상을 인식 및 분석 처리함으로써, 신속하게 고객의 클레임을 대처할 수 있으며, 이로 인해 물류 센터나 판매자에 대한 고객의 신뢰도를 향상시킬 수 있다.
또한 본 발명의 물류 피킹 감시 시스템은 인공 지능 학습에 의한 이미지 인식 및 분석과 이미지를 피킹 작업 시간을 연계해서 인덱싱하고, 이를 통해 피킹 작업을 관리함으로써, 물품 인식 향상 모델을 확보하고, 이미지 처리에 따른 시스템 퍼포먼스를 향상시키고 효율적인 관리가 가능하다.
뿐만 아니라, 본 발명의 물류 피킹 감시 시스템은 다양한 클라이언트나 물류 관리 시스템과 연동해서 피킹 작업에 따라 원하는 정보를 제공함으로써, 다양한 물류 관리, 배송 관리 및 재고 관리 등에 활용이 가능하다.
도 1은 본 발명에 따른 물류 피킹 감시 시스템의 네트워크 구성을 도시한 블럭도,
도 2는 도 1에 도시된 스마트 글래스의 구성을 나타내는 블록도,
도 3은 도 1에 도시된 피킹 관리 서버의 구성을 나타내는 블록도, 그리고
도 4는 본 발명에 따른 물류 피킹 감시 시스템의 처리 수순을 도시한 흐름도이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
본 발명의 물류 피킹 감시 시스템은 제조, 생산, 유통, 판매, 물류 등의 다양한 분야에서 물류 피킹 작업 시에 작업자들 각각이 스마트 글래스를 착용하고, 착용한 스마트 글래스의 카메라를 이용하여 실시간으로 작업자의 피킹 작업에 대한 동영상을 획득한다. 본 발명의 물류 피킹 감시 시스템은 피킹 관리 서버가 스마트 글래스로부터 획득된 동영상을 전송받아서 머신 러닝 등의 인공 지능 학습을 통해 피킹 작업을 확인하기 위한 이미지를 인식 및 추출하고, 작업자별, 작업 시간별, 피킹 물품별 등으로 분류하여 저장, 관리한다.
따라서 본 발명의 물류 피킹 감시 시스템에 의하면, 작업자에 의해 발생될 수 있는 작업 오류 즉, 휴먼 에러의 발생 여부를 판별하여, 피킹 작업에서의 오류, 작업자의 업무 능력 등을 관리할 수 있으며, 특히 고객의 클레임 발생 시, 클레임의 원인 및 책임 소재를 정확히 파악하여 대처할 수 있으며, 이를 통해 블랙컨슈머(black comsumer)를 방지할 수 있다.
이하 첨부된 도 1 내지 도 4를 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 물류 피킹 감시 시스템의 네트워크 구성을 도시한 블럭도이다.
도 1을 참조하면, 본 발명의 물류 피킹 감시 시스템(2)은 예를 들어, 제품 생산 공장, 유통 회사, 물류 회사 등에서 물류 포장 시, 작업자 각각이 착용하는 스마트 글래스(100)의 카메라(도 2의 110)를 이용하여 자동으로 물품을 인식하여 실시간으로 피킹 작업에 대한 동영상을 획득하고, 획득된 동영상과 작업자 정보, 작업 일시 및 피킹 물품 정보 등을 통신망(4)을 통해 피킹 관리 서버(200)로 실시간 전송한다.
여기서 피킹(picking) 작업은 물류 포장 시, 생산 또는 제조된 적어도 하나의 물품(또는 상품, 제품)을 하나의 포장 박스에 담거나, 고객의 주문에 맞게 하나의 포장 박스에 적어도 하나의 물품들을 담는 작업을 의미한다. 이 때, 피킹 작업은 동일한 물품들을 동일한 포장 박스에 담거나, 서로 다른 물품들을 동일한 포장 박스 또는 서로 다른 포장 박스들 각각에 담는 작업 등이 포함될 수 있다.
본 발명의 물류 피킹 감시 시스템(2)은 피킹 관리 서버(200)가 복수 개의 스마트 글래스(100)들 각각으로부터 전송된 동영상을 머신 러닝 등의 인공 지능 학습한 이미지 인식 기술을 이용하여 하나의 포장 박스에 대한 피킹 작업의 구간들을 인식하고, 포장 박스 단위로 피킹 작업에 대한 영상을 분리하여 저장 및 관리한다.
본 발명의 물류 피킹 감시 시스템(2)은 저장된 영상에서 모든 물품을 피킹 완료된 이미지 즉, 하나의 포장 박스에 대한 피킹 작업이 완료된 이미지를 인식 및 추출하고, 이들 중 하나의 이미지를 피킹 작업의 대표 이미지로 인덱싱하여 저장하고, 저장된 영상, 이미지, 작업 일시, 작업자 정보 및 피킹 물품 정보 등을 작업자별, 작업 시간별, 피킹 물품별 등으로 분류하여 저장 및 관리한다.
또 본 발명의 물류 피킹 감시 시스템(2)은 통신망(4)을 통해 피킹 관리 서버(200)와 연결되는 물류 관리 시스템(300)으로 피킹 상황에 따른 다양한 정보와 영상을 제공하여 관리자, 고객 등의 클라이언트(미도시됨)로 하여금 피킹 상황을 모니터링하거나, 피킹 작업에 관련된 필요한 정보를 검색 및 확인할 수 있도록 제공된다.
따라서 본 발명의 물류 피킹 감시 시스템(2)은 분류된 영상과 이미지를 검색하여 피킹 작업을 모니터링 및 확인하는데 활용할 수 있으며, 배송 후 고객의 클레임이 발생되면, 클레임에 대한 증거 자료로 활용할 수 있다.
이를 위해 본 발명의 물류 피킹 감시 시스템(2)은 복수 개의 스마트 글래스(100)와 피킹 관리 서버(200)를 포함한다. 스마트 글래스(100)와 피킹 관리 서버(200)는 통신망(4)을 통해 상호 데이터 통신이 가능하도록 연결된다. 또 본 발명의 물류 피킹 감시 시스템(2)은 유무선 통신망 등을 통해 피킹 관리 서버(200)와 연결되는 물류 관리 시스템(300)을 더 포함할 수 있다.
구체적으로, 통신망(4)은 예컨대, 유무선 통신망, 이동 통신망 등으로 구비된다. 통신망(4)은 예를 들어, 무선 통신망, 이동 통신망 등을 통해 데이터 통신이 가능하도록 복수 개의 스마트 글래스(100)와 피킹 관리 서버(200)들을 연결하고, 예를 들어, 유무선 통신망 등을 통해 데이터 통신이 가능하도록 피킹 관리 서버(200)와 물류 관리 시스템(300)을 연결한다.
스마트 글래스(100)는 작업자들 각각이 착용하는 안경 형태의 웨어러블 장치로, 작업자의 시선에 따라 자동으로 실시간 영상을 촬영하는 카메라(도 2의 110)를 포함한다. 스마트 글래스(100)는 피킹 작업 시, 카메라(110)를 이용하여 자동으로 피킹하고자 하는 물품을 인식하고, 이를 추적하여 피킹 작업에 대한 동영상을 촬영한다. 스마트 글래스(100)는 촬영된 동영상과 함께 작업자 정보, 작업 일시 및 물품 정보 등을 포함하는 피킹 작업 정보를 통신망(4)을 통하여 피킹 관리 서버(200)로 전송한다.
물론 이러한 스마트 글래스(100)는 카메라를 구비하는 CCTV 카메라, 웹캠 등으로 대체될 수도 있다. 이 경우, 복수 개의 CCTV 카메라, 웹캠 등이 각각의 작업자에 대응하여 해당 작업 공간의 일측에 고정 설치되고, 해당 작업 공간에서의 피킹 작업에 대한 동영상을 촬영하여 통신망을 통해 촬영된 동영상을 피킹 관리 서버(200)로 전송한다.
피킹 관리 서버(200)는 통신망(4)을 통해 복수 개의 스마트 글래스(100)와 물류 관리 시스템(300)들 각각과 상호 데이터 통신이 가능하도록 연결된다. 피킹 관리 서버(200)는 통신망(4)을 통하여 복수 개의 스마트 글래스(100) 각각으로부터 피킹 작업에 대한 동영상과 피킹 작업 정보를 전송받아서 저장한다. 피킹 관리 서버(200)는 머신 러닝 등의 인공 지능 학습을 통해 저장된 동영상을 인식하여 하나의 포장 박스의 피킹 작업에 대한 구간으로 분리 및 저장하고, 분리된 구간의 동영상에서 피킹 작업이 진행 중이거나 완료된 작업 이미지들을 추출 및 저장하며, 추출된 이미지들 중 가장 피킹 작업 상태를 확인 가능한 이미지 예컨대, 샘플 데이터와 유사도가 가장 높은 이미지를 대표 이미지로 설정한다. 여기서 분리된 구간은 피킹 관리 서버(200)의 효율적인 처리 퍼포먼스를 위해 예를 들어, 약 100 ~ 500 ms 간격으로 추출된다.
이를 위해 피킹 관리 서버(200)는 예를 들어, 스마트 글래스(100), 물류 관리 시스템(300) 및 다양한 클라이언트(미도시됨)등과 접속을 처리하는 웹서버와, 스마트 글래스(100)로부터 전송된 동영상을 실시간 재생 및 영상 분할(segment)을 처리하는 HTTP 서버 등을 포함한다. 이 실시예에서 피킹 관리 서버(200)는 HTTP 서버에 실시간 영상 처리를 위한 프로그래밍 라이브러리 예를 들어, 오픈 소스 소프트웨어인 OpenCV(Open source Computer Vision)와, 인공 학습 프로그램 즉, 머신 러닝을 위한 오픈 소스 소프트웨어 예를 들어, 구글사의 텐서플로(TensorFlow)를 구비한다.
피킹 관리 서버(200)는 사전에 하나의 포장 박스에 대한 정상적인 피킹 이미지들을 샘플 데이터로 활용하여 인공 지능 학습을 처리한다. 피킹 관리 서버(200)는 스마트 글래스(100)로부터 전송된 동영상에서 구간별로 동영상을 분리하고, 분리된 동영상에서 이미지들을 추출하여 전체 작업 이미지를 학습 데이터로 하여 인공 지능 학습한다. 피킹 관리 서버(200)는 프로그래밍 라이브러리를 이용하여 피킹 이벤트 발생 시점을 판별하고, 피킹 이벤트 발생 시점으로부터 분석 대상 후보 이미지를 추출한다. 피킹 관리 서버(200)는 인공 학습 프로그램을 통해 구간별 추출된 각각의 이미지에 대한 인식 스코어를 산출한다. 이 때, 인식 스코어는 샘플 데이터와 비교하여 유사도에 따른 상대적인 값으로 산출되며, 이미지들 중 가장 높은 인식 스코어를 갖는 이미지를 피킹 작업에 대한 대표 이미지로 설정한다. 대표 이미지는 작업자 정보와 작업 시간 및 피킹 물품 정보에 대한 피킹 작업 정보를 매칭시켜서 저장, 관리한다.
피킹 관리 서버(200)는 스마트 글래스(100)로부터 전송된 영상들을 작업자별, 작업 시간별, 처리 물품별 등으로 분류하여 인덱싱 처리한다. 이는 피킹 작업의 모든 구간에 대하여 키프레임 이미지를 생성하는 것은 비효율적이므로, 피킹 작업 시간을 연계한 인덱싱 효율화를 위해, 물품의 바코드를 인식하여 피킹 이벤트가 발생되면, 피킹 이벤트 발생에 대한 분석 대상 후보 이미지들을 이벤트 발생 시점을 기준으로 전후 단위 시간 내의 복수 개의 키프레임 이미지들로 추출하여 집중 분석한다. 이 때, 단위 시간은 적정 이미지를 추출할 수 있는 충분한 시간으로, 상품 분야마다 시스템 환경값으로 변경 가능하게 설정되도록 한다. 초기 기본값은 예를 들어, 3 ~ 5초로 설정된다.
그리고 물류 관리 시스템(300)은 예를 들어, 제조 공장, 물류 회사, 유통 회사, 판매 회사 등에 구비되어 통신망을 통하여 피킹 관리 서버(200)와 연결된다. 또 물류 관리 시스템(300)은 예를 들어, 관리자 단말기, 작업자 단말기, 고객 단말기 등의 클라이언트(미도시됨)들과 통신망을 통해 연결된다. 물류 관리 시스템(300)은 작업자 및 설비 등의 경영 자원을 효율적으로 관리하여 물류에 관련된 창고 또는 배송 센터의 관리를 지원하여 고객에 대한 다양한 서비스를 제공하기 위한 시스템 예를 들어, 창고 관리 시스템(Warehouse Management System : WMS), 주문 관리 시스템(Order Management System : OMS), 배송 관리 시스템(Transport Management System : TMS) 또는 작업 통제 시스템(Data Acquisition System :DAS) 등으로 구비될 수 있다.
이러한 물류 관리 시스템(300)은 피킹 관리 서버(200)와 연동해서 피킹 작업에 대한 정보를 클라이언트들에 의해 예를 들어, 작업자 접속 상황과, 작업자별, 시간대별 피킹 작업 이미지 등 피킹 작업에 대한 작업 현황을 실시간 또는 필요에 따라 모니터링하거나, 관리자와 작업자가 원하는 정보를 검색, 확인할 수 있도록 제공된다.
따라서 본 발명의 물류 피킹 감시 시스템(2)은 작업자가 착용한 스마트 글래스(100)의 카메라(110)를 이용하여 물류 피킹 시, 실시간으로 피킹 작업에 대한 영상을 획득하고, 이를 분석 및 추출하여 머신 러닝 등의 인공 지능 학습을 통해 피킹 이벤트 상황이 발생되는지를 판별한다. 그러므로 본 발명의 물류 피킹 감시 시스템(2)은 피킹 작업에 대한 영상들과 피킹 작업 정보를 이용하여 추후 발생될 수 있는 클레임에 대응하여 증거 자료로 활용할 수 있다.
구체적으로 본 발명에 따른 물류 피킹 감시 시스템의 구성 및 기능을 상세히 설명한다.
도 2는 도 1에 도시된 스마트 글래스의 구성을 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 스마트 글래스(100)는 통신망(4)을 통해 피킹 관리 서버(200)에 접속되고, 카메라(110)를 이용하여 작업자의 식별 정보가 구비된 로그인 카드(102)를 인식하여 작업자 정보를 획득하여 피킹 관리 서버(200)로 전송한다. 여기서 로그인 카드(102)는 작업자들 각각이 구비되어 작업자를 식별할 수 있는 작업자의 식별 정보(예를 들어, 작업자명, 작업자 ID, 작업자 코드 등)를 저장하거나 구비한다. 이러한 과정을 통해 스마트 글래스(100)는 자동으로 피킹 관리 서버(200)에 접속되어 로그인되어 피킹 작업에 따른 동영상을 촬영하도록 활성화된다.
스마트 글래스(100)는 카메라(110)를 통해 피킹 작업 중 작업자의 시선 상에 위치하는 피킹 물품(104)을 인식 및 추적하여 피킹 작업에 대한 동영상을 촬영 및 획득한다. 이 때, 카메라(110)는 인공 지능 학습에 의해 물품을 인식하고, 피킹 작업에 따라 물품을 인식 및 추적하여 동영상을 획득한다.
따라서 스마트 글래스(100)는 카메라(100)에 의해 물품이 촬영되면, 물품이 없는 경우보다 상대적으로 높은 인식 스코어를 얻을 수 있다. 이를 위해 스마트 글래스(100)는 물품 및 포장 박스를 인식하는 영역을 설정하여 특정 스코어 이상의 인식 스코어가 발생한 경우, 해당 이미지를 키프레임 이미지로 설정하고, 그 중에서 최대 인식 스코어를 갖는 키프레임 이미지를 대표 이미지로 등록한다.
구체적으로, 본 발명의 스마트 글래스(100)는 카메라(110), 통신부(120), 제어부(130) 및 저장부(140)를 포함한다. 또 스마트 글래스(100)는 도면에 도시되지 않았으나, 전형적인 스마트 글래스의 구성들 예를 들어, 명령을 입력하는 입력부, 가상 현실 영상 등을 출력하는 헤드 마운트 디스플레이, 전원을 공급하기 위한 재충전 가능한 배터리 및, 케이블을 통해 외부 전자 장치와 데이터 통신을 위한 유선 인터페이스 등을 더 포함할 수 있다.
카메라(110)는 예를 들어, 5 백만 화소의 720 픽셀의 동영상 촬영이 가능한 고해상도의 카메라로 구비되고, 로그인 카드(102)를 인식하여 피킹 작업 동영상 촬영 기능이 활성화되고 자동으로 통신부(120)를 통해 피킹 관리 서버(200)에 접속하여 작업자 정보를 전송하여 로그인한다. 카메라(110)는 피킹 작업 시, 자동으로 작업자의 시선을 따라 피킹될 물품과 포장 박스를 바코드 등을 통해 인식 및 추적하여, 피킹 작업에 대한 고해상도의 동영상을 획득한다. 이를 위해 카메라(110)는 예를 들어, 인공 지능 알고리즘을 이용하여 획득된 동영상을 샘플 데이터를 통해 반복 학습하여 정확한 피킹 물품과 포장 박스를 인식 및 추적이 가능하다. 인공 지능 카메라(110)는 획득된 동영상과 피킹 작업의 작업 시간 등을 통신부(120)을 통해 피킹 관리 서버(200)로 실시간 전송한다.
통신부(120)는 예컨대, LTE, 5G, 와이파이, 블루투스 등의 무선 통신 모듈로 구비되고, 카메라(110)로부터 실시간 획득된 동영상과, 작업자 정보와 작업 시간, 피킹 물품 등이 포함된 피킹 작업 정보를 통신망(4)을 통해 피킹 관리 서버(200)로 전송한다.
저장부(140)는 메인 메모리와 저장 메모리를 구비하고, 예컨대, 운영체제 프로그램과, 피킹 작업용 애플리케이션을 저장하고, 피킹 작업용 애플리케이션의 처리 과정에 따라 획득된 피킹 작업 정보와 동영상을 임시로 저장한다.
그리고 제어부(130)는 스마트 글래스(100)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(130)는 카메라(110), 통신부(120) 및 저장부(140)들의 기능이 상호 유기적으로 처리되도록 제어한다.
도 3은 도 1에 도시된 피킹 관리 서버의 구성을 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 피킹 관리 서버(200)는 로그인 카드(102)를 인식한 스마트 글래스(100)로부터 작업자 정보가 전송되면, 로그인 인증을 처리한다. 피킹 관리 서버(200)는 통신망(4)을 통해 스마트 글래스(100)들 각각으로부터 피킹 작업에 대한 동영상과 피킹 작업 정보를 실시간 전송받는다. 피킹 관리 서버(200)는 사전에 인공 지능 학습하여 피킹 작업에 대한 영상들을 인식 및 추출하고, 추출된 영상을 피킹 작업 정보에 매칭시켜서 저장, 관리한다.
이러한 피킹 관리 서버(200)는 복수 개의 스마트 글래스(100)들에 대한 작업자 관리, 작업 관리, 로그 관리 및 권한 관리 등을 처리한다. 작업자 관리는 예컨대, 스마트 글래스(100)를 착용한 작업자들 각각의 작업자명, 식별 정보를 등록, 관리한다. 작업 관리는 피킹 작업에 대한 물품 정보를 코드화하여 관리한다. 로그 관리는 작업자의 식별 정보를 인식하여 작업자를 판별하고, 스마트 글래스(100)와의 접속 시간, 시간별 피킹 작업에 대한 이미지 등을 상호 매칭시켜서 저장 관리한다. 그리고 권한 관리는 작업자, 관리자 등에 따라 동영상, 이미지 및 피킹 작업 정보 등의 각종 데이터를 검색 및 열람하거나, 작업자 접속 상황, 분석 처리 현황 등을 실시간 모니터링할 수 있도록 부여된 권한을 설정 관리한다.
구체적으로, 피킹 관리 서버(200)는 서버부(210)와 데이터베이스부(250)를 포함한다. 서버부(210)는 예컨대, 스마트 글래스(100)로부터 전송된 동영상을 실시간 재생(streaming)을 위한 스트리밍 서버와, 스트리밍 서버로부터 동영상을 받아서 인공 지능 학습을 이용하여 피킹 작업을 모니터링할 수 있도록 처리하고, 클라이언트들이 접속되어 상호 데이터 통신이 가능하도록 처리하는 웹 서버 등으로 구성된다.
이 실시예에서 서버부(210)는 통신부(212), 제어부(214), 작업자 관리부(216), 인공 지능 학습부(218), 피킹 모니터링부(220) 및 이벤트 판별부(222)를 포함한다.
통신부(212)는 예를 들어, 유무선 통신 장치 등으로 구비되어, 통신망(4)을 통해 복수 개의 스마트 글래스(100)와, 물류 관리 시스템(300) 및 복수 개의 클라이언트(미도시됨)들과 상호 데이터 통신이 이루어지도록 처리한다. 통신부(212)는 전형적인 웹 서버와 복수 개의 클라이언트들 간에 데이터 통신을 위한 다양한 통신 장치들 예컨대, 통신 모듈, 허브, 스위치, 방화벽 등과 통신용 알고리즘 등의 컴퓨터 프로그램이 더 포함될 수 있다.
작업자 관리부(216)는 스마트 글래스(100)들 각각의 작업자에 대한 작업자명, 식별 정보, 로그인 정보 등을 포함하는 작업자 정보를 저장, 관리한다. 작업자 관리부(216)는 스마트 글래스(100)들 각각에 대한 권한을 설정한다.
인공 지능 학습부(218)는 사전에 피킹 작업에 대한 정상적인 피킹 이미지들을 샘플 이미지로 하여 인공 지능 학습을 반복 처리한다. 인공 지능 학습부(218)는 스마트 글래스(100)로부터 전송된 동영상에서 피킹 작업에 대한 포장 박스별로 구간을 인식하여 구간별로 동영상을 분리하고, 구간별로 분리된 동영상에서 피킹 작업을 확인할 수 있는 이미지들을 인식 및 추출한다. 인공 지능 학습부(218)는 머신 러닝을 위한 소프트웨어를 이용하여 정상적인 피킹 이미지들을 샘플 데이터로 활용하여 인공 지능 학습을 반복 처리한다. 인공 지능 학습부(218)는 스마트 글래스(100)로부터 전송된 동영상에서 물품을 인식하여 하나의 포장 박스에 대한 구간별 동영상을 인식 및 분리하고, 분리된 구간별 동영상의 전체 작업 이미지를 학습 데이터로 하여 인공 지능 학습한다. 인공 지능 학습부(218)는 분리된 구간별 동영상에서 인공 지능 학습에 의해 피킹 이벤트 발생 시점을 판별하고, 피킹 이벤트 발생 시점으로부터 복수 개의 분석 대상 후보인 복수 개의 키프레임 이미지들을 인식 및 추출한다. 인공 지능 학습부(218)는 샘플 데이터와의 유사도에 따라 키프레임 이미지들 각각에 대한 인식 스코어를 산출한다. 인공 지능 학습부(216)는 키프레임 이미지들 중 인식 스코어가 가장 높은 이미지를 해당 물품의 피킹 작업에 대한 대표 이미지로 설정한다. 이 때, 대표 이미지는 작업자 정보와 작업 시간 및 피킹 물품에 대한 피킹 작업 정보를 매칭시켜서 저장, 관리한다.
피킹 모니터링부(220)는 스마트 글래스(100)들 각각으로부터 전송된 동영상과, 작업자들 각각의 피킹 작업에 대한 피킹 작업 정보 등을 모니터링하도록 표시한다. 피킹 모니터링부(220)는 전송된 동영상들 각각을 저장, 관리하고, 작업자별, 작업 시간별, 피킹 물품별 등으로 검색하여 확인할 수 있도록 처리한다. 피킹 모니터링부(220)은 작업자별, 작업 시간별, 피킹 물품별 등으로 작업자 접속 상황, 분석 처리 현황 등을 모니터링하도록 출력한다.피킹 모니터링부(220)는 물류 관리 시스템(300)으로부터 통신망을 통해 필요한 정보가 검색 및 요청되면, 해당 동영상, 이미지, 피킹 작업 정보 등을 작업자별, 작업 시간별, 피킹 물품별 등으로 제공한다.
이벤트 판별부(222)는 작업자, 관리자 등의 클라이언트나, 물류 관리 시스템(300)으로부터 피킹 이벤트 관련 정보가 요청되면, 해당 피킹 이벤트 시점을 판별하고, 판별 시점에 대응되는 해당 키프레임 이미지를 추출하여 동영상, 이미지, 작업자 정보, 작업 시간, 피킹 물품 등을 확인할 수 있도록 제공한다.
제어부(214)는 피킹 관리 서버(200)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(214)는 통신부(212), 작업자 관리부(216), 인공 지능 학습부(218), 피킹 모니터링부(220) 및 이벤트 판별부(222)들의 기능이 상호 유기적으로 처리하도록 제어한다. 이러한 제어부(214)는 스마트 글래스(100)로부터 접속되면, 작업자를 인증 처리하고, 스마트 글래스(100)로부터 피킹 작업에 따른 동영상을 실시간으로 전송받아서 인공 지능 학습에 의한 이미지 인식 기술을 이용하여 작업자별, 작업 시간별, 피킹 물품별 등으로 피킹 작업에 대한 영상 처리, 분류 및 판별, 모니터링 등을 처리하도록 제어한다. 또 제어부(214)는 외부 전자 장치 예를 들어, 클라이언트, 물류 관리 시스템(300)으로부터 피킹 작업에 대한 정보 요청을 받아서 해당 정보를 추출 및 판별하여 통신망(4)을 통해 외부로 제공할 수 있도록 제어한다.
그리고 데이터베이스부(250)는 스마트 글래스(100)들로부터 전송되는 피킹 동영상(254)과 피킹 작업 정보(262), 제어부(214)의 제어 과정에 따른 다양한 정보들을 저장, 관리한다. 즉, 데이터베이스부(250)는 작업자 정보(252), 피킹 동영상(254), 피킹 구간 영상(256), 키프레임 이미지(258), 인덱싱 정보(260) 및 피킹 작업 정보(262)를 적어도 저장한다.
이 실시예에서 데이터베이스부(250)는 피킹 관리 서버(200)에 포함되어 있으나, 독립적인 데이터베이스 서버로 구비될 수도 있다. 본 발명에서는 도면에 도시되지 않았으나, 작업자 정보(252)와 인덱싱 정보(260) 및 피킹 작업 정보(262)들을 데이터베이스부(250)에 저장 및 관리하고, 동영상(254)과 피킹 구간 영상(256) 및 키프레임 이미지(258)들을 파일 스토리지 서버(미도시됨)에 저장 및 관리한다.
상술한 바와 같이, 본 발명의 물류 피킹 감시 시스템(2)은 제조, 생산, 유통, 판매, 물류 등의 다양한 분야에서 물류 피킹 작업 시에 작업자들 각각이 스마트 글래스(100)를 착용하고, 착용한 스마트 글래스(100)의 카메라(110)를 이용하여 실시간으로 작업자의 피킹 작업에 대한 동영상을 획득한다. 본 발명의 물류 피킹 감시 시스템(100)은 피킹 관리 서버(200)가 스마트 글래스(100)로부터 획득된 동영상을 전송받아서 머신 러닝 등의 인공 지능 학습을 통해 피킹 작업을 확인하기 위한 이미지를 인식 및 추출하고, 작업자별, 작업 시간별, 피킹 물품별 등으로 분류하여 저장, 관리한다.
그리고 도 4는 본 발명에 따른 물류 피킹 감시 시스템의 처리 수순을 도시한 흐름도이다.
도 4를 참조하면, 본 발명의 물류 피킹 감시 시스템(100)은 먼저, 단계 S400에서 피킹 관리 서버(200)가 정상적인 피킹 작업에 대한 샘플 이미지를 인공 지능 학습한다. 이 때, 피킹 관리 서버(200)는 작업자 정보와 피킹 물품 정보를 저장, 관리한다.
단계 S402에서 피킹 작업을 처리하는 작업자가 스마트 글래스(100)를 착용하고, 카메라(110)를 통해 작업자의 로그인 카드(102)를 인식하면, 단계 S404에서 스마트 글래스(100)가 피킹 관리 서버(200)에 자동으로 접속되어 작업자 인증을 통해 로그인된다. 단계 S406에서 스마트 글래스(100)는 작업자의 시선에 대응하는 위치의 물품을 인식하고, 인식된 물품을 추적하여 하나의 포장 박스의 피킹 작업에 대한 동영상을 획득한다. 이 때, 물품에는 바코드, QR 코드 등의 물품 식별 정보가 구비되어 카메라(110)가 물품 식별 정보를 인식하여 물품을 인식한다. 단계 S408에서 스마트 글래스(100)는 획득된 동영상을 통신망(4)을 통하여 실시간으로 피킹 관리 서버(200)로 전송한다.
단계 S410에서 피킹 관리 서버(200)는 스마트 글래스(100)로부터 전송된 동영상을 실시간으로 수신하여 저장하고, 단계 S412에서 전송된 동영상으로부터 인공 지능 학습을 통한 이미지 인식 기술을 이용하여 해당 물품의 하나의 포장 박스에 대한 피킹 작업을 구간별로 인식하여 동영상을 분리 및 저장한다.
단계 S414에서 피킹 관리 서버(200)는 분리된 구간별 동영상들 각각으로부터 복수 개의 키프레임 이미지들을 인식 및 추출하여 저장한다. 이 때, 키프레임 이미지들 각각은 샘플 이미지와 유사도에 따라 인식 스코어가 산출되어 저장된다. 단계 S416에서 키프레임 이미지들 중 가장 높은 인식 스코어의 이미지 즉, 물품이 피킹 완료된 상태의 이미지를 대표 이미지로 설정, 저장한다.
단계 S418에서 피킹 관리 서버(200)는 저장된 동영상, 구간별 동영상, 키프레임 이미지 및 대표 이미지를 작업 일시, 작업 시간, 작업자명, 피킹 물품별로 분류하여 저장한다.
이어서 단계 S420에서 피킹 관리 서버(200)는 물류 관리 시스템(300)으로부터 피킹 작업 관련된 정보를 요청받으면, 해당 정보를 검색 및 모니터링하도록 처리한다. 이 때, 피킹 관리 서버(200)는 관리자나 작업자의 클라이언트들에 의해서 피킹 작업 관련된 정보를 요청받으면, 해당 정보를 검색 및 모니터링하도록 처리할 수도 있다.
이상에서, 본 발명에 따른 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
2 : 물류 피킹 감시 시스템
4 : 통신망
100 : 스마트 글래스
110 : 카메라
200 : 피킹 관리 서버
210 : 서버부
250 : 데이터베이스부
300 : 물류 관리 시스템

Claims (5)

  1. 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템에 있어서:
    카메라를 이용하여 작업자의 식별 정보가 구비된 로그인 카드를 인식하여 작업자 정보를 전송하고, 물류 포장 시, 상기 카메라를 통해 작업자의 시선에 위치하는 물품을 인식 및 추적하여 피킹 작업에 대한 동영상을 획득하고, 획득된 상기 동영상을 실시간으로 전송하는 스마트 글래스; 및
    사전에 하나의 포장 박스의 피킹 작업에 대한 정상적인 상태를 나타내는 샘플 이미지를 이용하여 인공 지능 학습하고, 통신망을 통하여 상기 스마트 글래스로부터 작업자 정보가 전송되면, 작업자를 인증 처리하고, 상기 스마트 글래스로부터 상기 동영상과, 상기 작업자 정보와, 피킹 작업에 대한 작업 시간 및 피킹 물품 정보를 포함하는 피킹 작업 정보를 전송받고, 상기 동영상으로부터 하나의 포장 박스에 대한 각각의 피킹 구간을 인식하여 피킹 구간 영상으로 분리하고, 피킹 구간 영상에서 피킹된 물품을 인식하여 복수 개의 키프레임 이미지를 추출 및 저장하고, 상기 키프레임 이미지들 중 상기 샘플 이미지와 유사도가 가장 높은 이미지를 대표 이미지로 설정하여 하나의 포장 박스에 대한 피킹 작업 정보를 적어도 작업자별, 작업 시간별, 피킹 물품별로 분류하여 인덱싱하고, 피킹 이벤트가 발생되는 시점을 판별하여 판별된 피킹 이벤트 발생 시점에 대한 상기 피킹 구간 영상, 상기 키프레임 이미지, 상기 대표 이미지 및 상기 피킹 작업 정보를 모니터링하도록 제공하는 피킹 관리 서버를 포함하는 것을 특징으로 하는 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템.
  2. 청구항 1에 있어서,
    상기 피킹 관리 서버는,
    상기 피킹 이벤트 발생 시점으로부터 분석 대상 후보의 상기 키프레임 이미지를 추출하고, 추출된 각각의 상기 키프레임 이미지를 상기 샘플 데이터와 비교하여 유사도에 따른 상대적인 값으로 인식 스코어를 산출하여, 가장 높은 인식 스코어를 갖는 키프레임 이미지를 피킹 작업에 대한 상기 대표 이미지로 설정하며, 상기 대표 이미지를 상기 피킹 작업 정보에 매칭시켜서 저장, 관리하는 것을 특징으로 하는 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 피킹 관리 서버는,
    통신망을 통해 외부의 물류 관리 시스템과 연동해서 상기 피킹 구간 영상, 상기 키프레임 이미지, 상기 대표 이미지 및 상기 피킹 작업 정보를 검색 및 모니터링하도록 제공하는 것을 특징으로 하는 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템.
  4. 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템의 처리 방법에 있어서:
    피킹 관리 서버가 사전에 정상적인 피킹 작업에 대한 샘플 이미지를 인공 지능 학습하고, 피킹 작업의 작업자 정보와 피킹 물품 정보를 저장, 관리하는 단계;
    물품 포장 시, 피킹 작업을 처리하는 작업자가 스마트 글래스를 착용하고, 상기 스마트 글래스의 카메라가 작업자의 로그인 카드를 인식하면, 상기 스마트 글래스가 통신망을 통해 상기 피킹 관리 서버에 자동으로 접속되어 작업자 인증을 통해 로그인되는 단계;
    상기 스마트 글래스가 작업자의 시선에 대응하는 위치의 물품을 인식하고, 인식된 물품을 추적하여 하나의 포장 박스의 피킹 작업에 대한 동영상을 획득하고, 획득된 상기 동영상과, 상기 작업자 정보, 작업 시간 및 상기 피킹 물품 정보가 포함된 피킹 작업 정보를 통신망을 통하여 실시간으로 상기 피킹 관리 서버로 전송하는 단계;
    상기 피킹 관리 서버가 상기 스마트 글래스로부터 전송된 상기 동영상을 실시간으로 수신하여 저장하고, 상기 동영상으로부터 인공 지능 학습을 통한 이미지 인식 기술을 이용하여 해당 물품의 하나의 포장 박스에 대한 피킹 작업을 구간별로 인식하여 동영상을 구간 피킹 영상으로 분리 및 저장하는 단계;
    상기 피킹 관리 서버가 분리된 상기 구간 피킹 영상들 각각으로부터 복수 개의 키프레임 이미지들을 인식 및 추출하고, 상기 키프레임 이미지들 증 하나의 이미지를 물품이 피킹 완료된 상태를 나타내는 대표 이미지로 설정, 저장하는 단계; 및
    상기 피킹 관리 서버가 상기동영상, 상기 구간 피킹 영상, 상기 키프레임 이미지 및 상기 대표 이미지를 상기 피킹 작업 정보와 함께 작업자명, 작업 시간별, 피킹 물품별로 분류하여 저장하여 피킹 작업을 검색 및 모니터링하도록 처리하는 단계를 포함하는 것을 특징으로 하는 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템의 처리 방법.
  5. 청구항 4에 있어서,
    상기 대표 이미지를 설정, 저장하는 단계는,
    상기 피킹 관리 서버가 상기 키프레임 이미지들 각각을 상기 샘플 이미지와 유사도에 따른 인식 스코어를 산출하여 저장하고, 상기 키프레임 이미지들 중 가장 높은 인식 스코어의 이미지를 상기 대표 이미지로 설정, 저장하는 것을 특징으로 하는 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템의 처리 방법.
KR1020200070136A 2020-06-10 2020-06-10 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법 KR102469825B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200070136A KR102469825B1 (ko) 2020-06-10 2020-06-10 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200070136A KR102469825B1 (ko) 2020-06-10 2020-06-10 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법

Publications (2)

Publication Number Publication Date
KR20210153270A true KR20210153270A (ko) 2021-12-17
KR102469825B1 KR102469825B1 (ko) 2022-11-23

Family

ID=79033517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070136A KR102469825B1 (ko) 2020-06-10 2020-06-10 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법

Country Status (1)

Country Link
KR (1) KR102469825B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741548A (zh) * 2022-04-27 2022-07-12 安徽农业大学 一种基于小样本学习的桑叶病虫害检测方法
KR20240029970A (ko) 2022-08-29 2024-03-07 구준호 인공지능과 실시간 증강현실을 기반으로 하는 피킹 검수 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130089935A (ko) * 2012-01-13 2013-08-13 주식회사 인베트 실시간 포장 관리 장치
KR20170107805A (ko) 2016-03-16 2017-09-26 주식회사 인베트 실시간 포장 작업 관리 장치
KR20180061687A (ko) 2016-11-30 2018-06-08 동명대학교산학협력단 물품 포장 관리 시스템
KR101866513B1 (ko) 2016-01-25 2018-07-04 주식회사 인베트 컨베이어 이송방식의 물품 포장 관리 시스템
KR20190016015A (ko) * 2018-12-31 2019-02-15 주식회사 한비세트론 Ｑｒ 코드 스캔 기능과 rfid 리더와 통신할 수 있는 스마트 글래스를 사용한 창고 관리 시스템
KR20200006230A (ko) * 2018-07-10 2020-01-20 슈어소프트테크주식회사 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130089935A (ko) * 2012-01-13 2013-08-13 주식회사 인베트 실시간 포장 관리 장치
KR101515962B1 (ko) 2012-01-13 2015-05-04 주식회사 인베트 실시간 포장 관리 장치
KR101866513B1 (ko) 2016-01-25 2018-07-04 주식회사 인베트 컨베이어 이송방식의 물품 포장 관리 시스템
KR20170107805A (ko) 2016-03-16 2017-09-26 주식회사 인베트 실시간 포장 작업 관리 장치
KR20180061687A (ko) 2016-11-30 2018-06-08 동명대학교산학협력단 물품 포장 관리 시스템
KR20200006230A (ko) * 2018-07-10 2020-01-20 슈어소프트테크주식회사 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템
KR20190016015A (ko) * 2018-12-31 2019-02-15 주식회사 한비세트론 Ｑｒ 코드 스캔 기능과 rfid 리더와 통신할 수 있는 스마트 글래스를 사용한 창고 관리 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741548A (zh) * 2022-04-27 2022-07-12 安徽农业大学 一种基于小样本学习的桑叶病虫害检测方法
KR20240029970A (ko) 2022-08-29 2024-03-07 구준호 인공지능과 실시간 증강현실을 기반으로 하는 피킹 검수 시스템 및 방법

Also Published As

Publication number Publication date
KR102469825B1 (ko) 2022-11-23

Similar Documents

Publication Publication Date Title
US11829943B1 (en) Updating a position of a user within a materials handling facility
US20210374659A1 (en) Real Time Event Tracking and Digitization for Warehouse Inventory Management
KR20210087568A (ko) 동적인 재고 관리 시스템 및 방법
US11669738B2 (en) Context-aided machine vision
US10769399B2 (en) Method for improper product barcode detection
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
KR102469825B1 (ko) 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법
US11875570B1 (en) Updating agent position information
CN107995458B (zh) 一种拍摄包装过程的方法及装置
US10679177B1 (en) Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
KR101059801B1 (ko) 자동 물류 시스템 및 그 제어방법
US20200192608A1 (en) Method for improving the accuracy of a convolution neural network training image data set for loss prevention applications
US11205270B1 (en) Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
EP3629276A1 (en) Context-aided machine vision item differentiation
US10586203B1 (en) Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
CN115497169A (zh) 一种仓库作业行为识别方法、装置及设备
US12026635B1 (en) Event image information retention
CN104915650B (zh) 车辆载货状态识别方法和装置
US11816932B1 (en) Updating identification data in automated user-identification systems
CN112558554A (zh) 任务追踪方法和系统
KR102634031B1 (ko) 운송사 식별이 가능한 범용 송장 인식기와 이를 활용한 화물 정보 수집 방법 및 시스템
US20110317010A1 (en) System and method for tracking a person in a pre-defined area
US11756036B1 (en) Utilizing sensor data for automated user identification
KR20140087062A (ko) 하이브리드 인식 기술을 이용한 전사적 인적자원 관리 시스템 및 방법
US20240037907A1 (en) Systems and Methods for Image-Based Augmentation of Scanning Operations

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right