KR102553304B1 - 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법 - Google Patents

딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법 Download PDF

Info

Publication number
KR102553304B1
KR102553304B1 KR1020220143967A KR20220143967A KR102553304B1 KR 102553304 B1 KR102553304 B1 KR 102553304B1 KR 1020220143967 A KR1020220143967 A KR 1020220143967A KR 20220143967 A KR20220143967 A KR 20220143967A KR 102553304 B1 KR102553304 B1 KR 102553304B1
Authority
KR
South Korea
Prior art keywords
logistics
inspection
information
image
server
Prior art date
Application number
KR1020220143967A
Other languages
English (en)
Inventor
김영광
Original Assignee
주식회사 로지비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로지비 filed Critical 주식회사 로지비
Priority to KR1020220143967A priority Critical patent/KR102553304B1/ko
Application granted granted Critical
Publication of KR102553304B1 publication Critical patent/KR102553304B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 딥러닝 비전학습 기반 물류 검수 서버 및 그 동작 방법을 개시한다. 딥러닝 비전학습 기반 물류 검수 서버는 적어도 하나의 프로세서 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들을 저장하는 메모리를 포함할 수 있다. 여기서 적어도 하나의 단계는, 적어도 하나의 단계는, 입력된 영상에 포함된 영상 정보를 기초로 적어도 하나 이상의 특징점을 포함하는 적어도 하나 이상의 특징맵을 생성하는 단계, 특징맵을 병합하여 3차원 이미지를 생성하고, 생성된 3차원 이미지를 기초로 입력된 영상에서 객체를 검출하는 단계, 영상에서 검출된 객체를 물류 정보 데이터베이스의 출고 그룹에 포함된 물류 정보와 비교하여 영상에서 물류를 인식하는 단계, 인식된 물류를 제1 분류 기준에 따라 적어도 하나 이상의 검수 그룹으로 분류하는 단계, 검수 그룹에 포함된 물류의 물류 정보를 출고 그룹에 포함된 물류 정보와 비교하여 검수 정보를 생성하여 검수 정보 데이터베이스에 저장하는 단계 및 생성된 검수 정보 및 입력된 영상에서 검출된 객체를 출고 그룹에 포함된 물류 정보와 비교하여, 검수정보 신뢰도를 산출하는 단계를 포함할 수 있다. 또한, 딥러닝 비전학습 기반 물류 검수 서버는 검수 정보 신뢰도에 기초하여, 입력된 영상에서 검출된 객체를 기초로 제2 분류 기준에 따라 검수 그룹으로 분류하는 단계를 더 포함하여 수행할 수 있다.

Description

딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법 {LOGISTICS INSPECTION SERVER BASED ON DEEP LEARNING VISION LEARNING MODEL AND OPERATION METHOD THEREOF}
본 발명은 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 비전 데이터를 사용한 딥러닝 학습 모델을 사용하여 물류의 검수를 수행하는 서버 및 그 동작 방법에 관한 것이다.
국내 전자상거래 시장규모는 수십조원을 넘어 매년 높은 성장률을 보이고 있다. 특히, 온라인쇼핑 판매가 증가하면서 오픈마켓 또는 인터넷 웹페이지를 사용한 온라인 개인 판매공간 등을 통해 중소형 온라인 판매자 및 구매자가 활발한 상품의 매매가 이뤄지고 있어, 매우 많은 물류량이 발생하였다.
다만, 이러한 물동량 대비 물류처리시간과 기업의 실시간 재고관리, 정산, 고객 서비스 문제 등으로 고객들에게 원활한 배송 및 배송정보 제공 서비스를 제공하는데 어려움이 있다.
기존의 물류 검수 시스템은 사람이 직접 수행하는 작업으로 기업의 핵심 인력대비 많은 인원이 투입되어야 하며, 물류 정보의 관리를 위해서는 물류 송장 등을 증빙 자료로 남기는 것과 같이 고객 서비스를 대비하기 위한 부수적 활동이 필요하므로 추가적인 인력의 투입이 불가피한 상황이다.
뿐만 아니라, 사람이 수행할 수 있는 검수의 정확도에 대한 문제는 지속적으로 제기되어 왔으며, 이를 보완하기 위한 시스템을 도입하여도 후속 고객관리까지 충분하게 보장할 수 있는 시스템은 제시되지 않았고, 대부분의 업무는 인력을 투입하여 해결해야 하는 상황이다.
이러한 상황에서 물류 증가율을 보았을 때 향후에도 지속적인 물류 검수 인원이 필요함에 따라 단순업무 수행에 소비되는 인적 및 물적 자원의 낭비가 클 것으로 예상된다.
또한, 온라인 판매 시장은 빠른 배송을 요하는 고객들의 서비스를 종용하기 위해 각각의 패널티를 두고 속도전을 펼치고 있음에도 불구하고, 물류 검수의 수행에 필요한 인적 및 물적 자원의 한계로 인해 물류 검수 구간에서는 물류 병목현상이 발생하는 점은 치명적 문제로 제기되어 왔다.
이에 따라 물류 검수의 정확성을 보장하면서 신속한 검수를 통해 물류 검수의 병목현상을 감소시키기 위한 연구가 필요한 실정이다.
국내특허공보 제10-1568556 호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 딥러닝 비전학습 기반 물류 검수 서버를 제공한다.
딥러닝 비전학습 기반 물류 검수 서버는, 적어도 하나의 프로세서(processor) 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
적어도 하나의 단계는, 입력된 영상에 포함된 영상 정보를 기초로 적어도 하나 이상의 특징점을 포함하는 적어도 하나 이상의 특징맵을 생성하는 단계, 특징맵을 병합하여 3차원 이미지를 생성하고, 생성된 3차원 이미지를 기초로 입력된 영상에서 객체를 검출하는 단계, 영상에서 검출된 객체를 물류 정보 데이터베이스의 출고 그룹에 포함된 물류 정보와 비교하여 영상에서 물류를 인식하는 단계, 인식된 물류를 제1 분류 기준에 따라 적어도 하나 이상의 검수 그룹으로 분류하는 단계, 검수 그룹에 포함된 물류의 물류 정보를 출고 그룹에 포함된 물류 정보와 비교하여 검수 정보를 생성하여 검수 정보 데이터베이스에 저장하는 단계 및 생성된 검수 정보 및 입력된 영상에서 검출된 객체를 출고 그룹에 포함된 물류 정보와 비교하여, 검수정보 신뢰도를 산출하는 단계를 포함할 수 있다.
또한, 물류를 인식하는 단계 이전에 입력된 영상의 깊이(Depth) 정보로부터 물류의 포장 형태, 크기 및 윤곽을 포함하는 물류의 외관 정보 및 개별 물류의 무게를 검출하여 입력된 영상에서 객체에 대응되는 물류를 특정하는 단계를 더 포함할 수 있다.
한편, 물류를 특정하는 단계는 동일 평면을 구성하는 특징맵의 개수에 따라 포장 형태를 구별할 수 있다.
이때, 서버는 제1 분류 기준에 따라 물류로 인식된 객체들을 입력된 영상과 병합하여 대응되는 물류를 마스킹하는 단계를 더 포함하여 각 단계를 수행할 수 있다.
또한, 서버는 검수 정보 신뢰도에 기초하여, 입력된 영상에서 검출된 객체를 기초로 제2 분류 기준에 따라 검수 그룹으로 분류하는 단계를 더 포함하여 수행할 수 있다.
상기와 같은 본 발명에 따른 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법을 이용할 경우에는 신속하면서도 정확한 물류 검수를 진행할 수 있다.
또한, 출고 물류 정보와 검수 정보를 비교함으로써 검수의 신뢰도를 확보하고, 실시간 물류 관리를 진행할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 비전학습 기반 물류 검수 서버 서버의 구동 환경을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 비전학습 기반 물류 검수 서버의 구동 환경을 나타낸 다른 예시도이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 비전학습 기반 물류 검수 서버 서버의 구동 환경을 나타낸 다른 예시도이다.
도 4는 특징점 및 특징맵 생성을 설명하기 위한 예시도이다.
도 5는 생성된 3차원 이미지를 설명하기 위한 예시도이다.
도 6은 객체를 검출하는 일 예를 설명하기 위한 예시도이다.
도 7은 도 1에 따른 딥러닝 비전학습 기반 물류 검수 서버에 대한 하드웨어 구성도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
이하, 도면을 참조하여 딥러닝 비전학습 기반 물류 검수 서버 및 그 동작 방법에 관하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 비전학습 기반 물류 검수 서버 서버의 구동 환경을 나타낸 예시도이다.
도 1을 참조하면, 딥러닝 비전학습 기반 물류 검수 서버(이하, '서버'라고 함)(100)는 물류 검수 장치(110)로부터 물류 검수와 관련된 영상을 입력 또는 수신 받을 수 있고, 또한 서버(100)와 직접 연결된 영상 촬영 장치들로부터 물류 검수와 관련된 영상을 입력 받을 수 있다. 영상 및 영상으로부터 생성되는 이미지들의 정보를 통해 검수를 진행함으로써 신속하면서도 정확한 검수 및 WMS(Warehouse management system)과 실시간 연동되어 출고 데이터를 관리할 수 있고, 이를 통해 생산성의 증대와 인력 비용을 감축할 수 있다.
서버(100)는 입력된 영상으로부터 객체를 검출하고 검출된 객체를 물류 정보와 비교함으로써 출고된 물류의 정보와 입력된 영상으로부터 검출된 물류 정보, 즉 검수 정보를 비교할 수 있다.
여기서 영상은, 2D 및 3D 이미지 및 동영상을 포함하며, 적외선 또는 단파장 레이저를 포함하는 빛을 조사하여 빛이 돌아오는 시간 및 위상차를 계산하거나, 스테레오 카메라를 사용함으로써 해당 물류까지의 깊이(Depth) 정보를 포함하는 영상일 수 있다. 이처럼 서버(100)는 입력된 영상을 통해 비전 정보를 기초로 딥러닝 기반 비전학습 모델을 구축할 수 있고, 학습된 모델을 사용하여 입력되는 영상들로부터 물류 검수를 진행할 수 있다.
이를 통해 서버(100)는 출고 당시의 물류 정보와 검수 결과를 비교하여 검수 정보를 생성할 수 있으며, 대상 제품 및 부자재 등의 실시간 관리, 제품명 및 브랜드 정보를 포함하는 바코드(2D 및 3D 바코드를 포함)의 관리와 보고(report), 재고 관리의 자동화 및 출고 정보와 검수 정보의 비교를 기초로 한 스마트 고객서비스(Customer service) 등 물류 처리의 전과정에 필요한 데이터의 구축이 가능하다.
한편, 여기서 물류 정보는 해당 물류의 제품명, 브랜드, 무게, 형상, 용도, 포장 및 포장 형태, 가격, 생산지 및 생산자 정보 등 물류와 직접적으로 관련된 정보를 의미할 수 있다.
검수정보는 물류 정보와 물류 검수 결과를 비교하여 생성된 정보로서, 예컨대, 서버(100)가 입력된 영상으로부터 물류검사장치(110)를 거치며 생성된 물류정보를 물류정보데이터베이스의 출고 그룹에 포함된 물류정보와 비교함으로써 생성된 정보일 수 있다.
또한, 서버(100)는 검수 정보의 신뢰도 확보를 위해 출고 정보와 검수 정보의 차이가 있는 경우, 검출된 객체가 출고 물류일 확률을 계산하고, 가장 높은 확률의 출고 물류 정보와 비교하여 검수 정보를 생성할 수 있다. 이를 통해, 설령 바코드 등의 물류 인식과 직접적인 정보를 포함하는 특징점 및 특징맵 형성에 실패한 경우에도 검출된 객체의 검수를 누락하지 않을 수 있다.
여기서 특징점은 입력된 영상으로부터 결정되며, 입력된 영상에서 객체를 검출하고 다른 객체와 구별할 수 있는 정보를 갖는 영상내의 의미 있는 픽셀 및 픽셀 주변 영역을 의미한다. 예컨대, 물체의 형상 파악에 필요한 윤곽, 모서리, 길이와 같이 영상에서 파악할 수 있는 물류의 외관에 관한 정보 및 물류의 포장으로부터 획득할 수 있는 제품명, 브랜드명, 제품의 속성 및 제품의 정보를 포함하는 물류 송장, 바코드 및 이들의 형태 및 위치를 포함할 수 있다.
특징맵은 특징점을 기초로 생성되며, 입력된 영상에서 검출된 특징점들을 조합하여 객체를 검출하기 위한 2차원 이미지를 의미할 수 있다. 예컨대, 입력된 영상의 깊이 정보, 윤곽 및 모서리와 길이를 통해 객체의 외관의 일 평면을 생성하고, 인식된 바코드 및 그 위치와 제품명을 포함하는 특징맵을 병합하여 3차원 이미지를 생성할 수 있다. 생성된 3차원 이미지를 통해 서버(100)는 검수 정보를 생성할 수 있을 뿐만 아니라 객체를 검출하고 물류를 인식할 수 있다.
또한, 서버(100)는 프로세서 및 메모리를 포함할 수 있다. 이때, 프로세서는 연산을 위한 적어도 하나 이상의 소프트웨어 또는 하드웨어 모듈을 포함할 수 있으며, 내부에 적어도 하나 이상의 메모리를 직접 포함할 수 있다.
메모리는 딥러닝 비전학습 기반 물류 검수 서버의 구동과 관련된 정보를 저장하거나 구동을 위한 방법이 구현된 프로그램을 저장할 수 있다. 메모리는 휘발성메모리 또는 비휘발성 메모리일 수 있으며, 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 등 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서는 프로그램을 실행하고, 서버(100)를 제어할 수 있다. 프로세서에 의하여 실행되는 프로그램의 코드는 메모리에 저장될 수 있다. 서버(100)는 입출력 장치를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
한편, 아래의 설명에서 '물류'와 '물체'는 동일한 의미로 사용될 수 있으나, 입력된 영상에서 검출된 객체가 물류로 인식하지 못하는 경우 등 물류와 물체를 구분할 필요가 있는 경우 다르게 표현하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 비전학습 기반 물류 검수 서버의 구동 환경을 나타낸 다른 예시도이다.
도 2를 참조하면, 서버(200)는 물류검수장치(210), 물류정보데이터베이스(220) 및 검수정보데이터베이스(230)와 통신할 수 있고, 서버(200)는 도 1을 통해 설명한 서버(100)와 동일하여 중복된 설명은 생략하며, 물류검수장치(210)는 아래 도 3을 참조하여 함께 설명하기로 한다.
물류정보데이터베이스(220)는 물류검수장치(210)에서 검수할 물류에 대한 물류 정보를 저장하는 데이터베이스일 수 있다.
예를 들어, 물류정보데이터베이스(220)는 물류가 최초 또는 물류검수장치(210)를 통해 물류의 검수가 진행되기 이전의 해당 물류와 관련된 모든 이력 정보를 포함하여 저장할 수 있다.
예컨대, 해당 물류의 물류 정보, 출고지, 출고시간, 담당자, 요청사항, 출고일로부터 경과 시간 및 경유지 등 물류검수장치(210)에 의해 물류 검수가 이뤄지기 이전까지 해당 물류에 관련하여 생성된 이력 정보를 모두 포함할 수 있다.
검수정보데이터베이스(230)는 물류검수장치(210)에 의해 검수가 진행됨에 따라 생성되는 검수 정보와 물류정보데이터베이스(220)에 저장된 물류정보를 비교함으로써 출고 당시 물류의 정보와 검수 당시의 물류 상태를 비교한 정보일 수 있다.
예를 들어, 물류 A가 출고된 이후, 물류검수장치(210)에 의한 물류검사 결과 물류 정보에 특별한 변동이 없다면, 서버(200)는 검수 정보로서 '이상 없음'을 생성할 수 있다. 한편, 물류검수장치(210)에 의한 물류 검사 결과 물류 정보에 변동이 있다면, 서버(200)는 검수 정보로서, '이상 있음'과 물류 검수 내용을 보고하는 검수 정보를 생성할 수 있다.
한편, 서버(200)는 물류정보데이터베이스(220) 및 검수정보데이터베이스(230)를 온-프리미스(on-premise)형태로 직접 관리하거나, 클라우드 저장공간 또는 온라인을 통해 접속 가능한 데이터베이스를 통해 관리할 수 있으며, 물류정보데이터베이스(220) 및 검수정보데이터베이스(230)와 통신하며 물류 정보 및 검수 정보를 저장, 불러오기 및 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 비전학습 기반 물류 검수 서버 서버의 구동 환경을 나타낸 다른 예시도이다.
도 3을 참조하면, 서버(300)는 물류검수장치(310), 물류검수장치(310)와 연결된 적어도 하나 이상의 카메라(320), 및 물류 컨베이어(330)를 포함할 수 있다.
여기서 카메라(320)는 컨베이어(330)를 통해 이동하는 물류의 영상을 획득할 수 있는 장치로서, RGB 카메라 및 촬영된 이미지로부터 각 픽셀에 대한 깊이 값을 획득할 수 있는 3D 카메라를 포함할 수 있다. 예를 들어, 3D 카메라는 스테레오(Stereo) 방식, ToF(Time of Flight) 방식, Structed Pattern 방식으로 분류될 수 있다.
일 예로, 카메라(320)는 컨베이어(330)를 통해 물류가 이동하는 경우 일정 시간 간격으로 사진을 촬영함으로써 다양한 각도에서 물류의 영상을 획득할 수 있고, 이를 동영상으로 촬영하여 연속적인 물류의 영상을 획득할 수 있다.
이때 3D 카메라를 사용한 물류의 영상이 입력되는 경우, 서버(300)는 입력된 영상에 포함된 깊이(Depth) 정보를 통해 물류의 형태를 직접적으로 식별할 수 있다.
예를 들어, 물류를 구별하기 위한 직접적인 정보는 물류 송장 또는 바코드일 수 있으며, 일반적인 물류의 식별은 바코드를 통해 미리 저장된 물류의 정보를 식별하는 방식을 채택한다. 그러나, 서버(300)는 입력된 영상의 깊이(Depth) 정보로부터 물류의 포장 형태, 크기 및 윤곽 등 물류의 외관 정보를 파악함으로써 설령 물류 송장 또는 바코드를 인식하지 못하는 경우에도 영상 내의 물류에 관한 정보만을 활용하여 물류를 특정하는 것이 가능하다.
또한, 컨베이어(330)는 물류를 정해진 위치에서 목적지까지 운송하기 위한 장치로서, 체인형 또는 벨트형으로 구별될 수 있다. 이때, 컨베이어(330)는 각 물류의 무게를 측정하기 위한 무게 측정부를 포함할 수 있다.
예를 들어, 컨베이어(330)에 놓여진 물류의 전체 무게에서 새롭게 놓여진 물류의 무게 또는 목적지에 도달하여 제거된 물류의 무게의 차이를 구함으로써 개별 물류의 무게를 산출하는 것이 가능하고, 이에 제한되지 않으며, 특정 구간에 무게 감지 센서를 통해 개별 물류의 무게를 측정하는 것이 가능하며, 측정된 무게 및 물류 정보 중 포장 형태, 크기 및 윤곽 등 물류의 외관정보를 기초로 입력된 영상에서, 객체에 대응되는 물류를 특정할 수 있다.
도 4는 특징점 및 특징맵 생성을 설명하기 위한 예시도이다. 이하, 도 3 및 4를 참조하면, 서버(300)는 물류검수장치(310)로부터 입력된 영상에 포함된 영상 정보를 기초로 적어도 하나 이상의 특징점을 포함하는 적어도 하나 이상의 특징맵을 생성할 수 있다. 한편, 설명의 편의를 위해 서버(300)가 물류검수장치(310)로부터 영상을 입력 받는 것으로 설명하지만, 서버(300)와 직접 연결되거나 제어하는 영상 촬영 장치를 통해 영상을 획득할 수 있으며, 이에 제한되지 않고 외부 장치를 통해 영상을 입력 받는 것도 가능하다.
예를 들어, 카메라(320)는 컨베이어(330) 위에 놓여진 물류의 화살표 방향 이동에 따라, 촬영 화각내에 물류가 위치함으로써 순차적인 영상(411, 412, 413)을 획득할 수 있다. 이때, 동일한 카메라(320)가 동일한 물류를 시간의 경과에 따라 촬영하는 경우 컨베이어(330)의 움직임에 의해 물류의 이동이 발생하고 이에 따라, 물류는 다양한 각도에서 촬영될 수 있다.
일 예로, 서버(300)는 입력된 영상(411, 412, 413)의 각 물류에 대해 윤곽을 캡쳐하고, 모서리, 꼭지점 및 각 변의 길이를 특징점으로 검출할 수 있다. 영상(411, 412, 413)에 표시된 마커(○, ▲, X)는 서버(300)가 특징점을 특정하기 위한 예시적인 표식으로, 이들은 영상(411, 412, 413)내에 나타나는 물류를 인식하고, 다른 물류와 구별될 수 있는 객체를 생성할 때 필요한 정보들로 구성될 수 있으며, 1차원의 정보로 구성될 수 있다.
다른 예로, 서버(300)는 입력된 영상(412)에서 물류를 직접 구분할 수 있는 정보 또한 특징점으로 검출할 수 있다. 예를 들어, 입력된 영상(412)이 물류 송장을 포함하거나 바코드를 포함하는 경우 또는 물류 포장지에 제품의 명칭이나 브랜드 또는 제품에 관한 설명이 존재하는 경우에 서버(300)는 이를 특징점으로 검출할 수 있다.
서버(300)는 특징점을 포함하는 특징맵을 생성할 수 있다. 예를 들어, 특징맵은 1차원 정보로 구성된 특징맵을 포함하는 2차원 이미지를 의미할 수 있으며, 예컨대, 서버(300)는 마커로 구분된 각 꼭지점을 연결함으로써 평면을 생성할 수 있고, 입력된 영상이 RGB 채널을 갖는다면, 입력 영상을 그레이스케일링 하여 광도와 윤곽 정보를 강조하는 특징맵을 생성할 수 있다.
또한, 입력된 영상이 3D 카메라로 촬영되어 깊이(Depth) 정보를 포함한다면, 각 특징점 사이의 원근을 비교하여 깊이 정보를 포함하는 특징맵을 생성할 수 있다.
일 예로, 박스 포장된 물류의 경우 각 면들은 평평한 형태일 수 있고, 이때 한 면을 구성하는 특징맵은 하나일 수 있는 반면, 비닐 포장된 물류의 경우 앞면과 뒷면으로 구분된다고 가정하더라도 각 면은 구겨진 형태로서 적어도 둘 이상의 특징맵으로 구현될 수 있다.
이때 서버(300)는 생성되는 동일 평면의 특징맵의 개수에 따라 포장 형태를 구별하는 것이 가능하다. 일 예로, 특징맵의 개수가 다각형의 형태를 초과하는 경우, 비닐 포장 또는 박스 포장을 구별할 수 있다. 예컨대, 일반적인 박스 포장의 경우 총 6개의 특징맵이 생성될 수 있으나, 특징맵이 20개 이상 생성된 경우에는 비닐 포장으로 판단할 수 있다.
다른 예로, 서버(300)는 특징점이 물류를 직접 구분할 수 있는 정보로 구성된 경우, 해당 정보를 포함하는 특징맵을 생성할 수 있다. 예컨대, 서버(300)가 입력된 영상(412)에서 물류 송장 및 바코드를 특징점으로 검출한 경우, 서버(300)는 물류 송장과 바코드에 관련된 정보를 특징맵에 포함하여 생성할 수 있다.
서버(300)는 생성된 특징맵을 병합하여 3차원 이미지를 생성할 수 있다. 예를 들어, 서버(300)는 마커(○, ▲, X)로 구분된 특징점들로부터 각 평면을 표시하는 특징맵을 생성할 수 있으며, 영상의 물류에 각 대응되는 3차원 이미지를 생성할 수 있다.
예컨대, 서버(300)가 특징맵을 기초로 생성한 3차원 이미지는 컨베이어(330)를 통해 이동하는 각 물류에 대응되는 이미지로서, 영상(411, 412, 413)에 포함된 특징점을 기초로 생성된 특징맵으로부터 물류의 특징을 포함하도록 새롭게 생성된 3차원 이미지일 수 있다.
이처럼 서버(300)는 입력된 영상으로부터 물류를 다른 물류와 구분할 수 있는 특징점을 검출하고, 검출된 특징점을 기반으로 생성된 특징맵을 사용하여 물류의 3차원 이미지를 생성함으로써 물류 검수 과정을 신속하면서도 높은 신뢰도로 수행하는 것이 가능하다.
서버(300)는 생성된 3차원 이미지를 기초로 입력된 영상에서 객체를 검출할 수 있다. 여기서 객체란 입력된 영상 내에서 검수의 대상이 되거나 물류로 인식되어야 하는 물체를 의미할 수 있다.
도 5는 생성된 3차원 이미지를 설명하기 위한 예시도이고, 도 6은 객체를 검출하는 일 예를 설명하기 위한 예시도이다.
도 5 및 도 6을 참조하면, 입력된 영상은 카메라(320)가 컨베이어(330)의 이동에 따라 움직이는 실제 물체(510)를 촬영할 수 있으며, 서버(300)는 실제 물체(510)가 포함된 영상을 인식하기 위해 특징점 및 특징맵을 기초로 3차원 이미지(520)를 생성할 수 있으며, 생성된 3차원 이미지(520)로부터 객체(610)를 검출할 수 있다. 즉, 객체(610)는 실제 물체(510)를 기초로 서버(300)에 의해 생성된 가상의 물류로서, 아래에서 설명되는 것과 같이 실제 검수의 대상여부를 판단하는 기준 데이터가 될 수 있다.
한편, 객체의 검출에는 딥러닝 기반 비전 학습모델이 사용될 수 있다. 예컨대, 비전 학습모델은 특징점 및 특징맵 기반의 3차원 이미지의 생성에서 콘볼루션 신경망(CNN, Convolution Neural Network)를 사용할 수 있다.
이때, 신경망은 콘볼루션 특징(convolution feature)을 추출할 수 있는 적어도 하나 이상의 레이어를 포함할 수 있다. 또한, 생성된 3차원 이미지는 사용되는 콘볼루션 커널(convolution kernel)에 따라 입력된 영상의 객체 모양 및 색채, 객체의 윤곽, 영상 촬영 환경의 조도 등의 정보가 상이할 수 있다.
서버(300)는 입력된 영상에 포함된 물체(510)들을 3차원 이미지(520)로 생성하여 객체(610)로서 검출하고, 이때 검출된 객체(610)는 해당 객체(610)를 다른 객체와 구별할 수 있는 물류 송장(620) 또는 바코드(630)와 같은 특징점이 존재할 수 있으며, 객체의 무게, 윤곽, 크기, 조도에 따른 포장재의 종류, 색채, 모양 과 같은 물류의 정보를 포함할 수 있다.
서버(300)는 영상에서 검출된 객체(610)를 물류 정보 데이터베이스의 출고 그룹에 포함된 물류정보와 비교하여 영상에서 물류를 인식할 수 있다. 출고 그룹은 물류가 물류검수장치를 통해 검수 받기 이전의 속성에 따라 적어도 하나 이상 존재할 수 있다.
예를 들어, 물류가 생산지 또는 물류보관창고에서 최초 출고될 때, 물류가 갖는 물류 정보에 따라 적어도 하나 이상의 그룹으로 분류될 수 있다.
일 예로, 서버(300)는 입력된 영상에서 특징점 및 특징맵을 기초로 생성된 3차원 이미지 및 이를 사용하여 검출된 객체가 포함하고 있는 물류 정보와 출고 그룹에 포함된 물류의 물류정보와 비교함으로써 입력된 영상에서 검출된 물류가 출고 그룹에 포함된 물류인지 확인함으로써 물류로 인식할 수 있다.
예컨대, 입력된 영상에서 검출된 객체(610)가 포함하는 물류 정보가 출고 그룹에 포함된 물류의 물류 정보와 일치하는 경우, 검출된 객체(610)는 검수 대상인 물류로 인식 가능하고 검수를 진행할 수 있다.
그러나, 입력된 영상에서 검출된 객체(610)가 포함하는 물류 정보가 출고 그룹에 포함된 물류의 물류 정보와 일치하지 않는 경우, 서버(300)는 검출된 객체가 출고 그룹에 포함되지 않은 물류로 확인하고, '미분류'또는 '수동 검수 필요'와 같은 1차 검수 결과를 생성할 수 있다. 그러한 물류는 잘못된 운송 또는 관리자의 착오에 의해 물류에 잘못 포함된 물류일 수 있으므로, 물류 검수 장치 또는 관리자에 의해 재검수가 필요한 물류로 분류할 수 있다. 이를 통해 보다 높은 신뢰도의 검수 결과를 확인할 수 있다.
서버(300)는 인식된 물류를 제1 분류 기준에 따라 적어도 하나 이상의 검수 그룹으로 분류할 수 있다.
예를 들어, 서버(300)는 출고 그룹에 포함된 물류인지 확인함으로써 물류로 인식하고, 특징점 및 특징맵이 포함하고 있는 정보에 따라 적어도 하나 이상의 검수 그룹으로 분류할 수 있다.
예컨대, 특정 물류가 박스 포장인지 또는 비닐재질 포장인지는 특징맵 생성시 2차원 이미지의 형태에 따라 결정될 수 있으며, 해당 물류에 바코드 또는 물류 송장이 존재하는 경우 별도의 물류 정보 획득 필요 없이 해당 물류 정보를 특정할 수 있다. 즉, 제1 분류 기준은 영상으로부터 생성된 객체를 사용하여 인식한 물류에 대한 정보에 따라 결정될 수 있으며, 제2 분류 정보 및 제3 분류 정보와 같이 물류를 특정할 수 있는 정보량과 종류에 따라 서로 다른 검수 그룹으로 분류할 수 있다.
이를 통해, 물류를 특정할 수 있는 정보가 충분한 경우 물류의 검수 신뢰도는 높은 것으로 결정될 수 있고, 물류를 특정할 수 있는 정보의 양이 충분하지 않거나 간접적인 정보만이 존재하는 경우 물류 검수의 신뢰도가 낮을 수 있다.
서버(300)는 물류를 특정할 수 있는 정보 및 그 정보의 신뢰도에 따라 미리 결정된 분류 기준에 따라 검수 그룹으로 분류함으로써, 검수 신뢰도가 상대적으로 낮은 물류에 대해서는 추가적인 검수 절차를 부여하여 최종 검수 신뢰도를 향상시킬 수 있다.
서버(300)는 검수 그룹에 포함된 물류의 물류 정보를 출고 그룹에 포함된 물류 정보와 비교하여 검수 정보를 생성하여 검수 정보 데이터베이스에 저장할 수 있다.
예를 들어, 서버(300)는 물류정보데이터베이스의 출고 그룹에 포함된 물류정보 중 특정 물류의 물류정보를 물류검사장치를 통해 검수가 이뤄진 물류정보와 비교함으로써, 검수의 전후 물류정보의 변화를 검출할 수 있고, 이를 통해 해당 물류의 파손, 변형 및 유실 여부를 포함하는 검수 정보를 생성할 수 있다. 또한, 이에 제한되지 않으며, 검수 정보는 물류검사장치를 통과한 이후 생성될 수 있는 물류의 물류 정보를 포함할 수 있다.
서버(300)는 생성된 검수정보 및 입력된 영상에서 검출된 객체를 출고 그룹에 포함된 물류정보와 비교하여, 검수 정보 신뢰도를 산출할 수 있다.
앞서 설명한 바와 같이, 서버(300)는 딥러닝 기반 비전학습 모델을 사용하여 입력된 영상에서 객체를 검출할 수 있다. 그 다음, 검출된 객체가 포함하는 물류 정보가 출고 그룹에 포함된 물류의 물류 정보와 일치하는 경우 검수 대상 물류로 판단하여 검수를 진행할 수 있고, 검수의 진행 결과로 검수 정보를 생성할 수 있다.
이때, 서버(300)는 출고 그룹에 포함된 물류 정보를 기준 정보로 설정하고, 검출된 객체 및 생성된 검수 정보와 비교함으로써 검수 정보 신뢰도를 산출할 수 있다.
예를 들어, 검출된 객체가 포함하는 물류 정보로는 출고 그룹에 포함된 물류 정보와 일치하는 부분이 확인되지 않았으나, 생성된 검수 정보에 의할 경우 출고 그룹에 포함된 물류 정보로 확인되는 경우, 서버(300)는 두 정보의 불일치를 근거로 검수 정보 신뢰도를 50%로 결정할 수 있다.
다른 예로, 검출된 객체가 포함하는 정보와 검수 정보 모두에 의하더라도 출고 그룹에 포함된 물류정보와 매칭되는 정보를 확인할 수 없는 경우에는 검수 정보 신뢰도를 0%로 판단하고, 관리자를 호출하기 위한 알람을 생성하고, 검수 결과를 리포트할 수 있다.
즉, 입력된 영상에서 검수 정보는 물류검사장치를 통과한 이후 생성될 수 있는 물류의 물류 정보이므로, 출고 그룹에 포함된 물류 정보와 독립하여 생성될 수 있다. 그러나, 물류 검수 과정에서 오출고 또는 오배송에 의해 검수 대상이 아닌 물류가 입고되는 경우는 정상적인 입출고 확률에 비해 극히 낮으므로, 서버(300)는 별도로 생성된 검수 정보를 출고 그룹에 포함된 물류 정보와 재차 비교하여 검수의 완성도를 높일 수 있는 것이다.
일 예로 서버(300)에 의해 생성된 객체(k)에 대한 검수 정보의 신뢰도(T)는 아래의 수학식을 통해 산출될 수 있다.
[수학식 1]
Figure 112022116025328-pat00001
여기서
Figure 112022116025328-pat00002
는 검출된 객체 k의 특징점(Object of Feature)의 개수,
Figure 112022116025328-pat00003
는 검출된 객체 k에 대응되는 물류 k의 출고 그룹에서의 특징점(Release group of Feature) 개수,
Figure 112022116025328-pat00004
는 특징점의 일치율(Match ration of Feature),
Figure 112022116025328-pat00005
은 검수 그룹(Examination group)에 포함된 물류의 개수,
Figure 112022116025328-pat00006
은 출고 그룹(Release group)에 포함된 물류의 개수를 의미한다.
즉, 신뢰도 T는 검수그룹과 출고 그룹에 포함된 물류 개수의 일치율, 입력된 영상에서 검출된 객체와 대응되는 물류 사이의 특징점의 개수 및 일치율의 곱을 통해 산출된다.
신뢰도 T는 예컨대, 오배송 또는 오출고율이 0인 경우, 서버(300)가 검출한 객체는 모두 출고 그룹에 포함된 물류와 1:1 대응이 가능함을 의미하고, 검수 그룹과 출고 그룹에 포함된 물류의 개수가 서로 유사할수록 높게 나타날 수 있다.
또한, 검출된 객체 k의 특징점의 개수(OBoFk)는 검출된 객체 k에 대응되는 물류 k의 출고 그룹에서의 특징점의 개수(RGoFk)를 초과할 수 없으나 OBoFk가 RGoFk와 유사할수록 서버(300)가 입력된 영상에서 적절한 특징점을 결정한 것으로 판단할 수 있다.
한편, 특징점의 일치율(MRoFk)은 아래의 수학식을 통해 산출될 수 있다.
[수학식 2]
Figure 112022116025328-pat00012
여기서,
Figure 112023010888374-pat00013
은 검출된 객체의 특징점, FRn은 검출된 객체 k에 대응되는 물류 k의 출고 그룹에서의 특징점을 의미하며, 각 특징점의 일치율의 산술합을 검출된 객체 k의 특징점의 개수(OBoFk)로 나눔으로써 정규화하였다.
예컨대, 서버(300)가 객체 k의 상판의 네 모서리를 특징점으로 산출하였고, 네 모서리로 산출되는 평면의 면적이 8이고, 검출된 객체 k에 대응되는 물류 k의 출고 그룹에서의 특징점을 기초로 산출된 평면의 면적이 10인 경우 특징점의 일치율은 0.8이 될 수 있다.
이를 다시 정리하면, 서버(300)에 의해 생성된 객체(k)에 대한 검수 정보 신뢰도(T)는 아래의 수학식과 같다.
[수학식 3]
Figure 112022116025328-pat00016
서버(300)는 검수 정보 신뢰도에 기초하여, 입력된 영상에서 검출된 객체를 제2 분류 기준에 따라 검수 그룹으로 분류할 수 있다. 이에 따라, 서버(300)는 제1 분류 기준보다 완화된 기준인 제2 분류 기준에 따라 검출된 객체를 물류로 인식하고, 새로운 검수 그룹에 분류하는 것이 가능하다.
예를 들어, 서버(300)는 제1 분류 기준에 따라 검출된 객체를 물류로 인식하려는 경우, 검출된 객체와 대응되는 물류 정보가 존재하지 않을 수 있다. 이 경우 서버(300)는 제1 분류기준보다 완화된 기준인 제2 분류 기준으로 검출된 객체를 물류 정보와 비교하여 물류로 인식한 다음, 검수 그룹으로 분류할 수 있다.
이를 통해, 다양한 관점에서 물류 검수를 진행함으로써 물류 검수의 누락을 예방하고, 관리자의 불필요한 개입을 최소화하여 높은 자동화 시스템을 구축할 수 있다.
또한, 서버(300)는 분류 기준에 따라 물류로 인식된 객체들을 입력된 영상과 병합하여 대응되는 물류를 마스킹 할 수 있다. 예컨대, 입력된 영상에서 객체로 검출된 물류를 3차원 이미지 및 해당 물류의 물류 정보와 함께 마스킹하여 검수정보데이터베이스에 저장함으로써, 추후 발생할 수 있는 고객서비스(Customer service)를 정보의 누락 없이 정확하게 제공할 수 있다.
도 7은 도 1에 따른 딥러닝 비전학습 기반 물류 검수 서버에 대한 하드웨어 구성도이다.
도 7을 참조하면, 딥러닝 비전학습 기반 물류 검수 서버(700)는, 적어도 하나의 프로세서(processor, 710) 및 상기 적어도 하나의 프로세서(710)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 720)를 포함할 수 있다.
여기서 적어도 하나의 프로세서(710)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(720) 및 저장 장치(760) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(720)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 딥러닝 비전학습 기반 물류 검수 서버(700)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver, 730)를 포함할 수 있다. 또한, 서버(700)는 입력 인터페이스 장치(740), 출력 인터페이스 장치(750), 저장 장치(760) 등을 더 포함할 수 있다. 서버(700)에 포함된 각각의 구성 요소들은 버스(bus, 770)에 의해 연결되어 서로 통신을 수행할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 딥러닝 비전학습 기반 물류 검수 서버로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들을 저장하는 메모리; 를 포함하고,
    상기 적어도 하나의 프로세서는:
    적어도 하나 이상의 카메라를 통해 촬영된 영상에서 물류의 윤곽을 캡쳐하고,
    상기 캡쳐된 윤곽의 모서리, 꼭지점 및 각 변의 길이를 복수의 특징점으로써 검출하고,
    상기 복수의 특징점을 포함하는 복수의 특징맵을 생성하고,
    상기 복수의 특징맵을 병합하여 3차원 이미지를 생성하고, 상기 생성된 3차원 이미지를 딥러닝 기반 비전 학습모델에 적용함으로써 상기 영상에서 객체를 검출하되, 상기 딥러닝 기반 비전 학습모델은 콘볼루션 신경망(CNN, Convolution Neural Network)에 기반하고,
    상기 검출된 객체가 물류 정보 데이터베이스의 출고 그룹에 포함된 물류 정보와 일치하는 경우, 상기 객체를 상기 물류 정보가 나타내는 물류로 인식하고,
    상기 인식된 물류를 제1 분류 기준에 따라 적어도 하나 이상의 검수 그룹으로 분류하고,
    상기 검수 그룹에 포함된 물류의 물류 정보를 상기 출고 그룹에 포함된 물류 정보와 비교하여 검수 정보를 생성하여 검수 정보 데이터베이스에 저장하되, 상기 검수 정보는 물류의 파손, 변형, 또는 유실 여부를 나타내는 정보를 포함하고,
    상기 생성된 검수 정보 및 상기 검출된 객체를 상기 출고 그룹에 포함된 물류 정보와 비교하여, 검수정보 신뢰도(T)를 아래의 수학식 1 및 수학식 2에 기초하여 산출하되,
    [수학식 1]
    Figure 112023010888374-pat00024

    OBoFk는 검출된 객체 k의 특징점(Object of Feature)의 개수, RGoFk는 검출된 객체 k에 대응되는 물류 k의 출고 그룹에서의 특징점(Release group of Feature) 개수, MRoFk는 특징점의 일치율(Match ration of Feature), EGTotal은 검수 그룹(Examination group)에 포함된 물류의 개수, RGTotal은 출고 그룹(Release group)에 포함된 물류의 개수를 의미하고,
    [수학식 2]
    Figure 112023010888374-pat00025

    Figure 112023010888374-pat00026
    은 검출된 객체의 특징점,
    Figure 112023010888374-pat00027
    은 검출된 객체 k에 대응되는 물류 k의 출고 그룹에서의 특징점을 의미하는, 딥러닝 비전학습 기반 물류 검수 서버.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020220143967A 2022-11-01 2022-11-01 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법 KR102553304B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220143967A KR102553304B1 (ko) 2022-11-01 2022-11-01 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220143967A KR102553304B1 (ko) 2022-11-01 2022-11-01 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102553304B1 true KR102553304B1 (ko) 2023-07-10

Family

ID=87155880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220143967A KR102553304B1 (ko) 2022-11-01 2022-11-01 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102553304B1 (ko)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010089533A (ko) * 1998-12-03 2001-10-06 추후기재 물류 정보 판독 장치
KR101568556B1 (ko) 2013-12-26 2016-07-20 주식회사 포스코 물류자동화장치 및 물류자동화방법
KR20170101555A (ko) * 2016-02-29 2017-09-06 성균관대학교산학협력단 3d 카메라와 빅데이터 플랫폼을 이용한 물류 적재 보조 시스템 및 그 적재 보조방법
KR101969570B1 (ko) * 2018-12-11 2019-04-16 주식회사 엠이티 배송물품 준비 장치
KR20210050771A (ko) * 2019-10-29 2021-05-10 삼성에스디에스 주식회사 이미지 기반의 사용자 인터페이스 객체 탐지 시스템 및 방법
KR20220011450A (ko) * 2020-07-21 2022-01-28 엘지전자 주식회사 물품을 식별하는 장치, 서버 및 식별하는 방법
KR20220013403A (ko) * 2020-06-29 2022-02-04 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 3차원 모델 생성 방법, 신경망 생성 방법 및 장치
KR102382268B1 (ko) * 2021-03-09 2022-04-01 주식회사 엘지씨엔에스 복수의 물류 디바이스에 대한 통합 관리 방법 및 통합 관리 디바이스
KR20220076709A (ko) * 2020-12-01 2022-06-08 로지포커스 주식회사 반품 정보 빅데이터를 기반으로 하는 반품 검수 시스템
KR102436943B1 (ko) * 2021-09-13 2022-08-26 에이아이다이콤 (주) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010089533A (ko) * 1998-12-03 2001-10-06 추후기재 물류 정보 판독 장치
KR101568556B1 (ko) 2013-12-26 2016-07-20 주식회사 포스코 물류자동화장치 및 물류자동화방법
KR20170101555A (ko) * 2016-02-29 2017-09-06 성균관대학교산학협력단 3d 카메라와 빅데이터 플랫폼을 이용한 물류 적재 보조 시스템 및 그 적재 보조방법
KR101969570B1 (ko) * 2018-12-11 2019-04-16 주식회사 엠이티 배송물품 준비 장치
KR20210050771A (ko) * 2019-10-29 2021-05-10 삼성에스디에스 주식회사 이미지 기반의 사용자 인터페이스 객체 탐지 시스템 및 방법
KR20220013403A (ko) * 2020-06-29 2022-02-04 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 3차원 모델 생성 방법, 신경망 생성 방법 및 장치
KR20220011450A (ko) * 2020-07-21 2022-01-28 엘지전자 주식회사 물품을 식별하는 장치, 서버 및 식별하는 방법
KR20220076709A (ko) * 2020-12-01 2022-06-08 로지포커스 주식회사 반품 정보 빅데이터를 기반으로 하는 반품 검수 시스템
KR102382268B1 (ko) * 2021-03-09 2022-04-01 주식회사 엘지씨엔에스 복수의 물류 디바이스에 대한 통합 관리 방법 및 통합 관리 디바이스
KR102436943B1 (ko) * 2021-09-13 2022-08-26 에이아이다이콤 (주) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법

Similar Documents

Publication Publication Date Title
CA3115898C (en) Systems and methods for object identification
US11798152B2 (en) Systems and methods for object dimensioning based on partial visual information
US20190180150A1 (en) Color Haar Classifier for Retail Shelf Label Detection
JP2022514859A (ja) 自動検査システムおよび出荷用コンテナの状態を評価する関連方法
EP3529023B1 (en) Systems and methods for identifying three-dimensional printed objects
CN110705666A (zh) 人工智能云计算展示架货架货物和标签监控与存储货物方法
US20220051179A1 (en) System and method for identifying products in a shelf management system
US20220299995A1 (en) Autonomous Vehicle Warehouse Inventory Inspection and Management
CN110751090B (zh) 一种三维点云标注方法、装置及电子设备
Gothai et al. Design features of grocery product recognition using deep learning
Saqlain et al. Hybrid approach for shelf monitoring and planogram compliance (hyb-smpc) in retails using deep learning and computer vision
US20220051177A1 (en) System and method for identifying misplaced products in a shelf management system
KR102553304B1 (ko) 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법
EP3916656A1 (en) Method and apparatus for tracking, damage detection and classi-fication of a shipping object using 3d scanning
Pietrini et al. An IOT edge-fog-cloud architecture for vision based planogram integrity
US11875457B2 (en) 3D product reconstruction from multiple images collected at checkout lanes
CN116935198B (zh) 货架商品的缺货检测方法、装置及机器人
Saurabh et al. Computer Vision Enabled for Corrective Packaging
KR102392721B1 (ko) 실물 이미지 기반 육류 제품 정보 제공 및 육류 제품 판매 방법
Herrera-Toranzo et al. Detection and Verification of the Status of Products Using YOLOv5
Ji et al. A Computer Vision-Based System for Metal Sheet Pick Counting.
US20230222779A1 (en) Method of data collection for partially identified consumer packaged goods
Saqlain et al. Research Article Hybrid Approach for Shelf Monitoring and Planogram Compliance (Hyb-SMPC) in Retails Using Deep Learning and Computer Vision
Daios et al. Towards automating stocktaking in warehouses: Challenges, trends, and reliable approaches
Flores-Rodríguez et al. Road Signs Segmentation Through Mobile Laser Scanner and Imagery

Legal Events

Date Code Title Description
GRNT Written decision to grant