KR102634031B1

KR102634031B1 - 운송사 식별이 가능한 범용 송장 인식기와 이를 활용한 화물 정보 수집 방법 및 시스템

Info

Publication number: KR102634031B1
Application number: KR1020230051939A
Authority: KR
Inventors: 이상덕; 김영훈; 권용장
Original assignee: 한국철도기술연구원
Priority date: 2023-04-20
Filing date: 2023-04-20
Publication date: 2024-02-07

Abstract

본 발명의 일 실시예에 따르는, 물류 센터의 화물 정보 수집 시스템은, 기 수집된 물류처리 영상을 이용한 딥러닝 기반의 이미지 학습을 수행하여 송장 인식 모델을 구축하는 메인 서버; 및 상기 송장 인식 모델이 내장되어 상기 물류 센터에 유입되는 화물들의 화물 정보를 수집하도록 상기 물류 센터에 배치되는 송장 인식기를 포함하되, 상기 메인 서버 및 송장 인식기에는 고유한 형태의 송장을 취급하는 복수의 운송사가 등록되어 있으며, 상기 송장 인식기는, 실시간으로 유입되는 화물의 화물 이미지를 획득하여 상기 송장 인식 모델에 입력하고, 상기 송장 인식 모델에 의해, 상기 화물 이미지 내 송장 이미지가 분리 인식되며 상기 송장 이미지의 형태에 따라 상기 화물의 운송사가 식별되고, 상기 송장 이미지에서 바코드 번호를 추출하여 상기 운송사의 서버로 전송하고, 상기 운송사의 서버로부터 상기 바코드 번호에 매칭된 화물 정보를 수신한다.

Description

운송사 식별이 가능한 범용 송장 인식기와 이를 활용한 화물 정보 수집 방법 및 시스템{UNIVERSAL INVOICE READER FOR IDENTIFICATION OF THE COURIER COMPANY AND METHOD AND SYSTEM FOR COLLECTING CARGO INFORMATION USING THE READER}

본 발명은 송장의 이미지 학습 기반으로 물류 센터에 유입되는 화물의 운송사를 실시간으로 식별함에 따라 범용적으로 운용 가능한 송장 인식기를 개시하며, 이를 활용하여 화물 정보를 수집하고 물류 처리를 수행하는 방법 및 시스템에 관한 것이다.

최근 들어 인터넷 상거래가 급격히 일반화됨에 따라, 운송이나 택배사의 배송 서비스를 이용한 물동량이 급증하고 있다. 이에 따라, 수요자의 니즈를 충족시키기 위한 보다 효과적인 배송 서비스가 요구되고 있다.

그러나, 늘어나는 배송 서비스의 수요 대비, 물류 처리 시스템의 발전은 그에 미치지 못하고 있는 실정이다.

예를 들어, 종래의 물류 처리 시스템은 근본적으로 컨베이어 벨트로 화물들이 끊임없이 운반되며, 물류 센터의 작업자가 이들을 패킹, 분류, 적재 및 배송하는 등으로 주어진 업무 스케줄에 따라 처리한다. 이처럼, 물류 처리량이 작업자의 숙련도에 어느 정도 의존할 수 밖에 없는 것이 현실이다. 또한, 배송 서비스의 특성 상 종류가 다양하고 규격화되지 않은 물품들을 처리하게 되므로, 이러한 문제점에 더더욱 노출되기 쉬운 경향이 있다.

그러나, 현재 물류 산업에서 이용되는 바코드는 운송사 마다 독자적인 패턴을 가지고 있다. 즉, 종래의 바코드 인식 장치는 개별 운송사의 물류 센터에만 특화되어 있을 뿐, 실제 다양한 운송사의 화물을 동시에 취급하는 공동 물류센터에서는 실효성이 떨어진다는 평가이다.

구체적으로, 공동 물류센터의 경우, 화물의 정보를 습득하거나 각 화물을 담당하는 운송사의 시스템에 맞게 처리하기 위해서는, 운송사 별로 개별적인 바코드 프로토콜이 필수적으로 구축되어야 한다. 예를 들어, n개 운송사의 화물을 취급하는 물류 센터라면, n개의 바코드 인식기 및 그에 따른 처리 시스템이 구축되어야 한다.

이와 같이, 종래의 바코드 인식 기술은, 운송사 별로 제한적으로 운용되는 상황이다. 즉, 공동 물류 센터를 운용하기 위해서는 운송사 마다 인식기 및 처리 시스템이 별도로 요구되므로 구축 비용이 만만치 않으며, 이를 관리하고 사용하는 데 요구되는 시간 및 인력 리소스의 투입을 일정 부분 감수해야 하는 실정이다.

따라서, 위와 같은 한계를 극복하기 위해, 운송사의 다양성을 반영하여 범용적으로 운용될 수 있는 인식기 및 이를 활용한 물류 처리 시스템의 도입이 요구되고 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 송장 이미지를 인식하는 딥러닝 모델이 탑재됨에 따라 물류 센터에 유입되는 화물 별로 배송을 관리하는 유통사를 식별하고, 식별된 운송사 서버로 바코드 번호를 전달함으로써, 화물에 대한 정보를 요청하도록 설계된 송장 인식기 및 이를 활용한 화물 정보 수집 시스템을 제공하는 데에 그 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 일 실시예에 따르는, 화물 정보 수집 시스템은, 상기 메인 서버로부터 상기 물류처리 영상을 수신하여 상기 물류처리 영상에 포함된 화물 이미지 마다 라벨링을 수행하는 관리자 단말을 더 포함하되, 상기 관리자 단말은, 상기 물류처리 영상에 포함된 화물 이미지 마다 송장에 대응하는 영역을 박스 이미지로 표시하고 상기 복수의 운송사 중 하나를 입력한다.

본 발명의 일 실시예에 따르면, 상기 메인 서버는, 상기 물류처리 영상을 프레임 단위로 분할한 후 적어도 하나 이상의 화물 이미지가 포함된 프레임을 추출하고, 추출된 프레임을 상기 관리자 단말로 전송하여 라벨링을 요청한다.

본 발명의 일 실시예에 따르면, 상기 메인 서버는, 상기 관리자 단말로부터 라벨링이 완료된 화물 이미지를 수신하고, 수신된 화물 이미지 별로, 표시된 박스 이미지의 좌표값을 산출하여 송장의 위치로 설정하고, 입력된 운송사에 기 매칭된 운송사 식별정보를 확인하여, 하나의 화물 이미지, 상기 하나의 화물 이미지 내 송장의 위치 및 상기 하나의 화물 이미지에 대응하는 운송사 식별정보가 세트로 구성된 복수의 학습데이터를 구축한다.

본 발명의 일 실시예에 따르면, 상기 메인 서버는, 상기 복수의 학습데이터를 기 설정된 딥러닝 모델에 입력하여 상기 이미지 학습을 수행하되, 임의의 화물 이미지가 상기 딥러닝 모델에 입력되면 상기 임의의 화물 이미지 내 송장의 위치가 파악되어 송장 이미지로 분리 인식되고, 상기 임의의 화물 이미지와 동일한 학습데이터를 이루는 운송사 식별정보가 출력되도록, 상기 이미지 학습을 반복한다.

본 발명의 일 실시예에 따르면, 상기 송장 인식기는, 상기 물류 센터 내 화물을 분류하는 영역에 배치되어 상기 영역을 통과하는 화물 및 송장이 부착된 방향을 감지하고, 상기 방향으로 상기 영역을 통과하는 화물을 촬영하는 카메라를 포함한다.

본 발명의 일 실시예에 따르면, 상기 송장 인식기는, 상기 송장 이미지가 분리 인식되는 과정에서, 상기 화물 이미지 내 송장을 나타내는 영역을 바운딩 박스(bounding box)로 처리하고, 상기 박스의 좌표값을 산출하여 상기 송장 이미지의 위치를 파악한다.

본 발명의 일 실시예에 따르면, 상기 송장 인식기는, 상기 화물의 운송사를 식별하는 과정에서, 상기 송장 인식 모델에 의해 상기 송장 이미지는 기 등록된 복수의 운송사 중 하나로 분류되고 분류된 운송사에 기 매칭된 운송사 식별정보가 출력되며, 출력된 운송사 식별정보에 따라 상기 운송사의 서버를 확인한다.

본 발명의 일 실시예에 따르면, 상기 송장 인식기는, 기 설치된 디스플레이 모듈을 통해 상기 운송사의 서버로부터 수신한 화물 정보를 실시간으로 표시하여 관리자에게 노출시키거나, 상기 물류 센터 내 화물을 분류하는 영역에 배치되는 경우, 상기 영역의 주위에 배치된 화물 분류기로 상기 화물 정보에 따른 분류 명령을 전달한다.

본 발명의 일 실시예에 따르는, 물류 센터에 배치된 송장 인식기를 이용한 화물 정보 수집 방법은, a) 메인 서버가 기 수집된 물류처리 영상을 이용한 딥러닝 기반의 이미지 학습을 수행하여 송장 인식 모델을 구축하는 단계; b) 상기 송장 인식 모델이 내장된 송장 인식기가 상기 물류 센터에 실시간으로 유입되는 화물의 화물 이미지를 획득하여 상기 송장 인식 모델로 입력하는 단계; c) 상기 송장 인식 모델에 의해, 상기 화물 이미지 내 송장 이미지가 분리 인식되며 상기 송장 이미지의 형태에 따라 상기 화물의 운송사가 식별되는 단계; 및 d) 상기 송장 인식기가 상기 송장 이미지에서 바코드 번호를 추출하여 상기 운송사의 서버로 전송함으로써, 상기 운송사의 서버로부터 상기 바코드 번호에 매칭된 화물 정보를 수신하는 단계를 포함하되, 상기 메인 서버 및 송장 인식기에는 고유한 형태의 송장을 취급하는 복수의 운송사가 등록되어 있는 것이다.

본 발명의 일 실시예에 따르면, 상기 a)단계는, 상기 물류 센터의 관리자 단말이, 상기 메인 서버로부터 상기 물류처리 영상을 수신하고, 상기 물류처리 영상에 포함된 화물 이미지 마다, 송장에 대응하는 영역을 박스 이미지로 표시하고 상기 복수의 운송사 중 하나를 입력하는 과정으로 라벨링을 수행하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 a)단계는, 상기 메인 서버가 상기 물류처리 영상을 프레임 단위로 분할한 후 적어도 하나 이상의 화물 이미지가 포함된 프레임을 추출하고, 추출된 프레임을 상기 관리자 단말로 전송하여 라벨링을 요청하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 a)단계는, 상기 메인 서버가, 상기 관리자 단말로부터 라벨링이 완료된 화물 이미지를 수신하고, 수신된 화물 이미지 별로, 표시된 박스 이미지의 좌표값을 산출하여 송장의 위치로 설정하고, 입력된 운송사에 기 매칭된 운송사 식별정보를 확인하여, 하나의 화물 이미지, 상기 하나의 화물 이미지 내 송장의 위치 및 상기 하나의 화물 이미지에 대응하는 운송사 식별정보가 세트로 구성된 복수의 학습데이터를 구축하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 a)단계는, 상기 메인 서버가, 상기 복수의 학습데이터를 기 설정된 딥러닝 모델에 입력하여 상기 이미지 학습을 수행하되, 임의의 화물 이미지가 상기 딥러닝 모델에 입력되면 상기 임의의 화물 이미지 내 송장의 위치가 파악되어 송장 이미지로 분리 인식되고, 상기 임의의 화물 이미지와 동일한 학습데이터를 이루는 운송사 식별정보가 출력되도록, 상기 이미지 학습을 반복하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 b)단계는, 상기 송장 인식기는 카메라를 포함하고 상기 물류 센터 내 화물을 분류하는 영역에 배치되며, 상기 송장 인식기가 상기 카메라를 통해 상기 영역을 통과하는 화물 및 송장이 부착된 방향을 감지하고, 상기 방향으로 상기 영역을 통과하는 화물을 촬영하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 상기 송장 인식기가 상기 송장 인식 모델을 통해, 상기 화물 이미지 내 송장을 나타내는 영역을 바운딩 박스로 처리하고, 상기 박스의 좌표값을 산출하여 상기 송장 이미지의 위치를 파악하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 상기 송장 인식기가, 상기 송장 인식 모델을 통해 상기 송장 이미지를 기 등록된 복수의 운송사 중 하나로 분류하고 분류된 운송사에 기 매칭된 운송사 식별정보를 출력하며, 출력된 운송사 식별정보에 따라 상기 운송사의 서버를 확인하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 d)단계는, 상기 송장 인식기가, 기 설치된 디스플레이 모듈을 통해 상기 운송사의 서버로부터 수신한 화물 정보를 실시간으로 표시하여 관리자에게 노출시키거나, 상기 물류 센터 내 화물을 분류하는 영역에 배치되는 경우, 상기 영역의 주위에 배치된 화물 분류기로 상기 화물 정보에 따른 분류 명령을 전달하는 단계를 포함한다.

본 발명의 일 실시예에 따르는, 물류 센터에 배치되어 화물 정보를 수집하는, 운송사 식별이 가능한 송장 인식기는, 상기 물류 센터에 유입되는 화물들을 촬영하는 카메라; 기 수집된 물류처리 영상을 이용한 딥러닝 기반의 이미지 학습을 통해 구축된 송장 인식 모델이 저장된 메모리; 상기 송장 인식 모델을 이용하여 상기 물류 센터에 유입되는 화물들의 화물 정보를 수집하는 프로세서를 포함하며, 상기 프로세서는, 상기 카메라로부터 실시간으로 유입되는 화물의 화물 이미지를 획득하여 상기 송장 인식 모델에 입력하고, 상기 송장 인식 모델을 통해 상기 화물 이미지 내 송장 이미지를 분리 인식하며 상기 송장 이미지의 형태에 따라 상기 화물의 운송사를 식별하고, 상기 송장 이미지에서 바코드 번호를 추출하여 상기 운송사의 서버로 전송하고, 상기 운송사의 서버로부터 상기 바코드 번호에 매칭된 화물 정보를 수신하되, 고유한 형태의 송장을 취급하는 복수의 운송사가 등록되어 저장되어 있는 것이다.

본 발명에 따르는 범용 송장 인식기는, 기존의 바코드 스캐너나 화물 정보 수집기와 달리 특정 운송사의 화물만 처리할 수 있는 것이 아니라, 다양한 운송사의 화물들을 인식하고 그에 대한 정보들을 수집할 수 있다.

따라서, 본 발명에 따르는 범용 송장 인식기는, 단일 운송사에서만 운용할 수 있는 것이 아닌 여러 공공 물류 센터에서 범용적으로 이용될 수 있다.

본 발명에 따르는 범용 송장 인식기는, 화물의 전체 이미지가 아닌 송장 영역만 활용하여 운송사를 파악하거나 바코드 번호를 추출하므로, 처리 시간 및 메모리의 부하가 최소화될 수 있다.

본 발명에 따르는 범용 송장 인식기는, 기존의 바코드 스캐너와 다르게 바코드 해독 과정이 수행되지 않아 설계 난이도 및 비용이 절감되고 처리량과 시간이 단축될 수 있으며, 바코드 해독의 오류 없이 보다 정확하게 화물 정보가 수집될 수 있다.

이와 같이, 본 발명은 범용 송장 인식기의 도입을 통해 효율적으로 개선된 물류 처리 방법 및 그에 따른 물류 처리 시스템 구축의 방향을 제시한다.

도 1은 본 발명의 배경이 되는 송장의 실시 형태를 보여주는 예시도이다.
도 2는 본 발명의 일 실시예에 따르는 화물 정보 수집 시스템의 구조도이다.
도 3은 본 발명의 일 실시예에 따르는 메인 서버의 구조에 대한 블록도이다.
도 4는 본 발명의 일 실시예에 따르는 송장 인식기의 구조에 대한 블록도이다.
도 5는 본 발명의 일 실시예에 따르는 송장 인식기의 프로세서의 세부 구조에 대한 블록도이다.
도 6은 본 발명의 일 실시예에 따르는 화물 정보 수집 방법에 대한 동작 흐름도이다.
도 7은 본 발명의 일 실시예에 따르는 송장 인식 모델을 구축하는 방법에 대한 순서도이다.
도 8은 본 발명의 일 실시예에 따르는 학습데이터를 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따르는 송장 인식 모델의 학습 및 동작 과정을 설명하기 위한 개념도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하 첨부된 도면을 활용하여 본 발명의 일 실시예를 상세히 설명하도록 한다.

현재 물류 산업에서 유통되는 화물들은 운송 내용이 기록된 송장이 부착되어 이를 토대로 정해진 목적지까지 배송이 이루어진다. 또한, 각 송장에는 취급하는 화물의 정보들을 표상하는 고유한 패턴의 바코드가 삽입되어 있다. 종래 물류 센터에서는 이러한 바코드를 스캔하여 안에 있는 정보를 해독하는 방식으로 물류 처리가 진행되었다. 전술한대로, 바코드가 나타내는 정보의 패턴은 운송사 마다 다르므로, 다수 운송사의 화물을 처리하는 공공 물류센터의 경우 바코드를 스캔 및 해독하는 장치는 운송사 별로 따로 구비되어야 했다. 또한, 공공 물류 센터의 경우 들어오는 화물마다 운송사를 확인하고 해당 운송사의 바코드 인식 장치를 사용해야 하므로, 이를 수행하기 위한 인력 및 노력이 필수로 요구되는 한계가 있었다. 나아가, 물류 센터에 도달하는 화물들은 천차만별이므로 이들의 정보를 나타내는 바코드 패턴을 학습하여 딥러닝 모델을 구축하는 기술은 사실상 불가능하였다.

한편, 도 1을 참조하면, 각 운송사들은 모양, 크기, 바코드를 포함함 구성요소의 배치 등을 달리하여 독자적인 고유한 형태의 송장을 발행하고 있다. 따라서, 송장 이미지와 운송사와의 관계를 학습하는 딥러닝 기술을 이용한다면, 운송사의 종류와 관계 없이 범용적으로 활용 가능한 화물 정보 수집 방법이 도출될 수 있다. 이와 관련하여, 전술한 종래의 상황을 개선하고자, 본 발명은 각 운송사가 발행하는 송장의 이미지를 딥러닝하여, 이를 토대로 화물 내 송장이 부착된 영역을 인식하고, 인식된 송장의 형태에 따라 해당 화물을 취급하는 운송사가 출력되는 분류 계열의 송장 인식 모델을 제시한다. 또한, 송장 인식 모델이 내장되어 실시간으로 유입되는 화물의 운송사를 식별하고 식별된 운송사로부터 화물 정보를 수신하는 송장 인식기를 제시한다. 또한, 송장 인식기가 정해진 구획마다 배치되어 운송사의 종류와 관계없이 화물 정보를 빠르게 수집할 수 있는 물류 센터의 화물 정보 수집 시스템과 그 동작 방법을 제시한다.

도 2는 본 발명의 일 실시예에 따르는 화물 정보 수집 시스템의 구조도이다. 도 2를 참조하면, 시스템은 메인 서버(100), 송장 인식기(200), 운송사 별로 운용되는 복수의 운송사 서버(300) 및 관리자 단말(400)을 포함할 수 있다.

먼저, 관리자 단말(400)은 물류 센터를 운영하는 관리자가 주체인 단말로서, 이들은 단말(400)을 통해 물류 센터의 각 종 움직임을 모니터링하고, 모니터링 결과에 따라 물류 처리 스케줄을 설정하여 메인 서버(100)에 입력할 수 있다. 특히, 관리자 단말(400)은 메인 서버(100)로부터 물류 센터에서 처리하거나 처리할 예정인 화물들의 화물 정보를 전체적으로 제공받거나, 특정 섹터에 배치된 송장 인식기(200)로 해당 섹터에 유입되는 화물들의 화물 정보를 곧바로 요청할 수도 있다.

일 실시예에 따르면, 관리자 단말(400)은 메인 서버(100)가 송장 인식 모델의 구축을 위한 이미지 학습을 수행할 때, 학습에 이용되는 물류처리 영상이나 화물 이미지에 대한 라벨링을 수행하는 역할을 수행할 수 있다. 즉, 관리자 단말(400)은 이미지 학습을 위해 미리 수집된 화물 이미지를 메인 서버(100)로부터 수신한 후, 관리자에 의해 라벨링된 화물 이미지를 메인 서버(100)로 전송할 수 있으며, 이와 관련된 구체적인 실시예는 후술하도록 한다. 또한, 관리자 단말(400)은 이미지 학습을 위한 기초 자료인 물류처리 영상이나 화물이 표시된 이미지들을 수집하여 메인 서버(100)에 입력하는 역할을 수행할 수도 있으며, 수집 방식은 특별히 한정되는 것은 아니다.

한편, 본 명세서에서 개시하는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

일 실시예에 따르는 운송사 서버(300)는, 운송(배송, 택배) 서비스를 업으로 영위하는 업체의 운용 서버로서, 각 업체는 취급하는 화물마다 송장을 부착하여 운송을 위한 관리를 수행한다. 이 때, 각 업체는 타 업체와 구분되는 독자적인 형태의 송장을 발행하며, 송장 내부에 화물 정보를 내포하는 바코드를 삽입하고, 바코드 또한 업체마다 서로 다른 패턴의 번호로 구성된다.

일 실시예에 따르면, 운송사 서버(300)는 메인 서버(100)로 해당 물류 센터의 이용을 위한 등록을 요청할 수 있으며, 메인 서버(100)는 이러한 요청에 응답하여 해당 운송사 및 운송사 정보에 고유의 운송사 식별정보를 설정 및 매칭하여 저장함으로써 등록을 완료한다. 여기서, 운송사 식별정보는 추후 송장 인식 모델의 출력값으로 도출되는 것으로서, 실시간 유입되는 화물의 운송사를 식별하는 정보로 활용된다.

일 실시예에 따르면, 운송사 서버(300)에는 운송사가 취급하는 화물 및 화물 정보가 화물 리스트 형식으로 저장되어 있다. 송장 및 바코드가 화물마다 생성된 이후, 운송사 서버(300)는 화물 별로 화물 정보와 바코드 번호를 매칭하여 저장하며, 이를 통해 운송 과정에서 각 화물들을 모니터링 및 관리할 수 있다. 특히, 운송사 서버(300)는 송장 인식기(200)나 메인 서버(100)로부터 특정 화물의 바코드 번호와 함께 화물 정보가 요청되면, 화물 리스트를 검색하여 해당 바코드 번호와 매칭되어 있는 화물 정보를 추출하고 이를 송장 인식기(200) 또는 메인 서버(100)로 전송한다.

한편 화물 정보는, 화물 별 종류, 성질, 무게, 크기 및 배송지 정보 등을 포함할 수 있으나, 이는 설명을 위해 대표적으로 선정된 것으로서, 화물 정보는 각 화물을 식별하고 특정하기 위한 정보를 모두 포함할 수 있으며, 특별히 한정되는 것은 아니다.

일 실시예에 따르는 메인 서버(100)는, 물류 센터에 의해 운영되는 것으로서, 물류 센터에서 발생하는 각 종 데이터들을 수집하고, 이들을 토대로 물류 센터에 배치된 각 종 장비와 연동하여 이들을 제어하는 역할을 수행할 수 있다. 다만, 본 발명에서는 물류 센터에 유입되는 화물들에 대한 정보를 수집 및 이용하는 과정 내 메인 서버(100)의 역할을 중점적으로 개시하며, 이러한 개시와 관계성이 떨어지는 내용은 생략하도록 한다. 한편, 메인 서버(100)는 물류 센터 내 로컬 서버 또는 클라우드 서버일 수 있으나, 서버의 유형이 특별히 한정되는 것은 아니다.

도 3은 본 발명의 일 실시예에 따르는 메인 서버의 구조에 대한 블록도이다. 도 3을 참조하면, 메인 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함할 수 있다.

통신 모듈(110)은, 송장 인식기(200)를 포함한 물류 센터 내 통신 기능을 구비한 각 종 내부 장비와의 데이터 통신을 수행하는 역할을 수행한다. 또한, 통신 모듈(110)은 관리자 단말(400)을 비롯한 각 종 외부 장비와의 통신을 수행할 수 있으며, 본 발명에서는 구체적으로 언급되지는 않으나 복수의 운송사 서버(300)와 각각 데이터 통신을 수행할 수 있다.

메모리(120)에는, 물류 처리 방법을 수행하기 위한 프로그램이 저장되어 있다. 특히 프로그램은 이미지 학습의 알고리즘이 설계된 기 설정된 딥러닝 모델을 포함한다. 여기서 딥러닝 모델은 특별히 한정되는 것은 아니나, 이미지 학습에 최적화된, CNN(Convolutional Neural Network) 계열의 신경망 모델이 적용될 수 있으며, 특히 YOLO(You only Look Once) 기반의 신경망 모델이 바람직하다.

프로세서(130)는, 메모리(120)에 저장된 프로그램을 실행하여 물류 처리 방법에 대한 각 종 프로세스를 처리한다. 특히, 프로세서(130)는 프로그램을 실행하여 딥러닝 모델을 통한 이미지 학습을 수행할 수 있다.

프로세서(130)가 처리하는 프로세스의 전반적인 예는 다음과 같다. 프로세서(130)는 물류 센터에서 기 수행된 물류처리 과정을 담은 영상을 수집할 수 있다. 프로세서(130)는 수집된 물류처리 영상을 이용하여 딥러닝 기반의 이미지 학습을 수행하여, 임의의 화물 이미지가 입력되면 그 안의 송장을 인식하고 송장 이미지의 형태에 따라 해당 화물의 운송사를 식별하기 위한 송장 인식 모델을 구축한다. 프로세서(130)는 통신모듈(110)을 통해, 구축된 송장 인식 모델을 송장 인식기(200)에 전송할 수 있다. 물류 센터 내 섹터 별로 배치된 송장 인식기(200)에 의해 화물 정보가 획득되면, 프로세서(130)는 이들을 취합하여 저장할 수 있으며, 이를 관리자 단말(400)로 제공할 수 있다. 프로세서(130)는 취합된 화물 정보를 토대로, 물류 센터 내 각 종 물류 처리 과정을 제어하거나 각 종 과정에 대한 스케줄을 생성할 수 있다.

데이터베이스(140)에는, 물류 센터의 물류 처리 과정에서 발생하는 각 종 데이터들이 저장될 수 있다. 예를 들어, 데이터베이스(140)에는 메인 서버(100)에 등록된 운송사 및 운송사 정보가 운송사 식별정보와 매칭되어 저장된다. 또한, 물류 센터 내 각 종 장비들이 식별정보와 매칭되어 저장되며, 특히 송장 인식기(200)는 물류 센터 내 구획된 섹터마다 기 설정된 영역에 배치될 수 있는데, 이들은 섹터와 배치 위치를 나타내는 식별정보가 설정되어 데이터베이스(140)에 저장될 수 있다. 또한, 데이터베이스(140)에는 각 송장 인식기(200)에서 수신한 화물 정보가 각 송장 인식기(200)의 식별정보와 매칭되어 저장될 수 있다. 이외에도, 물류 센터 내 적재 및 배송 등과 관련된 각 종 데이터들이 저장될 수 있다.

일 실시예에 따르는 송장 인식기(200)는, 송장 인식 모델이 내장되어 상기 물류 센터에 유입되는 화물들의 화물 정보를 수집하도록 물류 센터에 배치될 수 있다. 예를 들어, 물류 센터는 화물의 종류나 배송지에 따라 소정의 섹터로 구획될 수 있는데, 송장 인식기(200)는 섹터 별로 기 설정된 영역에 배치되어, 실시간으로 해당 영역을 통과하는 화물들에 대한 화물 정보를 수집하는 역할을 수행한다.

도 4는 본 발명의 일 실시예에 따르는 송장 인식기의 구조에 대한 블록도이다. 도 4를 참조하면, 송장 인식기(200)는 통신 모듈(210), 메모리(220), 프로세서(230), 카메라(240) 및 디스플레이 모듈(250)을 포함할 수 있다.

통신 모듈(210)은 메인 서버(100) 및 운송사 서버(300)와 데이터 통신을 수행하는 역할을 수행한다. 또한, 통신 모듈(110)은 관리자 단말(400)을 비롯한 각 종 외부 장비와 통신을 수행할 수 있다. 또한, 통신 모듈(110)은 송장 인식기(200)와 연동하여 동작을 수행하도록 메인 서버(100)에 설정된 물류 센터 내 각 종 내부 장비와 데이터 통신을 수행할 수 있다.

카메라(240)는 송장 인식기(200)에 설치되어, 물류 센터에 실시간으로 유입되는 화물을 촬영하여 화물 이미지를 획득하는 역할을 수행한다. 일 실시예에 따르면, 카메라(240)는 객체 감지 센서를 포함할 수 있다. 즉, 화물이 송장 인식기(200)가 배치된 영역을 통과할 때, 이를 감지하여 촬영을 수행할 수 있다. 일 실시예에 따르면, 카메라(240)는 이동이 가능한 프레임에 수납되거나 이동이 가능하도록 설계될 수 있다. 이와 관련하여 카메라(240)가 화물을 감지한 경우, 해당 화물에서 송장이 부착된 방향을 추가적으로 감지할 수 있으며, 감지 결과에 따라 이동하여 해당 방향으로 화물을 촬영할 수 있다.

메모리(220)에는 화물 정보를 수집하기 위한 프로그램(또는 어플리케이션)이 저장되어 있다. 프로그램에는 메인 서버(100)에 의해 구축된 송장 인식 모델이 포함되어 있다.

프로세서(230)는 메모리(220)에 저장된 프로그램을 실행하여 화물 정보를 수집하기 위한 각 종 프로세스를 수행한다. 프로세서(230)는 그 기능에 따라 여러 세부 구성요소들로 구분될 수 있는데, 관련된 실시예를 도 5를 활용하여 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따르는 송장 인식기의 프로세서의 세부 구조에 대한 블록도이다. 도 5를 참조하면, 프로세서(230)는 이미지획득부(231), 송장인식부(232), 운송사식별부(233), 바코드추출부(234), 화물정보수집부(235) 및 화물정보처리부(236)를 포함할 수 있다.

이미지획득부(231)는 카메라(240)로부터 획득된 화물 이미지를 수신하고 이를 송장 인식 모델에 입력하는 역할을 수행한다. 일 실시예로, 카메라(240)가 이동 가능하도록 설계된 경우, 카메라(240)로부터 송장이 부착된 방향의 감지값을 수신하고 이를 기초로 카메라(240)가 해당 방향으로 화물을 촬영하기 위해 이동해야 할 이동 명령을 생성하여 카메라(240)로 전송할 수 있다.

송장인식부(232)는 송장 인식 모델을 통해 화물 이미지 내 송장의 위치를 파악하고, 파악된 위치에 따라 송장 이미지를 인식하는 역할을 수행한다.

운송사식별부(233)는 송장 인식 모듈을 통해 송장 이미지의 형태에 따른 운송사를 식별하는 역할을 수행한다. 즉, 입력된 화물 이미지를 기 등록된 운송사 중 하나로 분류하고, 이를 기초로 해당 운송사에 매칭된 운송사 식별정보를 출력하는 역할을 수행한다. 또한, 운송사식별부(233)는 출력된 운송사 식별정보에 따라 해당 운송사의 통신 프로토콜을 확인하여 운송사 서버(300)를 확인하는 역할을 수행한다.

바코드추출부(234)는, 송장인식부(232)에 의해 인식된 송장 이미지 내 바코드가 표시된 영역을 식별하고, 이를 스캔하도록 바코드 인식기(미도시)를 제어하여 바코드 번호를 추출하는 역할을 수행한다. 한편, 바코드 인식기는 송장 인식기(200)에 포함되는 것으로, 카메라(240)의 세부 구성요소 중 하나로 구성될 수 있다. 다만, 종래의 바코드 인식 기술과는 다르게, 바코드추출부(234)는 바코드가 나타내는 정보를 해독하는 과정은 수행하지 않으며, 바코드 번호만 확인한다. 이에 따라 바코드 해독에 들어가는 메모리 및 처리량의 과부하가 방지되며, 보다 신속한 정보의 수집이 진행되는 효과가 도모될 수 있다.

화물정보수집부(235)는 바코드추출부(234)로부터 바코드 번호를 전달 받아 이를 운송사식별부(233)에 의해 식별된 운송사 서버(300)로 전송함으로써, 화물 정보를 요청한다. 이후, 화물정보수집부(235)는 운송사 서버(300)로부터 해당 바코드 번호에 매칭된 화물 정보를 수신하고 저장한다.

화물정보처리부(236)는 수신한 화물 정보를 메인 서버(100) 또는 관리자 단말(400)로 전송하거나 디스플레이 모듈(250)에 표시할 수 있다.

디스플레이 모듈(250)은 송장 인식기(200)의 외부에 설치된 것으로서, 프로세서(230)의 제어에 의해 송장 인식기 사용을 위한 사용자 인터페이스를 표시한다. 대표적인 예로, 디스플레이 모듈(250)은 운송사 서버(300)로부터 수신한 화물 정보를 표시하여 관리자에게 노출시키는 역할을 수행한다. 또한, 관리자는 디스플레이 모듈(250)에 표시된 사용자 인터페이스를 통해 현재까지 해당 섹터(영역)을 통과한 화물 정보를 전체적으로 모니터링할 수 있다. 또한, 디스플레이 모듈(250)은 터치 등의 입력 기능을 제공하는 패널을 포함할 수 있다. 이와 관련된 예로, 관리자는 사용자 인터페이스를 통해 실시간으로 표시된 화물 정보를 전송해야 할 장비나 단말을 설정할 수 있다. 또한, 관리자는 사용자 인터페이스를 통해 송장 인식 모델의 활성화 여부를 설정할 수 있다. 예를 들어, 예정된 화물들이 특정 운송사에 의해 취급되는 화물로만 구성된 경우, 관리자는 사용자 인터페이스를 통해 해당 운송사의 식별정보를 입력할 수 있으며, 이러한 경우, 프로세서(230)는 송장 인식 모델의 과정을 건너 뛰고 바코드 번호를 추출하여 해당 운송사 서버(300)로 전송하는 과정만을 수행하게 된다.

한편, 물류 센터에서는 화물의 종류, 성질, 배송지 등에 따라 물류 센터에 적재되거나 경유하는 화물들을 분류하는 과정이 진행된다. 관련된 실시예로서, 송장 인식기(200)는 물류 센터 내 화물을 분류하는 영역에 배치될 수 있다. 예를 들어, 화물이 운반되는 컨베이어 벨트가 화물 정보에 따라 경로가 나누어지는 영역이나, 적재 또는 배송을 위해 화물들을 분류하는 영역에 배치될 수 있다. 이러한 영역에는 화물을 분류하기 위한 장비인 분류기가 구성될 수 있으며, 화물정보처리부(236)는 실시간으로 통과하는 화물의 화물 정보에 따라 분류 명령을 생성하여 분류기로 전달할 수 있다. 이와 같이, 송장 인식기(200)가 주위 장비와 연동하는 경우, 특별한 분류 알고리즘이 요구되지 않아 비용이나 설계가 용이하며, 운송사의 종류와 관계 없이 물류 처리를 위한 자동화 시스템이 쉽게 구현될 수 있다.

한편, 일 실시예에 따르면, 메모리(220)에 저장된 프로그램은 이미지 학습을 위한 딥러닝 모델을 더 포함할 수 있다. 즉, 메인 서버(100)뿐만 아니라 송장 인식기(200) 자체에서 기 수집된 물류처리 영상이나 화물 이미지를 이용한 이미지 학습을 수행하여 송장 인식 모델을 구축할 수 있다. 다만, 송장 인식기(200)의 처리량을 고려하여 송장 인식 모델은 메인 서버(100)에 의해 구축되는 것이 바람직하며, 이 경우 송장 인식기(200)는 실시간으로 유입되는 화물 이미지를 통해 송장 인식 모델을 업데이트하는 과정을 수행할 수 있다.

이하, 도 6 내지 도 9를 활용하여 본 발명의 화물 정보 수집 방법에 대한 일 실시예를 설명하도록 한다. 도 6은 본 발명의 일 실시예에 따르는 화물 정보 수집 방법에 대한 동작 흐름도이다.

단계 S610전에, 메인 서버(100)는 딥러닝 기반 이미지 학습을 진행하기 위한 학습 자료를 수집한다. 예를 들어, 메인 서버(100)는 물류 센터에 기 배치된 카메라를 통해 과거 물류 처리 과정을 촬영한 물류처리 영상을 수집할 수 있다. 또한, 메인 서버(100)는 인터넷 크롤링이나 스크래핑 등의 방법으로 다른 물류 센터나 그 이외에 장소에서 행해진 물류 처리 과정을 촬영한 물류처리 영상을 수집할 수 있다. 또한, 메인 서버(100)는 관리자 단말(400)로부터 물류처리 영상을 수신할 수도 있다. 여기서 물류처리 영상은, 적어도 하나 이상의 화물에 대한 유통 및 배송 과정이 기록된 영상으로서, 송장이 부착된 상태의 화물의 이미지가 적어도 하나 이상 포함되며, 수집하는 방식이 위에서 열거한 예시로 한정되는 것은 아니다.

단계 S610에서, 메인 서버(100)는 딥러닝 기반의 이미지 학습을 통해 송장 인식 모델을 구축하며, 구축된 송장 인식 모델은 물류 센터에 배치되거나 배치될 예정인 송장 인식기(200)에 내장된다. 예를 들어, 송장 인식 모델은 송장 인식기(200)가 물류 센터에 배치되기 전에 미리 내부 프로그램으로서 설계될 수도 있고, 배치된 후 메인 서버(100)와의 무선 통신을 통해 송장 인식기(200)에 전송되어 내부 프로그램으로 설정될 수 있다.

도 7을 활용하여 송장 인식 모델을 구축하는 방법에 대한 실시예를 구체적으로 설명하도록 한다. 도 7은 본 발명의 일 실시예에 따르는 송장 인식 모델을 구축하는 방법에 대한 순서도이다.

단계 S611에서, 메인 서버(100)는 수집된 각 물류처리 영상을 프레임 단위로 분할하고 이를 관리자 단말(400)로 전송하면서 라벨링을 요청할 수 있다. 일 실시예로서, 메인 서버(100)는 프레임 분할 이후 적어도 하나 이상의 화물 이미지가 포함된 프레임만을 선별 및 추출할 수 있으며, 추출된 화물 이미지만 관리자 단말(400)로 전송하여 관리자의 라벨링 시간을 경감시킬 수 있다.

단계 S612에서, 관리자 단말(400)은 수신한 물류처리 영상에 포함된 화물 이미지마다 해당 화물의 송장 및 운송사를 특정하는 라벨링을 수행할 수 있다. 구체적으로, 먼저 도 8(a)를 참조하면, 관리자 단말(400)은 화물 이미지 내 송장에 대응하는 영역을 박스로 체크하여 박스 이미지(B)로 표시할 수 있으며, 표시 방식은 도면에서 예시한 바에 한정되는 것은 아니다. 또한, 관리자 단말(400)은 화물 이미지 별로 해당하는 화물의 운송을 관리하는 운송사를 입력할 수 있다. 예를 들어, 관리자 단말(400)은 메인 서버(100)에 기 저장된 화물 정보를 확인하여 각 화물의 운송사 및 운송사 정보를 메인 서버(100)로 요청할 수 있으며, 이를 통해 수신한 운송사 정보 중 적어도 하나(예로, 운송사 명칭)를 화물 이미지에 라벨링할 수 있다. 이후, 메인 서버(100)는 관리자 단말(400)로부터 라벨링이 완료된 화물 이미지를 수신한다.

단계 S613에서, 메인 서버(100)는 라벨링된 화물 이미지에 기초하여 이미지 학습에 적용될 학습데이터를 구축한다. 구체적으로, 먼저 도 8(a)를 참조하면, 메인 서버(100)는 화물 이미지에 표시된 박스 이미지(B)를 확인하고, 박스의 꼭지점이나 중심에 대한 x, y성분으로 이루어진 좌표값을 산출하여 이를 송장의 위치로 설정할 수 있다. 또한, 도 8(b)를 참조하면, 메인 서버(100)는 화물 이미지에 입력된 운송사 또는 운송사 정보에 매칭된 운송사 식별정보를 파악할 수 있다. 이와 같은 과정으로, 메인 서버(100)는 라벨링된 화물 이미지마다 송장의 위치 및 운송사 식별정보를 설정하고 이들을 세트로 구성하여 복수의 학습데이터를 생성할 수 있다. 즉, 메인 서버(100)는 하나의 화물 이미지, 해당 화물 이미지 내 송장의 위치 및 해당 화물 이미지의 화물에 대한 운송사 식별정보가 세트로 구성된 복수의 학습데이터를 구축할 수 있다.

추가 실시예로서, 메인 서버(100)는 박스 이미지(B)를 통해 산출한 좌표값을 이용하여 박스의 수평 길이값(너비값) 및 수직 길이값(높이값)을 산출하고 이를 송장의 크기로 설정할 수 있다. 또한, 메인 서버(100)는 박스 이미지(B) 내부의 픽셀값을 획득할 수 있으며, 픽셀값의 패턴을 기초로 박스 이미지(B)에 포함된 객체의 배치 상태를 판단할 수 있다. 이후, 메인 서버(100)는 송장의 크기, 픽셀값, 객체의 배치 상태 및 운송사 식별정보를 세트로 하여 송장 이미지의 형태에 따른 운송사와의 관계를 학습하기 위한 서브 학습데이터로 설정할 수 있다.

단계 S614에서, 메인 서버(100)는 단계 S613에서 구축한 복수의 학습데이터를 기 설정된 딥러닝 모델(예로, YOLO모델)에 입력하여 이미지 학습을 수행한다. 즉, 메인 서버(100)는 임의의 화물 이미지가 딥러닝 모델에 입력되면 해당 화물 이미지 내 송장의 위치가 파악되어 송장 이미지로 분리 인식되고, 해당 화물 이미지와 동일한 학습데이터를 이루는 운송사 식별정보가 출력되도록, 딥러닝 모델을 통한 이미지 학습을 반복한다.

도 9를 참조하면, 메인 서버(100)는 학습 데이터의 학습을 반복하여, 화물 이미지에서 송장 이미지를 인식하는 과정과 운송사 식별정보를 출력하는 과정을 최적화한다. 예를 들어, CNN이나 YOLO 기반의 신경망 모델인 경우, 학습데이터의 화물 이미지가 Convolutional Layer, Pooling layer, Activation layer 및 Fully connected-layer의 순서로 이루어진 필터를 통과하여, 텐서 단위의 특징값이 추출되며, 추출된 특징값들에 대한 확률 연산을 통해 화물 이미지에 표시된 송장 이미지가 바운딩 박스(bounding box)로 인식되게 된다. 또한, 특징값들에 대한 확률 연산을 통해 바운딩 박스로 인식된 송장 이미지가 기 등록된 운송사 중 하나로 분류된다. 여기서, 특징값은 학습데이터의 화물 이미지가 가공된 것으로서, 화물 이미지 내 송장이 표시된 위치 및 송장의 형태를 표상하는 정보이다.

일 실시예에 따르면, 메인 서버(100)는 학습을 반복하는 과정에서, 딥러닝 모델에 의해 인식된 송장 이미지의 위치(학습 결과)와 학습 데이터를 이루는 송장의 위치(정답) 간 좌표값의 차이를 산출하고, 이러한 차이에 대응하는 손실함수가 최소화되는 방향으로 딥러닝 모델의 가중치 및 바이어스를 포함하는 파라미터를 최적화할 수 있다.

일 실시예에 따르면, 메인 서버(100)는 학습을 반복하는 과정에서, 딥러닝 모델에 의해 출력된 운송사 식별정보(학습 결과)와 학습데이터를 이루는 운송사 식별정보(정답) 간 오차를 파악하고, 이러한 오차에 대응하는 손실함수가 최소화되는 방향으로 딥러닝 모델의 파라미터를 최적화할 수 있다. 이 때, 전술한 서브 학습데이터가 학습에 적용될 수 있으며, 이러한 경우 운송사를 식별하기 위한 파라미터의 최적화 과정이 단축될 수 있다.

이와 같이 학습에 의해 딥러닝 모델의 알고리즘이 최적화되면, 해당 딥러닝 모델은 송장 인식 모델로 활용할 수 있으며, 송장 인식기(200)에 내장된다.

다시 도 6을 참조하면, 단계 S620에서, 물류 센터에 배치된 송장 인식기(200)는 카메라(240)를 통해 실시간으로 유입되는 화물을 촬영하여 화물 이미지를 획득하고, 이를 송장 인식 모델에 입력한다.

단계 S630에서, 송장 인식기(200)는 송장 인식 모델을 통해 해당 화물의 송장을 인식하고 운송사를 식별한다. 도 9를 참조하면, 먼저 단계 S631에서 송장 인식 모델에 의해 입력된 화물 이미지 내 송장의 위치가 파악되고, 이를 토대로 송장 이미지가 분리 인식된다. 구체적으로, 송장 인식기(200)는 송장 인식 모델을 통해 화물 이미지 내 송장을 나타내는 영역을 바운딩 박스로 처리하고, 해당 박스의 좌표값을 산출하여 송장 이미지의 위치를 파악한다.

다음으로 단계 S632에서, 송장 인식 모델에 의해, 분리 인식된 송장 이미지는 기 등록된 복수의 운송사 중 하나(B사)로 분류되고, 분류된 운송사에 기 매칭된 운송사 식별정보(식별코드: 1)가 출력된다.

단계 S640에서, 송장 인식기(200)는 분리 인식된 송장 이미지 내에서 바코드의 위치를 확인하고, 바코드 번호를 추출한다.

단계 S650에서, 송장 인식기(200)는 출력된 운송사 식별정보를 기초로 운송사 서버(300)를 확인하고, 확인된 운송사 서버(300)로 바코드 번호를 전송하면서 화물 정보를 요청한다. 운송사 서버(300)는 화물 정보가 저장된 리스트를 검색하여 해당 바코드 번호에 매칭된 화물 정보를 추출하고 이를 송장 인식기(200)에 전송한다.

이와 같이, 일 실시예에 따르는 화물 정보 수집 방법은, 운송사 별로 고유한 형태의 송장을 사용하는 산업 특성에 착안하여, 딥러닝 기반 송장의 형태에 따른 운송사 식별을 통해 범용적으로 사용 가능한 송장 인식기를 이용한다. 특히, 화물의 전체 이미지가 아닌 송장 이미지만을 분리하여 딥러닝 및 운송사 식별에 활용함으로써, 화물 정보를 수집하는 과정의 연산 시간과 부하를 현저히 저감하는 효과가 있다. 또한, 기존의 바코드 스캐너와 다르게 운송사의 종류에 영향을 받지 않으며 바코드의 해독 과정을 배제함으로써, 해독 오류의 우려가 없으며 보다 신속 정확하게 실시간으로 화물 정보가 수집된다.

추가 실시예로서, 실시간으로 유입된 화물에 새로운 형태의 송장이 부착된 경우, 송장 인식기(200)는 화물 이미지에서 송장 이미지를 분리하여 인식한 후, 자동으로 증강 이미지를 생성하여 메인 서버(100)에 전송할 수 있다. 메인 서버(100)는 이를 딥러닝 모델에 입력하여 학습을 반복하게 되며 그 결과에 따라 기 등록된 운송사 중 하나로 분류되는 경우, 그에 따라 송장 인식 모델을 업데이트하도록 송장 인식기(200)를 제어한다. 만약, 학습 결과에 따라 어느 운송사로도 분류되지 않거나 운송사가 지속적으로 변경되는 경우, 새로운 운송사로 판단하고, 해당 증강 이미지를 관리자 단말(400)로 전송하면서 운송사 등록 및 라벨링을 요청한다. 한편, 새로운 송장의 학습은 송장 인식기(200) 자체에서 수행될 수도 있으며, 그 과정은 메인 서버(100)와 동일하다.

추가 실시예로서, 실시간으로 유입된 화물에 부착된 송장이 훼손 또는 오염되거나, 하나가 아닌 복수의 송장이 부착된 돌발 상황의 경우, 송장 인식기(200)는 송장 인식 모델을 통해 이러한 상황을 판단할 수 있다. 예를 들어, 송장 인식 모델을 통해 인식된 송장 이미지에 대한 특징값의 확률 연산의 결과, 해당 송장 이미지는 어떠한 운송사로도 분류되지 않고, 파손에 대응하는 식별정보가 출력될 수 있다. 이러한 경우, 송장 인식기(200)는 해당 화물 이미지에 대하여 "송장 파손"을 나타내는 카테고리를 설정한 후, 메인 서버(100) 또는 관리자 단말(400)로 전송할 수 있다. 또는 송장 인식 모델에 의해 적어도 두 개 이상의 송장 이미지가 인식되는 경우, 송장 인식기(200)는 해당 화물 이미지에 대하여 "송장 중복"을 나타내는 카테고리를 설정한 후, 메인 서버(100) 또는 관리자 단말(400)로 전송할 수 있다. 이에 따라, 관리자는 실시간으로 송장의 이상 여부를 쉽게 파악하여 조치를 취할 수 있으며, 화물의 오인식이 방지되고 정확한 물류 처리가 진행되는 효과가 도모될 수 있다.

추가 실시예로서, 전술한대로 송장 인식기(200)는 화물 정보를 디스플레이 모듈(250)에 실시간으로 표시할 수 있는데, 이 때 화물 정보를 기초로 작업 스케줄을 생성하여 추가로 표시할 수 있다. 예를 들어, 메인 서버(100)는 송장 인식기(200)로부터 수신한 화물 정보를 기초로 해당 화물의 작업 유형을 판단할 수 있다. 또한, 메인 서버(100)는 해당 작업 유형에 따른 화물이 물류 센터 내 이송되어야 할 위치, 이송 경로, 이송 수단, 유의 사항 등을 포함하는 작업 매뉴얼 정보를 파악할 수 있다. 메인 서버(100)는 작업 유형 및 작업 매뉴얼 정보를 송장 인식기(200)로 제공하며, 이는 디스플레이 모듈(250)에 즉시 표시되어 관리자 또는 작업자에게 노출되게 된다. 예를 들어, 현재 송장 인식기(200)를 통과하는 A화물이 "적재"의 작업 유형으로 판단되고, "A창고, 10번칸, 파손 위험"의 작업 매뉴얼이 파악되어 송장 인식기(200)의 화면에 표시될 수 있다. 이와 같이, 해당 섹터의 관리자 또는 작업자는 유입되는 화물 별로 작업 스케줄을 용이하게 확인하거나 계획할 수 있어, 물류 처리 과정이 유연하고 안전하게 진행되는 효과가 도모된다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 메인 서버
200: 송장 인식기
300: 운송사 서버
400: 관리자 단말
230: 프로세서

Claims

물류 센터의 화물 정보 수집 시스템에 있어서,
기 수집된 물류처리 영상을 이용한 딥러닝 기반의 이미지 학습을 수행하여 송장 인식 모델을 구축하는 메인 서버; 및
상기 송장 인식 모델이 내장되어 상기 물류 센터에 유입되는 화물들의 화물 정보를 수집하도록 상기 물류 센터에 배치되는 송장 인식기;
를 포함하되,
상기 메인 서버 및 송장 인식기에는 고유한 형태의 송장을 취급하는 복수의 운송사에 대한 정보가 등록되어 있으며, 각 운송사의 송장은 모양, 크기, 바코드를 포함한 구성요소의 배치가 서로 다르게 구성되고,
상기 송장 인식기는,
실시간으로 유입되는 화물의 화물 이미지를 획득하여 상기 송장 인식 모델에 입력하고,
상기 송장 인식 모델에 의해, 상기 화물 이미지 내 송장 이미지가 분리 인식되며 상기 송장 이미지의 형태에 따라 상기 화물의 운송사가 식별되고,
상기 송장 이미지에서 바코드 번호를 추출하여 상기 운송사의 서버로 전송하고,
상기 운송사의 서버로부터 상기 바코드 번호에 매칭된 화물 정보를 수신하되,
상기 송장 인식 모델은 각 고유한 형태를 나타내는 송장 이미지와 각 운송사의 관계가 지도 학습된 것인, 화물 정보 수집 시스템.
제 1항에 있어서,
상기 메인 서버로부터 상기 물류처리 영상을 수신하여 상기 물류처리 영상에 포함된 화물 이미지 마다 라벨링을 수행하는 관리자 단말;을 더 포함하되,
상기 관리자 단말은, 상기 물류처리 영상에 포함된 화물 이미지 마다 송장에 대응하는 영역을 박스 이미지로 표시하고 상기 복수의 운송사 중 하나를 입력하는, 화물 정보 수집 시스템.
제 2항에 있어서,
상기 메인 서버는,
상기 물류처리 영상을 프레임 단위로 분할한 후 적어도 하나 이상의 화물 이미지가 포함된 프레임을 추출하고, 추출된 프레임을 상기 관리자 단말로 전송하여 라벨링을 요청하는, 화물 정보 수집 시스템.
제 2항에 있어서,
상기 메인 서버는,
상기 관리자 단말로부터 라벨링이 완료된 화물 이미지를 수신하고,
수신된 화물 이미지 별로, 표시된 박스 이미지의 좌표값을 산출하여 송장의 위치로 설정하고, 입력된 운송사에 기 매칭된 운송사 식별정보를 확인하여,
하나의 화물 이미지, 상기 하나의 화물 이미지 내 송장의 위치 및 상기 하나의 화물 이미지에 대응하는 운송사 식별정보가 세트로 구성된 복수의 학습데이터를 구축하는, 화물 정보 수집 시스템.
제 4항에 있어서,
상기 메인 서버는,
상기 복수의 학습데이터를 기 설정된 딥러닝 모델에 입력하여 상기 이미지 학습을 수행하되,
임의의 화물 이미지가 상기 딥러닝 모델에 입력되면 상기 임의의 화물 이미지 내 송장의 위치가 파악되어 송장 이미지로 분리 인식되고, 상기 임의의 화물 이미지와 동일한 학습데이터를 이루는 운송사 식별정보가 출력되도록, 상기 이미지 학습을 반복하는, 화물 정보 수집 시스템.
제 1항에 있어서,
상기 송장 인식기는,
상기 물류 센터 내 화물을 분류하는 영역에 배치되어 상기 영역을 통과하는 화물 및 송장이 부착된 방향을 감지하고, 상기 방향으로 상기 영역을 통과하는 화물을 촬영하는 카메라를 포함하는, 화물 정보 수집 시스템.
제 1항에 있어서,
상기 송장 인식기는,
상기 송장 이미지가 분리 인식되는 과정에서,
상기 화물 이미지 내 송장을 나타내는 영역을 바운딩 박스(bounding box)로 처리하고, 상기 박스의 좌표값을 산출하여 상기 송장 이미지의 위치를 파악하는, 화물 정보 수집 시스템.
제 1항에 있어서,
상기 송장 인식기는,
상기 화물의 운송사를 식별하는 과정에서,
상기 송장 인식 모델에 의해 상기 송장 이미지는 기 등록된 복수의 운송사 중 하나로 분류되고 분류된 운송사에 기 매칭된 운송사 식별정보가 출력되며, 출력된 운송사 식별정보에 따라 상기 운송사의 서버를 확인하는, 화물 정보 수집 시스템.
제 1항에 있어서,
상기 송장 인식기는,
기 설치된 디스플레이 모듈을 통해 상기 운송사의 서버로부터 수신한 화물 정보를 실시간으로 표시하여 관리자에게 노출시키거나,
상기 물류 센터 내 화물을 분류하는 영역에 배치되는 경우, 상기 영역의 주위에 배치된 화물 분류기로 상기 화물 정보에 따른 분류 명령을 전달하는, 화물 정보 수집 시스템.
물류 센터에 배치된 송장 인식기를 이용한 화물 정보 수집 방법에 있어서,
a) 메인 서버가 기 수집된 물류처리 영상을 이용한 딥러닝 기반의 이미지 학습을 수행하여 송장 인식 모델을 구축하는 단계;
b) 상기 송장 인식 모델이 내장된 송장 인식기가 상기 물류 센터에 실시간으로 유입되는 화물의 화물 이미지를 획득하여 상기 송장 인식 모델로 입력하는 단계;
c) 상기 송장 인식 모델에 의해, 상기 화물 이미지 내 송장 이미지가 분리 인식되며 상기 송장 이미지의 형태에 따라 상기 화물의 운송사가 식별되는 단계; 및
d) 상기 송장 인식기가 상기 송장 이미지에서 바코드 번호를 추출하여 상기 운송사의 서버로 전송함으로써, 상기 운송사의 서버로부터 상기 바코드 번호에 매칭된 화물 정보를 수신하는 단계;
를 포함하되,
상기 메인 서버 및 송장 인식기에는 고유한 형태의 송장을 취급하는 복수의 운송사에 대한 정보가 등록되어 있으며, 각 운송사의 송장은 모양, 크기, 바코드를 포함한 구성요소의 배치가 서로 다르게 구성되고,
상기 송장 인식 모델은 각 고유한 형태를 나타내는 송장 이미지와 각 운송사의 관계가 지도 학습된 것인, 화물 정보 수집 방법.
제 10항에 있어서,
상기 a)단계는,
상기 물류 센터의 관리자 단말이,
상기 메인 서버로부터 상기 물류처리 영상을 수신하고,
상기 물류처리 영상에 포함된 화물 이미지 마다, 송장에 대응하는 영역을 박스 이미지로 표시하고 상기 복수의 운송사 중 하나를 입력하는 과정으로 라벨링을 수행하는 단계;를 포함하는, 화물 정보 수집 방법.
제 11항에 있어서,
상기 a)단계는,
상기 메인 서버가 상기 물류처리 영상을 프레임 단위로 분할한 후 적어도 하나 이상의 화물 이미지가 포함된 프레임을 추출하고, 추출된 프레임을 상기 관리자 단말로 전송하여 라벨링을 요청하는 단계;를 포함하는, 화물 정보 수집 방법.
제 11항에 있어서,
상기 a)단계는,
상기 메인 서버가,
상기 관리자 단말로부터 라벨링이 완료된 화물 이미지를 수신하고,
수신된 화물 이미지 별로, 표시된 박스 이미지의 좌표값을 산출하여 송장의 위치로 설정하고, 입력된 운송사에 기 매칭된 운송사 식별정보를 확인하여,
하나의 화물 이미지, 상기 하나의 화물 이미지 내 송장의 위치 및 상기 하나의 화물 이미지에 대응하는 운송사 식별정보가 세트로 구성된 복수의 학습데이터를 구축하는 단계;를 포함하는, 화물 정보 수집 방법.
제 13항에 있어서,
상기 a)단계는,
상기 메인 서버가,
상기 복수의 학습데이터를 기 설정된 딥러닝 모델에 입력하여 상기 이미지 학습을 수행하되,
임의의 화물 이미지가 상기 딥러닝 모델에 입력되면 상기 임의의 화물 이미지 내 송장의 위치가 파악되어 송장 이미지로 분리 인식되고, 상기 임의의 화물 이미지와 동일한 학습데이터를 이루는 운송사 식별정보가 출력되도록, 상기 이미지 학습을 반복하는 단계;를 포함하는, 화물 정보 수집 방법.
제 10항에 있어서,
상기 b)단계는,
상기 송장 인식기는 카메라를 포함하고 상기 물류 센터 내 화물을 분류하는 영역에 배치되며,
상기 송장 인식기가 상기 카메라를 통해 상기 영역을 통과하는 화물 및 송장이 부착된 방향을 감지하고, 상기 방향으로 상기 영역을 통과하는 화물을 촬영하는 단계;를 포함하는, 화물 정보 수집 방법.
제 10항에 있어서,
상기 c)단계는,
상기 송장 인식기가 상기 송장 인식 모델을 통해,
상기 화물 이미지 내 송장을 나타내는 영역을 바운딩 박스로 처리하고, 상기 박스의 좌표값을 산출하여 상기 송장 이미지의 위치를 파악하는 단계;를 포함하는, 화물 정보 수집 방법.
제 10항에 있어서,
상기 c)단계는,
상기 송장 인식기가,
상기 송장 인식 모델을 통해 상기 송장 이미지를 기 등록된 복수의 운송사 중 하나로 분류하고 분류된 운송사에 기 매칭된 운송사 식별정보를 출력하며,
출력된 운송사 식별정보에 따라 상기 운송사의 서버를 확인하는 단계;를 포함하는, 화물 정보 수집 방법.
제 10항에 있어서,
상기 d)단계는,
상기 송장 인식기가,
기 설치된 디스플레이 모듈을 통해 상기 운송사의 서버로부터 수신한 화물 정보를 실시간으로 표시하여 관리자에게 노출시키거나,
상기 물류 센터 내 화물을 분류하는 영역에 배치되는 경우, 상기 영역의 주위에 배치된 화물 분류기로 상기 화물 정보에 따른 분류 명령을 전달하는 단계;를 포함하는, 화물 정보 수집 방법.
물류 센터에 배치되어 화물 정보를 수집하는, 운송사 식별이 가능한 송장 인식기에 있어서,
상기 물류 센터에 유입되는 화물들을 촬영하는 카메라;
기 수집된 물류처리 영상을 이용한 딥러닝 기반의 이미지 학습을 통해 구축된 송장 인식 모델이 저장된 메모리;
상기 송장 인식 모델을 이용하여 상기 물류 센터에 유입되는 화물들의 화물 정보를 수집하는 프로세서;를 포함하며,
상기 프로세서는,
상기 카메라로부터 실시간으로 유입되는 화물의 화물 이미지를 획득하여 상기 송장 인식 모델에 입력하고,
상기 송장 인식 모델을 통해 상기 화물 이미지 내 송장 이미지를 분리 인식하며 상기 송장 이미지의 형태에 따라 상기 화물의 운송사를 식별하고,
상기 송장 이미지에서 바코드 번호를 추출하여 상기 운송사의 서버로 전송하고,
상기 운송사의 서버로부터 상기 바코드 번호에 매칭된 화물 정보를 수신하되,
고유한 형태의 송장을 취급하는 복수의 운송사에 대한 정보가 등록되어 저장되어 있으며, 각 운송사의 송장은 모양, 크기, 바코드를 포함한 구성요소의 배치가 서로 다르게 구성되고,
상기 송장 인식 모델은 각 고유한 형태를 나타내는 송장 이미지와 각 운송사의 관계가 지도 학습된 것인, 송장 인식기.