KR102385083B1 - Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning - Google Patents

Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning Download PDF

Info

Publication number
KR102385083B1
KR102385083B1 KR1020200094198A KR20200094198A KR102385083B1 KR 102385083 B1 KR102385083 B1 KR 102385083B1 KR 1020200094198 A KR1020200094198 A KR 1020200094198A KR 20200094198 A KR20200094198 A KR 20200094198A KR 102385083 B1 KR102385083 B1 KR 102385083B1
Authority
KR
South Korea
Prior art keywords
waybill
image
waybill image
destination
cargo
Prior art date
Application number
KR1020200094198A
Other languages
Korean (ko)
Other versions
KR20220014520A (en
Inventor
구철수
장창혁
Original Assignee
주식회사 포스코아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티 filed Critical 주식회사 포스코아이씨티
Priority to KR1020200094198A priority Critical patent/KR102385083B1/en
Publication of KR20220014520A publication Critical patent/KR20220014520A/en
Application granted granted Critical
Publication of KR102385083B1 publication Critical patent/KR102385083B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Abstract

화물에 부착된 운송장 이미지를 정확하게 인식할 수 본 발명의 일 측면에 따른 딥러닝 기반의 운송장 이미지 인식 장치는 촬영된 화물 이미지를 획득하는 이미지 획득부; 복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 화물 이미지로부터 운송장 이미지를 추출하고, 상기 운송장 이미지로부터 목적지코드를 포함하는 운송장 식별정보를 획득하는 운송장 이미지 처리부; 및 상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보가 포함된 분류정보를 생성하는 분류정보 생성부를 포함하는 것을 특징으로 한다.A waybill image recognition apparatus based on deep learning according to an aspect of the present invention that can accurately recognize a waybill image attached to a cargo includes: an image acquisition unit for acquiring a photographed cargo image; a waybill image processing unit for extracting a waybill image from the freight image using a deep learning-based neural network algorithm learned from a plurality of waybill images, and obtaining waybill identification information including a destination code from the waybill image; and a classification information generator for generating classification information including identification information of a destination suit for classification of the cargo based on the destination code.

Description

딥러닝 기반의 운송장 이미지 인식 장치 및 방법{Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning}Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning

본 발명은 물류처리 시스템에 관한 것으로서, 보다 구체적으로 운송장 이미지의 인식에 관한 것이다.The present invention relates to a material handling system, and more particularly, to the recognition of a waybill image.

택배회사 또는 우체국 등이 운용하는 물류센터의 운영 시스템은 한국전자통신연구원의 한국공개특허인 물류 관리 장치 및 방법(10-2009-0054170, 2009.05.29)에 개시된 바와 같이, 화물의 원활한 처리를 위해 화물에 부착되어 있는 운송장을 이용하여 화물의 분류작업을 수행한다. 구체적으로, 운영 시스템은 운송장이 부착된 화물이 화물 이송용 컨베이어 벨트에 안착되어 이송되면, 바코드 리딩장치를 이용하여 해당 화물에 부착되어 있는 운송장의 바코드를 리딩한다. 운영 시스템은 리딩된 바코드를 기초로 전산 시스템에 등록된 화물정보를 검색한 후, 검색된 화물정보를 기초로 해당 화물의 목적지 슈트(Chute: 분류구)를 결정한다. 운영 시스템은 해당 화물을 결정된 목적지 슈트로 이송시킴으로써 해당 화물의 분류작업을 완료한다.As disclosed in the Korea Electronics and Telecommunications Research Institute's Korea Patent Publication, Logistics Management Device and Method (10-2009-0054170, 2009.05.29), the operating system of a logistics center operated by a courier company or post office, etc. Classification of cargo is performed using the waybill attached to the cargo. Specifically, when the cargo to which the waybill is attached is seated on the conveyor belt for transporting the cargo and transferred, the operating system reads the barcode of the waybill attached to the cargo using a barcode reading device. The operating system searches the cargo information registered in the computer system based on the read barcode, and then determines the destination chute of the cargo based on the retrieved cargo information. The operating system completes the sorting of the cargo by transferring the cargo to the determined destination chute.

하지만, 도 1에 도시된 바와 같은 수기송장의 경우 전산시스템에 화물정보가 등록되지 않은 상태에서는 바코더를 리딩 하더라도 화물정보를 검색할 수 없기 때문에 해당 화물의 목적지 슈트를 결정할 수 없어 작업자가 직접 수작업으로 화물을 분류하여야만 한다. 또한, 수기송장이 아니더라도 화물에 부착된 운송장의 바코드가 훼손된 경우와 같이 운송장을 정확하게 인식할 수 없는 경우에도 작업자가 직접 수작업으로 화물을 분류하여야만 한다. 이러한 경우, 화물 분류의 수작업을 위해 작업 인력이 추가로 배치되어야 하므로, 물류센터의 운영비용이 증가하게 됨은 물론 화물 분류 시간이 증가될 수 밖에 없고, 이로 인해 배송이 지연된다는 문제점이 있다.However, in the case of a manual invoice as shown in Fig. 1, in a state in which cargo information is not registered in the computerized system, even if the barcode is read, the cargo information cannot be searched. The cargo must be classified as In addition, even if the waybill cannot be accurately recognized, such as when the barcode on the waybill attached to the cargo is damaged, even if it is not a manual invoice, the operator must manually classify the cargo. In this case, since workers must be additionally deployed for the manual cargo sorting, the operating cost of the logistics center increases, and the cargo sorting time is inevitably increased, which leads to a delay in delivery.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 화물에 부착된 운송장 이미지를 정확하게 인식할 수 있는 딥러닝 기반의 운송장 이미지 인식 시스템 및 방법을 제공하는 것을 그 기술적 특징으로 한다.The present invention is to solve the above-mentioned problems, and its technical feature is to provide a deep learning-based waybill image recognition system and method capable of accurately recognizing a waybill image attached to a cargo.

또한, 본 발명은 화물에 정위치로 부착되지 않은 운송장의 이미지를 정위치로 정렬시킬 수 있는 딥러닝 기반의 운송장 이미지 인식 시스템 및 방법을 제공하는 것을 다른 기술적 특징으로 한다.Another technical feature of the present invention is to provide a deep-learning-based waybill image recognition system and method capable of aligning an image of a waybill that is not attached to the cargo in the correct position.

또한, 본 발명은 딥러닝 기반의 알고리즘을 이용하여 운송장 이미지로부터 목적지코드를 자동으로 획득할 수 있는 딥러닝 기반의 운송장 이미지 인식 시스템 및 방법을 제공하는 것을 또 다른 기술적 특징으로 한다.Another technical feature of the present invention is to provide a deep learning-based waybill image recognition system and method that can automatically obtain a destination code from a waybill image using a deep learning-based algorithm.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 딥러닝 기반의 운송장 이미지 인식 장치는 촬영된 화물 이미지를 획득하는 이미지 획득부; 복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 화물 이미지로부터 운송장 이미지를 추출하고, 상기 운송장 이미지로부터 목적지코드를 포함하는 운송장 식별정보를 획득하는 운송장 이미지 처리부; 및 상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보가 포함된 분류정보를 생성하는 분류정보 생성부를 포함하는 것을 특징으로 한다.Deep learning-based waybill image recognition apparatus according to an aspect of the present invention for achieving the above object includes an image acquisition unit for acquiring a photographed cargo image; a waybill image processing unit for extracting a waybill image from the freight image using a deep learning-based neural network algorithm learned from a plurality of waybill images, and obtaining waybill identification information including a destination code from the waybill image; and a classification information generator for generating classification information including identification information of a destination suit for classification of the cargo based on the destination code.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 딥러닝 기반의 운송장 이미지 인식 장치는 화물을 촬영하여 화물 이미지를 획득하는 이미지 촬영부; 복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 화물 이미지로부터 운송장 이미지를 추출하고, 상기 운송장 이미지로부터 목적지코드를 포함하는 운송장 식별정보를 획득하는 운송장 이미지 처리부; 및 상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보가 포함된 분류정보를 생성하는 분류정보 생성부를 포함하는 것을 특징으로 한다.A deep learning-based waybill image recognition apparatus according to another aspect of the present invention for achieving the above object includes: an image capturing unit for photographing cargo to obtain a cargo image; a waybill image processing unit for extracting a waybill image from the freight image using a deep learning-based neural network algorithm learned from a plurality of waybill images, and obtaining waybill identification information including a destination code from the waybill image; and a classification information generator for generating classification information including identification information of a destination suit for classification of the cargo based on the destination code.

상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 딥러닝 기반의 운송장 이미지 인식방법은 화물 이미지로부터 운송장 이미지를 추출하는 단계; 수직축 또는 수평축과 상기 운송장 이미지간의 경사각도가 기준각도와 상이하면 상기 운송장 이미지를 회전시켜 상기 운송장 이미지를 정위치로 정렬시키는 단계; 복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 정위치 정렬된 운송장 이미지로부터 목적지코드를 획득하는 단계; 상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보를 결정하는 단계; 및 상기 목적지 슈트(Chute)의 식별정보를 포함하는 상기 화물의 분류정보를 생성하는 단계를 포함하는 것을 특징으로 한다.Deep learning-based waybill image recognition method according to another aspect of the present invention for achieving the above object comprises the steps of extracting a waybill image from a freight image; aligning the waybill image by rotating the waybill image when the inclination angle between the vertical axis or the horizontal axis and the waybill image is different from a reference angle; obtaining a destination code from the waybill image aligned in place by using a deep learning-based neural network algorithm learned from a plurality of waybill images; determining identification information of a destination suit for classification of the cargo based on the destination code; And it characterized in that it comprises the step of generating the classification information of the cargo including the identification information of the destination suit (Chute).

상술한 바와 같이 본 발명에 따르면, 다양한 종류의 운송장 이미지들로 학습된 딥러닝 기반의 알고리즘을 이용하여 화물 촬영 이미지로부터 운송장 이미지를 추출하기 때문에 운송장 이미지를 정확하게 추출할 수 있다는 효과가 있다.As described above, according to the present invention, since the waybill image is extracted from the freight photographed image using a deep learning-based algorithm learned from various types of waybill images, there is an effect that the waybill image can be accurately extracted.

또한, 본 발명에 따르면 운송장 이미지에 포함된 정렬마크를 기초로 운송장 이미지를 정위치로 정렬할 수 있어, 운송장 이미지 인식률 및 운송장 이미지 인식속도를 향상시킬 수 있다는 효과가 있다.In addition, according to the present invention, it is possible to align the waybill image to the correct position based on the alignment mark included in the waybill image, thereby improving the waybill image recognition rate and the waybill image recognition speed.

또한, 본 발명은 딥러닝 기반의 알고리즘을 이용하여 운송장 이미지로부터 목적지코드를 직접 획득할 수 있기 때문에, 수기송장이나 바코드가 훼손된 운송장이라고 하더라도 해당 운송장이 부착된 화물의 목적지 슈트를 정확하게 결정할 수 있어 해당 화물을 수작업으로 분류하기 위한 별도의 작업인력이 요구되지 않아 물류센터의 운영비용 및 화물 분류 시간을 감소시킬 수 있고, 이로 인해 배송시간도 단축시킬 수 있다는 효과가 있다.In addition, since the present invention can directly obtain the destination code from the waybill image by using a deep learning-based algorithm, it is possible to accurately determine the destination suit of the cargo to which the waybill is attached, even if it is a handwritten invoice or a waybill with a damaged barcode. Since a separate manpower is not required to manually classify the cargo, it is possible to reduce the operating cost and the cargo sorting time of the distribution center, which has the effect of shortening the delivery time.

도 1은 수기송장의 일 예를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반의 운송장 이미지 인식 장치가 적용되는 운영 시스템의 구성을 개략적으로 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반의 운송장 이미지 인식 장치의 구성을 보여주는 블록도이다.
도 4a는 화물에 정위치로 부착되지 않은 운송장의 이미지를 정위치 정렬하는 방법의 일 예를 보여주는 도면이다.
도 4b는 화물에 정위치로 부착되지 않은 운송장의 이미지를 정위치 정렬하는 방법의 다른 예를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 정렬마크가 포함된 운송장 이미지의 예를 보여주는 도면이다.
도 6은 정렬마크들을 예시적으로 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따라 운송장 이미지로부터 추출되는 운송장 식별정보들을 예시적으로 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따라 작업자 단말기에 표시되는 운송장 인식 UI화면의 예를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 기반의 운송장 이미지 인식 방법을 보여주는 플로우차트이다.1 is a view showing an example of a manual invoice.
2 is a diagram schematically showing the configuration of an operating system to which an apparatus for recognizing a waybill image based on deep learning according to an embodiment of the present invention is applied.
3 is a block diagram showing the configuration of an apparatus for recognizing a waybill image based on deep learning according to an embodiment of the present invention.
4A is a diagram illustrating an example of a method of in-situ alignment of an image of a waybill that is not attached to a cargo in place.
4B is a diagram showing another example of a method for in-situ alignment of an image of a waybill that is not attached in place to a cargo.
5 is a view showing an example of an image of a waybill including an alignment mark according to an embodiment of the present invention.
6 is a view exemplarily showing alignment marks.
FIG. 7 is a view exemplarily showing waybill identification information extracted from a waybill image according to an embodiment of the present invention.
8 is a view showing an example of a waybill recognition UI screen displayed on a worker terminal according to an embodiment of the present invention.
9 is a flowchart illustrating a method for recognizing a waybill image based on deep learning according to an embodiment of the present invention.

명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명의 핵심 구성과 관련이 없는 경우 및 본 발명의 기술분야에 공지된 구성과 기능에 대한 상세한 설명은 생략될 수 있다. 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Like reference numerals refer to substantially identical elements throughout. In the following description, a detailed description of configurations and functions known in the art and cases not related to the core configuration of the present invention may be omitted. The meaning of the terms described in this specification should be understood as follows.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are illustrative and the present invention is not limited to the illustrated matters. Like reference numerals refer to like elements throughout. In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

본 명세서에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.When 'including', 'having', 'consisting', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. When a component is expressed in the singular, the case in which the plural is included is included unless otherwise explicitly stated.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the components, it is construed as including an error range even if there is no separate explicit description.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.In the case of a description of the positional relationship, for example, when the positional relationship of two parts is described as 'on', 'on', 'on', 'beside', etc., 'right' Alternatively, one or more other parts may be positioned between two parts unless 'directly' is used.

시간 관계에 대한 설명일 경우, 예를 들어, '~후에', '~에 이어서', '~다음에', '~전에' 등으로 시간적 선후 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.In the case of a description of a temporal relationship, for example, 'immediately' or 'directly' when a temporal relationship is described with 'after', 'following', 'after', 'before', etc. It may include cases that are not continuous unless this is used.

제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although the first, second, etc. are used to describe various elements, these elements are not limited by these terms. These terms are only used to distinguish one component from another. Accordingly, the first component mentioned below may be the second component within the spirit of the present invention.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미할 수 있다. The term “at least one” should be understood to include all possible combinations of one or more related items. For example, the meaning of “at least one of the first, second, and third items” means that each of the first, second, or third items as well as two of the first, second and third items are It may mean a combination of all items that can be presented from more than one.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, technically various interlocking and driving are possible, and each of the embodiments may be independently implemented with respect to each other or implemented together in a related relationship. may be

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 구체적으로 설명한다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 딥러닝 기반의 운송장 이미지 인식장치가 적용되는 운영 시스템의 구성을 개략적으로 보여주는 도면이다. 도 2에 도시된 바와 같은 운영 시스템(200)은 택배회사 또는 우체국 등이 운용하는 물류센터에 설치되어 물류센터로 입고되는 화물(210)들의 분류작업을 수행한다.2 is a diagram schematically showing the configuration of an operating system to which an apparatus for recognizing a waybill image based on deep learning according to an embodiment of the present invention is applied. The operating system 200 as shown in FIG. 2 is installed in a distribution center operated by a courier company or a post office, and sorts the cargo 210 that is received into the distribution center.

도 2에 도시된 바와 같이, 운영 시스템(200)은 이송장치(220), 슈트(Chute) 그룹(230), 딥러닝 기반의 운송장 이미지 인식장치(240, 이하, '운송장 이미지 인식장치'라 함), 및 화물분류 제어기(250)를 포함한다.As shown in FIG. 2 , the operating system 200 includes a transport device 220 , a Chute group 230 , and a deep learning-based waybill image recognition device 240 , hereinafter referred to as a ‘waybill image recognition device’ ), and a cargo classification controller 250 .

이송장치(220)는 물류센터로 입고되는 화물(210)들을 이동시킨다. 이때, 이송장치(220) 상에서 이동되는 화물(210)들에는 화물(210)의 분류를 위한 운송장이 화물(210)의 일 면에 부착되어 있다.The transfer device 220 moves the cargo 210 to be stored in the distribution center. At this time, a waybill for classification of the cargo 210 is attached to one surface of the cargo 210 to the cargoes 210 that are moved on the transfer device 220 .

일 실시예에 있어서, 이송장치(220)는 컨베이어벨트(미도시) 및 컨베이어벨트를 구동시키는 벨트 구동부(미도시)를 포함할 수 있다. 이러한 실시예에 따르는 경우, 화물(210)들은 컨베이어벨트 상에 안착된 후 목적지 슈트(C1~Cn)로 분류될 때까지 컨베이어벨트 상에서 이동된다. 이러한 경우, 화물(210)은 화물(210)의 이송을 위한 이송용 트레이(미도시) 상에 안착되어 컨베이어벨트 상에서 이동될 수 있다.In one embodiment, the transfer device 220 may include a conveyor belt (not shown) and a belt driving unit (not shown) for driving the conveyor belt. According to this embodiment, the cargo 210 is moved on the conveyor belt after being seated on the conveyor belt until sorted into the destination chute (C1 ~ Cn). In this case, the cargo 210 may be seated on a transport tray (not shown) for transport of the cargo 210 and moved on the conveyor belt.

슈트 그룹(230)은 복수개의 슈트(C1~Cn)들로 구성되어, 각 화물(210)들을 해당 화물들이 배송될 물류터미널에 대해 부여되어 있는 목적지코드 별로 분류시킨다. 이를 위해, 각 슈트들(C1~Cn)은 목적지코드 별로 할당될 수 있다. 다른 실시예에 있어서, 복수개의 슈트들(C1~Cn)이 하나의 목적지코드에 할당될 수도 있다.Suit group 230 is composed of a plurality of chute (C1 ~ Cn), each cargo 210 is classified according to the destination code assigned to the logistics terminal to which the cargo will be delivered. To this end, each of the suits C1 to Cn may be allocated for each destination code. In another embodiment, a plurality of suits C1 to Cn may be allocated to one destination code.

한편, 본 발명에 따른 운영 시스템(200)은 화물(210)의 분류작업에 소요되는 시간을 단축시키기 위해 추가 슈트그룹(235)을 포함할 수 있다. 도 2에서는 설명의 편의를 위해, 운영 시스템(200)이 1개의 추가 슈트그룹(235)을 포함하는 것으로 도시하였지만, 운영 시스템(200)은 운영 시스템(200)의 크기에 따라 2개 이상의 추가 슈트그룹(235)을 포함할 수 있다.On the other hand, the operating system 200 according to the present invention may include an additional suit group 235 in order to shorten the time required for the sorting operation of the cargo 210 . In FIG. 2 , for convenience of explanation, the operating system 200 is illustrated as including one additional suite group 235 , but the operating system 200 includes two or more additional suites depending on the size of the operating system 200 . group 235 may be included.

운영 시스템(200)이 도 2에 도시된 바와 같이, 2개의 슈트그룹(230, 235)를 포함하는 경우, 2개의 슈트그룹(230, 235) 중 제1 슈트그룹(230)은 이송장치(220)의 일측에 배치되고, 제2 슈트그룹(235)은 이송장치(220)의 일측과 마주보는 타측에 배치될 수 있다.As shown in FIG. 2 , when the operating system 200 includes two suitgroups 230 and 235 , the first suitgroup 230 of the two suitgroups 230 and 235 is the transport device 220 . ) is disposed on one side, and the second chute group 235 may be disposed on the other side opposite to one side of the transport device 220 .

운송장 이미지 인식장치(240)는 이송장치(220) 상에서 이동하는 화물(210)을 촬영하여 생성된 화물 이미지로부터 운송장 이미지를 획득한다. 또한, 운송장 이미지 인식장치(240)는 획득된 운송장 이미지를 기초로 해당 화물(210)이 분류될 목적지 슈트(C1~Cn)의 식별정보를 포함하는 분류정보를 생성한다. 운송장 이미지 인식장치(240)는 화물(210)의 분류정보를 화물분류 제어기(250)로 전달하여, 해당 화물(210)이 화물분류 제어기(250)에 의해 목적지 슈트(C1~Cn)로 분류되도록 한다.The waybill image recognition device 240 acquires a waybill image from the cargo image generated by photographing the cargo 210 moving on the transport device 220 . In addition, the waybill image recognition device 240 generates classification information including identification information of the destination suits C1 to Cn to which the corresponding cargo 210 is to be classified based on the obtained waybill image. The waybill image recognition device 240 transmits the classification information of the cargo 210 to the cargo classification controller 250 so that the corresponding cargo 210 is classified into the destination suits (C1 to Cn) by the cargo classification controller 250 . do.

이하, 도 3을 참조하여 본 발명에 따른 운송장 이미지 인식장치(240)에 대해 보다 구체적으로 설명한다.Hereinafter, the waybill image recognition device 240 according to the present invention will be described in more detail with reference to FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 운송장 이미지 인식장치의 구성을 보여주는 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운송장 이미지 인식장치(240)는 운송장 이미지 처리부(320), 분류정보 생성부(330), 및 데이터베이스(340)를 포함한다. 일 실시예에 있어서, 운송장 이미지 인식장치(240)는 도 3에 도시된 바와 같이 이미지 촬영부(310)를 추가로 포함할 수 있다.3 is a block diagram showing the configuration of a waybill image recognition apparatus according to an embodiment of the present invention. As shown in FIG. 3 , the waybill image recognition apparatus 240 according to an embodiment of the present invention includes a waybill image processing unit 320 , a classification information generating unit 330 , and a database 340 . In an embodiment, the waybill image recognition device 240 may further include an image capturing unit 310 as shown in FIG. 3 .

즉, 본 발명에 따른 운송장 이미지 인식장치(240)는 운송장 이미지 인식장치(240)와는 별도로 구성된 이미지 촬영부에 의해 촬영된 화물 이미지를 수신하여 화물 이미지로부터 운송장 이미지를 획득하거나, 내부에 이미지 촬영부(310)를 직접 포함함으로써 화물을 촬영하여 화물 이미지를 생성하고, 생성된 화물 이미지로부터 운송장 이미지를 획득할 수도 있다.That is, the waybill image recognition device 240 according to the present invention receives the freight image photographed by an image capturing unit configured separately from the waybill image recognition unit 240 to obtain a waybill image from the freight image, or an image capturing unit inside By including the 310 directly, a freight image may be generated by photographing the freight, and a waybill image may be obtained from the generated freight image.

이하에서는 설명의 편의를 위해, 이미지 촬영부(310)가 운송장 이미지 인식장치(240) 내에 포함되어 있는 것으로 설명하지만, 본 발명은 이에 한정되지 않고 이미지 촬영부(310)가 운송장 이미지 인식장치(240) 외부에 별도의 구성으로 존재하는 경우에도 동일하게 적용될 수 있을 것이다.Hereinafter, for convenience of explanation, it is described that the image capturing unit 310 is included in the waybill image recognition device 240, but the present invention is not limited thereto. ), the same can be applied even if it exists as a separate configuration outside.

이미지 촬영부(310)는 이송장치(220) 상에서 이송되는 화물(210)을 촬영하여 화물 이미지를 획득한다. 이를 위해, 이미지 촬영부(310)는 카메라를 포함할 수 있다. 특히, 이미지 촬영부(310)는 화물 이미지로부터 운송장 이미지를 획득하기 위해 화물(210)에서 운송장이 부착되어 있는 면을 촬영함으로써 화물 이미지를 획득한다. 이때, 운송장이 화물(210)의 6면 중 어떤 면에 부착되어 있는지를 확인하기 어렵기 때문에, 이미지 촬영부(310)는 화물(210)의 6면을 모두 촬영하여 6개의 화물 이미지를 획득하거나, 6면 중 바닥면을 제외한 5개의 면을 모두 촬영함으로써 5개의 화물 이미지를 획득할 수 있다.The image capturing unit 310 acquires a freight image by photographing the freight 210 transferred on the transfer device 220 . To this end, the image capturing unit 310 may include a camera. In particular, the image capturing unit 310 acquires a freight image by photographing a surface to which a waybill is attached in the freight 210 to obtain a waybill image from the freight image. At this time, since it is difficult to determine which side of the waybill is attached to which side of the 6 sides of the cargo 210, the image capturing unit 310 captures all 6 sides of the cargo 210 to obtain 6 cargo images or , 5 cargo images can be obtained by photographing all 5 sides of the 6 sides except the floor.

일 실시예에 있어서, 이미지 촬영부(310)는 라인(Line) 카메라를 포함할 수 있다. 이러한 경우, 이미지 촬영부(310)는 라인 카메라가 화물(210)의 하나의 면에 대해 촬영한 복수개의 촬영 이미지를 하나로 결합함으로써 하나의 화물 이미지를 획득할 수 있다.In an embodiment, the image capturing unit 310 may include a line camera. In this case, the image capturing unit 310 may acquire one freight image by combining a plurality of photographed images captured by the line camera for one side of the freight 210 into one.

다른 실시예에 있어서, 이미지 촬영부(310)는 동영상을 촬영할 수 있는 동영상 촬영 카메라를 포함할 수 있다. 이러한 경우, 이미지 촬영부(310)는 동영상 촬영 카메라에 의해 촬영된 동영상으로부터 복수개의 프레임 영상을 추출하고, 추출된 복수개의 프레임 영상 중 화질이 가장 선명한 프레임 영상을 화물 이미지로 생성할 수 있다.In another exemplary embodiment, the image capturing unit 310 may include a moving image capturing camera capable of capturing moving images. In this case, the image capturing unit 310 may extract a plurality of frame images from a moving picture taken by a moving picture camera, and generate a frame image with the clearest image quality among the extracted plurality of frame images as a cargo image.

또 다른 실시예에 있어서, 이미지 촬영부(310)는 바코드 리딩장치를 포함할 수 있다. 이러한 경우, 이미지 촬영부(310)는 바코드 리징장치에 의해 리딩된 운송장 번호를 운송장 이미지 처리부(320)로 제공한다.In another embodiment, the image capturing unit 310 may include a barcode reading device. In this case, the image capturing unit 310 provides the waybill number read by the barcode leasing device to the waybill image processing unit 320 .

이미지 촬영부(310)는 화물(210)을 촬영하여 획득한 화물 이미지를 데이터베이스(340)에 저장한다.The image capturing unit 310 stores the cargo image obtained by photographing the cargo 210 in the database 340 .

한편, 상술한 바와 같은 이미지 촬영부(310)는 이송장치(220) 상에 설치된 구조물에 고정 배치될 수 있다.Meanwhile, the image capturing unit 310 as described above may be fixedly disposed on a structure installed on the transfer device 220 .

또한, 이미지 촬영부(310)는 운송장 이미지 인식장치(240)의 외부에 운송장 이미지 인식장치(240)와 물리적으로 구별되는 별도의 구성으로 배치될 수 있다.In addition, the image capturing unit 310 may be disposed outside the waybill image recognition device 240 as a separate component physically distinct from the waybill image recognition device 240 .

운송장 이미지 처리부(320)는 이미지 촬영부(310)로부터 화물 이미지가 입력되면, 화물 이미지로부터 운송장 이미지를 추출하고, 추출된 운송장 이미지로부터 목적지코드를 추출한다. 일 실시예에 있어서, 운송장 이미지 처리부(320)는 딥러닝 기반의 신경망(Neural Network) 알고리즘을 이용하여 화물 이미지로부터 운송장 이미지를 추출하고, 운송장 이미지로부터 목적지코드를 추출할 수 있다.When a freight image is input from the image capturing unit 310 , the waybill image processing unit 320 extracts a waybill image from the freight image, and extracts a destination code from the extracted waybill image. In an embodiment, the waybill image processing unit 320 may extract a waybill image from the freight image using a deep learning-based neural network algorithm, and extract a destination code from the waybill image.

이때, 딥러닝 기반의 신경망 알고리즘은 다양한 형태의 복수개의 운송장 이미지를 이용하여 학습되어 있을 수 있다. 딥러닝 기반의 신경망 알고리즘은 다양한 형태의 운송장 이미지들을 이용한 학습을 통해 어떠한 형태의 화물 이미지가 입력되더라도 화물 이미지로부터 운송장 이미지를 정확하게 추출할 수 있고, 추출된 운송장 이미지로부터 목적지코드를 정확하게 추출할 수 있다.In this case, the deep learning-based neural network algorithm may be learned using a plurality of waybill images of various types. The deep learning-based neural network algorithm can accurately extract the waybill image from the freight image no matter what type of freight image is input through learning using various form of waybill images, and can accurately extract the destination code from the extracted waybill image. .

예컨대, 딥러닝 기반의 신경망 알고리즘은 CNN(Convolution Neural Network)으로 구현될 수 있다. 이러한 경우, 딥러닝 기반의 신경망 알고리즘은 화물 이미지 또는 운송장 이미지를 필터(Filter)가 순회하며 합성곱(Convolution)을 계산하고, 그 계산 결과를 이용하여 특징벡터 또는 피쳐맵(Feature Map)을 추출하는 복수개의 컨벌루션 레이어(미도시)들을 포함할 수 있다.For example, a neural network algorithm based on deep learning may be implemented as a Convolution Neural Network (CNN). In this case, the deep learning-based neural network algorithm calculates the convolution by traversing the freight image or the waybill image, and extracting a feature vector or a feature map using the calculation result. It may include a plurality of convolutional layers (not shown).

이때, 각 컨벌루션 레이어들은 필터크기, 스트라이드(Stride), 패딩(Padding) 적용 여부, 맥스풀링(Max Pooling) 크기에 따라서 출력 데이터 형태가 변경될 수 있다. 한편, 딥러닝 기반의 신경망 알고리즘은 컨벌루션 레이어의 출력 데이터를 입력으로 받아, 특정 데이터를 강조하거나 크기를 줄이는 풀링 레이어(미도시)를 추가적으로 더 포함할 수도 있다.In this case, the output data type of each convolutional layer may be changed according to the filter size, the stride, whether padding is applied, and the max pooling size. Meanwhile, the deep learning-based neural network algorithm may further include a pooling layer (not shown) that receives the output data of the convolutional layer as an input and emphasizes or reduces the size of specific data.

상술한 바와 같은, 운송장 이미지 처리부(320)는 도 3에 도시된 바와 같이, 이미지 획득부(321), 운송장 이미지 추출부(322), 정위치 정렬부(324), 및 운송장 식별정보 추출부(326)를 포함한다.As described above, as shown in FIG. 3, the waybill image processing unit 320 includes an image acquisition unit 321, a waybill image extraction unit 322, an in-place alignment unit 324, and a waybill identification information extraction unit ( 326).

이미지 획득부(321)는 이미지 촬영부(310)로부터 화물 이미지를 수신한다.The image acquisition unit 321 receives the cargo image from the image capturing unit 310 .

운송장 이미지 추출부(322)는 이미지 획득부(321)를 통해 화물 이미지가 수신되면, 수신된 화물 이미지 내에서 운송장의 경계라인들을 결정하고, 경계라인들에 의해 정의되는 영역을 운송장 이미지로 추출한다. 일 실시예에 있어서, 운송장은 사각형 형상이므로, 운송장 이미지 추출부(322)는 화물 이미지로부터 4개의 경계라인을 결정하고, 결정된 4개의 경계라인에 의해 정의되는 영역을 운송장 이미지로 추출한다.When the freight image is received through the image acquisition unit 321, the waybill image extraction unit 322 determines boundary lines of the waybill in the received freight image, and extracts the area defined by the boundary lines as the waybill image. . In one embodiment, since the waybill has a rectangular shape, the waybill image extraction unit 322 determines four boundary lines from the freight image, and extracts an area defined by the determined four boundary lines as the waybill image.

예컨대, 운송장 이미지 추출부(322)는 도 4a에 도시된 바와 같이 화물 이미지(400)로부터 제1 꼭지점(C1)과 제2 꼭지점(C2)간의 제1 경계라인(410), 제2 꼭지점(C2)과 제3 꼭지점(C3)간의 제2 경계라인(420), 제3 꼭지점(C3)과 제4 꼭지점(C4)간의 제3 경계라인(430), 및 제4 꼭지점(C4)과 제1 꼭지점(C1)간의 제4 경계라인(440)을 결정하고, 결정된 제1 내지 제4 경계라인(410~440)에 의해 정의되는 영역(450)을 운송장 이미지(450)로 추출한다.For example, the waybill image extraction unit 322 is a first boundary line 410 between the first vertex C1 and the second vertex C2 from the cargo image 400, the second vertex C2 as shown in FIG. 4A . ) and the second boundary line 420 between the third vertex C3, the third boundary line 430 between the third vertex C3 and the fourth vertex C4, and the fourth vertex C4 and the first vertex A fourth boundary line 440 between (C1) is determined, and an area 450 defined by the determined first to fourth boundary lines 410 to 440 is extracted as a waybill image 450 .

다른 예로, 도 4b에 도시된 바와 같이, 운송장 이미지 추출부(322)는 도 4b에 도시된 바와 같이 화물 이미지(405)로부터 제1 꼭지점(C5)과 제2 꼭지점(C2)간의 제1 경계라인(460), 제2 꼭지점(C2)과 제3 꼭지점(C3)간의 제2 경계라인(470), 제3 꼭지점(C3)과 제4 꼭지점(C4)간의 제3 경계라인(480), 및 제4 꼭지점(C4)과 제1 꼭지점(C1)간의 제4 경계라인(490)을 결정하고, 결정된 제1 내지 제4 경계라인(460~490)에 의해 정의되는 영역(496)을 운송장 이미지(495)로 추출한다.As another example, as shown in Fig. 4b, the waybill image extraction unit 322 is a first boundary line between the first vertex C5 and the second vertex C2 from the cargo image 405 as shown in Fig. 4b. (460), a second boundary line 470 between the second vertex C2 and the third vertex C3, a third boundary line 480 between the third vertex C3 and the fourth vertex C4, and a third A fourth boundary line 490 between the 4 vertices C4 and the first vertex C1 is determined, and an area 496 defined by the determined first to fourth boundary lines 460 to 490 is used as the waybill image 495 ) is extracted.

정위치 정렬부(324)는 운송장 이미지 추출부(322)로부터 운송장 이미지가 수신되면, 소프트웨어적인 이미지 처리 방법을 이용하여 운송장 이미지의 정위치 정렬 여부를 판단하고, 운송장 이미지가 정위치 정렬되어 있지 않은 경우 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킨다. 본 발명에서 정위치 정렬부(324)가 운송장 이미지의 회전을 통해 운송장 이미지를 정위치 정렬시키는 이유는 운송장 이미지의 정확한 인식을 통해 운송장 이미지로부터 운송장 식별정보를 보다 정확하게 획득하기 위함이다.When the waybill image is received from the waybill image extraction unit 322, the in-place alignment unit 324 determines whether the waybill image is aligned in the correct position using a software image processing method, and if the waybill image is not aligned in the correct position In this case, the waybill image is aligned in place by rotating the waybill image. In the present invention, the reason why the in-place alignment unit 324 aligns the waybill image by rotating the waybill image is to more accurately obtain waybill identification information from the waybill image through accurate recognition of the waybill image.

특히, 운송장의 경우 배달원에 의해 화물(210)에 부착되므로 운송장 부착시 운송장이 화물(210) 상에 정위치로 부착되지 않는 경우가 많아 운송장 식별정보 추출부(326)에 의해 정상적인 운송장 식별정보의 추출이 어려울 수 있다. 따라서, 본 발명에서는 정위치 정렬부(324)를 통해 운송장 이미지의 정위치 정렬여부를 판단한 후 판단결과에 따라 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킨다.In particular, since the waybill is attached to the cargo 210 by the delivery person in the case of the waybill, there are many cases where the waybill is not attached to the cargo 210 in the correct position when the waybill is attached. Extraction can be difficult. Accordingly, in the present invention, after determining whether the waybill image is aligned in the correct position through the in-place alignment unit 324, the waybill image is aligned by rotating the waybill image according to the determination result.

이를 위해, 본 발명에 따른 정위치 정렬부(324)는 경사각도 산출부(324a), 회전각도 결정부(324b), 및 이미지 회전부(324c)를 포함한다.To this end, the in-place alignment unit 324 according to the present invention includes an inclination angle calculating unit 324a, a rotation angle determining unit 324b, and an image rotating unit 324c.

경사각도 산출부(324a)는 운송장 이미지를 구성하는 4개의 경계라인들 중에서 결정된 하나의 기준 경계라인이 미리 정해진 수직축 또는 수평축과 이루는 경사각도를 산출한다. 경사각도 산출부(324a)는 산출된 경사각도가 기준각도와 상이한 경우 운송장 이미지가 정위치 정렬되어 있지 않은 것으로 판단하고, 산출된 경사각도를 회전각도 결정부(324b)로 전달한다.The inclination angle calculating unit 324a calculates an inclination angle formed by a predetermined reference boundary line among four boundary lines constituting the waybill image with a predetermined vertical or horizontal axis. When the calculated inclination angle is different from the reference angle, the inclination angle calculation unit 324a determines that the waybill image is not aligned in the correct position, and transmits the calculated inclination angle to the rotation angle determination unit 324b.

일 실시예에 있어서, 경사각도 산출부(324a)는 운송장 이미지를 구성하는 4개의 경계라인들 중 길이가 가장 긴 하나의 경계라인을 기준 경계라인으로 결정할 수 있다. 일 예로, 도 4a에 도시된 예에서 제1 꼭지점(C1)과 제2 꼭지점(C2)간의 제1 경계라인(410, 제1 경계라인(410)은 제3 꼭지점(C3)과 제4 꼭지점(C4) 간의 제3 경계라인(430)과 길이가 동일함)은 제2 꼭지점(C2)과 제3 꼭지점(C3)간의 제2 경계라인(420, 제2 경계라인(420)은 제4 꼭지점(C4)과 제1 꼭지점(C1)간의 제4 경계라인(440)과 길이가 동일함)보다 길이가 길기 때문에, 경사각도 산출부(324a)는 제1 경계라인(410)을 기준 경계라인으로 결정할 수 있다.In an embodiment, the inclination angle calculation unit 324a may determine one boundary line having the longest length among four boundary lines constituting the waybill image as the reference boundary line. For example, in the example shown in FIG. 4A , the first boundary line 410 between the first vertex C1 and the second vertex C2, the first boundary line 410 is the third vertex C3 and the fourth vertex C3 The third boundary line 430 between C4) is the same length as the second boundary line 420 between the second vertex C2 and the third vertex C3, and the second boundary line 420 is the fourth vertex ( Since the length is longer than that of the fourth boundary line 440 between C4) and the first vertex C1 (the same length as), the inclination angle calculating unit 324a determines the first boundary line 410 as the reference boundary line. can

다른 실시예에 있어서, 경사각도 산출부(324a)는 운송장 이미지를 구성하는 4개의 경계라인들 중 길이가 가장 짧은 하나의 경계라인을 기준 경계라인으로 결정할 수 있다. 일 예로, 도 4b에 도시된 예에서 제1 꼭지점(C1)과 제2 꼭지점(C2)간의 제1 경계라인(460, 제1 경계라인(460)은 제3 꼭지점(C3)과 제4 꼭지점(C4) 간의 제3 경계라인(480)과 길이가 동일함)은 제2 꼭지점(C2)과 제3 꼭지점(C3)간의 제2 경계라인(470, 제2 경계라인(470)은 제4 꼭지점(C4)과 제1 꼭지점(C1)간의 제4 경계라인(490)과 길이가 동일함)보다 길이가 짧기 때문에, 경사각도 산출부(324a)는 제1 경계라인(460)을 기준 경계라인으로 결정할 수 있다.In another embodiment, the inclination angle calculation unit 324a may determine one boundary line having the shortest length among four boundary lines constituting the waybill image as the reference boundary line. For example, in the example shown in FIG. 4B , the first boundary line 460 between the first vertex C1 and the second vertex C2, the first boundary line 460 is the third vertex C3 and the fourth vertex C2. The third boundary line 480 between C4) is the same length as the second boundary line 470 between the second vertex C2 and the third vertex C3, and the second boundary line 470 is the fourth vertex ( Since the length is shorter than that of the fourth boundary line 490 between C4) and the first vertex C1), the inclination angle calculating unit 324a determines the first boundary line 460 as the reference boundary line. can

이후, 경사각도 산출부(324a)는 결정된 기준 경계라인과 수평축(HL) 또는 수직축(VL)이 이루는 각도를 경사각도로 산출한다. 일 예로, 도 4a에 도시된 예에서 경사각도 산출부(324a)는 제1 경계라인(410)과 수평축(HL)이 이루는 각도(-α1)를 경사각도로 산출한다. 다른 예로, 도 4b에 도시된 예에서, 경사각도 산출부(324a)는 제1 경계라인(460)과 수평축(HL)이 이루는 각도 (+α1)를 경사각도로 산출한다. 이때, 경사각도 산출부(324a)는 수평축(HL) 또는 수직축(VL) 중 기준 경계라인과 이루는 각도가 가장 작은 축을 기준으로 경사각도를 산출할 수 있다.Thereafter, the inclination angle calculating unit 324a calculates an angle between the determined reference boundary line and the horizontal axis HL or the vertical axis VL as an inclination angle. For example, in the example shown in FIG. 4A , the inclination angle calculating unit 324a calculates the angle −α1 between the first boundary line 410 and the horizontal axis HL as the inclination angle. As another example, in the example shown in FIG. 4B , the inclination angle calculating unit 324a calculates an angle (+α1) between the first boundary line 460 and the horizontal axis HL as an inclination angle. In this case, the inclination angle calculating unit 324a may calculate the inclination angle based on an axis having the smallest angle formed with the reference boundary line among the horizontal axis HL or the vertical axis VL.

이후, 경사각도 산출부(324a)는 산출된 경사각도가 기준각도(예컨대, 0도)와 상이한 경우 운송장 이미지가 정위치 정렬되어 있지 않은 것으로 판단하여, 산출된 경사각도를 회전각도 결정부(324b)로 전달한다. 한편, 산출된 경사각도가 기준각도와 동일한 경우 경사각도 산출부(324a)는 운송장 이미지가 정위치 정렬되어 있는 것으로 판단하여 회전각도 결정부(324b) 및 이미지 회전부(324c)를 바이패스하여 운송장 이미지를 직접 운송장 식별정보 추출부(326)로 직접 전달한다.Thereafter, when the calculated inclination angle is different from the reference angle (eg, 0 degrees), the inclination angle calculation unit 324a determines that the waybill image is not aligned in place, and converts the calculated inclination angle to the rotation angle determination unit 324b ) to pass On the other hand, when the calculated inclination angle is the same as the reference angle, the inclination angle calculation unit 324a determines that the waybill image is aligned in the correct position, and bypasses the rotation angle determination unit 324b and the image rotation unit 324c to obtain the waybill image directly to the waybill identification information extraction unit 326 .

회전각도 결정부(324b)는 경사각도 산출부(324a)에 의해 산출된 경사각도에 따라 운송장 이미지를 회전시키기 위한 회전각도를 결정한다. 일 실시예에 있어서, 회전각도 결정부(324b)는 경사각도 산출부(324a)에 의해 산출된 경사각도를 기준각도(예컨대, 0도)로 보정시키기 위해 필요한 값을 회전각도로 결정할 수 있다. 예컨대, 도 4a에 도시된 예에서, 회전각도 결정부(324b)는 경사각도인 -α1을 기준각도인 0도로 회전시키기 위해, +α1을 회전각도로 산출한다. 또한, 도 4b에 도시된 예에서, 회전각도 결정부(324b)는 경사각도인 +α2를 기준각도인 0도로 회전시키기 위해, -α2를 회전각도로 산출한다.The rotation angle determining unit 324b determines a rotation angle for rotating the waybill image according to the inclination angle calculated by the inclination angle calculating unit 324a. In an embodiment, the rotation angle determining unit 324b may determine a value necessary to correct the inclination angle calculated by the inclination angle calculating unit 324a to a reference angle (eg, 0 degrees) as the rotation angle. For example, in the example shown in FIG. 4A , the rotation angle determining unit 324b calculates +α1 as the rotation angle in order to rotate the inclination angle -α1 to 0°, which is the reference angle. In addition, in the example shown in FIG. 4B , the rotation angle determining unit 324b calculates -α2 as the rotation angle in order to rotate +α2, which is the inclination angle, to 0°, which is the reference angle.

이미지 회전부(324c)는 경사각도 산출부(324a)에 의해 산출된 경사각도 또는 회전각도 결정부(324b)에 의해 결정된 회전각도에 따라 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킨다. 예컨대, 이미지 회전부(324c)는 도 4a에 도시된 바와 같이 운송장 이미지(450)를 회전각도인 +α1만큼 회전시킴으로써 운송장 이미지(450)를 정위치 정렬시키고, 도 4b에 도시된 바와 같이 운송장 이미지(495)를 회전각도인 -α2만큼 회전시킴으로써 운송장 이미지(495)를 정위치 정렬시킨다.The image rotation unit 324c aligns the waybill image by rotating the waybill image according to the inclination angle calculated by the inclination angle calculating unit 324a or the rotation angle determined by the rotation angle determining unit 324b. For example, the image rotation unit 324c aligns the waybill image 450 by rotating the waybill image 450 by +α1, which is a rotation angle, as shown in FIG. 4A, and as shown in FIG. 4B, the waybill image ( 495) is rotated by -α2, which is a rotation angle, to align the waybill image 495 in place.

상술한 바와 같이, 본 발명에 따르면 정위치 정렬부(324)를 통해 별도의 하드웨어적인 장치 없이 소프트웨어적인 이미지 처리방법만으로 운송장 이미지를 회전시킬 수 있기 때문에, 시스템 구성을 간소화시킬 수 있고, 시스템 구축 및 유지비용을 절감시킬 수 있으며, 시스템 부하 증가를 최소화할 수 있게 된다.As described above, according to the present invention, since the waybill image can be rotated only by a software image processing method without a separate hardware device through the in-place alignment unit 324, the system configuration can be simplified, and the system construction and It is possible to reduce the maintenance cost and to minimize the increase in the system load.

상술한 실시예에 있어서, 정위치 정렬부(324)는 운송장 이미지에서 획득되는 4개의 경계라인을 기초로 운송장 이미지의 정위치 정렬을 수행하는 것으로 설명하였다. 하지만, 다른 실시예에 있어서 도 5에 도시된 바와 같이 운송장 이미지(500)에는 운송장 이미지(500)의 정위치 정렬을 위한 정렬마크(510)가 포함되어 있고, 정위치 정렬부(324)는 운송장 이미지(500)로부터 정렬마크(510)를 추출함으로써 정렬마크(510)를 이용하여 운송장 이미지(500)의 정위치 정렬여부 판단 및 정위치 정렬작업을 수행할 수 있다.In the above-described embodiment, it has been described that the in-place alignment unit 324 performs in-place alignment of the waybill image based on four boundary lines obtained from the waybill image. However, in another embodiment, as shown in FIG. 5 , the waybill image 500 includes an alignment mark 510 for in-place alignment of the waybill image 500, and the in-place alignment unit 324 includes the waybill image 500 By extracting the alignment mark 510 from the image 500, it is possible to determine whether or not to align the waybill image 500 in the correct position and perform the correct position alignment operation using the alignment mark 510.

구체적으로, 경사각도 산출부(324a)는 운송장 이미지(500)로부터 정렬마크(510)를 추출한다. 일 실시예에 있어서, 정렬마크(510)는 운송장 이미지(500)의 정위치 정렬을 위해 상하 구분이 가능한 형상으로 생성될 수 있다. 본 발명의 일 실시예에 따른 정렬마크(510)의 형상들이 도 6에 도시되어 있다.Specifically, the inclination angle calculation unit 324a extracts the alignment mark 510 from the waybill image 500 . In one embodiment, the alignment mark 510 may be created in a shape that can be divided up and down for in-place alignment of the waybill image 500 . The shapes of the alignment marks 510 according to an embodiment of the present invention are shown in FIG. 6 .

도 6에 도시된 바와 같이, 각각의 정렬마크들은 상측(Top)과 하측(Bottom)이 다른 형상으로 형성되어 있기 때문에, 경사각도 산출부(324a)는 운송장 이미지(500)로부터 추출된 정렬마크(510)를 해당 정렬마크의 원본형상과 비교함으로써 운송장 이미지(500)의 정위치 정렬여부를 판단할 수 있다. 경사각도 산출부(324a)는 운송장 이미지(500)에서 추출된 정렬마크(510)와 해당 정렬마크의 원본형상을 비교하여 경사각도를 산출하고, 산출된 경사각도가 기준각도(예컨대, 0도)와 상이하면 운송장 이미지(500)가 정위치 정렬되어 있지 않은 것으로 판단하여 산출된 경사각도를 회전각도 결정부(324b)로 전달한다.As shown in FIG. 6 , since the respective alignment marks are formed in different shapes on the top and bottom sides, the inclination angle calculation unit 324a calculates the alignment marks extracted from the waybill image 500 ( By comparing 510) with the original shape of the alignment mark, it is possible to determine whether the waybill image 500 is aligned in the correct position. The inclination angle calculation unit 324a calculates the inclination angle by comparing the alignment mark 510 extracted from the waybill image 500 with the original shape of the alignment mark, and the calculated inclination angle is the reference angle (eg, 0 degrees) If different from , it is determined that the waybill image 500 is not aligned in the correct position, and the calculated inclination angle is transmitted to the rotation angle determining unit 324b.

일 실시예에 있어서, 경사각도 산출부(324a)는 해당 정렬마크에 대해 미리 정해져 있는 2개의 특징점(미도시)을 연결한 라인을 이용하여 경사각도를 산출할 수 있다. 구체적으로, 경사각도 산출부(324a)는 해당 정렬마크의 원본형상에서 미리 정해져 있는 2개의 특징점을 연결한 라인과 운송장 이미지에서 추출된 정렬마크에서 2개의 특징점을 연결한 라인간의 각도 또는 상기 추출된 정렬마크에서 2개의 특징점을 연결한 라인과 미리 정해진 수직축 또는 수평축 간의 각도를 경사각도로 산출할 수 있다.In one embodiment, the inclination angle calculating unit 324a may calculate the inclination angle by using a line connecting two feature points (not shown) predetermined for the corresponding alignment mark. Specifically, the inclination angle calculation unit 324a is the angle between the line connecting the two feature points predetermined in the original shape of the alignment mark and the line connecting the two feature points in the alignment mark extracted from the waybill image, or the extracted An angle between a line connecting two feature points in the alignment mark and a predetermined vertical or horizontal axis may be calculated as an inclination angle.

회전각도 결정부(324b)는 경사각도 산출부(324a)에 의해 산출된 경사각도에 따라 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킨다. 일 실시예에 있어서, 회전각도 결정부(324b)는 경사각도 산출부(324a)에 의해 산출된 경사각도를 기준각도(예컨대, 0도)로 보정시키기 위해 필요한 값을 회전각도로 결정할 수 있다.The rotation angle determining unit 324b rotates the waybill image according to the inclination angle calculated by the inclination angle calculating unit 324a to align the waybill image in place. In an embodiment, the rotation angle determining unit 324b may determine a value necessary to correct the inclination angle calculated by the inclination angle calculating unit 324a to a reference angle (eg, 0 degrees) as the rotation angle.

이러한 경우, 이미지 회전부(324c)는 경사각도 산출부(324a)에 의해 산출된 경사각도 또는 회전각도 결정부(324b)에 의해 결정된 회전각도에 따라 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킨다.In this case, the image rotating unit 324c rotates the waybill image according to the inclination angle calculated by the inclination angle calculating unit 324a or the rotation angle determined by the rotation angle determining unit 324b to align the waybill image in place.

한편, 상술한 실시예에 있어서, 정위치 정렬부(324)는 4개의 경계라인을 이용하여 정위치 정렬여부를 판단하거나, 정렬마크를 이용하여 정위치 정렬여부를 판단하는 것으로 설명하였다. 하지만, 정위치 정렬부(324)가 4개의 경계라인만을 이용하여 정위치 정렬여부를 판단하는 경우 운송장 이미지가 상하 반전된 형태로 정렬될 수 있다.On the other hand, in the above-described embodiment, the in-place alignment unit 324 has been described as determining whether to align the in-place using the four boundary lines, or determine whether to align the in-place by using the alignment mark. However, when the in-place alignment unit 324 determines whether or not the in-place alignment is performed using only the four boundary lines, the waybill image may be aligned in a vertically inverted form.

따라서, 다른 실시예에 있어서 정위치 정렬부(324)는 4개의 경계라인을 기초로 정위치 정렬여부를 판단하는 경우 회전된 운송장 이미지 내에서 정렬마크를 추출하고, 추출된 정렬마크를 기초로 운송장 이미지의 상하반전 여부를 추가로 판단할 수도 있을 것이다. 이러한 실시예에 따르는 경우, 정위치 정렬부(324)는 회전된 운송장 이미지가 상하 반전된 것으로 판단되면, 회전된 운송장 이미지를 180도 추가 회전시킴으로써 운송장 이미지가 정위치 정렬될 수 있도록 한다.Accordingly, in another embodiment, the in-place alignment unit 324 extracts an alignment mark from the rotated waybill image when determining whether the in-place alignment is based on the four boundary lines, and based on the extracted alignment mark, the waybill Whether or not the image is vertically inverted may be additionally determined. According to this embodiment, when it is determined that the rotated waybill image is vertically inverted, the in-place alignment unit 324 rotates the rotated waybill image by 180 degrees so that the waybill image can be aligned in place.

다시 도 3을 참조하면, 운송장 식별정보 추출부(326)는 정위치 정렬부(324)를 통해 정위치 정렬된 운송장 이미지로부터 해당 운송장의 식별정보를 추출한다. 운송장 식별정보 추출부(326)는 운송장의 식별정보로 목적지코드를 추출할 수 있다. 목적지코드는 화물(210)이 배송되는 과정에서 거치게 되는 물류터미널 별로 부여되어 있는 코드로써, 물류터미널은 지역별 거점 물류센터를 의미한다. 일 실시예에 있어서, 목적지코드는 숫자 또는 문자들의 조합으로 구성될 수 있다. 예컨대, 목적지코드는 3개의 숫자조합으로 구성될 수 있다.Referring back to FIG. 3 , the waybill identification information extraction unit 326 extracts identification information of the corresponding waybill from the waybill image aligned in the correct position through the in-place alignment unit 324 . The waybill identification information extraction unit 326 may extract the destination code from the waybill identification information. The destination code is a code assigned to each logistics terminal that is passed through in the process of delivery of the cargo 210, and the logistics terminal means a regional logistics center. In one embodiment, the destination code may be composed of a combination of numbers or letters. For example, the destination code may be composed of a combination of three numbers.

운송장 식별정보 추출부(326)는 딥러닝 기반의 신경망 알고리즘에 의해 운송장 이미지로부터 후보 목적지코드들이 확률값 형태로 산출되면, 확률값이 임계치 이상인 후보 목적지코드들 중 가장 높은 확률값을 갖는 후보 목적지코드를 목적지코드로 추출한다.When the candidate destination codes are calculated in the form of probability values from the waybill image by a deep learning-based neural network algorithm, the waybill identification information extraction unit 326 selects the candidate destination code having the highest probability value among the candidate destination codes whose probability value is greater than or equal to the threshold value. extracted with

일 실시예에 있어서, 운송장에 정렬마크가 추가되는 경우, 목적지코드(520)는 도 7에 도시된 바와 같이, 정렬마크의 일측에 연속하여 배치될 수 있다. 이러한 실시예에 따를 때 정렬마크(510)를 통해 목적지코드(520)의 위치가 용이하게 특정되기 때문에, 운송장 식별정보 추출부(326)는 운송장 이미지 내에서 정렬마크(510)를 인식한 후, 정렬마크(510)의 일측에 연속하여 배치된 숫자들을 목적지코드(520)로 추출하면 되므로 목적지코드(520)를 빠른 시간 내에 보다 정확하게 추출할 수 있게 된다.In one embodiment, when an alignment mark is added to the waybill, the destination code 520 may be continuously arranged on one side of the alignment mark as shown in FIG. 7 . Since the location of the destination code 520 is easily specified through the alignment mark 510 according to this embodiment, the waybill identification information extraction unit 326 recognizes the alignment mark 510 in the waybill image, Since the number consecutively arranged on one side of the alignment mark 510 is extracted as the destination code 520, the destination code 520 can be more accurately extracted within a short time.

상술한 실시예에 있어서, 운송장 식별정보 추출부(326)는 운송장 식별정보로써 목적지코드(520)를 추출하는 것으로 설명하였다. 하지만, 다른 실시예에 있어서, 운송장 식별정보 추출부(326)는 도 7에 도시된 바와 같이, 목적지코드 (520)이외에 배송센터코드(530), 배송주소(540), 및 운송장 번호(550) 중 적어도 하나를 추가로 추출할 수 있다. 여기서, 배송센터코드(530)는 택배기사가 속한 택배센터 별로 부여되어 있는 코드를 의미하고, 배송주소(540)는 해당 화물이 배송되어야 할 주소를 의미하며, 운송장번호(550)는 각 운송장 별로 부여되는 바코드 형태의 번호를 의미한다. 이때, 배송주소(540) 및 운송장번호(550)는 운송장에서 2군데 이상 표기될 수 있기 때문에, 운송장 식별정보 추출부(326)는 운송장 이미지로부터 2개의 배송주소(540)와 2개의 운송장번호(550)를 추출할 수 있다.In the above-described embodiment, it has been described that the waybill identification information extraction unit 326 extracts the destination code 520 as the waybill identification information. However, in another embodiment, the waybill identification information extraction unit 326 may include a delivery center code 530, a delivery address 540, and a waybill number 550 in addition to the destination code 520, as shown in FIG. At least one of them may be additionally extracted. Here, the delivery center code 530 means a code assigned to each delivery center to which the delivery driver belongs, the delivery address 540 means an address to which the corresponding cargo is to be delivered, and the waybill number 550 is for each waybill. It means a number in the form of a barcode that is assigned. At this time, since the delivery address 540 and the waybill number 550 may be indicated in two or more places on the waybill, the waybill identification information extraction unit 326 extracts two delivery addresses 540 and two waybill numbers from the waybill image ( 550) can be extracted.

운송장 식별정보 추출부(326)는 운송장 식별정보로써 배송센터코드(530) 및 배송주소(540)가 추출되는 경우 추출된 배송센터코드(530) 및 배송주소(540)를 기초로 목적지코드를 획득할 수 있다. 구체적으로, 운송장 식별정보 추출부(326)는 운송장 이미지로부터 배송센터코드(530) 및 배송주소(540)가 추출되면, 목적지코드가 배송센터 코드 또는 배송주소와 매핑되어 있는 제1 테이블 상에서 상기 추출된 배송센터코드 및 배송주소 중 적어도 하나에 매핑되는 목적지코드를 해당 화물의 목적지코드로 결정하게 된다. 이때, 제1 테이블은 데이터베이스(340)에 저장되어 있다.When the delivery center code 530 and the delivery address 540 are extracted as the waybill identification information, the waybill identification information extraction unit 326 obtains a destination code based on the extracted delivery center code 530 and the delivery address 540 can do. Specifically, when the waybill identification information extraction unit 326 extracts the delivery center code 530 and the delivery address 540 from the waybill image, the destination code is extracted from the first table in which the delivery center code or delivery address is mapped. A destination code mapped to at least one of the designated delivery center code and delivery address is determined as the destination code of the corresponding cargo. In this case, the first table is stored in the database 340 .

일 실시예에 있어서, 운송장 식별정보 추출부(326)는 딥러닝 기반의 신경망 알고리즘에 의해 운송장 이미지로부터 추출된 후보 목적지코드들 중 확률값이 임계치 이상인 후보 목적지코드들이 존재하지 않는 경우, 운송장 이미지로부터 배송센터코드(530) 및 배송주소(540) 중 적어도 하나를 추가로 추출하고, 추출된 배송센터코드(530) 및 배송주소(540)를 기초로 제1 테이블 상에서 해당 화물에 대한 목적지코드를 획득할 수 있다.In one embodiment, the waybill identification information extraction unit 326 is delivered from the waybill image if there are no candidate destination codes having a probability value equal to or greater than a threshold among the candidate destination codes extracted from the waybill image by a deep learning-based neural network algorithm. At least one of the center code 530 and the delivery address 540 is further extracted, and the destination code for the corresponding cargo is obtained on the first table based on the extracted delivery center code 530 and the delivery address 540. can

또한, 상술한 실시예에 있어서는 운송장 식별정보 추출부(326)가 운송장 이미지로부터 운송장번호(550)를 추출하는 것으로 설명하였지만, 다른 실시예에 있어서, 운송장번호(550)는 이미지 촬영부(310)에 포함된 바코드 리딩장치를 통해 추출될 수도 있을 것이다.Also, in the above-described embodiment, it has been described that the waybill identification information extraction unit 326 extracts the waybill number 550 from the waybill image, but in another embodiment, the waybill number 550 is the image capturing unit 310 It may be extracted through the barcode reading device included in the .

운송장 식별정보 추출부(326)는 추출된 운송장 식별정보를 분류정보 생성부(330)에 전송하고, 데이터베이스(340)에 저장한다.The waybill identification information extracting unit 326 transmits the extracted waybill identification information to the classification information generating unit 330 and stores it in the database 340 .

다시 도 3을 참조하면, 분류정보 생성부(330)는 운송장 식별정보 추출부(326)로부터 목적지코드를 포함하는 운송장 식별정보가 수신되면, 목적지코드를 기초로 화물(210)의 분류를 위한 목적지 슈트(C1~Cn)의 식별정보가 포함된 분류정보를 생성한다.Referring back to FIG. 3 , when the waybill identification information including the destination code is received from the waybill identification information extraction unit 326, the classification information generating unit 330 is a destination for classification of the cargo 210 based on the destination code. Classification information including identification information of suits (C1 to Cn) is generated.

구체적으로, 분류정보 생성부(330)는 목적지코드 별로 목적지 슈트(C1~Cn)의 식별정보가 매핑되어 있는 제2 테이블에서 목적지코드에 매핑되어 있는 목적지 슈트(C1~Cn)의 식별정보를 결정하고, 결정된 목적지 슈트(C1~Cn)의 식별정보를 기초로 분류정보를 생성할 수 있다. 이때, 제2 테이블은 데이터베이스(340)에 저장되어 있다.Specifically, the classification information generation unit 330 determines the identification information of the destination suit (C1 ~ Cn) mapped to the destination code in the second table to which the identification information of the destination suite (C1 ~ Cn) is mapped for each destination code. And, it is possible to generate classification information based on the identification information of the determined destination suit (C1 ~ Cn). In this case, the second table is stored in the database 340 .

일 실시예에 있어서, 분류정보 생성부(330)는 화물(210)이 이송용 트레이에 안착된 상태로 이송장치(220) 상에서 이동하는 경우, 이송장치(220)로부터 해당 화물(210)이 안착된 이송용 트레이의 식별정보를 수신하고, 화물(210)이 안착된 이송용 트레이의 식별번호를 목적지 슈트(C1~Cn)의 식별정보와 매핑시켜 분류정보를 생성할 수 있다.In one embodiment, when the classification information generating unit 330 moves on the transport device 220 in a state where the cargo 210 is seated on the transport tray, the corresponding cargo 210 is seated from the transport device 220 . It is possible to generate classification information by receiving the identification information of the transport tray, and mapping the identification number of the transport tray on which the cargo 210 is seated with the identification information of the destination suit (C1 to Cn).

데이터베이스(340)에는 화물 이미지, 운송장 이미지, 목적지코드가 배송센터 코드 또는 배송주소와 매핑되어 있는 제1 테이블, 목적지코드 별로 목적지 슈트(C1~Cn)의 식별정보가 매핑되어 있는 제2 테이블, 및 운송장 식별정보가 저장된다. In the database 340, a first table in which a cargo image, a waybill image, and a destination code are mapped to a delivery center code or a delivery address, a second table in which identification information of the destination suit (C1 to Cn) is mapped for each destination code, and The waybill identification information is stored.

다시 도 2를 참조하면, 화물분류 제어기(250)는 운송장 이미지 인식장치(240)로부터 분류정보가 수신되면, 수신된 분류정보를 기초로 해당 화물(210)을 목적지 슈트(C1~Cn)로 분류한다. 구체적으로, 화물분류 제어기(250)는 분류정보로부터 각 이송용 트레이의 식별번호에 대한 목적지 슈트의 식별정보를 획득하고, 이송장치(220) 상에서 해당 이송용 트레이의 식별번호에 대응되는 이송용 트레이가 감지되면, 해당 이송용 트레이의 식별번호에 매핑되어 있는 목적지 슈트의 식별정보에 대응되는 목적지 슈트(C1~Cn)에서 이송용 트레이를 틸팅시킴으로써 화물(210)을 목적지 슈트(C1~Cn)로 분류할 수 있다.Referring back to FIG. 2 , when classification information is received from the waybill image recognition device 240 , the cargo classification controller 250 classifies the corresponding cargo 210 into destination suits C1 to Cn based on the received classification information. do. Specifically, the cargo classification controller 250 obtains the identification information of the destination suit for the identification number of each transfer tray from the classification information, and the transfer tray corresponding to the identification number of the corresponding transfer tray on the transfer device 220 . is detected, by tilting the transport tray in the destination chute (C1 ~ Cn) corresponding to the identification information of the destination chute mapped to the identification number of the transport tray, the cargo 210 to the destination chute (C1 ~ Cn) can be classified.

일 실시예에 있어서, 운영 시스템(200)은 도 2에 도시된 바와 같이 추가 슈트그룹(235)을 포함하는 경우, 추가 슈트 그룹(235)에서의 화물 분류를 위해 추가 화물분류 제어기(255)를 추가로 포함할 수도 있다. 도 2에서는 운영 시스템(200)이 1개의 추가 화물분류 제어기(255)를 포함하는 것으로 도시하였지만, 이는 하나의 예일 뿐 운영 시스템(200)은 2개 이상의 추가 화물분류 제어기(255)를 포함할 수도 있을 것이다.In one embodiment, when the operating system 200 includes the additional chute group 235 as shown in FIG. 2 , the additional cargo sorting controller 255 is configured for cargo sorting in the additional chute group 235 . It may include additionally. In FIG. 2 , the operating system 200 is illustrated as including one additional cargo sorting controller 255 , but this is only an example and the operating system 200 may include two or more additional cargo sorting controllers 255 . There will be.

도 8은 본 발명의 일 실시예에 따른 작업자 화면상에 표시되는 운송장 인식 UI화면의 예를 보여주는 도면이다. 도 8에 도시된 바와 같이, 운송장 인식 UI화면(800)은 이미지 촬영부(310)에 의해 촬영된 화물 이미지가 표시되는 화물 이미지 출력창(810~850), 운송장 이미지 인식장치(240)에 의해 획득된 운송장 이미지가 출력되는 운송장 이미지 출력창(860), 목적지코드가 출력되는 목적지코드 출력창(870), 및 운송장번호가 출력되는 운송장번호 출력창(880)을 포함한다. 도 8에서는 화물(210)의 5면을 촬영하여 5개의 화물 이미지가 표시되는 것으로 도시하였지만, 이는 하나의 예일 뿐 화물(210)의 6면을 모두 촬영하는 경우 6개의 화물 이미지가 표시될 수도 있다.8 is a view showing an example of a waybill recognition UI screen displayed on a worker screen according to an embodiment of the present invention. As shown in FIG. 8 , the waybill recognition UI screen 800 is displayed by the freight image output windows 810 to 850 in which the freight image captured by the image capturing unit 310 is displayed, and the waybill image recognition device 240 . It includes a waybill image output window 860 to output the obtained waybill image, a destination code output window 870 to output a destination code, and a waybill number output window 880 to output a waybill number. In FIG. 8 , five cargo images are displayed by photographing 5 sides of the cargo 210, but this is only an example, and when all six sides of the cargo 210 are photographed, six cargo images may be displayed .

한편, 도 8에 도시된 운송장 인식 UI화면(800)은 수동 및 자동설정버튼(890)을 추가로 포함할 수 있다. 이러한 실시예에 따르는 경우, 작업자가 운송장 인식 UI화면(800)상에서 수동 및 자동설정버튼(890)을 "수동"으로 설정하는 경우, 작업자는 목적지코드 입력창(895)에 직접 목적지코드를 입력하게 되고, 운송장 이미지 인식장치(240)는 운송장 이미지로부터 추출한 목적지코드와 작업자에 의해 입력된 목적지코드가 일치하는 경우에 한하여 분류정보를 생성할 수 있다.Meanwhile, the waybill recognition UI screen 800 shown in FIG. 8 may additionally include manual and automatic setting buttons 890 . According to this embodiment, when the operator sets the manual and automatic setting button 890 to "manual" on the waybill recognition UI screen 800, the operator directly inputs the destination code into the destination code input window 895. and the waybill image recognition device 240 may generate classification information only when the destination code extracted from the waybill image and the destination code input by the operator match.

한편, 작업자가 운송장 인식 UI화면(800)상에서 수동 및 자동설정버튼(890)을 "자동"으로 설정하는 경우, 운송장 이미지 인식장치(240)는 운송장 이미지로부터 추출한 목적지코드를 목적지코드 출력창(870)에 출력하고, 작업자에 의해 확인버튼(897)이 선택되는 경우 분류정보를 생성할 수 있다.On the other hand, when the operator sets the manual and automatic setting button 890 to "auto" on the waybill recognition UI screen 800, the waybill image recognition device 240 outputs the destination code extracted from the waybill image to the destination code output window 870 ), and when the confirmation button 897 is selected by the operator, classification information can be generated.

이하, 본 발명에 따른 딥러닝 기반의 운송장 이미지 인식방법에 대해 설명한다. 도 9는 본 발명의 일 실시예에 따른 딥러닝 기반의 운송장 이미지 인식 방법을 보여주는 플로우차트이다. 도 9에 도시된 딥러닝 기반의 운송장 이미지 인식 방법은 도 2에 도시된 운송장 이미지 인식장치(240)에 의해 수행될 수 있다.Hereinafter, a deep learning-based waybill image recognition method according to the present invention will be described. 9 is a flowchart illustrating a method for recognizing a waybill image based on deep learning according to an embodiment of the present invention. The deep learning-based waybill image recognition method shown in FIG. 9 may be performed by the waybill image recognition device 240 shown in FIG. 2 .

먼저, 운송장 이미지 인식장치(240)는 이송장치(220) 상에서 이동되는 화물(210)을 촬영한 화물 이미지를 획득한다(S900). 일 실시예에 있어서, 화물 이미지는 카메라를 이용하여 화물(210)을 촬영함으로써 생성된 화물 이미지이거나, 라인(Line) 카메라를 이용하여 화물(210)의 하나의 면에 대해 촬영된 복수개의 촬영 이미지가 하나로 결합됨으로써 생성된 화물 이미지이거나, 동영상 촬영 카메라에 의해 촬영된 동영상에 포함된 복수개의 프레임 영상들 중 화질이 가장 선명한 프레임 영상을 이용하여 생성된 화물 이미지일 수 있다.First, the waybill image recognition device 240 acquires a cargo image obtained by photographing the cargo 210 moving on the transport device 220 (S900). In one embodiment, the cargo image is a cargo image generated by photographing the cargo 210 using a camera, or a plurality of photographed images taken for one side of the cargo 210 using a line camera. It may be a cargo image generated by combining into one, or a cargo image generated using a frame image with the clearest image quality among a plurality of frame images included in a moving picture taken by a moving picture camera.

이때, 화물 이미지는 화물(210)의 6면 모두를 촬영하여 생성된 6개의 촬영 이미지를 포함하거나, 화물(210)의 6면 중 바닥면을 제외한 5면을 촬영하여 생성된 5개의 촬영 이미지를 포함할 수 있다.At this time, the cargo image includes six photographed images generated by photographing all six sides of the cargo 210, or five photographed images generated by photographing five surfaces of the cargo 210 except for the bottom surface. may include

이후, 운송장 이미지 인식장치(240)는 S900에서 획득된 화물 이미지로부터 운송장 이미지를 추출한다(S910). 일 실시예에 있어서, 운송장 이미지 인식장치(240)는 딥러닝 기반의 신경망(Neural Network) 알고리즘을 이용하여 화물 이미지로부터 운송장 이미지를 추출할 수 있다. Thereafter, the waybill image recognition device 240 extracts the waybill image from the freight image obtained in S900 (S910). In an embodiment, the waybill image recognition device 240 may extract a waybill image from the freight image by using a deep learning-based neural network algorithm.

구체적으로, 운송장 이미지 인식장치(240)는 S910에서 화물 이미지가 획득되면, 획득된 화물 이미지 내에서 운송장의 경계라인들을 결정하고, 경계라인들에 의해 정의되는 영역을 운송장 이미지로 추출한다. 일 실시예에 있어서, 운송장은 사각형 형상이므로, 운송장 이미지 인식장치(240)는 화물 이미지로부터 4개의 경계라인을 결정하고, 결정된 4개의 경계라인에 의해 정의되는 영역을 운송장 이미지로 추출한다.Specifically, when the cargo image is acquired in S910 , the waybill image recognition device 240 determines boundary lines of the waybill in the acquired cargo image, and extracts an area defined by the boundary lines as the waybill image. In one embodiment, since the waybill has a rectangular shape, the waybill image recognition device 240 determines four boundary lines from the freight image, and extracts an area defined by the determined four boundary lines as the waybill image.

운송장 이미지 인식장치(240)가 화물 이미지로부터 운송장 이미지를 추출하는 방법은 상술한 운송장 이미지 추출부(322)에 대한 부분에서 설명하였기 때문에 구체적인 설명은 생략하기로 한다.Since the method for the waybill image recognition device 240 to extract the waybill image from the freight image has been described in the section on the waybill image extraction unit 322 described above, a detailed description thereof will be omitted.

운송장 이미지의 추출이 완료되면, 운송장 이미지 인식장치(240)는 추출된 운송장 이미지가 정위치 정렬되어 있는지 여부를 판단한다(S920). 일 실시예에 있어서, 운송장 이미지 인식장치(240)는 수직축 또는 수평축과 상기 운송장 이미지간의 경사각도가 기준각도와 상이한 경우 운송장 이미지가 정위치 정렬되어 있지 않은 것으로 판단할 수 있다.When the extraction of the waybill image is completed, the waybill image recognition device 240 determines whether the extracted waybill image is aligned in the correct position (S920). In one embodiment, the waybill image recognition device 240 may determine that the waybill image is not aligned in the correct position when the inclination angle between the vertical or horizontal axis and the waybill image is different from the reference angle.

구체적으로, 운송장 이미지 인식장치(240)는 운송장 이미지를 구성하는 4개의 경계라인들 중에서 결정된 하나의 기준 경계라인이 미리 정해진 수직축 또는 수평축과 이루는 경사각도를 산출하고, 산출된 경사각도가 기준각도와 상이하면 운송장 이미지가 정위치 정렬되어 있지 않은 것으로 판단한다. 이때, 기준 경계라인은 운송장 이미지를 구성하는 4개의 경계라인들 중 길이가 가장 긴 경계라인 또는 길이가 가장 짧은 경계라인으로 결정될 수 있다.Specifically, the waybill image recognition device 240 calculates the inclination angle formed by one reference boundary line determined from among the four boundary lines constituting the waybill image with a predetermined vertical or horizontal axis, and the calculated inclination angle is equal to the reference angle If it is different, it is determined that the waybill image is not aligned in the correct position. In this case, the reference boundary line may be determined as the boundary line with the longest length or the boundary line with the shortest length among the four boundary lines constituting the waybill image.

S920의 판단결과, 운송장 이미지가 정위치 정렬되어 있지 않은 것으로 판단되면, 운송장 이미지 인식장치(240)는 S910에서 획득된 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킨다(S930).As a result of the determination in S920, if it is determined that the waybill image is not aligned in the correct position, the waybill image recognition device 240 aligns the waybill image by rotating the waybill image obtained in S910 (S930).

구체적으로, 운송장 이미지 인식장치(240)는 운송장 이미지의 정위치 정렬여부 판단시 산출된 경사각도에 따라 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킬 수 있다. 예컨대, 운송장 이미지 인식장치(240)는 경사각도를 기준각도로 보정시키기 위해 필요한 값을 회전각도로 결정하고, 운송장 이미지를 회전각도만큼 회전시킴으로써 운송장 이미지를 정위치 정렬시킬 수 있다.Specifically, the waybill image recognition device 240 may align the waybill image in the correct position by rotating the waybill image according to the calculated inclination angle when determining whether the waybill image is aligned in the correct position. For example, the waybill image recognition device 240 may determine a value necessary to correct the inclination angle to the reference angle as the rotation angle, and rotate the waybill image by the rotation angle to align the waybill image in place.

상술한 실시예에 있어서, 운송장 이미지 인식장치(240)는 운송장 이미지에서 획득되는 4개의 경계라인을 기초로 운송장 이미지의 정위치 정렬여부 판단 및 정위치 정렬을 수행하는 것으로 설명하였다. 하지만, 다른 실시예에 있어서 운송장에 정렬마크가 포함되어 있는 경우, 운송장 이미지 인식장치(240)는 운송장 이미지로부터 정렬마크를 추출하고, 추출된 정렬마크를 이용하여 운송장 이미지의 정위치 정렬여부 판단 및 정위치 정렬작업을 수행할 수도 있다.In the above-described embodiment, it has been described that the waybill image recognition device 240 performs in-place alignment determination and exact alignment of the waybill image based on four boundary lines obtained from the waybill image. However, in another embodiment, when the waybill includes an alignment mark, the waybill image recognition device 240 extracts the alignment mark from the waybill image, and uses the extracted alignment mark to determine whether the waybill image is aligned in the correct position and In-situ alignment can also be performed.

구체적으로, 운송장 이미지 인식장치(240)는 운송장 이미지로부터 정렬마크를 추출하고, 추출된 정렬마크를 해당 정렬마크의 원본형상과 비교함으로써 운송장 이미지의 정위치 정렬여부를 판단할 수 있다. 운송장 이미지 인식장치(240)는 추출된 정렬마크와 해당 정렬마크의 원본형상을 비교하여 경사각도를 산출하고, 산출된 경사각도가 기준각도(예컨대, 0도)와 상이하면 운송장 이미지가 정위치 정렬되어 있지 않은 것으로 판단하여, 산출된 경사각도에 따라 운송장 이미지를 회전시킴으로써 운송장 이미지를 정위치 정렬시킬 수 있다. 예컨대, 운송장 이미지 인식장치(240)는 산출된 경사각도를 기준각도로 보정시키기 위한 회전각도를 결정하고, 운송장 이미지를 회전각도만큼 회전시킴으로써 운송장 이미지를 정위치 정렬시킬 수 있다.Specifically, the waybill image recognition device 240 may determine whether the waybill image is aligned in the correct position by extracting an alignment mark from the waybill image and comparing the extracted alignment mark with the original shape of the corresponding alignment mark. The waybill image recognition device 240 compares the extracted alignment mark with the original shape of the alignment mark to calculate an inclination angle, and if the calculated inclination angle is different from the reference angle (eg, 0 degree), the waybill image is aligned in place It is determined that it is not, and the waybill image can be aligned in place by rotating the waybill image according to the calculated inclination angle. For example, the waybill image recognition device 240 may determine a rotation angle for correcting the calculated inclination angle to a reference angle, and may align the waybill image in place by rotating the waybill image by the rotation angle.

이러한 실시예에 따르는 경우, 운송장 이미지 인식장치(240)는 해당 정렬마크에 대해 미리 정해져 있는 2개의 특징점(미도시)을 연결한 라인을 이용하여 경사각도를 산출할 수 있다. 구체적으로, 운송장 이미지 인식장치(240)는 해당 정렬마크의 원본형상에서 2개의 특징점을 연결한 라인과 운송장 이미지에서 추출된 정렬마크에서 2개의 특징점을 연결한 라인간의 각도를 경사각도로 산출할 수 있다.According to this embodiment, the waybill image recognition device 240 may calculate the inclination angle using a line connecting two predetermined feature points (not shown) for the corresponding alignment mark. Specifically, the waybill image recognition device 240 may calculate the angle between the line connecting two feature points in the original shape of the corresponding alignment mark and the line connecting two feature points in the alignment mark extracted from the waybill image as an inclination angle. .

S920에서 운송장 이미지가 정위치 정렬된 것으로 판단되거나, S930에서 운송장 이미지의 정위치 정렬이 완료되면, 운송장 이미지 인식장치(240)는 정위치 정렬된 운송장 이미지로부터 운송장 식별정보를 추출한다(S940). 일 실시예에 있어서, 운송장 이미지 인식장치(240)는 운송장 식별정보로써 목적지코드를 추출할 수 있다. 여기서, 목적지코드는 화물(210)이 배송되는 과정에서 거치게 되는 물류터미널 별로 부여되어 있는 코드로써, 물류터미널은 지역별 거점 물류센터를 의미한다. 일 실시예에 있어서, 목적지코드는 숫자 또는 문자들의 조합으로 구성될 수 있다. 예컨대, 목적지코드는 3개의 숫자조합으로 구성될 수 있다.When it is determined in S920 that the waybill image is aligned in the correct position or when the in-place alignment of the waybill image is completed in S930, the waybill image recognition device 240 extracts the waybill identification information from the waybill image aligned in the correct position (S940). In one embodiment, the waybill image recognition device 240 may extract the destination code as the waybill identification information. Here, the destination code is a code assigned to each distribution terminal that the cargo 210 is passed through in the process of being delivered, and the distribution terminal means a regional base distribution center. In one embodiment, the destination code may be composed of a combination of numbers or letters. For example, the destination code may be composed of a combination of three numbers.

한편, 운송장 이미지 인식장치(240)는 복수개의 운송장 이미지들로 학습된 딥러닝 알고리즘을 이용하여 운송장 이미지로부터 목적지코드를 획득할 수 있다. 구체적으로, 운송장 이미지 인식장치(240)는 딥러닝 기반의 신경망 알고리즘에 의해 운송장 이미지로부터 후보 목적지코드들이 확률값 형태로 산출되면, 확률값이 임계치 이상인 후보 목적지코드들 중 가장 높은 확률값을 갖는 후보 목적지코드를 목적지코드로 추출한다.Meanwhile, the waybill image recognition device 240 may obtain a destination code from the waybill image by using a deep learning algorithm learned from a plurality of waybill images. Specifically, when the candidate destination codes are calculated in the form of a probability value from the waybill image by a deep learning-based neural network algorithm, the waybill image recognition device 240 selects the candidate destination code having the highest probability value among the candidate destination codes whose probability value is greater than or equal to the threshold value. Extract by destination code.

일 실시예에 있어서, 운송장에 정렬마크가 추가되는 경우, 운송장 이미지 인식장치(240)는 운송장 이미지 내에서 정렬마크의 일 측에 연속하여 배치된 미리 정해진 개수의 숫자들을 상기 목적지코드로 추출할 수 있다. 이러한 실시예에 따를 때 정렬마크를 통해 목적지코드의 위치가 용이하게 특정되기 때문에, 운송장 이미지 인식장치(240)는 운송장 이미지 내에서 정렬마크를 인식한 후, 정렬마크의 일측에 연속하여 배치된 숫자들을 목적지코드로 추출하면 되므로 목적지코드를 빠른 시간 내에 보다 정확하게 추출할 수 있게 된다.In one embodiment, when an alignment mark is added to the waybill, the waybill image recognition device 240 may extract a predetermined number of numbers consecutively arranged on one side of the alignment mark in the waybill image as the destination code. there is. According to this embodiment, since the location of the destination code is easily specified through the alignment mark, the waybill image recognition device 240 recognizes the alignment mark in the waybill image, and then the numbers continuously arranged on one side of the alignment mark Since the destination code can be extracted as a destination code, the destination code can be extracted more accurately in a short time.

상술한 실시예에 있어서, 운송장 이미지 인식장치(240)는 운송장 식별정보로써 목적지코드를 추출하는 것으로 설명하였다. 하지만, 다른 실시예에 있어서, 운송장 이미지 인식장치(240)는 목적지코드 이외에 배송센터코드, 배송주소, 및 운송장 번호 중 적어도 하나를 운송장 식별정보로써 추가로 추출할 수 있다. 여기서, 배송센터코드는 택배기사가 속한 택배센터 별로 부여되어 있는 코드를 의미하고, 배송주소는 해당 화물이 배송되어야 할 주소를 의미하며, 운송장번호는 각 운송장 별로 부여되는 바코드 형태의 번호를 의미한다.In the above-described embodiment, it has been described that the waybill image recognition device 240 extracts the destination code as the waybill identification information. However, in another embodiment, the waybill image recognition device 240 may additionally extract at least one of a delivery center code, a delivery address, and a waybill number as waybill identification information in addition to the destination code. Here, the delivery center code means a code assigned to each delivery center to which the delivery driver belongs, the delivery address means the address to which the cargo is to be delivered, and the waybill number means a barcode type number assigned to each waybill. .

이러한 실시예에 따르는 경우, 운송장 이미지 인식장치(240)는 추출된 배송센터코드 및 배송주소를 기초로 목적지코드를 획득할 수 있다. 구체적으로, 운송장 이미지 인식장치(240)는 운송장 이미지로부터 배송센터코드 및 배송주소가 추출되면, 목적지코드가 배송센터 코드 또는 배송주소와 매핑되어 있는 제1 테이블 상에서 상기 추출된 배송센터코드 및 배송주소 중 적어도 하나에 매핑되는 목적지코드를 해당 화물의 목적지코드로 결정하게 된다According to this embodiment, the waybill image recognition device 240 may acquire the destination code based on the extracted delivery center code and delivery address. Specifically, the waybill image recognition device 240 extracts the delivery center code and delivery address from the waybill image, and the extracted delivery center code and delivery address on the first table in which the destination code is mapped to the delivery center code or delivery address. The destination code mapped to at least one of them is determined as the destination code of the cargo.

또 다른 실시예에 있어서, 운송장 이미지 인식장치(240)는 딥러닝 기반의 신경망 알고리즘에 의해 운송장 이미지로부터 추출된 후보 목적지코드들 중 확률값이 임계치 이상인 후보 목적지코드들이 존재하지 않는 경우, 운송장 이미지로부터 배송센터코드 및 배송주소 중 적어도 하나를 추가로 추출하고, 추출된 배송센터코드 및 배송주소를 기초로 제1 테이블 상에서 해당 화물에 대한 목적지코드를 획득할 수도 있을 것이다. In another embodiment, the waybill image recognition device 240 is delivered from the waybill image when there are no candidate destination codes whose probability value is greater than or equal to a threshold among the candidate destination codes extracted from the waybill image by a deep learning-based neural network algorithm. At least one of the center code and the delivery address is additionally extracted, and the destination code for the corresponding cargo may be obtained on the first table based on the extracted delivery center code and the delivery address.

운송장 식별정보의 추출이 완료되면, 운송장 이미지 인식장치(240)는 S940에서 획득된 운송장 식별정보, 예컨대 목적지코드를 기초로 화물(210)의 분류를 위한 목적지 슈트의 식별정보를 결정한다(S950). 구체적으로, 운송장 이미지 인식장치(240)는 목적지코드 별로 목적지 슈트의 식별정보가 매핑되어 있는 제2 테이블에서 목적지코드에 매핑되어 있는 목적지 슈트의 식별정보를 결정하고, 결정된 목적지 슈트의 식별정보를 기초로 분류정보를 생성할 수 있다. When the extraction of the waybill identification information is completed, the waybill image recognition device 240 determines the identification information of the destination suit for classification of the cargo 210 based on the waybill identification information obtained in S940, for example, the destination code (S950) . Specifically, the waybill image recognition device 240 determines the identification information of the destination suit mapped to the destination code from the second table in which the identification information of the destination suit is mapped for each destination code, and based on the determined identification information of the destination suit classification information can be generated.

이후, 운송장 이미지 인식장치(240)는 S950에서 결정된 목적지 슈트의 식별정보를 포함하는 화물의 분류정보를 생성한다(S960). Thereafter, the waybill image recognition device 240 generates the classification information of the cargo including the identification information of the destination suit determined in S950 (S960).

일 실시예에 있어서, 운송장 이미지 인식장치(240)는 화물(210)이 이송용 트레이에 안착된 상태로 이송장치(220) 상에서 이동하는 경우, 이송장치(220)로부터 해당 화물(210)이 안착된 이송용 트레이의 식별정보를 수신하고, 화물(210)이 안착된 이송용 트레이의 식별번호를 목적지 슈트의 식별정보와 매핑시켜 분류정보를 생성할 수도 있다.In one embodiment, when the waybill image recognition device 240 moves on the transport device 220 in a state where the cargo 210 is seated on the transport tray, the cargo 210 is seated from the transport device 220 Receive the identification information of the transport tray, and the identification number of the transport tray on which the cargo 210 is seated may be mapped with the identification information of the destination suit to generate classification information.

이러한 실시예에 따르는 경우, 운송장 이미지 인식장치(240)는 생성된 분류정보를 도 2에 도시된 화물분류 제어기(250)로 전송함으로써, 화물분류 제어기(250)가 운송장 이미지 인식장치(240)로부터 전송된 분류정보를 기초로 해당 화물(210)을 목적지 슈트(C1~Cn)로 분류할 수 있도록 한다.According to this embodiment, the waybill image recognition device 240 transmits the generated classification information to the cargo classification controller 250 shown in FIG. Based on the transmitted classification information, the cargo 210 can be classified into destination suits (C1 to Cn).

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the above-described present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof.

또한, 본 명세서에 설명되어 있는 방법들은 적어도 부분적으로, 하나 이상의 컴퓨터 프로그램 또는 구성요소를 사용하여 구현될 수 있다.　 이 구성요소는 휘발성 및 비휘발성 메모리를 포함하는 컴퓨터로 판독 가능한 매체 또는 기계 판독 가능한 매체를 통해 일련의 컴퓨터 지시어들로서 제공될 수 있다. 상기 지시어들은 소프트웨어 또는 펌웨어로서 제공될 수 있으며, 전체적 또는 부분적으로, ASICs, FPGAs, DSPs, 또는 그 밖의 다른 유사 소자와 같은 하드웨어 구성에 구현될 수도 있다. 상기 지시어들은 하나 이상의 프로세서 또는 다른 하드웨어 구성에 의해 실행되도록 구성될 수 있는데, 상기 프로세서 또는 다른 하드웨어 구성은 상기 일련의 컴퓨터 지시어들을 실행할 때 본 명세서에 개시된 방법들 및 절차들의 모두 또는 일부를 수행하거나 수행할 수 있도록 한다.Further, the methods described herein may be implemented, at least in part, using one or more computer programs or components. This component may be provided as a series of computer instructions via computer-readable media or machine-readable media, including volatile and non-volatile memory. The directives may be provided as software or firmware, and may be implemented, in whole or in part, in a hardware configuration such as ASICs, FPGAs, DSPs, or other similar devices. The instructions may be configured to be executed by one or more processors or other hardware components, which when executing the series of computer instructions perform or perform all or part of the methods and procedures disclosed herein. make it possible

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

200: 운영 시스템 200: 화물
220: 이송장치 230: 슈트그룹
240: 운송장 이미지 인식장치 250: 화물분류 제어기
310: 이미지 촬영부 320: 운송장 이미지 처리부
321: 이미지 획득부 322: 운송장 이미지 추출부
324: 정위치 정렬부 326: 운송장 식별정보 추출부
330: 분류정보 생성부 340: 데이터베이스 200: operating system 200: cargo
220: transfer device 230: suit group
240: waybill image recognition device 250: cargo classification controller
310: image capturing unit 320: waybill image processing unit
321: image acquisition unit 322: waybill image extraction unit
324: in-place alignment unit 326: waybill identification information extraction unit
330: classification information generation unit 340: database

Claims (18)

촬영된 화물 이미지를 획득하는 이미지 획득부;
복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 화물 이미지로부터 운송장 이미지를 추출하고, 상기 운송장 이미지로부터 목적지코드를 포함하는 운송장 식별정보를 획득하는 운송장 이미지 처리부; 및
상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보가 포함된 분류정보를 생성하는 분류정보 생성부를 포함하고,
상기 운송장 이미지 처리부는,
상기 운송장 이미지가 수직축 또는 수평축을 기준으로 기울어진 경사각도를 기초로 상기 운송장 이미지의 정위치 정렬여부를 판단하고, 상기 운송장 이미지가 정위치 정렬되어 있지 않은 경우 상기 경사각도에 따라 상기 운송장 이미지를 회전시켜 상기 운송장 이미지를 정위치로 정렬시키는 정위치 정렬부를 포함하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.an image acquisition unit for acquiring a photographed cargo image;
a waybill image processing unit for extracting a waybill image from the freight image using a deep learning-based neural network algorithm learned from a plurality of waybill images, and obtaining waybill identification information including a destination code from the waybill image; and
and a classification information generator for generating classification information including identification information of a destination Chute for classification of the cargo based on the destination code,
The waybill image processing unit,
Determines whether the waybill image is aligned in the correct position based on the inclination angle of the waybill image with respect to the vertical axis or the horizontal axis, and if the waybill image is not aligned in the correct position, rotate the waybill image according to the inclination angle Deep learning-based waybill image recognition device, characterized in that it comprises an in-place alignment unit for aligning the waybill image to the correct position. 제1항에 있어서,
상기 운송장 이미지 처리부는,
상기 화물 이미지 내에서 운송장의 경계라인들을 결정하고, 상기 경계라인들에 의해 정의되는 영역을 상기 운송장 이미지로 추출하는 운송장 이미지 추출부를 포함하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.According to claim 1,
The waybill image processing unit,
and a waybill image extraction unit for determining boundary lines of a waybill within the freight image and extracting an area defined by the boundary lines as the waybill image. 삭제delete 제1항에 있어서,
상기 정위치 정렬부는 상기 운송장 이미지를 구성하는 4개의 경계라인들 중에서 결정된 하나의 기준 경계라인이 상기 수직축 또는 상기 수평축과 이루는 각도를 상기 경사각도로 산출하고, 상기 경사각도를 기준각도로 보정시키기 위해 필요한 회전각도로 결정하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.According to claim 1,
The position alignment unit calculates the angle between the vertical axis or the horizontal axis formed by one reference boundary line determined from among the four boundary lines constituting the waybill image as the inclination angle, and it is necessary to correct the inclination angle as a reference angle. Deep learning-based waybill image recognition device, characterized in that it is determined by the rotation angle. 제1항에 있어서,
상기 운송장 이미지 처리부는,
상기 운송장 이미지 내에서 정렬마크를 추출하고, 수직축 또는 수평축과 상기 추출된 정렬마크간의 경사각도를 기초로 상기 운송장 이미지의 정위치 정렬여부를 판단하고, 상기 운송장 이미지가 정위치 정렬되어 있지 않은 경우 상기 경사각도에 따라 상기 운송장 이미지를 회전시켜 상기 운송장 이미지를 정위치로 정렬시키는 정위치 정렬부를 포함하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.According to claim 1,
The waybill image processing unit,
Extracting an alignment mark in the waybill image, determining whether the waybill image is aligned in the correct position based on the inclination angle between the vertical or horizontal axis and the extracted alignment mark, and if the waybill image is not aligned in the correct position, the Deep learning-based waybill image recognition device, characterized in that it comprises an in-place alignment unit that rotates the waybill image according to the inclination angle to align the waybill image to the correct position. 제1항에 있어서,
상기 운송장 이미지 처리부는,
상기 운송장 이미지 내에서 정렬마크의 일 측에 연속하여 배치된 미리 정해진 개수의 숫자들을 상기 목적지코드로 추출하는 운송장 식별정보 추출부를 포함하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치. According to claim 1,
The waybill image processing unit,
and a waybill identification information extraction unit for extracting a predetermined number of numbers consecutively arranged on one side of the alignment mark in the waybill image as the destination code. 제6항에 있어서,
상기 운송장 식별정보 추출부는,
상기 운송장 이미지로부터 복수개의 후보 목적지코드들이 추출되면, 확률값이 임계치 이상인 후보 목적지코드들 중 가장 높은 확률값을 갖는 후보 목적지 코드를 상기 목적지코드로 추출하고,
상기 임계치 이상의 후보 목적지코드가 존재하지 않는 경우 상기 운송장 이미지 내에서 배송센터 코드 및 배송주소 중 적어도 하나를 추가로 추출하고, 목적지코드가 배송센터 코드 또는 배송주소와 매핑되어 있는 제1 테이블에서 상기 추출된 배송센터코드 및 배송주소 중 적어도 하나에 매핑되는 코드를 상기 목적지코드로 추출하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.7. The method of claim 6,
The waybill identification information extraction unit,
When a plurality of candidate destination codes are extracted from the waybill image, a candidate destination code having the highest probability value among candidate destination codes having a probability value equal to or greater than a threshold is extracted as the destination code,
If there is no candidate destination code greater than the threshold, at least one of a delivery center code and a delivery address is further extracted from the waybill image, and the destination code is extracted from a first table in which the delivery center code or delivery address is mapped. A deep learning-based waybill image recognition apparatus, characterized in that extracting a code mapped to at least one of a delivery center code and a delivery address as the destination code. 제1항에 있어서,
상기 분류정보 생성부는,
목적지코드 별로 목적지 슈트의 식별정보가 매핑되어 있는 제2 테이블에서 상기 목적지코드에 매핑되어 있는 식별정보를 상기 목적지 슈트의 식별정보로 결정하고, 상기 결정된 목적지 슈트의 식별정보를 기초로 상기 분류정보를 생성하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.According to claim 1,
The classification information generating unit,
In the second table to which the identification information of the destination suite is mapped for each destination code, the identification information mapped to the destination code is determined as the identification information of the destination suite, and the classification information is determined based on the identification information of the determined destination suite. Deep learning-based waybill image recognition device, characterized in that it generates. 제1항에 있어서,
상기 화물은 컨베이어 벨트 상에서 이송용 트레이에 안착되어 이송되고,
상기 분류정보 생성부는 상기 화물이 안착된 이송용 트레이의 식별번호를 상기 목적지 슈트의 식별정보와 매핑시켜 상기 분류정보를 생성하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.According to claim 1,
The cargo is transported by being seated on a transport tray on a conveyor belt,
The classification information generator maps the identification number of the transport tray on which the cargo is seated with the identification information of the destination suit, and generates the classification information. 제9항에 있어서,
상기 분류정보 생성부는 상기 분류정보를 화물분류 제어기로 전송하고,
상기 화물분류 제어기는 상기 이송용 트레이의 식별번호에 대응되는 이송용 트레이가 감지되면 상기 이송용 트레이의 식별번호에 매핑되어 있는 목적지 슈트의 식별정보에 대응되는 목적지 슈트에서 상기 이송용 트레이를 틸팅시켜 상기 화물을 상기 목적지 슈트로 분류하는 것을 특징으로 하는 하는 딥러닝 기반의 운송장 이미지 인식 장치.10. The method of claim 9,
The classification information generating unit transmits the classification information to the cargo classification controller,
When a transport tray corresponding to the identification number of the transport tray is detected, the cargo classification controller tilts the transport tray from the destination chute corresponding to the identification information of the destination suit mapped to the identification number of the transport tray. Deep learning-based waybill image recognition device, characterized in that classifying the cargo into the destination suit. 화물을 촬영하여 화물 이미지를 획득하는 이미지 촬영부;
복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 화물 이미지로부터 운송장 이미지를 추출하고, 상기 운송장 이미지로부터 목적지코드를 포함하는 운송장 식별정보를 획득하는 운송장 이미지 처리부; 및
상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보가 포함된 분류정보를 생성하는 분류정보 생성부를 포함하고,
상기 운송장 이미지 처리부는,
상기 운송장 이미지가 수직축 또는 수평축을 기준으로 기울어진 경사각도를 기초로 상기 운송장 이미지의 정위치 정렬여부를 판단하고, 상기 운송장 이미지가 정위치 정렬되어 있지 않은 경우 상기 경사각도에 따라 상기 운송장 이미지를 회전시켜 상기 운송장 이미지를 정위치로 정렬시키는 정위치 정렬부를 포함하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.an image capturing unit for photographing a cargo to obtain an image of the cargo;
a waybill image processing unit for extracting a waybill image from the freight image using a deep learning-based neural network algorithm learned from a plurality of waybill images, and obtaining waybill identification information including a destination code from the waybill image; and
and a classification information generator for generating classification information including identification information of a destination Chute for classification of the cargo based on the destination code,
The waybill image processing unit,
Determines whether the waybill image is aligned in the correct position based on the inclination angle of the waybill image with respect to the vertical axis or the horizontal axis, and if the waybill image is not aligned in the correct position, rotate the waybill image according to the inclination angle Deep learning-based waybill image recognition device, characterized in that it comprises an in-place alignment unit for aligning the waybill image to the correct position. 제11항에 있어서,
상기 이미지 촬영부는 라인 카메라이고,
상기 이미지 촬영부는 상기 라인 카메라에 의해 생성된 복수개의 촬영 이미지를 하나로 결합하여 상기 화물 이미지를 획득하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 장치.12. The method of claim 11,
The image capturing unit is a line camera,
The image capturing unit combines a plurality of captured images generated by the line camera into one to obtain the cargo image. 화물 이미지로부터 운송장 이미지를 추출하는 단계;
수직축 또는 수평축과 상기 운송장 이미지간의 경사각도가 기준각도와 상이하면 상기 운송장 이미지를 회전시켜 상기 운송장 이미지를 정위치 정렬시키는 단계;
복수개의 운송장 이미지들로 학습된 딥러닝 기반의 신경망 알고리즘을 이용하여 상기 정위치 정렬된 운송장 이미지로부터 목적지코드를 획득하는 단계;
상기 목적지코드를 기초로 상기 화물의 분류를 위한 목적지 슈트(Chute)의 식별정보를 결정하는 단계; 및
상기 목적지 슈트(Chute)의 식별정보를 포함하는 상기 화물의 분류정보를 생성하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 방법.extracting a waybill image from the freight image;
if the inclination angle between the vertical or horizontal axis and the waybill image is different from a reference angle, rotating the waybill image to align the waybill image;
obtaining a destination code from the waybill image aligned in place by using a deep learning-based neural network algorithm learned from a plurality of waybill images;
determining identification information of a destination suit (Chute) for classification of the cargo based on the destination code; and
Deep learning-based waybill image recognition method comprising the step of generating the classification information of the cargo including the identification information of the destination chute (Chute). 제13항에 있어서,
상기 운송장 이미지를 추출하는 단계에서, 상기 화물 이미지 내에서 운송장의 경계라인들을 결정하고, 상기 경계라인들에 의해 정의되는 영역을 상기 운송장 이미지로 추출하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 방법.14. The method of claim 13,
Deep learning-based waybill image recognition method, characterized in that in the step of extracting the waybill image, boundary lines of a waybill are determined in the freight image, and an area defined by the boundary lines is extracted as the waybill image . 제13항에 있어서,
상기 운송장 이미지를 정위치로 정렬시키는 단계에서, 상기 운송장 이미지를 구성하는 4개의 경계라인들 중에서 결정된 하나의 기준 경계라인이 상기 수직축 또는 상기 수평축과 이루는 각도를 상기 경사각도로 산출하고, 상기 경사각도를 상기 기준각도로 보정시키기 위해 필요한 값을 회전각도로 결정하여 상기 운송장 이미지를 상기 회전각도만큼 회전시키는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 방법.14. The method of claim 13,
In the step of aligning the waybill image to the correct position, an angle between the vertical axis or the horizontal axis of one reference boundary line determined from among the four boundary lines constituting the waybill image is calculated as the inclination angle, and the inclination angle is A method for recognizing a waybill image based on deep learning, characterized in that by determining a value necessary to correct the reference angle as a rotation angle, the waybill image is rotated by the rotation angle. 제13항에 있어서,
상기 운송장 이미지를 정위치로 정렬시키는 단계에서, 상기 운송장 이미지 내에서 정렬마크를 추출하고, 상기 수직축 또는 상기 수평축과 상기 추출된 정렬마크간의 각도를 상기 경사각도로 산출하고, 상기 경사각도를 상기 기준각도로 보정시키기 위해 필요한 값을 회전각도로 결정하여 상기 운송장 이미지를 상기 회전각도만큼 회전시키는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 방법.14. The method of claim 13,
In the step of aligning the waybill image to the correct position, an alignment mark is extracted from the waybill image, an angle between the vertical axis or the horizontal axis and the extracted alignment mark is calculated as the inclination angle, and the inclination angle is the reference angle A method for recognizing a waybill image based on deep learning, characterized in that by determining a value necessary for correction as a rotation angle, the waybill image is rotated by the rotation angle. 제13항에 있어서,
상기 목적지코드를 획득하는 단계에서,
상기 운송장 이미지 내에서 정렬마크의 일 측에 연속하여 배치된 미리 정해진 개수의 숫자들을 상기 목적지코드로 추출하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 방법. 14. The method of claim 13,
In the step of obtaining the destination code,
Deep learning-based waybill image recognition method, characterized in that extracting a predetermined number of numbers consecutively arranged on one side of the alignment mark in the waybill image as the destination code. 제17항에 있어서,
상기 목적지코드를 획득하는 단계에서,
상기 운송장 이미지로부터 복수개의 후보 목적지코드들이 추출되면, 확률값이 임계치 이상인 후보 목적지코드들 중 가장 높은 확률값을 갖는 후보 목적지 코드를 상기 목적지코드로 추출하고,
상기 임계치 이상의 후보 목적지코드가 존재하지 않는 경우 상기 운송장 이미지 내에서 배송센터 코드 및 배송주소 중 적어도 하나를 추가로 추출하고, 목적지코드가 배송센터 코드 또는 배송주소와 매핑되어 있는 제1 테이블에서 상기 추출된 배송센터코드 및 배송주소 중 적어도 하나에 매핑되는 코드를 상기 목적지코드로 추출하는 것을 특징으로 하는 딥러닝 기반의 운송장 이미지 인식 방법.18. The method of claim 17,
In the step of obtaining the destination code,
When a plurality of candidate destination codes are extracted from the waybill image, a candidate destination code having the highest probability value among candidate destination codes having a probability value equal to or greater than a threshold is extracted as the destination code,
If there is no candidate destination code greater than the threshold, at least one of a delivery center code and a delivery address is further extracted from the waybill image, and the destination code is extracted from a first table in which the delivery center code or delivery address is mapped. Deep learning-based waybill image recognition method, characterized in that extracting a code mapped to at least one of the delivery center code and the delivery address as the destination code.
KR1020200094198A 2020-07-29 2020-07-29 Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning KR102385083B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200094198A KR102385083B1 (en) 2020-07-29 2020-07-29 Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094198A KR102385083B1 (en) 2020-07-29 2020-07-29 Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning

Publications (2)

Publication Number Publication Date
KR20220014520A KR20220014520A (en) 2022-02-07
KR102385083B1 true KR102385083B1 (en) 2022-04-08

Family

ID=80253286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094198A KR102385083B1 (en) 2020-07-29 2020-07-29 Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning

Country Status (1)

Country Link
KR (1) KR102385083B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519711B1 (en) * 2022-03-29 2023-04-10 주식회사 날비컴퍼니 Method and system for recognizing barcodes based on images
KR102634031B1 (en) * 2023-04-20 2024-02-07 한국철도기술연구원 Universal invoice reader for identification of the courier company and method and system for collecting cargo information using the reader

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101059801B1 (en) * 2008-10-13 2011-08-29 조성윤 Automatic logistics system and control method
KR101991464B1 (en) * 2017-10-26 2019-06-20 씨제이대한통운 (주) Recognizing system, apparatus and method for recognizing recognition information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120286A (en) * 1997-10-17 1999-04-30 Hitachi Eng Co Ltd Character reader and managing method for steel billet
KR100997071B1 (en) * 2008-12-18 2010-11-29 한국콘베어공업주식회사 Article sorting system using rfid

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101059801B1 (en) * 2008-10-13 2011-08-29 조성윤 Automatic logistics system and control method
KR101991464B1 (en) * 2017-10-26 2019-06-20 씨제이대한통운 (주) Recognizing system, apparatus and method for recognizing recognition information

Also Published As

Publication number Publication date
KR20220014520A (en) 2022-02-07

Similar Documents

Publication Publication Date Title
US9192965B2 (en) Package vision sort system and method
CN109145901B (en) Article identification method, apparatus, computer readable storage medium and computer device
EP2915596B1 (en) Delivery sorting processing system
KR102385083B1 (en) Apparatus and Method for Recognizing Image of Waybill Based on Deep Learning
JP6538458B2 (en) Logistics system and logistics management method
JP6569532B2 (en) Management system, list creation device, list creation method, management method, and management program
CN109961082B (en) Object recognition processing device, object recognition processing method, and storage medium
US20140036069A1 (en) Camera system and method for detection of flow of objects
US8699786B2 (en) 3D model generating apparatus, method and CRM by line pattern imaging
US20220292802A1 (en) Persistent feature based image rotation and candidate region of interest
JP6852518B2 (en) Destination recognition device, automatic parcel sorting system, destination recognition method and program
US20220036371A1 (en) Identifying and grading system and related methods for collectable items
JP6487565B2 (en) Mail image pairing using gradient field singularity descriptors
JPWO2020090897A1 (en) Position detection device, position detection system, remote control device, remote control system, position detection method, and program
US9805062B2 (en) Address recognition apparatus, sorting apparatus, integrated address recognition apparatus and address recognition method
CN110596118A (en) Print pattern detection method and print pattern detection device
JP2017185431A (en) Delivery support device and delivery support program
CN114049556A (en) Garbage classification method integrating SVM (support vector machine) and target detection algorithm
JP2021039457A (en) Image processing method, edge model creation method, robot system, and article manufacturing method
JP5407485B2 (en) Article sorting machine, article sorting method, and article sorting program
Tsai et al. Traffic sign inventory from Google Street View images
JP5911702B2 (en) Video coding system, form inclination correction program, and parcel processing apparatus
JP2017186106A (en) Delivery support device, delivery support system and delivery support program
JP6486784B2 (en) Distribution support device, distribution support system, and distribution support program
JP6459528B2 (en) Image correction apparatus, image correction system, image correction method, and image correction program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant