KR20190036426A - System and Method for Recognizing Double Loading of Baggage - Google Patents

System and Method for Recognizing Double Loading of Baggage Download PDF

Info

Publication number
KR20190036426A
KR20190036426A KR1020170169657A KR20170169657A KR20190036426A KR 20190036426 A KR20190036426 A KR 20190036426A KR 1020170169657 A KR1020170169657 A KR 1020170169657A KR 20170169657 A KR20170169657 A KR 20170169657A KR 20190036426 A KR20190036426 A KR 20190036426A
Authority
KR
South Korea
Prior art keywords
tray
baggage
image
depth
separation image
Prior art date
Application number
KR1020170169657A
Other languages
Korean (ko)
Other versions
KR101968024B1 (en
Inventor
최의식
김승호
장재형
Original Assignee
주식회사 포스코아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티 filed Critical 주식회사 포스코아이씨티
Publication of KR20190036426A publication Critical patent/KR20190036426A/en
Application granted granted Critical
Publication of KR101968024B1 publication Critical patent/KR101968024B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/36—Other airport installations
    • B64F1/368—Arrangements or installations for routing, distributing or loading baggage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

According to one aspect of the present invention, a system for determining double loading of baggage, capable of determining that a plurality of baggage is loaded on one tray based on a depth image, includes: a depth image generating unit photographing baggage loaded from a conveyor belt device to a tray and generating a depth image representing a photographed image through depth values; an object separation image generating unit removing background and tray objects from the depth image based on the depth values to generate an object separation image made of a baggage object; and a determining unit determining whether the plurality of baggage is loaded on the tray based on the object separation image.

Description

수하물 이중적재 판별 시스템 및 방법{System and Method for Recognizing Double Loading of Baggage}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a baggage loading /

본 발명은 수하물 처리 시스템에 관한 것이다.The present invention relates to a baggage handling system.

수하물 처리 시스템(Baggage Handling System: BHS)은 공항 또는 항만 등과 같은 운송 시설에서 출발, 도착, 또는 환승 승객들이 휴대하지 않고 위탁하는 수하물을 목적지까지 신속하고 정확하게 분류하여 운송하는 서비스를 제공한다.The Baggage Handling System (BHS) provides services to quickly and accurately classify and transport checked baggage to and from the destination without having to carry, depart, arrive, or transit passengers at the airport or port.

수하물 처리 시스템은 처리 대상이 되는 수하물을 트레이(Tray)에 적재한 후, 트레이를 레일 상에서 고속으로 이동시킴에 의해 수하물을 원하는 목적지까지 이송시킨다.The baggage handling system transports the baggage to the desired destination by moving the tray on the tray at high speed after loading the baggage to be processed onto the tray.

상술한 바와 같은 트레이를 이용하는 수하물 처리 시스템이 대한민국 공개특허 제10-2014-0083309호(발명의 명칭: 수하물 처리 시스템) 및 대한민국 공개특허 제10-2014-0073621호(발명의 명칭: 트레이 관리 시스템 및 그 관리 방법)에 개시되어 있다.The baggage handling system using the tray as described above is disclosed in Korean Patent Laid-Open No. 10-2014-0083309 entitled " Baggage Handling System ", and Korean Patent Laid-Open No. 10-2014-0073621 entitled & Management method thereof).

수하물을 목적지까지 정확하게 이송하기 위해 1개의 트레이에는 1개의 수하물이 탑재되어야 한다. 하지만, 일반적인 수하물 처리 시스템에서 1개의 트레이에 목적지가 상이한 복수개의 수하물이 탑재되는 수하물 이중적재 현상이 발생하게 되면, 해당 트레이에 탑재된 복수개의 수하물들 중 하나의 수하물만이 목적지까지 이송될 수 있고 나머지 수하물들은 정시에 목적지까지 이송될 수 없어 수하물의 누락 또는 지각이 발생할 수 밖에 없다는 문제점이 있다.To carry baggage correctly to its destination, one bag must be loaded on one tray. However, in a general baggage handling system, when a double baggage loading phenomenon occurs in which a plurality of baggages having different destinations are loaded on one tray, only one baggage of a plurality of baggage loaded on the tray can be transferred to a destination The rest of the baggage can not be transported to the destination on time, so that the missing or perceived baggage can not be avoided.

또한, 수하물의 이중적재로 인해 수하물의 누락이나 지각이 발생하게 되면 해당 수하물을 목적지까지 다시 이송해야 하므로 추가적인 서비스 처리 비용이 발생할 뿐만 아니라, 승객의 불편 증대는 물론 수하물 처리 서비스의 품질이 저하된다는 문제점이 있다.In addition, if the baggage is missing or perceived due to the double loading of the baggage, the baggage must be transported to the destination again, thus incurring additional service processing costs, causing a problem of passengers' inconvenience as well as degrading the quality of the baggage handling service .

1. 대한민국 공개특허 제10-2014-0083309호(발명의 명칭: 수하물 처리 시스템)1. Korean Patent Publication No. 10-2014-0083309 entitled " Baggage Handling System " 2. 대한민국 공개특허 제10-2014-0073621호(발명의 명칭: 트레이 관리 시스템 및 그 관리 방법)2. Korean Patent Laid-Open No. 10-2014-0073621 (titled invention: tray management system and management method thereof)

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 깊이영상을 기초로 하나의 트레이에 복수개의 수하물이 적재된 것을 판별할 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 그 기술적 과제로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a double baggage loading / unloading discriminating system and method capable of discriminating a plurality of baggage loaded on one tray based on a depth image.

또한, 본 발명은 깊이영상으로부터 수하물 객체를 정확하게 분리해 낼 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 다른 기술적 과제로 한다.Another object of the present invention is to provide a system and method for distinguishing a double baggage loading that can accurately separate baggage objects from a depth image.

또한, 본 발명은 수하물의 재질에 의한 수하물 객체 오검출을 방지할 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 또 다른 기술적 과제로 한다.It is another object of the present invention to provide a system and method for distinguishing double baggage loading which can prevent the detection of a baggage object erroneous by the material of the baggage.

또한, 본 발명은 트레이 이동시 트레이로부터 수하물이 낙하하는 것을 미연에 방지할 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 또 다른 기술적 과제로 한다.Another object of the present invention is to provide a system and method for distinguishing a double load of a baggage that can prevent a drop of a baggage from being dropped from a tray when the tray is moved.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 수하물 이중적재 판별 시스템은, 컨베이어벨트 장치에서 트레이로 적재되는 수하물을 촬영하고, 촬영된 객체를 깊이(Depth)값들로 표현한 깊이영상을 생성하는 깊이영상 생성부; 상기 깊이값들을 기초로 상기 깊이영상으로부터 배경 및 트레이 객체를 제거하여 수하물 객체로 구성된 객체분리영상을 생성하는 객체분리영상 생성부; 및 상기 객체분리영상을 기초로 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 판별부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a double baggage loading / unloading / discriminating system for a baggage loading / unloading / sorting system, comprising: a conveyor belt device for photographing baggage loaded on a tray, and generating a depth image representing depths of a photographed object A depth image generating unit; An object separation image generation unit for generating an object separation image composed of a baggage object by removing background and tray objects from the depth image based on the depth values; And a discrimination unit for discriminating whether a plurality of pieces of baggage are loaded on the tray based on the object separation image.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 수하물 이중적재 판별 방법은 컨베이어벨트 장치에서 트레이로 적재되는 수하물을 깊이 카메라로 촬영하여 촬영된 객체가 깊이(Depth)값들로 표현된 깊이영상을 생성하는 단계; 상기 깊이영상 내에서 배경 및 트레이 객체를 제거하여 수하물 객체로 구성된 객체 분리영상을 생성하는 단계; 및 상기 객체분리영상을 기초로 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for distinguishing a double baggage from a conveyor belt device, the method comprising the steps of: ; Removing the background and tray objects in the depth image to generate an object separation image composed of the baggage objects; And determining whether a plurality of pieces of baggage are loaded on the tray based on the object separation image.

본 발명에 따르면, 트레이에 적재되는 수하물을 깊이 카메라를 이용하여 촬영한 깊이영상을 기초로 하나의 트레이에 복수개의 수하물이 적재되는 수하물 이중적재 발생 여부를 판별할 수 있어 수하물의 이중적재를 짧은 시간 내에 정확하게 검지할 수 있다는 효과가 있다. According to the present invention, it is possible to determine whether double loading of a baggage is carried out on a single tray based on a depth image taken by using a depth camera on the baggage loaded on the tray, There is an effect that the detection can be accurately performed.

또한, 본 발명에 따르면 수하물 이중적재 발생시 이중적재된 수하물을 분류할 수 있어 수하물의 누락이나 지각을 방지할 수 있고, 이로 인해 이중적재된 수하물의 재이송을 위한 추가적인 서비스 처리 비용 발생 방지는 물론 수하물의 누락이나 지각으로 인한 승객의 불편 감소 및 수하물 처리 서비스의 품질 향상을 도모할 수 있다는 효과가 있다.In addition, according to the present invention, it is possible to classify the double-loaded baggage when the double baggage is stacked, thereby preventing the baggage from being missed or perceived, thereby preventing additional service processing costs for re- It is possible to reduce the inconvenience of passengers due to omission or perception and to improve the quality of the baggage handling service.

또한, 본 발명에 따르면 깊이영상에 포함된 깊이값에 기초하여 배경 및 트레이 객체를 제거함으로써 수하물 객체를 정확하게 분리해 낼 수 있어, 수하물의 이중적재를 보다 정확하게 판별할 수 있다는 효과가 있다.In addition, according to the present invention, it is possible to correctly separate the baggage objects by removing the background and tray objects based on the depth value included in the depth image, so that double loading of the baggage can be discriminated more accurately.

또한, 본 발명에 따르면 깊이영상을 기초로 트레이 상에서 수하물이 일정 영역 이상 이탈된 것으로 판단되면 수하물을 재정렬 시킴으로써 트레이의 고속 이동시 수하물이 낙하되는 것을 미연에 방지할 수 있다는 효과가 있다.In addition, according to the present invention, when it is determined that the baggage is separated from the tray on the tray based on the depth image, the baggage can be rearranged to prevent the drop of the baggage at the time of high-speed movement of the tray.

도 1은 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템의 구성을 보여주는 도면이다.
도 2는 깊이 카메라의 일 예를 보여주는 도면이다.
도 3은 도 1에 도시된 객체분리영상 생성부의 구성을 개략적으로 보여주는 블록도이다.
도 4는 도 3에 도시된 전처리부에 의해 깊이영상에서 배경을 제거하여 생성한 전처리 영상의 일 예를 보여주는 도면이다.
도 5는 도 3에 도시된 전처리부에 의해 깊이영상에서 배경을 제거하여 생성한 전처리 영상의 다른 예를 보여주는 도면이다.
도 6은 수하물이 1개인 경우의 전처리 영상에서 트레이 객체를 제거하여 생성한 객체분리영상을 보여주는 도면이다.
도 7은 수하물이 2개인 경우의 전처리 영상에서 트레이 객체를 제거하여 생성한 객체분리영상을 보여주는 도면이다.
도 8은 수하물이 트레이 가이드부와 중첩되어 적재된 영상의 일 예를 보여주는 도면이다.
도 9는 객체분리영상에서 후방 트레이 가이드부 객체를 제거하는 영상의 일 예를 보여주는 도면이다.
도 10은 객체분리영상에서 전방 트레이 가이드부 객체를 제거하는 영상의 일 예를 보여주는 도면이다.
도 11은 수하물 객체를 포함하는 윈도우 설정의 일 예를 보여주는 도면이다.
도 12는 수하물 재질에 의한 결함 발생의 예를 보여주는 도면이다.
도 13은 수하물 이중적재를 판별하는 방법을 개념적으로 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 따른 수하물 이중적재 판별방법을 보여주는 플로우차트이다.1 is a view showing a configuration of a double baggage loading / unloading system according to an embodiment of the present invention.
2 is a view showing an example of a depth camera.
3 is a block diagram schematically illustrating the configuration of the object separation image generation unit shown in FIG.
FIG. 4 is a diagram illustrating an example of a preprocessed image generated by removing a background from a depth image by the preprocessing unit shown in FIG. 3. FIG.
FIG. 5 is a view showing another example of a preprocessed image generated by removing a background from a depth image by the preprocessing unit shown in FIG. 3. FIG.
6 is a view showing an object separation image generated by removing a tray object from a preprocessed image in the case of one bag.
7 is a view showing an object separation image generated by removing a tray object from a preprocessed image when two pieces of baggage are present.
8 is a view showing an example of an image in which the baggage is stacked on the tray guide portion.
9 is a view showing an example of an image for removing a rear tray guide portion object from an object separation image.
10 is a view showing an example of an image for removing a front tray guide part object in an object separation image.
11 is a view showing an example of a window setting including a baggage object.
12 is a view showing an example of occurrence of defects due to the baggage material.
Fig. 13 is a conceptual view showing a method of discriminating the double loading of the baggage.
FIG. 14 is a flowchart showing a method for distinguishing double baggage loading according to an embodiment of the present invention.

본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.The meaning of the terms described herein should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.The word " first, " " second, " and the like, used to distinguish one element from another, are to be understood to include plural representations unless the context clearly dictates otherwise. The scope of the right should not be limited by these terms.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that the terms "comprises" or "having" does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.It should be understood that the term " at least one " includes all possible combinations from one or more related items. For example, the meaning of " at least one of the first item, the second item and the third item " means not only the first item, the second item or the third item, but also the second item and the second item among the first item, Means any combination of items that can be presented from more than one.

이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템의 구성을 보여주는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템(100)은 수하물의 이송을 위한 컨베이어벨트 장치(110) 및 트레이(120)가 설치된 수하물 처리 시스템과 연동된다.1 is a view showing a configuration of a double baggage loading / unloading system according to an embodiment of the present invention. As shown in FIG. 1, the baggage double stacking discrimination system 100 according to an embodiment of the present invention is interlocked with a baggage handling system provided with a conveyor belt apparatus 110 and a tray 120 for conveying baggage.

컨베이어벨트 장치(110)는 컨베이어 벨트(112) 및 컨베이어 벨트(112)를 구동시키기 위한 구동부(미도시)로 구성되고, 컨베이어 벨트(112)를 통해 수하물을 트레이(120)의 대기지점까지 이송시키는 역할을 수행한다. 이때, 컨베이어 벨트(112)를 통해 이송되는 수하물에는 해당 수하물의 목적지 정보가 기록된 태그(미도시)가 부착되어 있을 수 있다.The conveyor belt device 110 includes a conveyor belt 112 and a driving unit (not shown) for driving the conveyor belt 112 and conveys the baggage through the conveyor belt 112 to the standby point of the tray 120 Role. At this time, a tag (not shown) in which destination information of the baggage is recorded may be attached to the baggage conveyed through the conveyor belt 112.

트레이(120)는 레일(122)을 따라 고속으로 이동하면서, 컨베이어 벨트(112)로부터 적재되는 수하물을 목적지까지 이송시키는 역할을 수행한다. 트레이(120)는 수하물이 적재되는 바닥부(124) 및 트레이(120)로부터 수하물의 이탈을 방지하기 위한 가이드부(126)로 구성된다. 이때, 가이드부(126)는 트레이(120)의 진행방향을 기준으로 트레이(120)의 전방에 배치된 전방 트레이 가이드부(126a) 및 트레이(120)의 후방에 배치된 후방 트레이 가이드부(126b)를 포함할 수 있다.The tray 120 moves at a high speed along the rail 122, and carries the baggage carried from the conveyor belt 112 to a destination. The tray 120 is composed of a bottom portion 124 on which baggage is loaded and a guide portion 126 for preventing the detachment of the baggage from the tray 120. The guide part 126 includes a front tray guide part 126a disposed on the front side of the tray 120 and a rear tray guide part 126b disposed on the rear side of the tray 120, ).

수하물 이중적재 판별 시스템(100)은 하나의 트레이(120)이 복수개의 수하물이 적재되는지 여부를 판별한다. 이를 위해, 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템(100)은 깊이영상 생성부(130), 객체분리영상 생성부(140), 및 판별부(150)를 포함한다.The double baggage loading / unloading determination system 100 determines whether a single tray 120 loads a plurality of pieces of baggage. For this, the double baggage loading / unloading determination system 100 according to an embodiment of the present invention includes a depth image generator 130, an object separation image generator 140, and a determination unit 150.

깊이영상 생성부(130)는 컨베이어벨트(112)부터 트레이(120)에 적재되는 수하물을 촬영하여 트레이 객체 및 수하물 객체를 깊이(Depth)값을 기초로 표현한 깊이영상을 생성한다.The depth image generation unit 130 captures the baggage loaded on the tray 120 from the conveyor belt 112 to generate a depth image representing the tray object and the baggage object based on the depth value.

일 실시예에 있어서, 깊이영상 생성부(130)는 객체의 깊이(Depth)를 촬영할 수 있는 깊이 카메라로 구현될 수 있다. 깊이 카메라의 일 예가 도 2에 도시되어 있다. 도 2에 도시된 바와 같이, 깊이 카메라는 객체의 깊이값을 획득하기 위해 미리 정의된 적외선 패턴을 객체에 투사기 위한 적외선 영사기(Infrared Ray Projector, 210) 및 객체로부터 반사되는 정보를 획득하기 위한 적외선 CMOS(Infrared Ray CMOS) 센서(220)를 포함할 수 있다. 이러한 실시예에 따르는 경우 깊이 카메라는 적외선 영사기(210)를 통해 객체에 주사된 후 객체로부터 반사되는 적외선 패턴정보를 적외선 CMOS 센서(220)에서 내부 연산을 수행함으로써 깊이 영상을 생성하게 된다.In one embodiment, the depth image generator 130 may be implemented with a depth camera that can capture the depth of an object. An example of a depth camera is shown in FIG. As shown in FIG. 2, the depth camera includes an infrared ray projector 210 for projecting a predetermined infrared ray pattern onto an object to obtain a depth value of the object, and an infrared ray CMOS (Infrared Ray CMOS) sensor 220. According to this embodiment, the depth camera is scanned on the object through the infrared projector 210, and then the depth information is generated by performing an internal calculation on the infrared pattern information reflected from the object by the infrared CMOS sensor 220.

본 발명에 따른 깊이 카메라는 도 2에 도시된 바와 같이 객체의 RGB 영상을 생성하기 위한 RGB카메라(230)를 추가로 포함할 수 있다. 이에 따라, 본 발명에 따른 깊이 카메라는 객체의 깊이영상 뿐만 아니라 객체의 RGB영상을 함께 생성하여 제공함으로써 촬영된 객체의 시인성을 향상시킬 수 있다.The depth camera according to the present invention may further include an RGB camera 230 for generating an RGB image of an object as shown in FIG. Accordingly, the depth camera according to the present invention can improve visibility of a photographed object by generating and providing an RGB image of an object as well as a depth image of the object.

한편, 깊이영상 생성부(130)는 도 1에 도시된 바와 같이 수하물이 컨베이어벨트(112)부터 트레이(120)로 트랜스퍼되는 영역에 배치된 지지부재(160)에 장착되어 설치될 수 있다.1, the depth image generating unit 130 may be mounted on a support member 160 disposed in an area where the baggage is transferred from the conveyor belt 112 to the tray 120, as shown in FIG.

다시 도 1을 참조하면, 객체분리영상 생성부(140)는 깊이영상에 포함된 깊이값을 기초로 깊이영상에서 배경 및 트레이 객체를 제거함으로써 수하물 객체로 구성된 객체분리영상을 생성한다. 본 발명에 따른 객체분리영상 생성부(140)의 구성을 도 3을 참조하여 보다 구체적으로 설명한다.Referring back to FIG. 1, the object separation image generator 140 generates an object separation image composed of the baggage objects by removing the background and tray objects from the depth images based on the depth values included in the depth images. The configuration of the object separation image generation unit 140 according to the present invention will be described in more detail with reference to FIG.

도 3은 본 발명의 일 실시예에 따른 객체분리영상 생성부의 구성을 보여주는 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체분리영상 생성부(140)는 전처리부(310), 트레이 객체 결정부(320), 트레이 객체 제거부(330), 및 윈도우 설정부(340)를 포함한다. 또한, 본 발명에 따른 객체분리영상 생성부(140)는 보정부(350)를 더 포함할 수 있다.3 is a block diagram illustrating a configuration of an object separation image generation unit according to an exemplary embodiment of the present invention. 3, the object separation image generation unit 140 according to an exemplary embodiment of the present invention includes a preprocessor 310, a tray object determination unit 320, a tray object removal unit 330, (340). In addition, the object separation image generation unit 140 according to the present invention may further include a correction unit 350. FIG.

전처리부(310)는 깊이영상 내에서 배경을 결정하고, 깊이영상에서 배경을 제거함으로써 전처리 영상을 생성한다. 제1 실시예에 있어서, 전처리부(310)는 깊이영상에 포함된 깊이값들 중 최대값을 갖는 영역을 배경으로 결정할 수 있다. 이에 따라, 전처리부(310)는 깊이값이 최대인 영역을 깊이영상에서 제거함으로써 배경이 제거된 전처리 영상을 생성할 수 있게 된다. 도 4a에 배경이 제거되기 이전의 깊이영상이 도시되어 있고, 도 4b에 전처리부(310)에 의해 배경이 제거된 전처리 영상이 도시되어 있다. 도 4a 및 도 4b에서 알 수 있듯이, 전처리부(310)에 의해 깊이영상에서 배경이 제거되기 때문에 전처리 영상에는 수하물 객체(410) 및 트레이 객체(420)만이 포함된다는 것을 알 수 있다.The preprocessing unit 310 determines the background in the depth image and generates the preprocessed image by removing the background from the depth image. In the first embodiment, the preprocessing unit 310 may determine an area having a maximum value among the depth values included in the depth image as a background. Accordingly, the preprocessing unit 310 removes the region having the maximum depth value from the depth image, thereby generating a preprocessed image from which the background is removed. FIG. 4A shows the depth image before the background is removed, and FIG. 4B shows the pre-processed image with the background removed by the preprocessing unit 310. FIG. 4A and 4B, since the background is removed from the depth image by the preprocessor 310, it can be seen that only the luggage object 410 and the tray object 420 are included in the preprocessed image.

제2 실시예에 있어서, 전처리부(310)는 깊이영상에 포함된 깊이값들의 평균을 산출하고, 깊이영상에서 산출된 평균 이상의 깊이값을 갖는 영역을 배경으로 결정할 수 있다. 이에 따라, 전처리부(310)는 산출된 평균 이상의 깊이값을 갖는 영역을 깊이영상에서 제거함으로써 배경이 제거된 전처리 영상을 생성할 수 있게 된다. In the second embodiment, the preprocessing unit 310 may calculate an average of the depth values included in the depth image, and may determine an area having a depth value greater than or equal to an average value calculated from the depth image as a background. Accordingly, the preprocessing unit 310 removes the area having the calculated depth value or more from the depth image, thereby generating the preprocessed image with the background removed.

제3 실시예에 있어서, 전처리부(310)는 미리 준비된 배경만으로 구성된 깊이영상으로부터 깊이값의 평균을 산출하고, 깊이영상 생성부(130)에 의해 생성된 깊이영상 내에서 깊이값의 평균과 오차범위 내에 있는 깊이값을 갖는 영역을 배경으로 결정할 수도 있다. 이에 따라, 전처리부(130)는 깊이값의 평균과 오차범위 내에 있는 깊이값을 갖는 객체를 깊이영상에서 제거함으로써 배경이 제거된 전처리 영상을 생성할 수 있게 된다. 도 5a에 배경만으로 구성된 깊이영상이 도시되어 있고, 도 5b에 제3 실시예에 따라 전처리부(310)에 의해 배경이 제거된 전처리 영상이 도시되어 있다. 도 5a에서 배경으로 정의된 영역들이 도 5b에서 제거되었다는 것을 알 수 있다.In the third embodiment, the preprocessing unit 310 calculates an average of depth values from a depth image composed of only a background prepared in advance, calculates an average of depth values in the depth image generated by the depth image generating unit 130, An area having a depth value within the range may be determined as the background. Accordingly, the preprocessing unit 130 can generate the preprocessed image with the background removed by removing the object having the depth value and the depth value within the error range from the depth image. FIG. 5A shows a depth image composed of only the background, and FIG. 5B shows a pre-processed image in which the background is removed by the preprocessing unit 310 according to the third embodiment. It can be seen that the regions defined as background in Figure 5a have been removed in Figure 5b.

다시 도 3을 참조하면, 트레이 객체 결정부(320)는 전처리 영상에서 트레이 객체를 결정한다. 즉, 트레이 객체 결정부(320)는 전처리 영상에서 트레이를 구성하는 트레이 바닥 객체 및 트레이 가이드부 객체를 결정한다.Referring again to FIG. 3, the tray object determining unit 320 determines a tray object in the preprocessed image. That is, the tray object determining unit 320 determines the tray bottom object and the tray guide sub-object that constitute the tray in the preprocessed image.

일 실시예에 있어서, 트레이 객체 결정부(320)는 CCL(Connected Component Labeling)기법을 이용하여 전처리 영상에서 트레이 바닥 객체 및 트레이 가이드부 객체를 결정할 수 있다. 구체적으로, 트레이 객체 결정부(320)는 전처리 영상에 포함된 깊이값들 중 최대값을 갖는 연속된 영역을 트레이 바닥 객체로 결정할 수 있다. 또한, 트레이 객체 결정부(320)는 전처리 영상에서 동일한 깊이값을 갖는 영역들 중 최소크기의 연속된 영역을 트레이 가이드부 객체로 결정할 수 있다.In one embodiment, the tray object determiner 320 may determine a tray bottom object and a tray guide object in a preprocessed image using a CCL (Connected Component Labeling) technique. Specifically, the tray object determining unit 320 may determine a continuous area having the maximum value among the depth values included in the preprocessed image as the tray bottom object. In addition, the tray object determining unit 320 may determine a continuous area having the minimum depth among the areas having the same depth value in the preprocessed image as the tray guide unit object.

트레이 객체 제거부(330)는 전처리 영상에서 트레이 객체 결정부(320)에 의해 결정된 트레이 바닥 객체 및 트레이 가이드부 객체 중 적어도 하나를 제거함으로써 수하물 객체로 구성된 객체분리영상을 생성한다. 예컨대, 트레이 객체 제거부(330)는 도 6a에 도시된 바와 같이 트레이(120)에 적재된 수하물이 1개인 경우의 전처리 영상에서 트레이 바닥 객체(610) 및 트레이 가이드부 객체(620)를 제거함으로써 도 6b에 도시된 바와 같이 수하물 객체(630)만으로 구성된 객체분리영상을 생성한다. The tray object removal unit 330 generates an object separation image composed of the baggage objects by removing at least one of the tray bottom object and the tray guide secondary object determined by the tray object determination unit 320 in the preprocessed image. For example, the tray object removal unit 330 removes the tray bottom object 610 and the tray guide sub-object 620 from the preprocessed image when one piece of the baggage is loaded on the tray 120 as shown in FIG. 6A And generates an object separation image composed only of the baggage object 630 as shown in FIG. 6B.

다른 예로, 트레이 객체 제거부(330)는 도 7a에 도시된 바와 같이 트레이(120)에 적재된 수하물이 2개인 경우의 전처리 영상에서 트레이 바닥 객체(710)를 제거함으로써 도 7b에 도시된 바와 같이 수하물 객체(720)만으로 구성된 객체분리영상을 생성한다. As another example, the tray object removal unit 330 may remove the tray bottom object 710 from the preprocessed image in the case where there are two pieces of baggage loaded in the tray 120, as shown in FIG. 7A, An object separation image composed of only the baggage object 720 is generated.

상술한 실시예에 있어서, 트레이 객체 제거부(330)에 의해 전처리 영상에서 트레이 객체가 제거되면 객체분리영상에는 수하물 객체만이 존재하여야 한다. 하지만, 도 8a에 도시된 바와 같이 수하물 객체(810)가 트레이 가이드부 객체(820)와 접촉되어 있는 경우 트레이 가이드부 객체(820)가 수하물 객체(810)와 동일한 객체로 인식됨으로 인해 도 8b에 도시된 바와 같이 트레이 가이드부 객체(820)가 전처리 영상에서 제거되지 않고 객체분리영산 내에 잔존하게 되는 경우가 발생할 수 있다.In the above-described embodiment, when the tray object is removed from the preprocessed image by the tray object removal unit 330, only the baggage object should exist in the object separation image. However, when the baggage object 810 is in contact with the tray guide part object 820 as shown in FIG. 8A, the tray guide part object 820 is recognized as the same object as the baggage object 810, As shown, the tray guide part 820 may not be removed from the preprocessed image but may remain in the object separation space.

따라서, 본 발명에 따른 트레이 객체 제거부(330)는 객체분리영상에 미제거된 트레이 가이드부 객체가 존재하는지 여부를 추가로 판단하여, 미제거된 트레이 가이드부 객체가 존재하는 경우 객체분리영상으로부터 미제거된 트레이 가이드부 객체를 제거할 수 있다.Accordingly, the tray object removal unit 330 further determines whether or not a tray guide unit object that has been removed from the object separation image exists, and if the tray guide unit object is not removed, The removed tray guide part can be removed.

일 실시예에 있어서, 트레이 객체 제거부(330)는 PCA(Principal Component Analysis) 방법을 이용하여 객체분리영상 내에 미제거된 트레이 가이드부가 존재하는지 여부를 판단할 수 있다. 구체적으로, 트레이 객체 제거부(330)는 윈도우 설정부(340)에 의해 객체분리영상 상에 수하물 객체를 포함하도록 설정된 윈도우 내에서 유효한 깊이값을 갖는 영역의 비율이 임계치 이하이면 객체분리영상 내에서 미제거된 트레이 가이드부 객체가 존재하는 것으로 판단할 수 있다. 이는 도 9a 및 도 10a에 도시된 예에서 알 수 있듯이, 객체분리영상 내에 트레이 가이드부 객체(910, 1010)가 포함되어 있게 되면 수하물 객체(920. 1020)를 포함하도록 설정된 윈도우(930, 1030) 내에 트레이 가이드부 객체(910, 1010)가 포함될 수 밖에 없어 트레이 가이드부 객체(910, 1010)로 인해 윈도우(930, 1030) 내에서 유효한 깊이값을 갖는 영역의 비율이 감소할 수 밖에 없기 때문이다.In one embodiment, the tray object removal unit 330 may determine whether there is a tray guide unit that has been removed in the object separation image using a PCA (Principal Component Analysis) method. Specifically, when the ratio of the region having a valid depth value in the window set to include the baggage object on the object separation image by the window setting unit 340 is less than the threshold value, It can be determined that there is an object that has been removed. 9A and 10A, when the tray guide sub-objects 910 and 1010 are included in the object separation image, the windows 930 and 1030 set to include the bag object 920 and 1020, The tray guide part objects 910 and 1010 must be included in the tray guide part objects 910 and 1010 and the ratio of the area having the effective depth value in the windows 930 and 1030 must be reduced .

판단결과, 객체분리영상 내에 미제거된 트레이 가이드부가 존재하는 것으로 판단되면 트레이 객체 제거부(330)는 객체분리영상 상에서 수하물 객체를 포함하도록 설정된 윈도우의 상단으로부터 트레이의 진출방향인 제1 방향으로 최초 인식되는 깊이값의 위치를 확인하고, 해당위치로부터 제1 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 미제거된 후방 트레이 가이드부 객체로 판단하여 제거한다.As a result of the determination, when it is determined that there is a tray guide unit that has not been removed in the object separation image, the tray object removal unit 330 deletes the object from the top of the window set to include the baggage object on the object separation image, The position of the recognized depth value is confirmed and an area located within a predetermined threshold distance in the first direction from the corresponding position is determined as a removed rear tray guide part object and removed.

예컨대, 도 9a에 도시된 바와 같이 트레이 객체 제거부(330)는 윈도우(930)의 상단으로부터 제1 방향(S1)으로 최초 인식된 깊이값(D1)의 위치(P1)를 확인하고, 해당위치(P1)로부터 미리 정해진 임계거리(△th1, 예컨대, 10cm) 내에 위치하는 영역(910)을 미제거된 후방 트레이 가이드부 객체(910)로 판단하여 제거한다. 이에 따라, 도 9b에 도시된 바와 같이 후방 트레이 가이드부 객체가 제거된 객체분리영상이 획득된다.For example, as shown in FIG. 9A, the tray object removal unit 330 checks the position P1 of the depth value D1 first recognized in the first direction S1 from the top of the window 930, The region 910 located within a predetermined threshold distance (? Th1, for example, 10 cm) from the rear tray P1 is determined as the rear tray guide portion object 910 that has been removed and removed. Accordingly, an object separation image in which the rear tray guide portion object is removed as shown in FIG. 9B is obtained.

또한, 객체분리영상 내에 미제거된 트레이 가이드부가 존재하는 것으로 판단되면 트레이 객체 제거부(330)는 객체분리영상 상에서 수하물 객체를 포함하도록 설정된 윈도우의 하단으로부터 제1 방향에 반대되는 제2 방향으로 최초 인식되는 깊이값의 위치를 확인하고, 해당위치로부터 제2 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 미제거된 전방 트레이 가이드부 객체로 판단하여 제거한다.In addition, if it is determined that there is a tray guide portion that is not removed in the object separation image, the tray object removal unit 330 deletes the object from the bottom of the window set to include the baggage object on the object separation image in the second direction opposite to the first direction The position of the recognized depth value is confirmed and an area located within a predetermined critical distance in the second direction from the position is judged to be a removed front tray guide part object and removed.

예컨대, 도 10b에 도시된 바와 같이 트레이 객체 제거부(330)는 윈도우(1030)의 상단으로부터 제2 방향(S2)으로 최초 인식된 깊이값(D2)의 위치(P2)를 확인하고, 해당위치(P2)로부터 미리 정해진 임계거리(△th2, 예컨대, 10cm) 내에 위치하는 영역(1010)을 미제거된 전방 트레이 가이드부 객체(1010)로 판단하여 제거한다. 이에 따라, 도 10b에 도시된 바와 같이 후방 트레이 가이드부 객체가 제거된 객체분리영상이 획득된다.For example, as shown in FIG. 10B, the tray object removal unit 330 checks the position P2 of the depth value D2 that is first recognized in the second direction S2 from the top of the window 1030, The region 1010 located within a predetermined threshold distance (? Th2, for example, 10 cm) from the target tray P2 is determined as the front tray guide portion object 1010 that has been removed. Thus, an object separation image in which the rear tray guide portion object is removed as shown in FIG. 10B is obtained.

한편, 트레이 객체 제거부(330)는 객체분리영상 내에서 후방 트레이 가이드부 객체 또는 전방 트레이 가이드부 객체의 제거 이후 객체분리영상 내에 트레이 가이드부 객체가 여전히 존재하는지 여부를 PCA 방법을 이용하여 추가로 확인할 수도 있다.Meanwhile, the tray object removal unit 330 may further determine whether or not the tray guide unit object exists in the object separation image after removing the rear tray guide unit object or the front tray guide unit object in the object separation image, using the PCA method. You can also check.

다시 도 3을 참조하면, 윈도우 설정부(340)는 상술한 바와 같이 객체분리영상 상에 수하물 객체를 포함하는 윈도우를 설정한다. 일 실시예에 있어서, 윈도우 설정부(340)는 도 11에 도시된 바와 같이 수하물 객체(1100)에 대해 X축 상의 최소값(MinX)과 최대값(MaxX)을 연결하는 제1 직선(L1), X축상의 최소값(MinX)과 Y축 상의 최소값(MinY)을 연결하는 제2 직선(L2), X축 상의 최대값(MaxX)과 Y축 상의 최대값(MaxY)을 연결하는 제3 직선(L3), 및 Y축 상의 최소값(MinY)과 최대값(MaxY)을 연결하는 제4 직선(L4)을 연결하여 수하물 객체(1100)를 포함하는 윈도우(1120)를 객체분리영상 상에 설정할 수 있다.Referring again to FIG. 3, the window setting unit 340 sets a window including the baggage object on the object separation image, as described above. 11, the window setting unit 340 may include a first straight line L1 connecting the minimum value MinX and the maximum value MaxX on the X axis with respect to the baggage object 1100, A second straight line L2 connecting the minimum value MinX on the X axis and the minimum value MinY on the Y axis, a third straight line L3 connecting the maximum value MaxX on the X axis and the maximum value MaxY on the Y axis And a fourth straight line L4 connecting the minimum value MinY and the maximum value MaxY on the Y axis to the window 1120 including the baggage object 1100 on the object separation image.

또한, 윈도우 설정부(340)는 트레이 객체 제거부(330)에 의해 수하물 객체와 접촉하는 트레이 가이드부 객체가 제거되면 윈도우를 재설정할 수 있다.In addition, the window setting unit 340 can reset the window when the tray guide unit object contacting the baggage object is removed by the tray object removing unit 330. [

한편, 본 발명에 따른 객체분리영상 생성부(140)는 보정부(350)를 더 포함할 수 있다. 보정부(350)는 수하물 객체 내에 깊이값이 존재하지 않는 영역이 존재하면, 해당영역에 인접한 픽셀의 깊이값을 해당영역의 깊이값으로 설정함으로써 객체분리영상을 보정한다. 수하물 객체 내에 깊이값이 존재하지 않는 영역이 존재하게 되는 이유는 수하물이 빛을 난반사시키는 재질로 이루어진 경우 깊이 카메라(130)에 의해 조사되는 적외선 패턴이 수하물에서 난반사됨으로 인해 깊이값이 획득될 수 없기 때문이다.Meanwhile, the object separation image generation unit 140 according to the present invention may further include a correction unit 350. The correction unit 350 corrects the object separation image by setting the depth value of the pixel adjacent to the corresponding area as the depth value of the corresponding area if there is an area in which the depth value does not exist in the baggage object. The reason why the depth value does not exist in the baggage object is that when the baggage is made of a material which is irregularly reflecting light, the depth value can not be obtained due to irregular reflection of the infrared ray pattern irradiated by the depth camera 130 in the baggage Because.

예컨대, 도 12에 도시된 바와 같이 수하물(1200) 객체 내에 깊이값이 존재하지 않는 영역(A)이 존재하면, 보정부(350)는 해당영역(A)에 인접한 픽셀의 깊이값을 해당영역(A)의 깊이값으로 설정함으로써 객체분리영상을 보정한다.12, if there is an area A in which there is no depth value in the object of the baggage 1200, the correcting unit 350 sets the depth value of the pixel adjacent to the area A to the corresponding area A) to correct the object separation image.

이와 같이, 본 발명에 따르면 수하물의 재질적인 특성으로 인해 수하물 객체 내에 깊이값이 존재하지 않는 영역이 발생하더라도 보정부(350)를 통해 객체분리영상을 보정할 수 있기 때문에 수하물 이중적재의 판별 정확도가 저하되는 것을 방지할 수 있게 된다.As described above, according to the present invention, since the object separation image can be corrected through the correcting unit 350 even if there occurs an area where the depth value does not exist in the baggage object due to the material characteristics of the baggage, .

다시 도 1을 참조하면, 판별부(150)는 객체분리영상을 기초로 트레이(120)에 복수개의 수하물이 적재되었는지 여부를 판별한다. 일 실시예에 있어서, 판별부(150)는 객체분리영상 상에서 트레이(120)의 진입측에 설정된 진입라인과 트레이(120)의 진출측에 설정된 진출라인 사이에 복수개의 수하물 객체가 존재하면 트레이(120)에 복수개의 수하물이 적재된 것으로 판별할 수 있다.Referring again to FIG. 1, the determination unit 150 determines whether a plurality of pieces of baggage are loaded on the tray 120 based on the object separation image. If there are a plurality of baggage objects between the entry line set on the entry side of the tray 120 and the entry line set on the entry side of the tray 120 on the object separation image, 120 are loaded with a plurality of pieces of baggage.

이를 위해, 본 발명에 따른 수하물 이중적재 판별 시스템(100)은 객체분리영상 상에서 트레이(120)의 진입측에 진입라인을 설정하고, 트레이(120)의 진출측에 진출라인을 설정하는 라인 설정부(미도시)를 더 포함할 수 있다.For this purpose, the double baggage loading / unloading determination system 100 according to the present invention includes a line setting unit 120 for setting an entry line on the entrance side of the tray 120 on the object separation image, (Not shown).

이에 따라, 판별부(150)는 라인 설정부에 의해 설정된 진입라인과 진출라인 사이에 복수개의 수하물 객체가 인식되면 트레이(120)에 복수개의 수하물이 적재된 것으로 판별할 수 있다.Accordingly, the determination unit 150 can determine that a plurality of pieces of baggage are loaded on the tray 120 when a plurality of pieces of baggage objects are recognized between the entry line and the entry line set by the line setting unit.

예컨대, 판별부(150)는 도 13에 도시된 바와 같이 객체분리영상 상에서 트레이(120)의 진입측에 진입라인(1300)을 설정하고, 트레이(120)의 진출측에 진출라인(1310)을 설정함으로써 진입라인(1300)과 진출라인(1310) 사이에 복수개의 수하물 객체(1320, 1330)가 존재하면 이중적재가 발생된 것으로 판단한다.For example, as shown in FIG. 13, the determination unit 150 sets an entry line 1300 on the entry side of the tray 120 on the object separation image, and a entry line 1310 on the entry side of the tray 120 It is determined that a duplicate has been generated when a plurality of baggage objects 1320 and 1330 are present between the entry line 1300 and the entry line 1310.

다른 예로, 판별부(150)는 특정 수하물이 라인 설정부에 의해 설정된 진출라인(1310)을 통과하기 이전에 라인 설정부에 의해 설정된 진압라인(1300)을 통과하는 타 수하물이 카운팅되면 이중적재가 발생된 것으로 판단할 수도 있다.As another example, if the baggage passing through the line 1300 set by the line setting unit is counted before the specific baggage passes through the entry line 1310 set by the line setting unit, It can be judged that

또 다른 예로, 판별부(150)는 특정 수하물이 라인 설정부에 의해 설정된 진출라인(1310)을 넘어가기 전에 라인 설정부에 의해 설정된 진입라인(1300)에서 다른 수하물이 인식되면 트레이에 복수개의 수하물이 적재된 것으로 판별할 수도 있다.As another example, when the discrimination unit 150 recognizes another piece of baggage in the entry line 1300 set by the line setting unit before the specific baggage exceeds the entry line 1310 set by the line setting unit, May be judged as being loaded.

상술한 실시예에 있어서, 라인 설정부는 객체분리영상 상에서 진입라인 및 진출라인을 설정하는 것으로 도시하였지만, 변형된 실시예에 있어서 라인 설정부는 트레이(120) 상에 직접 진입라인 및 진출라인을 설정할 수도 있을 것이다. 예컨대, 라인 설정부는 레이저와 같은 광을 트레이(120)상에 조사함으로써 트레이(120) 상에 직접 진입라인 및 진출라인을 설정할 수 있다.In the above-described embodiment, although the line setting unit is shown setting the entry line and the entry line on the object separation image, in the modified embodiment, the line setting unit may set the entry line and the entry line directly on the tray 120 There will be. For example, the line setting unit can set the entry line and the entry line directly on the tray 120 by irradiating the tray 120 with light such as a laser.

판별부(150)는 전처리 영상 또는 객체분리영상을 기초로 수하물이 트레이로부터 일정영역 이상 벗어나는지 여부를 추가로 판단할 수도 있다.The determination unit 150 may further determine whether the baggage is out of a predetermined area or more from the tray based on the preprocessed image or the object separation image.

한편, 도 1에 도시하지는 않았지만, 본 발명에 따른 수하물 이중적재 판별 시스템은 픽업장치를 추가로 포함할 수 있다. 픽업장치는 판별부(150)에 의해 이중적재가 발생된 것으로 판별되면, 이중적재가 발생된 트레이(120)로부터 적어도 하나의 수하물을 픽업하여 타 트레이(120)로 이동시킴으로써 이중적재가 발생된 트레이(120) 상에 하나의 수하물만이 잔존하도록 할 수 있다.Meanwhile, although not shown in FIG. 1, the double baggage loading / unloading determination system according to the present invention may further include a pickup device. If it is discriminated that the double material is generated by the discrimination unit 150, the pick-up apparatus picks up at least one piece of baggage from the tray 120 in which the double material is generated and moves to the other tray 120, Only one piece of baggage may remain on the baggage claim.

이러한 실시예에 따르는 경우 픽업장치는 판별부(150)에 의해 수하물이 트레이로부터 일정영역 이상 벗어난 것으로 판단되면, 해당 수하물이 트레이 내에 완전히 수납될 수 있도록 트레이의 위치를 이동시킬 수도 있다. 이를 통해, 트레이가 고속으로 이동하는 중에 수하물이 트레이로부터 낙하되는 것을 미연에 방지할 수 있다.According to this embodiment, if it is determined by the determination unit 150 that the baggage is out of the tray by a predetermined area or more, the pickup apparatus may move the tray so that the baggage can be completely stored in the tray. As a result, the baggage can be prevented from falling off the tray while the tray is moving at a high speed.

이하, 본 발명에 따른 수하물 이중적재 판별 방법에 대해 설명한다.Hereinafter, a method for discriminating the double loading of baggage according to the present invention will be described.

도 14는 본 발명의 일 실시예에 따른 수하물 이중적재 판별 방법을 보여주는 플로우차트이다. 도 14에 도시된 수하물 이중적재 판별 방법은 도 1 및 도 2에 도시된 수하물 이중적재 판별 장치에 의해 수행될 수 있다.FIG. 14 is a flowchart showing a method for distinguishing double baggage loading according to an embodiment of the present invention. 14 can be performed by the baggage double-loading discriminating apparatus shown in FIGS. 1 and 2. FIG.

먼저, 수하물 이중적재 판별 장치는 컨베이어벨트 장치로부터 트레이에 적재되는 수하물을 깊이 카메라로 촬영함으로써 촬영된 객체가 깊이(Depth)값들로 표현된 깊이영상을 생성한다(S1400).First, the baggage double-loading discrimination device captures the baggage loaded on the tray from the conveyor belt device with a depth camera, thereby generating a depth image expressed by depth values of the photographed object (S1400).

이후, 수하물 이중적재 판별 장치는 깊이영상에서 배경을 제거하여 전처리 영상을 생성한다(S1410). 일 실시예에 있어서, 수하물 이중적재 판별 장치는 깊이영상에 포함된 깊이값들 중 최대값을 갖는 영역을 배경으로 결정하고 깊이영상에서 해당영역을 제거함으로써 전처리 영상을 생성할 수 있다.Thereafter, the baggage double loading discrimination device removes the background from the depth image to generate a preprocessed image (S1410). In one embodiment, the baggage dual loading and discriminating apparatus can generate a preprocessed image by determining an area having a maximum value among the depth values included in the depth image as a background and removing the corresponding area from the depth image.

다른 실시예에 있어서, 수하물 이중적재 판별 장치는 깊이영상에 포함된 깊이값들의 평균을 산출하고, 산출된 평균 이상의 깊이값을 갖는 영역을 배경으로 결정하여 깊이영상에서 해당영역을 제거함으로써 전처리 영상을 생성할 수도 있다.In another embodiment, the double baggage discrimination device calculates an average of the depth values included in the depth image, determines the area having the depth value equal to or greater than the calculated average value as a background, and removes the corresponding area from the depth image, .

이후, 수하물 이중적재 판별 장치는 전처리영상 내에서 트레이 객체를 결정한다(S1420). 일 실시예에 있어서, 트레이 객체는 트레이 바닥 객체 및 트레이 가이드부 객체를 포함할 수 있고, 수하물 이중적재 판별 시스템은 CCL(Connected Component Labeling)기법을 이용하여 전처리 영상에서 트레이 객체를 결정할 수 있다.Thereafter, the baggage dual loading / discriminating apparatus determines a tray object in the preprocessed image (S1420). In one embodiment, the tray object may include a tray bottom object and a tray guide sub-object, and the baggage dual loading determination system may determine a tray object in a preprocessed image using a CCL (Connected Component Labeling) technique.

구체적으로, 수하물 이중적재 판별 시스템은 전처리 영상에 포함된 깊이값들 중 최대값을 갖는 연속적인 영역을 트레이 바닥 객체로 결정할 수 있다. 또한, 수하물 이중적재 판별 시스템은 전처리 영상에서 동일한 깊이값을 갖는 영역 들 중 최소크기의 연속적인 영역을 트레이 가이드부 객체로 결정할 수 있다.Specifically, the double baggage loading / unloading determination system can determine a continuous area having the maximum value among the depth values included in the preprocessed image as the tray bottom object. Also, the baggage dual loading / discriminating system can determine the continuous area of the minimum size among the areas having the same depth value in the preprocessed image as the tray guide part object.

이후, 수하물 이중적재 판별 시스템은 전처리 영상에서 트레이 바닥 객체 및 트레이 가이드부 객체를 제거함으로써 수하물 객체로 구성된 객체분리영상을 생성한다(S1430).Thereafter, the double baggage loading / unloading determination system creates an object separation image composed of the baggage objects by removing the tray bottom object and the tray guide object from the preprocessed image (S1430).

이후, 수하물 이중적재 판별 시스템은 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하는지 여부를 판단한다(S1440). 본 발명에서 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하는지 여부를 판단하는 이유는 수하물 객체가 트레이 가이드부 객체와 접촉되어 있는 경우 트레이 가이드부 객체가 수하물 객체와 동일한 객체로 인식됨으로 인해 트레이 가이드부 객체가 전처리 영상에서 제거되지 않고 객체분리영산 내에 잔존하게 되는 경우가 발생할 수 있기 때문이다.Thereafter, the baggage dual loading / unloading determination system determines whether there is a tray guide unit object that has been removed in the object separation image (S1440). In the present invention, it is determined whether or not the tray guide unit object is removed from the object separation image. If the bag guide object is in contact with the tray guide unit object, the tray guide unit object is recognized as the same object as the baggage object. This is because the guide object may not be removed from the preprocessed image but may remain in the object separation space.

일 실시예에 있어서, 수하물 이중적재 판별 시스템은 객체분리영상 상에 수하물 객체를 포함하도록 설정된 윈도우 내에서 유효한 깊이값을 갖는 영역의 비율이 임계치 이하이면 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하는 것으로 판단할 수 있다.In one embodiment, if the ratio of the area having a valid depth value in the window set to include the baggage object on the object separation image is below the threshold value, the double baggage loading / Can be judged to exist.

이때, 수하물 객체를 포함하는 윈도우는 수하물 객체에 대해 X축 상의 최소값과 최대값을 연결하는 제1 직선, X축상의 최소값과 Y축 상의 최소값을 연결하는 제2 직선, X축 상의 최대값과 Y축 상의 최대값을 연결하는 제3 직선, 및 Y축 상의 최소값과 최대값을 연결하는 제4 직선을 연결함에 의해 설정될 수 있다.In this case, the window including the baggage object includes a first straight line connecting the minimum value and the maximum value on the X axis with respect to the baggage object, a second straight line connecting the minimum value on the X axis and the minimum value on the Y axis, A third straight line connecting the maximum value on the axis, and a fourth straight line connecting the minimum value and the maximum value on the Y axis.

S1440의 판단결과, 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하는 것으로 판단되면, 수하물 이중적재 판별 시스템은 객체분리영상에서 미제거된 트레이 가이드부 객체를 제거한다(S1450).If it is determined in step S1440 that the tray guide unit object is not removed in the object separation image, the baggage dual loading determination system removes the tray guide unit object that has been removed from the object separation image (S1450).

구체적으로, 수하물 이중적재 판별 시스템은 객체분리영상 내에서 수하물 객체를 포함하도록 설정된 윈도우의 상단으로부터 상기 트레이의 진출방향인 제1 방향으로 최초 인식되는 깊이값의 위치에서 상기 제1 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 후방 트레이 가이드부로 판단하고, 해당영역을 객체분리영상에서 제거한다.Specifically, the double baggage loading / unloading determination system determines a predetermined threshold value in the first direction at the position of the depth value that is first recognized in the first direction, which is the advance direction of the tray, from the top of the window set to include the baggage object in the object separation image The region located within the distance is determined as the rear tray guide portion, and the region is removed from the object separation image.

또한, 수하물 이중적재 판별 시스템은 객체분리영상 내에서 수하물 객체를 포함하도록 설정된 윈도우의 하단으로부터 트레이의 진출방향에 반대되는 제2 방향으로 최초 인식되는 깊이값의 위치에서 상기 제2 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 전방 트레이 가이드부로 판단하고, 해당영역을 객체분리영상에서 제거한다.In addition, the double baggage loading / unloading determination system may be configured to determine a predetermined threshold value in the second direction at a position of a depth value that is first recognized in a second direction opposite to the advance direction of the tray from the bottom of the window set to include the baggage object in the object separation image The region located within the distance is determined as the front tray guide portion, and the corresponding region is removed from the object separation image.

이후, 수하물 이중적재 판별 시스템은 트레이 가이드부 객체가 완전히 제거된 최종적인 객체분리영상을 기초로 수하물 이중적재 여부를 판별한다(S1460). 일 실시예에 있어서, 수하물 이중적재 판별 시스템은 객체분리영상 내에서 트레이의 진입측에 설정된 진입라인과 트레인의 진출측에 설정된 진출라인 사이에 복수개의 수하물 객체가 존재하면 트레이에 복수개의 수하물이 적재되는 이중적재 발생된 것으로 판별할 수 있다.Thereafter, the double baggage loading / unloading determination system determines whether the baggage is double loaded based on the final object separation image in which the tray guide object has been completely removed (S1460). In one embodiment, when there are a plurality of baggage objects between the entry line set on the entry side of the tray and the entry line set on the entry side of the train in the object separation image, a plurality of baggage items It can be determined that a double stacking occurred.

이를 위해, 본 발명에 따른 수하물 이중적재 판별 방법은 객체분리영상 상에서 트레이의 진입측에 진입라인을 설정하고, 트레이의 진출측에 진출라인을 설정하는 단계(미도시)를 더 포함할 수 있다.To this end, the method for distinguishing double loading of a baggage according to the present invention may further comprise setting an entry line on the entry side of the tray on the object separation image and setting an entry line on the entry side of the tray.

이에 따라, S1460에서 수하물 이중적재 판별 시스템이 진입라인과 진출라인 사이에 복수개의 수하물 객체가 인식되면 트레이에 복수개의 수하물이 적재된 것으로 판별할 수 있게 된다.Accordingly, when a plurality of baggage objects are recognized between the entry line and the entry line in the baggage double loading determination system in S1460, it can be determined that a plurality of baggages are loaded on the tray.

다른 예로, 수하물 이중적재 판별 시스템은 특정 수하물이 진출라인을 통과하기 이전에 진압라인을 통과하는 타 수하물이 카운팅되면 이중적재가 발생된 것으로 판단할 수도 있다.As another example, a baggage dual loader determination system may determine that a double baggage occurs when other baggage passing through the line is counted before the baggage passes the advance line.

또 다른 예로, 수하물 이중적재 판별 시스템은 특정 수하물이 진출라인을 넘어가기 전에 진입라인에서 다른 수하물이 인식되면 트레이에 복수개의 수하물이 적재된 것으로 판별할 수도 있다.As another example, the dual baggage identification system may determine that multiple pieces of baggage are loaded on the tray when other baggage is recognized on the entry line before the particular baggage crosses the entry line.

상술한 실시예에 있어서, 수하물 이중적재 판별 시스템은 객체분리영상 상에서 진입라인 및 진출라인을 설정하는 것으로 도시하였지만, 변형된 실시예에 있어서 수하물 이중적재 판별 시스템은 트레이 상에 직접 진입라인 및 진출라인을 설정할 수도 있을 것이다. 예컨대, 수하물 이중적재 판별 시스템은 레이저와 같은 광을 트레이상에 조사함으로써 트레이 상에 직접 진입라인 및 진출라인을 설정할 수 있다.In the above-described embodiment, although the baggage dual loader discrimination system is shown as setting the entry line and the entry line on the object separation image, in the modified embodiment, the baggage dual loader discrimination system has a direct entry line and an entry line . For example, the baggage dual loader identification system can set the entry and exit lines directly on the tray by illuminating the tray with light such as a laser.

S1460의 판별결과, 수하물 이중적재가 발생되지 않은 것으로 판단되면 해당 트레이를 통과사키고(S1470), 수하물 이중적재가 발생된 것으로 판단되면 해당 트레이를 대기시킨다(S1480). 이때, 수하물 이중적재 판별 시스템은 픽업장치를 이용하여 대기중인 트레이로부터 하나 이상의 수하물을 픽업하여 타 트레이로 이동시킴에 의해 수하물 이중적재를 해소할 수 있다. 다른 예로, 수하물 이중적재 판별 시스템은 알람을 발생시켜 수하물 이중적재의 발생을 장치 운영자에게 통지할 수도 있다.As a result of the determination in S1460, if it is determined that the double baggage is not generated, the tray is passed through the tray (S1470). If it is determined that double baggage is generated, the tray is queued (S1480). At this time, the double baggage loading / unloading determination system can remove the double baggage by picking up one or more pieces of baggage from the waiting tray by using the pickup device and moving it to the other tray. As another example, the dual baggage identification system may generate an alarm to notify the device operator of the occurrence of double baggage.

한편, 도 14에 도시하지는 않았지만 본 발명에 따른 수하물 이중적재 판별방법은 객체분리영상에서 수하물 객체 내에 깊이값이 존재하지 않는 영역이 존재하는지 여부를 판단하고, 존재하는 경우 해당영역에 인접한 픽셀의 깊이값을 해당영역의 깊이값으로 설정함으로써 객체분리영상을 보정하는 과정을 더 포함할 수 있다. 이는, 수하물이 빛을 난반사시키는 재질로 이루어진 경우 깊이 카메라에 의해 조사되는 적외선 패턴이 수하물에서 난반사됨으로 인해 깊이값이 획득될 수 없기 때문에 수하물 객체 내에 깊이값이 존재하지 않는 영역이 발생할 수 있기 때문이다.Although not shown in FIG. 14, the method for distinguishing double loading of baggage according to the present invention determines whether there is a region in the object separation image in which a depth value does not exist in the object, And setting the depth value of the object to a depth value of the corresponding area. This is because, when the baggage is made of a material which diffuses light, a depth value can not be obtained due to the irregular reflection of the infrared ray pattern irradiated by the depth camera in the baggage, .

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 수하물 이중적재 판별 시스템 110: 컨베이어벨트 장치
120: 트레이 130: 깊이영상 생성부
140: 객체분리영상 생성부 150: 판별부
310: 전처리부 320: 트레이 객체 결정부
330: 트레이 객체 제거부 340: 윈도우 설정부
350: 보정부100: Baggage double loading discrimination system 110: Conveyor belt device
120: tray 130: depth image generating unit
140: Object segmentation image generation unit 150:
310: preprocessing unit 320: tray object determining unit
330: Tray object removal unit 340: Window setting unit
350:

Claims (18)

컨베이어벨트 장치에서 트레이로 적재되는 수하물을 촬영하고, 촬영된 객체를 깊이(Depth)값들로 표현한 깊이영상을 생성하는 깊이영상 생성부;
상기 깊이값들을 기초로 상기 깊이영상으로부터 배경 및 트레이 객체를 제거하여 수하물 객체로 구성된 객체분리영상을 생성하는 객체분리영상 생성부; 및
상기 객체분리영상을 기초로 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 판별부를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.A depth image generating unit for photographing the baggage loaded on the tray from the conveyor belt apparatus and generating a depth image representing the photographed object with depth values;
An object separation image generation unit for generating an object separation image composed of a baggage object by removing background and tray objects from the depth image based on the depth values; And
And a determination unit for determining whether a plurality of pieces of baggage are loaded on the tray based on the object separation image. 제1항에 있어서,
상기 객체분리영상 상에서 상기 트레이의 진입측에 진입라인을 설정하고, 상기 트레인의 진출측에 진출라인을 설정하는 라인 설정부를 더 포함하고,
상기 판별부는 상기 진입라인과 상기 진출라인 사이에 복수개의 수하물 객체가 인식되면 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Further comprising a line setting unit for setting an entry line on the entry side of the tray on the object separation image and setting an entry line on the entry side of the train,
Wherein the determination unit determines that a plurality of pieces of baggage are loaded on the tray when a plurality of pieces of baggage objects are recognized between the entry line and the entry line. 제1항에 있어서,
상기 객체분리영상 상에서 상기 트레이의 진입측에 진입라인을 설정하고, 상기 트레인의 진출측에 진출라인을 설정하는 라인 설정부를 더 포함하고,
상기 판별부는,
수하물이 상기 진출라인을 넘어가기 전에 상기 진입라인에서 다른 수하물이 인식되면 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Further comprising a line setting unit for setting an entry line on the entry side of the tray on the object separation image and setting an entry line on the entry side of the train,
Wherein,
Wherein the control unit determines that a plurality of pieces of baggage are loaded on the tray when another piece of baggage is recognized on the entry line before the baggage passes the advance line. 제1항에 있어서,
상기 객체분리영상 생성부는,
상기 깊이값들 중 최대값을 갖는 영역을 배경으로 판단하고, 상기 깊이영상에서 상기 배경을 제거하여 전처리 영상을 생성하는 전처리부를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Wherein the object separation image generation unit comprises:
And a preprocessing unit for determining a region having a maximum value among the depth values as a background and removing the background from the depth image to generate a preprocessed image. 제1항에 있어서,
상기 객체분리영상 생성부는,
상기 깊이값들의 평균을 산출하고, 평균 이상의 깊이값을 갖는 영역을 배경으로 판단하며, 상기 깊이영상에서 상기 배경을 제거하여 전처리 영상을 생성하는 전처리부를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Wherein the object separation image generation unit comprises:
And a preprocessing unit for calculating an average of the depth values, determining an area having an average depth value or more as a background, and removing the background from the depth image to generate a preprocessed image. 제1항에 있어서,
상기 객체분리영상 생성부는,
상기 깊이영상에서 배경이 제거된 전처리 영상의 깊이값들 중 최대값을 갖는 연속적인 영역을 트레이 바닥 객체로 결정하고, 상기 전처리 영상에서 동일한 깊이값을 갖는 영역들 중 최소크기의 연속적인 영역을 트레이 가이드부 객체로 결정하는 트레이 객체 결정부; 및
상기 전처리 영상에서 상기 트레이 바닥 객체 및 트레이 가이드부 객체를 제거하여 상기 객체분리영상을 생성하는 트레이 객체 제거부를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Wherein the object separation image generation unit comprises:
A continuous region having a maximum value among the depth values of the pre-processed image in which the background is removed from the depth image is determined as a tray bottom object, and a continuous region of the minimum size among regions having the same depth value in the pre- A tray object determination unit for determining a guide object; And
And a tray object removal unit for removing the tray bottom object and the tray guide unit object from the preprocessed image to generate the object separation image. 제6항에 있어서,
상기 트레이 객체 제거부는,
상기 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하면, 상기 객체분리영상 상에서 상기 수하물 객체를 포함하도록 설정된 윈도우의 상단으로부터 상기 트레이의 진출방향인 제1 방향으로 최초 인식되는 깊이값의 위치로부터 상기 제1 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 미제거된 후방 트레이 가이드부 객체로 판단하여 제거하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 6,
The tray object removal unit may include:
Wherein when a tray guide sub-object that has been removed from the object separation image is present in the object separation image, a position of a depth value that is first recognized in a first direction that is the advance direction of the tray from a top of a window set to include the bag- Wherein a region located within a predetermined critical distance in the first direction is determined as a rear tray guide portion object that has been removed and removed. 제6항에 있어서,
상기 트레이 객체 제거부는,
상기 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하면, 상기 객체분리영상 상에 상기 수하물 객체를 포함하도록 설정된 윈도우의 하단으로부터 상기 트레이의 진출방향에 반대되는 제2 방향으로 최초 인식되는 깊이값의 위치로부터 상기 제2 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 미제거된 전방 트레이 가이드부 객체로 판단하여 제거하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 6,
The tray object removal unit may include:
A depth value that is initially recognized in a second direction opposite to the advancing direction of the tray from a lower end of a window set to include the baggage object on the object separation image, Wherein the first object is an object which is positioned within a predetermined critical distance in the second direction from the position of the front tray guiding part object. 제6항에 있어서,
상기 트레이 객체 제거부는,
상기 객체분리영상 상에 상기 수하물 객체를 포함하도록 설정된 윈도우 내에서 유효한 깊이값을 갖는 영역의 비율이 임계치 이하이면 상기 객체분리영상 내에서 미제거된 트레이 가이드부 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 6,
The tray object removal unit may include:
When the ratio of the area having a valid depth value in the window set to include the baggage object on the object separation image is less than a threshold value, it is determined that the tray guide unit object that has been removed in the object separation image exists. Baggage Double Loading Detection System. 제1항에 있어서,
상기 객체분리영상 생성부는,
상기 수하물 객체에 대해 X축 상의 최소값과 최대값을 연결하는 제1 직선, X축상의 최소값과 Y축 상의 최소값을 연결하는 제2 직선, X축 상의 최대값과 Y축 상의 최대값을 연결하는 제3 직선, 및 Y축 상의 최소값과 최대값을 연결하는 제4 직선을 연결하여 상기 수하물 객체를 포함하는 윈도우를 상기 객체분리영상 상에 설정하는 윈도우 설정부를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Wherein the object separation image generation unit comprises:
A first straight line connecting the minimum value and the maximum value on the X axis with respect to the baggage object, a second straight line connecting the minimum value on the X axis and the minimum value on the Y axis, a maximum value on the Y axis, And a fourth straight line connecting the minimum value and the maximum value on the Y-axis, and setting a window including the baggage object on the object separation image. . 제1항에 있어서,
상기 객체분리영상 생성부는,
상기 수하물 객체 내에 깊이값이 존재하지 않는 영역이 존재하면, 해당영역에 인접한 픽셀의 깊이값을 해당영역의 깊이값으로 설정하여 상기 객체분리영상을 보정하는 보정부를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.The method according to claim 1,
Wherein the object separation image generation unit comprises:
And a correction unit for correcting the object separation image by setting a depth value of a pixel adjacent to the corresponding area as a depth value of the corresponding area if an area having no depth value exists in the baggage object, Discrimination system. 컨베이어벨트 장치에서 트레이로 적재되는 수하물을 깊이 카메라로 촬영하여 촬영된 객체가 깊이(Depth)값들로 표현된 깊이영상을 생성하는 단계;
상기 깊이영상 내에서 배경 및 트레이 객체를 제거하여 수하물 객체로 구성된 객체분리영상을 생성하는 단계; 및
상기 객체분리영상을 기초로 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계를 포함하는 것을 특징으로 하는 수하물 이중적재 판별 방법.Photographing the baggage loaded in the tray from the conveyor belt apparatus with a depth camera to generate a depth image in which the photographed object is expressed by depth values;
Removing the background and tray objects in the depth image to generate an object separation image composed of the baggage objects; And
And determining whether a plurality of pieces of baggage are loaded on the tray based on the object separation image. 제12항에 있어서,
상기 객체분리영상 상에서 상기 트레이의 진입측에 진입라인을 설정하고, 상기 트레인의 진출측에 진출라인을 설정하는 단계를 더 포함하고,
상기 판별하는 단계에서,
상기 객체분리영상 내에서 상기 진입라인과 상기 진출라인 사이에 복수개의 수하물 객체가 인식되면 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 방법.13. The method of claim 12,
Further comprising setting an entry line on an entry side of the tray on the object separation image and setting an entry line on an entry side of the train,
In the determining step,
Wherein when a plurality of baggage objects are recognized between the entry line and the entry line in the object separation image, it is determined that the plurality of pieces of baggage are loaded on the tray. 제12항에 있어서,
상기 객체분리영상을 생성하는 단계에서,
상기 깊이영상으로부터 상기 깊이값들 중 최대값을 갖는 연속적인 영역인 트레이 바닥 객체 및 동일한 깊이값을 갖는 영역 들 중 최소크기의 연속적인 영역인 트레이 가이드부 객체를 제거하여 상기 객체분리영상을 생성하는 것을 특징으로 하는 수하물 이중적재 판별 방법.13. The method of claim 12,
In the step of generating the object separation image,
A tray guide sub-object, which is a contiguous area having a maximum value among the depth values and is a continuous area of a minimum size among the areas having the same depth value, is removed from the depth image to generate the object- Wherein the double baggage loading method comprises the steps of: 제14항에 있어서,
상기 객체분리영상을 생성하는 단계에서,
상기 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하면, 상기 객체분리영상 내에서 수하물 객체를 포함하도록 설정된 윈도우의 상단으로부터 상기 트레이의 진출방향인 제1 방향으로 최초 인식되는 깊이값의 위치에서 상기 제1 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 제거하는 것을 특징으로 하는 수하물 이중적재 판별 방법.15. The method of claim 14,
In the step of generating the object separation image,
If there is a tray guide sub-object that is not removed in the object separation image, a position of a depth value that is first recognized in a first direction, which is the advance direction of the tray, from a top of a window set to include a bag object in the object separation image And removing a region located within a predetermined critical distance in the first direction. 제14항에 있어서,
상기 객체분리영상을 생성하는 단계에서,
상기 깊이 영상 내에서 미제거된 트레이 가이드부 객체가 존재하면, 상기 객체분리영상 내에서 수하물 객체를 포함하도록 설정된 윈도우의 하단으로부터 상기 트레이의 진출방향에 반대되는 제2 방향으로 최초 인식되는 깊이값의 위치에서 상기 제2 방향으로 미리 정해진 임계거리 내에 위치하는 영역을 제거하는 것을 특징으로 하는 수하물 이중적재 판별 방법.15. The method of claim 14,
In the step of generating the object separation image,
If there is an untraced tray guide part object in the depth image, a depth value that is first recognized in a second direction opposite to the advancing direction of the tray from the lower end of the window set to include the baggage object in the object separation image And removing a region located within a predetermined critical distance in the second direction from the predetermined position. 제14항에 있어서,
상기 객체분리영상을 생성하는 단계에서,
상기 객체분리영상 내에서 수하물 객체를 포함하도록 설정된 윈도우 내에서 유효한 깊이값을 갖는 영역의 비율이 임계치 이하이면 상기 객체분리영상 내에 미제거된 트레이 가이드부 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 수하물 이중적재 판별 방법.15. The method of claim 14,
In the step of generating the object separation image,
Wherein when the ratio of the area having a valid depth value in the window set to include the baggage object in the object separation image is less than a threshold value, it is determined that the tray guide part object that has been removed in the object separation image exists. Double Loading Method. 제14항에 있어서,
상기 객체분리영상을 생성하는 단계에서,
수하물 객체에 대해 X축 상의 최소값과 최대값을 연결하는 제1 직선, X축상의 최소값과 Y축 상의 최소값을 연결하는 제2 직선, X축 상의 최대값과 Y축 상의 최대값을 연결하는 제3 직선, 및 Y축 상의 최소값과 최대값을 연결하는 제4 직선을 연결하여 상기 수하물 객체를 포함하는 윈도우를 설정하는 것을 특징으로 하는 수하물 이중적재 판별 방법.15. The method of claim 14,
In the step of generating the object separation image,
A second straight line connecting the minimum value on the X axis and the minimum value on the Y axis, a first straight line connecting the minimum value on the X axis and the maximum value on the Y axis, a third straight line connecting the minimum value on the X axis and the maximum value on the Y axis, And a fourth straight line connecting the minimum value and the maximum value on the Y axis is connected to set the window including the baggage object.
KR1020170169657A 2017-09-27 2017-12-11 System and Method for Recognizing Double Loading of Baggage KR101968024B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170124917 2017-09-27
KR20170124917 2017-09-27

Publications (2)

Publication Number Publication Date
KR20190036426A true KR20190036426A (en) 2019-04-04
KR101968024B1 KR101968024B1 (en) 2019-04-11

Family

ID=66105482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169657A KR101968024B1 (en) 2017-09-27 2017-12-11 System and Method for Recognizing Double Loading of Baggage

Country Status (1)

Country Link
KR (1) KR101968024B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022010961A (en) * 2020-06-29 2022-01-17 株式会社Ｎｔｔドコモ Detection apparatus and detection program
CN114044325A (en) * 2021-11-15 2022-02-15 华能汕头海门发电有限责任公司 Coal conveying belt fault detection system
KR20220043326A (en) * 2020-09-29 2022-04-05 주식회사 포스코아이씨티 System and Method for Recognizing Double Loading of Baggage

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102218894B1 (en) 2019-08-21 2021-02-23 한국생산기술연구원 Device for Double Recognition Image Treatment for Conveyor Belt and Method for the Same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110132862A (en) * 2010-06-03 2011-12-09 주식회사 포스코아이씨티 Baggage appearance detection apparatus and its method
KR20140073621A (en) 2012-11-29 2014-06-17 주식회사 포스코아이씨티 System and method for managementing tray
KR20140083309A (en) 2012-12-26 2014-07-04 주식회사 포스코아이씨티 System for handling baggage
KR101746169B1 (en) * 2015-09-09 2017-06-12 인천국제공항공사 Baggage position control system that can handle adjacent baggage

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110132862A (en) * 2010-06-03 2011-12-09 주식회사 포스코아이씨티 Baggage appearance detection apparatus and its method
KR20140073621A (en) 2012-11-29 2014-06-17 주식회사 포스코아이씨티 System and method for managementing tray
KR20140083309A (en) 2012-12-26 2014-07-04 주식회사 포스코아이씨티 System for handling baggage
KR101746169B1 (en) * 2015-09-09 2017-06-12 인천국제공항공사 Baggage position control system that can handle adjacent baggage

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022010961A (en) * 2020-06-29 2022-01-17 株式会社Ｎｔｔドコモ Detection apparatus and detection program
KR20220043326A (en) * 2020-09-29 2022-04-05 주식회사 포스코아이씨티 System and Method for Recognizing Double Loading of Baggage
CN114044325A (en) * 2021-11-15 2022-02-15 华能汕头海门发电有限责任公司 Coal conveying belt fault detection system

Also Published As

Publication number Publication date
KR101968024B1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
KR101968024B1 (en) System and Method for Recognizing Double Loading of Baggage
KR102202232B1 (en) System for sorting parcel and method thereof
US6944324B2 (en) Machine vision-based singulation verification system and method
EP2660787B1 (en) Defect Categorisation in a digital image
JP6011490B2 (en) Goods storage facility
CN111757783B (en) Identification of articles that cannot be transported
US20070071284A1 (en) Method of detecting bunched-together poster items by analyzing images of their edges
RU2482045C2 (en) Device for extraction of flat subjected from stack with detection of extracted subject traces
CN111602047B (en) Tablet inspection method and tablet inspection device
KR20190050874A (en) Recognizing system, apparatus and method for recognizing recognition information
KR102457712B1 (en) System and Method for Recognizing Double Loading of Baggage
US7629602B2 (en) Apparatus and method for detecting overlapping flat objects with a doubles detector and electronic images of first and second flat sides of an object
JP2012226406A (en) Medium discrimination device and medium discrimination method
JP2003099755A (en) Method of counting steel bar material
US20230271225A1 (en) Information processing device, sorting system, and recording medium
CN214638363U (en) Sheet component detection system
KR101908793B1 (en) Device and method of Rolled-surface Recognition for Billets
JP5301560B2 (en) Coin identification method and coin identification device
WO2023209232A1 (en) Article processing apparatus, system and method therefor
CN117576414B (en) Method, apparatus and storage medium for pit detection in ore image segmentation
GB2628522A (en) Article processing apparatus, system and method therefor
JP7455010B2 (en) Detection device and detection program
US20240290066A1 (en) Object discrimination device
US11667474B1 (en) Increasing scan rate of parcels within material handling facility
CN114693735B (en) Video fusion method and device based on target recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right