KR102457712B1 - 수하물 이중적재 판별 시스템 및 방법 - Google Patents

수하물 이중적재 판별 시스템 및 방법 Download PDF

Info

Publication number
KR102457712B1
KR102457712B1 KR1020200126589A KR20200126589A KR102457712B1 KR 102457712 B1 KR102457712 B1 KR 102457712B1 KR 1020200126589 A KR1020200126589 A KR 1020200126589A KR 20200126589 A KR20200126589 A KR 20200126589A KR 102457712 B1 KR102457712 B1 KR 102457712B1
Authority
KR
South Korea
Prior art keywords
baggage
image
tray
size
depth
Prior art date
Application number
KR1020200126589A
Other languages
English (en)
Other versions
KR20220043326A (ko
Inventor
최의식
이황주
장재형
지찬효
Original Assignee
주식회사 포스코아이씨티
인천국제공항공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티, 인천국제공항공사 filed Critical 주식회사 포스코아이씨티
Priority to KR1020200126589A priority Critical patent/KR102457712B1/ko
Publication of KR20220043326A publication Critical patent/KR20220043326A/ko
Application granted granted Critical
Publication of KR102457712B1 publication Critical patent/KR102457712B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/36—Other airport installations
    • B64F1/368—Arrangements or installations for routing, distributing or loading baggage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0264—Luggage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

깊이영상을 기초로 하나의 트레이에 복수개의 수하물이 적재된 것을 판별할 수 있는 본 발명의 일 측면에 따른 수하물 이중적재 판별 시스템은 컨베이어벨트 장치에서 트레이로 적재된 수하물을 촬영하고, 촬영된 객체를 깊이(Depth)값들로 표현한 깊이영상을 생성하는 깊이영상 생성부; 상기 깊이값들을 기초로 상기 깊이영상으로부터 배경영상 및 트레이영상을 제거하여 수하물영상을 생성하는 수하물영상 생성부; 및 수하물영상의 크기, 표준규격 수하물의 단면적 및 상기 깊이영상생성부의 FOV(Field of View) 비율을 이용하여 표준규격 수하물영상의 크기를 산출하고, 상기 수하물영상의 크기와 상기 표준규격 수하물영상의 크기를 비교하여 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 판별부;를 포함한다.

Description

수하물 이중적재 판별 시스템 및 방법{System and Method for Recognizing Double Loading of Baggage}
본 발명은 수하물 처리 시스템에 관한 것이다.
수하물 처리 시스템(Baggage Handling System: BHS)은 공항 또는 항만 등과 같은 운송 시설에서 출발, 도착, 또는 환승 승객들이 휴대하지 않고 위탁하는 수하물을 목적지까지 신속하고 정확하게 분류하여 운송하는 서비스를 제공한다.
수하물 처리 시스템은 처리 대상이 되는 수하물을 트레이(Tray)에 적재한 후, 트레이를 레일 상에서 고속으로 이동시킴에 의해 수하물을 원하는 목적지까지 이송시킨다.
상술한 바와 같은 트레이를 이용하는 수하물 처리 시스템이 대한민국 공개특허 제10-2014-0083309호(발명의 명칭: 수하물 처리 시스템) 및 대한민국 공개특허 제10-2014-0073621호(발명의 명칭: 트레이 관리 시스템 및 그 관리 방법)에 개시되어 있다.
수하물을 목적지까지 정확하게 이송하기 위해 1개의 트레이에는 1개의 수하물이 탑재되어야 한다. 하지만, 일반적인 수하물 처리 시스템에서 1개의 트레이에 목적지가 상이한 복수개의 수하물이 탑재되는 수하물 이중적재 현상이 발생하게 되면, 해당 트레이에 탑재된 복수개의 수하물들 중 하나의 수하물만이 목적지까지 이송될 수 있고 나머지 수하물들은 정시에 목적지까지 이송될 수 없어 수하물의 누락 또는 지각이 발생할 수 밖에 없다는 문제점이 있다.
또한, 수하물의 이중적재로 인해 수하물의 누락이나 지각이 발생하게 되면 해당 수하물을 목적지까지 다시 이송해야 하므로 추가적인 서비스 처리 비용이 발생할 뿐만 아니라, 승객의 불편 증대는 물론 수하물 처리 서비스의 품질이 저하된다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 깊이영상을 기초로 하나의 트레이에 복수개의 수하물이 적재된 것을 판별할 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 깊이영상으로부터 수하물영상을 정확하게 분리해 낼 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 다른 기술적 과제로 한다.
또한, 본 발명은 수하물의 재질에 의한 수하물영상 오검출을 방지할 수 있는 수하물 이중적재 판별 시스템 및 방법을 제공하는 것을 또 다른 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 수하물 이중적재 판별 시스템은 컨베이어벨트 장치에서 트레이로 적재된 수하물을 촬영하고, 촬영된 객체를 깊이(Depth)값들로 표현한 깊이영상을 생성하는 깊이영상 생성부; 상기 깊이값들을 기초로 상기 깊이영상으로부터 배경영상 및 트레이영상을 제거하여 수하물영상을 생성하는 수하물영상 생성부; 및 수하물영상의 크기, 표준규격 수하물의 단면적 및 상기 깊이영상생성부의 FOV(Field of View) 비율을 이용하여 표준규격 수하물영상의 크기를 산출하고, 상기 수하물영상의 크기와 상기 표준규격 수하물영상의 크기를 비교하여 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 판별부;를 포함하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 수하물 이중적재 판별 방법은 컨베이어벨트 장치에서 트레이로 적재되는 수하물을 깊이 카메라로 촬영하여 촬영된 객체가 깊이(Depth)값들로 표현된 깊이영상을 생성하는 단계; 상기 깊이영상 내에서 배경영상을 제거하여 전경영상을 생성하는 단계; 상기 전경영상 내에서 상기 트레이영상을 제거하여 수하물영상을 생성하는 단계; 및 상기 수하물영상의 크기를 산출하는 단계; 상기 수하물영상의 크기를 표준규격 수하물영상의 크기과 비교하여 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 트레이에 적재되는 수하물을 깊이카메라를 이용하여 촬영한 깊이영상을 기초로 하나의 트레이에 복수개의 수하물이 적재되는 수하물 이중적재 발생 여부를 판별할 수 있어 수하물의 이중적재를 짧은 시간 내에 정확하게 검지할 수 있다는 효과가 있다.
또한, 본 발명에 따르면 수하물 이중적재 발생시 이중적재된 수하물을 분류할 수 있어 수하물의 누락이나 지각을 방지할 수 있고, 이로 인해 이중적재된 수하물의 재이송을 위한 추가적인 서비스 처리 비용 발생 방지는 물론 수하물의 누락이나 지각으로 인한 승객의 불편 감소 및 수하물 처리 서비스의 품질 향상을 도모할 수 있다는 효과가 있다.
또한, 본 발명에 따르면 깊이영상에 포함된 배경 및 트레이영상을 제거함으로써 수하물영상을 정확하게 분리해 낼 수 있어, 수하물의 이중적재를 보다 정확하게 판별할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템의 구성을 보여주는 도면이다.
도 2는 깊이 카메라의 일 예를 보여주는 도면이다.
도 3은 도 1에 도시된 수하물영상 생성부의 구성을 개략적으로 보여주는 블록도이다.
도 4는 도 1에 도시된 판별부의 구성을 개략적으로 보여주는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 수하물영상 생성 방법을 보여주는 플로우 차트이다.
본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템의 구성을 보여주는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템(100)은 수하물의 이송을 위한 컨베이어벨트 장치(110) 및 트레이(120)가 설치된 수하물 처리 시스템과 연동된다.
컨베이어벨트 장치(110)는 컨베이어 벨트(112) 및 컨베이어 벨트(112)를 구동시키기 위한 구동부(미도시)로 구성되고, 컨베이어 벨트(112)를 통해 수하물을 트레이(120)의 대기지점까지 이송시키는 역할을 수행한다. 이때, 컨베이어 벨트(112)를 통해 이송되는 수하물에는 해당 수하물의 목적지 정보가 기록된 태그(미도시)가 부착되어 있을 수 있다.
트레이(120)는 레일(122)을 따라 고속으로 이동하면서, 컨베이어 벨트(112)로부터 적재되는 수하물을 목적지까지 이송시키는 역할을 수행한다.
수하물 이중적재 판별 시스템(100)은 하나의 트레이(120)에 복수개의 수하물이 적재되는지 여부를 판별한다. 이를 위해, 본 발명의 일 실시예에 따른 수하물 이중적재 판별 시스템(100)은 깊이영상 생성부(130), 수하물영상 생성부(140), 및 판별부(150)를 포함한다.
깊이영상 생성부(130)는 컨베이어벨트(112)부터 트레이(120)에 적재되는 수하물을 촬영하여 트레이영상 및 수하물영상을 깊이(Depth)값을 기초로 표현한 깊이영상을 생성한다.
본 발명의 일 실시예에 있어서, 깊이영상 생성부(130)는 객체의 깊이(Depth)를 촬영할 수 있는 깊이 카메라로 구현될 수 있다. 깊이 카메라의 일 예가 도 2에 도시되어 있다. 도 2에 도시된 바와 같이, 깊이 카메라는 객체의 깊이값을 획득하기 위해 미리 정의된 적외선 패턴을 객체에 투사기 위한 적외선 영사기(Infrared Ray Projector, 210) 및 객체로부터 반사되는 정보를 획득하기 위한 적외선 CMOS(Infrared Ray CMOS) 센서(220)를 포함할 수 있다. 이러한 실시예에 따르는 경우 깊이 카메라는 적외선 영사기(210)를 통해 객체에 주사된 후 객체로부터 반사되는 적외선 패턴정보를 적외선 CMOS 센서(220)에서 내부 연산을 수행함으로써 깊이 영상을 생성하게 된다.
본 발명에 따른 깊이 카메라는 도 2에 도시된 바와 같이 객체의 RGB 영상을 생성하기 위한 RGB카메라(230)를 추가로 포함할 수 있다. 이에 따라, 본 발명에 따른 깊이 카메라는 객체의 깊이영상 뿐만 아니라 객체의 RGB영상을 함께 생성하여 제공함으로써 촬영된 객체의 시인성을 향상시킬 수 있다.
또한, 본 발명에 따른 깊이 카메라는 초당 30 프레임 이상을 촬영하여 초당 30프레임 이상의 영상을 생성할 수 있다.
한편, 깊이영상 생성부(130)는 도 1에 도시된 바와 같이 수하물이 컨베이어벨트(112)부터 트레이(120)로 트랜스퍼되는 영역에 배치된 지지부재(160)에 장착되어 설치될 수 있다.
수하물영상 생성부(140)는 깊이영상에 포함된 깊이값을 기초로 깊이영상에서 배경영상 및 트레이영상을 제거함으로써 수하물영상으로 구성된 수하물영상을 생성한다. 본 발명에 따른 수하물영상 생성부(140)의 구성을 도 3을 참조하여 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 수하물영상 생성부의 구성을 보여주는 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수하물영상 생성부(140)는 전처리부(310), 트레이영상 제거부(320) 및 수하물영상 검출부(330)를 포함한다.
전처리부(310)는 깊이영상에서 배경영상과 전경영상을 분리한다. 특히, 본 발명의 실시예에 따른 전처리부(310)는 깊이영상에 포함된 깊이값들 중 최대값을 갖는 영역을 배경영상으로 결정할 수 있다. 깊이 영상에서 배경은 움직이지 않기 때문에 깊이영상에서 배경의 깊이는 변동이 크지 않으나, 트레이나 수하물의 경우 지속적으로 움직이기 때문에 깊이영상에서 트레이나 수하물의 깊이는 변동이 비교적 크다. 이에 따라, 전처리부(310)는 깊이값이 최대인 영역을 깊이영상에서 분리함으로써 배경영상과 전경영상이 분리할 수 있다.
본 발명의 일 실시예에 따르면, 전처리부(310)는 주기적으로 깊이영상의 최대 깊이값을 초기화하여 보다 정확하게 배경영상과 전경영상으로 분리할 수 있다. 즉, 전처리부(310)는 주기적으로 깊이값이 최대인 영역을 초기화하기 때문에, 주기적으로 배경영상을 새로 결정할 수 있다. 이때, 전처리부(310)는 하나의 트레이가 깊이 영상을 통과할 때마다 깊이 영상의 최대값을 초기화할 수 있다. 이에 따라, 깊이 카메라의 높이 및 위치가 변동됨에 따라 발생하는 오류를 최소화할 수 있다.
또한, 전처리부(310)는 배경영상 및 전경영상에 모폴로지(Morphology) 연산을 적용하여 잡음을 제거한다. 예를 들어, 모폴로지 연산은 외부에서 내부로 이미지를 침식(erosion) 연산 및 내부에서 외부로 이미지를 팽창(dilation) 연산으로 이루어질 수 있다. 이에 따라, 배경영상 및 전경영상의 윤곽선을 보다 선명하게 추출할 수 있다.
트레이영상 제거부(320)는 전경영상에서 트레이영상을 결정하고, 트레이영상을 제거하여 수하물영상을 생성한다.
트레이영상 제거부(320)는 전경영상에 대한 히스토그램 그래프를 이용하여 트레이영상을 결정한다. 트레이영상 제거부(320)는 전경영상을 그레이스케일(grayscale)로 변환하고, 변환된 전경영상에 대해 히스토그램 그래프를 생성한다. 이때, 트레이영상을 이루는 픽셀들은 히스토그램 그래프의 좁은 범위에 위치하여 이진 히스토그램 그래프에서 수하물영상과 구분될 수 있다. 구체적으로, 트레이영상 제거부(320)는 히스토그램 그래프에서 그레이 단계에 대한 발생빈도가 높은 상위 n개의 그레이 단계에 위치하는 픽셀들을 트레이 영상으로 결정한다. 이에 따라, 트레이영상 제거부(320)는 전경영상 내의 트레이영상을 결정하고, 전경영상으로부터 트레이영상을 제거하여 수하물영상을 생성할 수 있다.
수하물영상 검출부(330)는 CCL(Connected Component Labeling)기법을 이용하여 수하물영상에서 객체를 결정할 수 있다. 구체적으로, 수하물영상 검출부(330)는 수하물영상에서 연결된 객체들을 인식하고 수하물영상에 각 객체들의 경계선을 한편, 본 발명에 따른 수하물영상 생성부(140)는 보정부(340)를 더 포함할 수 있다. 보정부(340)는 수하물영상 내에 깊이값이 존재하지 않는 영역이 존재하면, 해당영역에 인접한 픽셀의 깊이값을 해당영역의 깊이값으로 설정함으로써 수하물영상을 보정한다. 수하물영상 내에 깊이값이 존재하지 않는 영역이 존재하게 되는 이유는 수하물이 빛을 난반사시키는 재질로 이루어진 경우 깊이 카메라(130)에 의해 조사되는 적외선 패턴이 수하물에서 난반사됨으로 인해 깊이값이 획득될 수 없기 때문이다.
도시되지 않았지만, 수하물(1200) 객체 내에 깊이값이 존재하지 않는 영역이 존재하면, 보정부(340)는 해당영역에 인접한 픽셀의 깊이값을 해당영역의 깊이값으로 설정함으로써 수하물영상을 보정한다.
이와 같이, 본 발명에 따르면 수하물의 재질적인 특성으로 인해 수하물영상 내에 깊이값이 존재하지 않는 영역이 발생하더라도 보정부(340)를 통해 수하물영상을 보정할 수 있기 때문에 수하물 이중적재의 판별 정확도가 저하되는 것을 방지할 수 있게 된다.
다시 도 1을 참조하면, 판별부(150)는 수하물영상을 기초로 트레이(120)에 복수개의 수하물이 적재되었는지 여부를 판별한다.
본 발명에 따른 판별부(150)의 구성을 도 4를 참조하여 보다 구체적으로 설명한다. 도 4는 도 1에 도시된 판별부의 구성을 개략적으로 보여주는 블록도이다.
도 4에 도시된 바와 같이, 판별부(150)는 제1 판별부(421)에서 수하물의 이중적재를 판별할 이중적재 판별 모델을 생성하는 모델 생성부(410), 이중적재 판별 모델을 통해 수하물의 이중적재 여부를 판별하는 제1 판별부(421), 수하물영상의 크기를 기반으로 수하물의 이중적재 여부를 판별하는 제2 판별부(422) 및 제1 판별부(421)와 제2 판별부(422)에 의해 판별된 수하물의 이중적재 여부를 최종 결정하는 제3 판별부(423) 를 포함한다.
본 발명의 일 실시예에 따르면, 모델 생성부(410)는 제1 판별부(421)에서 수하물영상의 이중적재 여부를 판별하는 이중적재 판별 모델을 생성한다.
일 실시예에 따르면, 모델 생성부(410)는 복수개의 수하물이 적재된 수하물영상을 이용하여 이중적재 판별 모델을 학습시킨다.
일 실시예에 따르면, 모델 생성부(410)는 기계 학습(Machine Learning) 알고리즘을 이용하여 이중적재 판별 모델을 생성한다. 구체적으로, 모델 생성부(410)는 결정 트리(decision tree), 신경망(neural network), 서포트 벡터 머신(Support Vector Machine) 및 보팅(Voting) 알고리즘 중 적어도 하나를 적용하여 이중적재 판별 모델을 생성할 수 있다.
제1 판별부(421)는 수하물영상을 이중적재 판별 모델들에 입력하여 수하물영상의 수하물이 복수개로 적재되어 있는지 여부를 판별한다. 구체적으로, 제1 판별부(412)는 이중적재 판별을 위한 특징을 추출하고, 수하물영상과 함께 추출된 수하물영상의 특징들을 이중적재 판별 모델들에 입력한다. 이에 따라, 이중적재 판별 모델들은 수하물영상에 대해 복수개의 수하물이 적재되는지 여부에 대한 확률적인 결과를 출력한다.
한편, 수하물영상에서 복수개의 수하물영상이 접촉, 근접 또는 중첩하는 경우, 이중적재 판별 모델은 복수개의 수하물이 적재되어 있는지 여부를 정확하게 판별하지 못할 가능성이 있다.
이에 따라, 보다 정확하게 복수개의 수하물이 적재되어 있는지 여부를 판별하기 위해, 제2 판별부(422)는 수하물영상의 크기를 표준규격 수하물영상의 크기와 비교하여 트레이에 복수개의 수하물이 적재되는지 여부를 판별한다.
표준규격 수하물은 깊이 카메라의 시각적 범위(FOV:Field Of View)에서 특정 크기를 갖는 표준규격 수하물영상으로 표시될 수 있다. 이때, 표준규격 수하물영상의 크기는 표준규격의 수하물의 단면적과 깊이영상 생성부의 깊이 카메라의 FOV(Field of View) 비율을 이용하여 표준규격 수하물영상의 크기를 산출한다.
구체적으로, 제2 판별부(422)는
[수학식]
S = Sq * RFOV
에 따라 상기 표준규격 수하물영상 크기를 산출하고, S 는 표준규격 수하물영상 크기, Sq는 표준규격 수하물의 단면적 및 RFOV는 깊이 카메라의 FOV(field of view) 비율이다. 예를 들어, 깊이 카메라가 트레이와 1m의 거리로 이격되어 배치되어 0.06의 FOV 비율을 가질 수 있으며, 표준 규격인 900mm의 길이, 750mm의 높이 및 450mm의 폭을 갖는 표준규격 수하물은 400cm2의 크기의 표준규격 수화물영상으로 표시될 수 있다.
일 실시예에 따르면, 제2 판별부(422)는 수하물영상의 크기과 표준규격 수하물영상의 크기와 비교한다. 즉, 수하물영상의 크기가 표준규격 수하물영상의 크기보다 큰 경우, 트레이에 복수개의 수하물이 적재된 것으로 판별한다.
일 실시예에 따르면, 제2 판별부(422)는 수하물영상의 크기가 임계프레임수 이상의 연속적인 프레임동안 표준규격 수하물영상의 크기보다 큰 경우, 트레이에 복수개의 수하물이 적재된 것으로 판별한다. 즉, 제2 판별부(422)는 임계프레임수 이상 연속적으로 수하물영상이 표준규격 수하물영상보다 큰 경우 트레이에 복수개의 수하물이 적재된 것으로 판별한다. 이에 따라, 이중적재 여부를 보다 정확하게 판별할 수 있다.
제3 판별부(423)는 제1 및 제2 판별부(421, 422)에 따른 이중적재 판별 여부를 종합하여 복수개의 수하물이 적재되는지 여부를 최종적으로 판별할 수 있다. 예를 들어, 제1 판별부(421)의 이중적재 판별 모델에 의해 복수개의 수하물이 적재되지 않은 것으로 판단되고 제2 판별부(422)에 의해 복수개의 수하물이 적재된 것으로 판단된 경우, 제3 판별부(423)는 최종적으로 해당 수하물영상에 대해 복수개의 수하물이 적재된 것으로 최종적으로 판별할 수 있다.
한편, 도 1에 도시하지는 않았지만, 본 발명에 따른 수하물 이중적재 판별 시스템은 픽업장치를 추가로 포함할 수 있다. 픽업장치는 판별부(150)에 의해 이중적재가 발생된 것으로 판별되면, 이중적재가 발생된 트레이(120)로부터 적어도 하나의 수하물을 픽업하여 타 트레이(120)로 이동시킴으로써 이중적재가 발생된 트레이(120) 상에 하나의 수하물만이 잔존하도록 할 수 있다.
이러한 실시예에 따르는 경우 픽업장치는 판별부(150)에 의해 수하물이 트레이로부터 일정영역 이상 벗어난 것으로 판단되면, 해당 수하물이 트레이 내에 완전히 수납될 수 있도록 트레이의 위치를 이동시킬 수도 있다. 이를 통해, 트레이가 고속으로 이동하는 중에 수하물이 트레이로부터 낙하되는 것을 미연에 방지할 수 있다.
이하, 본 발명에 따른 수하물 이중적재 판별 방법에 대해 설명한다.
본 발명의 일 실시예에 따르면, 촬영된 영상으로부터 수하물영상을 검출하고, 검출된 수하물영상에 대해 이중적재 판별하여 운송되는 수하물의 이중적재 여부를 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 수하물 이중적재 판별방법을 보여주는 플로우 차트이다.
먼저, 수하물 이중적재 판별 시스템은 컨베이어벨트 장치로부터 트레이에 적재되는 수하물을 깊이 카메라로 촬영함으로써 촬영된 객체가 깊이(Depth)값들로 표현된 깊이영상을 생성한다(S510).
이후, 수하물 이중적재 판별 시스템은 깊이영상을 배경영상과 전경영상으로 분리한다(S520). 일 실시예에 있어서, 수하물 이중적재 판별 시스템은 깊이영상에 포함된 깊이값들 중 최대값을 갖는 영역을 배경영상으로 결정하여 깊이영상에서 해당영역을 분리하여 전경영상을 생성할 수 있다. 이때, 도면에 도시되지 않았지만, 수하물 이중적재 판별 시스템은 배경영상 또는 전경영상의 잡음을 제거할 수 있다. 예를 들어, 수하물 이중적재 판별 시스템은 배경영상 또는 전경연상에 침식 또는 팽창 연산으로 이루어진 모폴로지 연산을 적용하여 각 영상의 잡음을 제거할 수 있다. 이에 따라, 수하물 이중적재 판별 시스템은 배경영상 및 전경영상의 선명도를 향상시킬 수 있다.
이후, 수하물 이중적재 판별 시스템은 전경영상 내에서 트레이영상을 제거하여 수하물영상을 생성한다(S530). 일 실시예에 있어서, 수하물 이중적재 판별 시스템은 전경영상에 대한 이진 히스토그램 그래프를 이용하여 트레이영상을 결정한다. 수하물 이중적재 판별 시스템은 전경영상을 그레이스케일(grayscale)로 변환하고, 변환된 전경영상에 대해 히스토그램 그래프를 생성한다. 이때, 트레이영상을 이루는 픽셀들은 히스토그램 그래프의 좁은 범위에 위치하여 이진 히스토그램 그래프에서 수하물영상과 구분될 수 있다. 구체적으로, 수하물 이중적재 판별 시스템은 히스토그램 그래프에서 그레이 단계에 대한 발생빈도가 높은 상위 n개의 그레이 단계에 위치하는 픽셀들을 트레이 영상으로 결정한다. 이에 따라, 수하물 이중적재 판별 시스템은 전경영상 내의 트레이영상을 결정하고, 전경영상으로부터 트레이영상을 제거하여 수하물영상을 생성할 수 있다.
이후, 수하물 이중적재 판별 시스템은 CCL(Connected Component Labeling)기법을 이용하여 수하물영상에서 객체를 결정할 수 있다(S540). 구체적으로, 수하물 이중적재 판별 시스템은 연결된 객체들을 인식하고 수하물영상에 각 객체들의 경계선을 표시하고, 객체들 각각을 라벨링한다.
이후, 수하물 이중적재 판별 시스템은 수하물영상을 이중적재 판별 모델에 적용한다(S550). 이때, 도시되지 않았지만, 수하물영상으로부터 이중적재를 판별하기 위한 특징을 추출할 수 있다.
일 실시예에 있어서, 수하물 이중적재 판별 시스템은 이중적재 판별 모델을 학습시키기 위해 기계 학습(Machine Learning) 알고리즘을 이용할 수 있다. 예를 들어, 수하물 이중적재 판별 시스템은 결정 트리(decision tree), 신경망(neural network), 서포트 벡터 머신(Support Vector Machine) 및 보팅(Voting) 알고리즘 중 적어도 하나를 복수개의 수하물이 적재된 학습용 수하물영상으로 학습시켜 수하물 이중적재 판별 모델을 생성할 수 있다.
한편, 수하물영상에서 복수개의 수하물영상이 접촉, 근접 또는 중첩하는 경우, 이중적재 판별 모델은 복수개의 수하물이 적재되어 있는지 여부를 정확하게 판별하지 못할 가능성이 있다.
이에 따라, 보다 정확하게 복수개의 수하물이 적재되어 있는지 여부를 판별하기 위해, 수하물영상의 크기를 표준규격 수하물영상의 크기와 비교하여 트레이에 복수개의 수하물이 적재되는지 여부를 판별한다(S560). 이때, 표준규격 수하물영상의 크기는 표준규격의 수하물의 단면적과 깊이영상 생성부의 깊이 카메라의 FOV(Field of View) 비율을 이용하여 표준규격 수하물영상의 크기를 산출한다. 구체적으로, 수하물 이중적재 판별 시스템은
[수학식]
S = Sq * RFOV
에 따라 상기 표준규격 수하물영상 크기를 산출하고, S 는 표준규격 수하물영상 크기, Sq는 표준규격 수하물의 단면적 및 RFOV는 깊이 카메라의 FOV(field of view) 비율이다. 예를 들어, 깊이 카메라가 트레이와 1m의 거리로 이격되어 배치되어 0.06의 FOV 비율을 가질 수 있으며, 표준 규격인 900mm의 길이, 750mm의 높이 및 450mm의 폭을 갖는 표준규격 수하물은 400cm2의 크기의 표준규격 수화물영상으로 표시될 수 있다.
이후, 수하물 이중적재 판별 시스템은 이중적재 판별 모델 및 수하물영상 크기를 기초로 최종적으로 수하물의 이중적재 여부를 판별할 수 있다(S570). 예를 들어, 제1 판별부(421)의 이중적재 판별 모델에 의해 복수개의 수하물이 적재되지 않은 것으로 판단되고 제2 판별부(422)에 의해 복수개의 수하물이 적재된 것으로 판단된 경우, 제3 판별부(423)는 해당 수하물영상에 대해 복수개의 수하물이 적재된 것으로 최종적으로 판별할 수 있다.
본 발명에 따르면, 하나의 트레이에 복수개의 수하물이 적재되는 경우, 이중적재된 수하물을 분류할 수 있어 수하물의 누락이나 지각을 방지할 수 있고, 이로 인해 이중적재된 수하물의 재이송을 위한 추가적인 서비스 처리 비용 발생 방지는 물론 수하물의 누락이나 지각으로 인한 승객의 불편 감소 및 수하물 처리 서비스의 품질 향상을 도모할 수 있다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 수하물 이중적재 판별 시스템 110: 컨베이어벨트 장치
120: 트레이 130: 깊이영상 생성부
140: 수하물영상 생성부 150: 판별부

Claims (14)

  1. 컨베이어벨트 장치에서 트레이로 적재된 수하물을 촬영하고, 촬영된 객체를 깊이(Depth)값들로 표현한 깊이영상을 생성하는 깊이영상 생성부;
    상기 깊이값들을 기초로 상기 깊이영상으로부터 배경영상 및 트레이영상을 제거하여 수하물영상을 생성하는 수하물영상 생성부; 및
    수하물영상의 크기, 표준규격 수하물의 단면적 및 상기 깊이영상 생성부의 FOV(Field of View) 비율을 이용하여 표준규격 수하물영상의 크기를 산출하고, 상기 수하물영상의 크기와 상기 표준규격 수하물영상의 크기를 비교하여 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 판별부;를 포함하고,
    상기 수하물영상 생성부는,
    상기 수하물영상을 그레이스케일(grayscale)로 변환하고, 변환된 그레이스케일의 수하물영상에 대한 히스토그램 그래프를 이용하여 상기 히스토그램 그래프에서 각 그레이 단계에 대한 발생빈도가 높은 상위 n개의 그레이 단계에 위치하는 픽셀들을 상기 트레이영상으로 결정하고,
    상기 판별부는,
    상기 수하물영상의 크기가 임계프레임수 이상의 연속적인 프레임동안 표준규격 수하물영상의 크기보다 큰 경우, 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  2. 제1항에 있어서,
    상기 판별부는,
    상기 수하물영상의 크기가 표준규격 수하물영상의 크기보다 큰 경우, 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  3. 제2항에 있어서,
    상기 표준규격 수하물영상의 크기는
    수학식
    Figure 112020103725442-pat00001

    에 따라 산출되고, 상기 수학식에서 이때, S는 수하물영상 크기, Sq는 표준규격 수하물의 단면적 및 RFOV는 깊이영상 생성부의 FOV(field of view) 비율인 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 수하물영상 생성부는 상기 깊이값들 중 최대값을 갖는 영역을 배경영상으로 판단하고, 상기 깊이영상에서 상기 배경영상을 제거하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  7. 제6항에 있어서,
    상기 수하물영상 생성부는 상기 배경영상을 주기적으로 산출하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  8. 제1항에 있어서,
    상기 판별부는,
    복수개의 수하물이 적재된 학습용 수하물영상을 이용하여 학습된 이중적재 판별 모델에 상기 수하물영상을 입력하여 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  9. 제8항에 있어서,
    상기 이중적재 판별 모델은 결정 트리(decision tree), 신경망(neural network), 서포트 벡터 머신(Support Vector Machine) 및 보팅(Voting) 알고리즘 중 적어도 하나인 것을 특징으로 하는 수하물 이중적재 판별 시스템.
  10. 컨베이어벨트 장치에서 트레이로 적재되는 수하물을 깊이 카메라로 촬영하여 촬영된 객체가 깊이(Depth)값들로 표현된 깊이영상을 생성하는 단계;
    상기 깊이영상 내에서 배경영상을 제거하여 전경영상을 생성하는 단계;
    상기 전경영상 내에서 트레이영상을 제거하여 수하물영상을 생성하는 단계; 및
    상기 수하물영상의 크기를 산출하는 단계;
    상기 수하물영상의 크기를 표준규격 수하물영상의 크기과 비교하여 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계;를 포함하고,
    상기 수하물영상을 생성하는 단계는,
    상기 수하물영상을 그레이스케일로 변환하고 그레이스케일의 수하물영상에 대한 히스토그램 그래프에서 각 그레이 단계에 대한 발생빈도가 많은 상위 n개의 그레이 단계에 위치하는 픽셀들을 상기 트레이영상으로 결정하고,
    상기 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계는,
    상기 수하물영상의 크기가 임계프레임수 이상의 연속적인 프레임동안 표준규격 수하물영상의 크기보다 큰 경우, 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 방법.
  11. 제10항에 있어서,
    상기 수하물영상의 크기를 기초로 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계는,
    상기 수하물영상의 크기가 기준 수하물영상의 크기보다 큰 경우, 상기 트레이에 복수개의 수하물이 적재된 것으로 판별하는 것을 특징으로 하는 수하물 이중적재 판별 방법.
  12. 제10항에 있어서,
    상기 수하물영상의 크기를 기초로 상기 트레이에 복수개의 수하물이 적재되는지 여부를 판별하는 단계는,
    수학식
    Figure 112020103725442-pat00002

    에 따라 상기 표준규격 수하물영상의 크기를 산출하고, S 는 상기 표준규격 수하물영상의 크기, Sq는 표준규격 수하물의 단면적 및 RFOV는 깊이 카메라의 FOV(field of view) 비율인 것을 특징으로 하는 수하물 이중적재 판별 방법.
  13. 삭제
  14. 제10항에 있어서,
    상기 깊이영상 내에서 배경영상을 제거하여 전경영상을 생성하는 단계는,
    상기 깊이영상에서 상기 깊이값들 중 최대값을 갖는 영역을 배경영상으로 판단하고, 상기 깊이영상에서 상기 배경영상을 제거하는 것을 특징으로 하는 수하물 이중적재 판별 방법.
KR1020200126589A 2020-09-29 2020-09-29 수하물 이중적재 판별 시스템 및 방법 KR102457712B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200126589A KR102457712B1 (ko) 2020-09-29 2020-09-29 수하물 이중적재 판별 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200126589A KR102457712B1 (ko) 2020-09-29 2020-09-29 수하물 이중적재 판별 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220043326A KR20220043326A (ko) 2022-04-05
KR102457712B1 true KR102457712B1 (ko) 2022-10-20

Family

ID=81181862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200126589A KR102457712B1 (ko) 2020-09-29 2020-09-29 수하물 이중적재 판별 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102457712B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019111640A (ja) * 2017-12-26 2019-07-11 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
JP2020524328A (ja) * 2017-06-19 2020-08-13 インパクトビジョン インコーポレイテッド 異物を識別するためのハイパースペクトル画像処理用のシステム及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101306229B1 (ko) * 2012-08-10 2013-09-06 주식회사 선반도체 에피층 성장에 사용되는 웨이퍼 핸들러
KR101967171B1 (ko) * 2016-06-30 2019-04-09 킴벌리-클라크 월드와이드, 인크. 광학적 제품 사용 결정 시스템
KR101968024B1 (ko) * 2017-09-27 2019-04-11 주식회사 포스코아이씨티 수하물 이중적재 판별 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020524328A (ja) * 2017-06-19 2020-08-13 インパクトビジョン インコーポレイテッド 異物を識別するためのハイパースペクトル画像処理用のシステム及び方法
JP2019111640A (ja) * 2017-12-26 2019-07-11 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法

Also Published As

Publication number Publication date
KR20220043326A (ko) 2022-04-05

Similar Documents

Publication Publication Date Title
LeBourgeois Robust multifont OCR system from gray level images
US5737438A (en) Image processing
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
US6614928B1 (en) Automatic parcel volume capture system and volume capture method using parcel image recognition
US6687421B1 (en) Skew detection of text in a noisy digitized image
US7835540B2 (en) Method of detecting bunched-together poster items by analyzing images of their edges
WO2021038218A1 (en) Article identification and tracking
KR101968024B1 (ko) 수하물 이중적재 판별 시스템 및 방법
EP0749362B1 (en) Improvements in image processing
KR102457712B1 (ko) 수하물 이중적재 판별 시스템 및 방법
Huang et al. A back propagation based real-time license plate recognition system
US10915725B2 (en) Method to generate a slap/fingers foreground mask
EP0505729B1 (en) Image binarization system
KR102436943B1 (ko) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법
JP6730061B2 (ja) 配達支援装置、配達支援システム、及び配達支援プログラム
Fan et al. Double-threshold image segmentation method based on gray gradient
US7899245B2 (en) Morphological based segmenter
CN112288372A (zh) 一种可同时识别一维条码和三段码字符的快递单识别方法
Yang et al. Dual frame differences based background extraction algorithm
CN117011507B (zh) 一种2cmos图像识别数据分析方法和系统
US20230370724A1 (en) Recording and brightness adjustment of an image
CN114693735B (zh) 一种基于目标识别的视频融合方法及装置
KR102502523B1 (ko) 바코드 추출 장치 및 방법
JPH1069524A (ja) 文字切り出し方法
KR102430120B1 (ko) 스테레오 기반의 roi 검출 알고리즘의 성능을 향상시키는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant