KR102423207B1 - 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법 - Google Patents

딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법 Download PDF

Info

Publication number
KR102423207B1
KR102423207B1 KR1020200003674A KR20200003674A KR102423207B1 KR 102423207 B1 KR102423207 B1 KR 102423207B1 KR 1020200003674 A KR1020200003674 A KR 1020200003674A KR 20200003674 A KR20200003674 A KR 20200003674A KR 102423207 B1 KR102423207 B1 KR 102423207B1
Authority
KR
South Korea
Prior art keywords
container truck
image
container
frame
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200003674A
Other languages
English (en)
Other versions
KR20210090418A (ko
Inventor
김기훈
임창휘
최영철
박종원
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020200003674A priority Critical patent/KR102423207B1/ko
Publication of KR20210090418A publication Critical patent/KR20210090418A/ko
Application granted granted Critical
Publication of KR102423207B1 publication Critical patent/KR102423207B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법에 관한 것으로서, 특히 크레인에 설치된 컨테이너 트럭 영상 촬영부로부터 컨테이너 트럭 영상이 입력되면 프레임별로 구분하고, 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(bounding box)를 지정하여 라벨링을 수행하면 바운딩 박스의 네 꼭지점에 대한 좌표가 생성되고, 프레임 영상 데이터 및 그 프레임 영상 내의 바운딩 박스의 네 꼭지점 좌표를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 부분 각각에 대해서 바운딩 박스가 자동으로 생성된 후 이 바운딩 박스가 카운트되어 컨테이너 트럭이 계수되는, 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법에 관한 것이다.

Description

딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법{SYSTEM AND METHOD FOR COUNTING CONTAINER TRUCK WAITING ON CRANE BASED ON DEEP LEARNING}
본 발명은 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법에 관한 것으로서, 특히 크레인에 설치된 컨테이너 트럭 영상 촬영부로부터 컨테이너 트럭 영상이 입력되면 프레임별로 구분하고, 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(bounding box)를 지정하여 라벨링을 수행하면 바운딩 박스의 네 꼭지점에 대한 좌표가 생성되고, 프레임 영상 데이터 및 그 프레임 영상 내의 바운딩 박스의 네 꼭지점 좌표를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 부분 각각에 대해서 바운딩 박스가 자동으로 생성된 후 이 바운딩 박스가 카운트되어 컨테이너 트럭이 계수되는, 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법에 관한 것이다.
컨테이너 크레인은 갠트리 크레인이라고도 불리기도 하며 가장 기본이 되는 장비로서, 일반적으로 컨테이너 전용부두에 안벽 측에 설치되어 있다. 주로, 컨테이너 선박에 실려 있는 컨테이너 화물을 내리거나 반대로 선박에 싣는 작업을 하는 용도로 사용된다. 크레인의 크기는 매우 다양하지만 컨테이너 선박의 크기가 커지는 추세에 따라 갠트리 크레인 역시 그 크기가 커지고 있다. 갠트리 크레인은 스프레더(컨테이너를 들고 내리는 기능), 마그네트, 버켓 등 다른 보조 장비를 장착하여 다양한 화물을 효율적으로 하역할 수 있는 장점이 있습니다.
국내 특허 등록 제156610호 공보(이하, 선행기술이라 함)에는 차량의 이동속도에 따른 차량 계수범위를 정한 다음, 차량 계수범위를 통과하는 차량의 이동점을 추적하여 자동적으로 이동차량을 계수하는 이동차량 자동 계수시스템 및 방법에 관한 것으로서, 도로의 차량 영상을 촬영 및 입력하는 수단과; 상기 차량 영상을 일정한 시간 간격으로 샘플링한 다음, 상기 샘플링된 차량 영상의 아날로그 신호를 디지탈 신호로 변환시켜 영상을 생성하는 A/D 변환수단과; 상기 A/D 변환수단에서 출력되는 하나의 영상으로 도로정보를 추출하는 수단과; 적어도 2개 이상의 연속된 영상으로 차량의 평균 이동속도를 측정하는 수단과; 상기 평균 이동속도를 기준으로 차량 계수범위를 정한 후 상기 차량 계수범위를 통과하는 이동차량을 계수하는 수단으로 구성된 것을 특징으로 한다.
그러나 선행기술은 차량의 이동속도에 따른 차량 계수범위를 정한 후 해당 차량 계수범위를 통과하는 차량의 이동점을 추적하여 이동차량을 계수하는 방식이므로, 차량이 상시운행하는 도로에서는 적합할 수 있으나, 특정시간에만 컨테이너 트럭이 통과하는 컨테이너 크레인에는 적합하지 않다는 문제점이 있었다.
국내 특허 등록 제156610호 공보(발명의 명칭 : 이동차량 자동계수시스템 및 방법)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 컨테이너 크레인에 대기하는 컨테이너 트럭에 대한 계수를 간단한 방법으로 정확히 수행할 수 있게 하는, 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법을 제공하는 데에 있다.
상기의 목적을 달성하기 위해, 본 발명의 일 실시형태에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템은 크레인에 설치되어 해당 크레인의 전방에 대기하는 컨테이너 트럭들을 촬영하도록 구성된 컨테이너 트럭 영상 촬영부; 및 상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받아 프레임별로 구분하고, 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(bounding box)를 지정하여 라벨링을 수행하여 바운딩 박스의 네 꼭지점에 대한 좌표를 생성하고, 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성된 컨테이너 트럭 계수 장치;를 포함하는 것을 특징으로 한다.
상기 일실시 형태에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템에 있어서, 상기 컨테이너 트럭 계수 장치는 상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받도록 구성된 영상 입력부; 상기 컨테이너 트럭 영상을 프레임별로 구분하도록 구성된 영상 분할부; 상기 영상 분할부에 의해 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 유저가 바운딩 박스를 지정할 수 있게 하는 영상 조작부; 상기 프레임 단위의 컨테이너 트럭 영상 내에서 상기 바운딩 박스가 지정되면 라벨링을 수행하여 상기 바운딩 박스의 네 꼭지점 좌표를 생성하도록 구성된 영상 좌표 생성부; 상기 프레임 단위의 컨테이너 트럭 영상의 데이터 및 그 프레임 단위의 컨테이너 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시키도록 구성된 딥러닝부; 및 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성된 컨테이너 트럭 계수부;를 포함할 수 있다.
상기의 목적을 달성하기 위해, 본 발명의 다른 실시형태에 의한 컨테이너 트럭 계수 방법은 컨테이너 트럭 계수 장치가 상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받는 단계(S10); 상기 컨테이너 트럭 계수 장치가 상기 컨테이너 트럭 영상을 프레임별로 구분하는 단계(S20); 상기 컨테이너 트럭 계수 장치가 상기 구분 단계에서 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(bounding box)를 지정하여 라벨링을 수행하여 바운딩 박스의 네 꼭지점에 대한 좌표를 생성하는 단계(S30, S40); 상기 컨테이너 트럭 계수 장치가 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시키는 단계(S50); 상기 컨테이너 트럭 계수 장치가 상기 컨테이너 트럭 영상 촬영부로부터 계수하고자 하는 촬영된 컨테이너 트럭 영상을 입력받는 단계(S60); 상기 컨테이너 트럭 계수 장치가 상기 계수하고자 하는 컨테이너 트럭 영상을 프레임별로 구분하는 단계(S70); 상기 컨테이너 트럭 계수 장치가 상기 딥러닝 단계(S50)에서 딥러닝 된 인공신경망 모델에 상기 구분 단계(S70)에서 구분된 프레임 단위의 컨테이너 트럭 영상을 입력시키고, 해당 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성하는 단계(S80); 및 상기 컨테이너 트럭 계수 장치가 상기 자동 생성 단계(S80)에서 생성된 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하는 단계(S90);를 포함하는 것을 특징으로 한다.
본 발명의 실시형태들에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법에 의하면, 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받아 프레임별로 구분하고, 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 지정하여 라벨링을 수행하여 바운딩 박스의 네 꼭지점에 대한 좌표를 생성하고, 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성됨으로써, 컨테이너 크레인에 대기하는 컨테이너 트럭에 대한 계수를 간단한 방법으로 정확히 수행할 수 있게 한다는 뛰어난 효과가 있다.
도 1은 본 발명의 실시예에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템의 블록 구성도이다.
도 2는 도 1의 컨테이너 트럭 영상 촬영부가 크레인에 설치된 구성과, 크레인 전방에 복수의 컨테이너 트럭이 대기하고 있는 상태를 나타낸 도면이다.
도 3은 도 1의 영상 좌표 생성부에 의해 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스가 지정된 상태를 도시하는 도면이다.
도 4는 본 발명의 실시예에 의한 컨테이너 트럭 계수 방법을 설명하기 위한 플로우챠트이다.
본 발명의 실시예를 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예를 기술하기 위한 것이며, 결코 제한적으로 해석되어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하는 것으로 해석되어서는 안 된다.
도면에서 도시된 각 시스템에서, 몇몇 경우에서의 요소는 각각 동일한 참조 번호 또는 상이한 참조 번호를 가져서 표현된 요소가 상이하거나 유사할 수가 있음을 시사할 수 있다. 그러나 요소는 상이한 구현을 가지고 본 명세서에서 보여지거나 기술된 시스템 중 몇몇 또는 전부와 작동할 수 있다. 도면에서 도시된 다양한 요소는 동일하거나 상이할 수 있다. 어느 것이 제1 요소로 지칭되는지 및 어느 것이 제2 요소로 불리는지는 임의적이다.
본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 자료 또는 신호를 '전송', '전달' 또는 '제공'한다 함은 어느 한 구성요소가 다른 구성요소로 직접 자료 또는 신호를 전송하는 것은 물론, 적어도 하나의 또 다른 구성요소를 통하여 자료 또는 신호를 다른 구성요소로 전송하는 것을 포함한다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템의 블록 구성도이고, 도 2는 도 1의 컨테이너 트럭 영상 촬영부가 크레인에 설치된 구성과, 크레인 전방에 복수의 컨테이너 트럭이 대기하고 있는 상태를 나타낸 도면이다.
본 발명의 실시예에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템은, 도 1, 2에 도시된 바와 같이, 컨테이너 트럭 영상 촬영부(100), 및 컨테이너 트럭 계수 장치(200)를 포함한다.
컨테이너 트럭 영상 촬영부(100)는 대기하고 있는 컨테이너 트럭들이 시야에 들어오기 용이한, 크레인의 일측에 설치되어 크레인의 전방에 대기하는 컨테이너 트럭들을 촬영하는 역할을 한다.
컨테이너 트럭 계수 장치(200)는 컨테이너 트럭 영상 촬영부(100)로부터 촬영된 대기하는 컨테이너 트럭 영상을 입력받아 프레임별로 구분하고, 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭(B) 각각에 대해서 바운딩 박스(B)를 지정하여 라벨링을 수행하여 바운딩 박스(B)의 네 꼭지점에 대한 좌표를 생성하고, 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(B)를 자동으로 생성한 후 이 바운딩 박스(B)를 카운트하여 대기하는 컨테이너 트럭을 계수하는 역할을 한다.
도 3은 도 1의 영상 좌표 생성부(230)에 의해 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(B)가 지정된 상태를 도시하는 도면이다. 여기서, Truck:3은 3개의 컨테이너 트럭에 대해서 바운딩 박스(B)가 지정된 것을 나타내고, E.Time 30min은 처리 예정 시간이 30분임을 나타낸다.
컨테이너 트럭 계수 장치(200)는 영상 입력부(210), 영상 분할부(220), 영상 좌표 생성부(230), 영상 조작부(240), 딥러닝부(250) 및 컨테이너 트럭 계수부(270)를 포함한다.
영상 입력부(210)는 컨테이너 트럭 영상 촬영부(100)로부터 촬영된 대기하는 컨테이너 트럭 영상을 입력받는 역할을 한다.
영상 분할부(220)는 영상 입력부(210)를 통해 입력된 컨테이너 트럭 영상을 프레임별로 구분하여 프레임 단위의 컨테이너 트럭 영상을 생성하는 역할을 한다.
영상 조작부(240)는 영상 분할부(220)에 의해 구분되어 생성된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 유저가 바운딩 박스(B)를 지정할 수 있게 하는 수단을 제공하는 역할을 한다. 예컨대, 마우스, 키보드, 터치패드 등의 입력장치가 사용될 수 있다.
영상 좌표 생성부(230)는 영상 조작부(240)에 의해 프레임 단위의 컨테이너 트럭 영상 내에서 바운딩 박스(B)가 지정되면 자동으로 라벨링을 수행하여 바운딩 박스(B)의 네 꼭지점 좌표를 생성하는 역할을 한다.
딥러닝부(250)는 프레임 단위의 컨테이너 트럭 영상의 데이터 및 그 프레임 단위의 컨테이너 트럭 영상 내의 바운딩 박스(B)의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시키는 역할을 한다.
컨테이너 트럭 계수부(270)는 딥러닝부(250)에 의해 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(B)를 자동으로 생성한 후 이 바운딩 박스(B)를 카운트하여 대기하는 컨테이너 트럭을 계수하는 역할을 한다. 컨테이너 트럭 계수부(270)에 의해 계수된 프레임 단위의 컨테이너 트럭 영상과 해당 프레임 단위의 컨테이너 트럭 영상 내의 바운딩 박스(B)의 네 꼭지점 좌표 데이터는 딥러닝부(250)에 입력되어 딥러닝됨으로써, 컨테이너 트럭 계수 정밀도는 계속해서 향상될 수 있다.
상기와 같이 구성된 본 발명의 실시예에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템을 이용한 컨테이너 트럭 계수 방법에 대해 도면을 참조하여 설명하기로 한다.
도 4는 본 발명의 실시예에 의한 컨테이너 트럭 계수 방법을 설명하기 위한 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.
먼저, 컨테이너 트럭 계수 장치(200)가 컨테이너 트럭 영상 촬영부(100)로부터 촬영된 대기하는 컨테이너 트럭 영상을 입력받으면(S10), 컨테이너 트럭 영상을 프레임별로 구분하여 프레임 단위의 컨테이너 트럭 영상을 생성한다(S20).
이어서, 유저의 컨테이너 트럭 계수 장치(200)의 영상 조작부(240)를 통한 조작에 의해 상기 스텝(S20)에서 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해 복수의 바운딩 박스(B)를 지정하여 라벨링을 수행하면(S40), 컨테이너 트럭 계수 장치(200)에 의해 바운딩 박스(B)의 네 꼭지점에 대한 좌표가 생성된다(S40).
다음, 컨테이너 트럭 계수 장치(200)는 스텝(S20)에 의해 생성된 프레임 단위의 컨테이너 트럭 영상 데이터와, 스텝(S40)에 의해 생성된 프레임 단위의 트럭 영상 내의 바운딩 박스(B)의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시킨다(S50).
이어서, 컨테이너 트럭 계수 장치(200)가 컨테이너 트럭 영상 촬영부(100)로부터 계수하고자 하는 촬영된 컨테이너 트럭 영상을 입력받으면(S60), 계수하고자 하는 컨테이너 트럭 영상을 프레임별로 구분하여 프레임 단위의 컨테이너 트럭 영상을 생성한다(S70).
다음, 컨테이너 트럭 계수 장치(200)는 상기 스텝(S50)에서 딥러닝 된 인공신경망 모델에 상기 스텝(S70)에서 생성된 프레임 단위의 컨테이너 트럭 영상을 입력시켜 딥러닝 시키면, 해당 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(B)를 자동으로 생성한다(S80).
이어서, 컨테이너 트럭 계수 장치(200)는 상기 스텝(S80)에서 생성된 바운딩 박스(B)를 자동으로 카운트하여 대기하는 컨테이너 트럭을 계수한다(S90).
본 발명의 실시예에 의한 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법에 의하면, 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받아 프레임별로 구분하고, 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 지정하여 라벨링을 수행하여 바운딩 박스의 네 꼭지점에 대한 좌표를 생성하고, 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성됨으로써, 컨테이너 크레인에 대기하는 컨테이너 트럭에 대한 계수를 간단한 방법으로 정확히 수행할 수 있게 한다.
도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 컨테이너 트럭 영상 촬영부
200: 컨테이너 트럭 계수 장치
210: 영상 입력부
220: 영상 분할부
230: 영상 좌표 생성부
240: 딥러닝부
270: 컨테이너 트럭 계수부

Claims (4)

  1. 컨테이너 트럭들이 시야에 들어오기 용이한 크레인의 일측에 설치되어 해당 크레인의 전방에 대기하는 컨테이너 트럭들을 촬영하도록 구성된 컨테이너 트럭 영상 촬영부; 및
    상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받아 프레임별로 구분하고, 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(bounding box)가 지정되면 자동으로 라벨링을 수행하여 바운딩 박스의 네 꼭지점에 대한 좌표를 생성하고, 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시킨 후, 딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성됨으로써 컨테이너 크레인에 대기하는 컨테이너 트럭에 대한 계수를 간단하게 정확히 수행할 수 있는 컨테이너 트럭 계수 장치;를 포함하고,
    상기 컨테이너 트럭 계수 장치는
    상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받도록 구성된 영상 입력부;
    상기 컨테이너 트럭 영상을 프레임별로 구분하도록 구성된 영상 분할부;
    상기 영상 분할부에 의해 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 유저가 바운딩 박스를 지정할 수 있게 하는 영상 조작부;
    상기 프레임 단위의 컨테이너 트럭 영상 내에서 상기 바운딩 박스가 지정되면 자동으로 라벨링을 수행하여 상기 바운딩 박스의 네 꼭지점 좌표를 생성하도록 구성된 영상 좌표 생성부;
    상기 프레임 단위의 컨테이너 트럭 영상의 데이터 및 그 프레임 단위의 컨테이너 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시키도록 구성된 딥러닝부; 및
    딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성된 컨테이너 트럭 계수부;를 포함하며,
    상기 영상 좌표 생성부에 의해 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스가 지정될 경우, 바운딩 박스가 지정된 컨테이너 트럭의 수 및 처리 예정시간이 디스플레이되는, 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템.
  2. 삭제
  3. 제 1 항에 기재된 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템을 이용한 컨테이너 트럭 계수 방법으로서,
    컨테이너 트럭 계수 장치가 상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받는 단계(S10);
    상기 컨테이너 트럭 계수 장치가 상기 컨테이너 트럭 영상을 프레임별로 구분하는 단계(S20);
    상기 컨테이너 트럭 계수 장치가 상기 구분 단계에서 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스(bounding box)를 지정하여 라벨링을 수행하여 바운딩 박스의 네 꼭지점에 대한 좌표를 생성하는 단계(S30, S40);
    상기 컨테이너 트럭 계수 장치가 프레임 단위의 컨테이너 트럭 영상 데이터 및 그 프레임 단위의 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시키는 단계(S50);
    상기 컨테이너 트럭 계수 장치가 상기 컨테이너 트럭 영상 촬영부로부터 계수하고자 하는 촬영된 컨테이너 트럭 영상을 입력받는 단계(S60);
    상기 컨테이너 트럭 계수 장치가 상기 계수하고자 하는 컨테이너 트럭 영상을 프레임별로 구분하는 단계(S70);
    상기 컨테이너 트럭 계수 장치가 상기 딥러닝 단계(S50)에서 딥러닝 된 인공신경망 모델에 상기 구분 단계(S70)에서 구분된 프레임 단위의 컨테이너 트럭 영상을 입력시키고, 해당 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성하는 단계(S80); 및
    상기 컨테이너 트럭 계수 장치가 상기 자동 생성 단계(S80)에서 생성된 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하는 단계(S90);를 포함하는 컨테이너 트럭 계수 방법.
  4. 제 3 항에 있어서,
    상기 컨테이너 트럭 계수 장치는
    상기 컨테이너 트럭 영상 촬영부로부터 촬영된 컨테이너 트럭 영상을 입력받도록 구성된 영상 입력부;
    상기 컨테이너 트럭 영상을 프레임별로 구분하도록 구성된 영상 분할부;
    상기 영상 분할부에 의해 구분된 프레임 단위의 컨테이너 트럭 영상 내의 컨테이너 트럭 각각에 대해서 유저가 바운딩 박스를 지정할 수 있게 하는 영상 조작부;
    상기 프레임 단위의 컨테이너 트럭 영상 내에서 상기 바운딩 박스가 지정되면 라벨링을 수행하여 상기 바운딩 박스의 네 꼭지점 좌표를 생성하도록 구성된 영상 좌표 생성부;
    상기 프레임 단위의 컨테이너 트럭 영상의 데이터 및 그 프레임 단위의 컨테이너 트럭 영상 내의 바운딩 박스의 네 꼭지점 좌표 데이터를 인공신경망에 입력시켜 딥러닝 시키도록 구성된 딥러닝부; 및
    딥러닝 된 인공신경망 모델에 계수하고자 하는 프레임 단위의 컨테이너 트럭 영상이 입력되면 해당 영상 내의 컨테이너 트럭 각각에 대해서 바운딩 박스를 자동으로 생성한 후 이 바운딩 박스를 카운트하여 대기하는 컨테이너 트럭을 계수하도록 구성된 컨테이너 트럭 계수부;를 포함하는 컨테이너 트럭 계수 방법.
KR1020200003674A 2020-01-10 2020-01-10 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법 Active KR102423207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003674A KR102423207B1 (ko) 2020-01-10 2020-01-10 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003674A KR102423207B1 (ko) 2020-01-10 2020-01-10 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법

Publications (2)

Publication Number Publication Date
KR20210090418A KR20210090418A (ko) 2021-07-20
KR102423207B1 true KR102423207B1 (ko) 2022-07-20

Family

ID=77127352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003674A Active KR102423207B1 (ko) 2020-01-10 2020-01-10 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법

Country Status (1)

Country Link
KR (1) KR102423207B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057260A1 (en) 2017-08-17 2019-02-21 National Applied Research Laboratories Image-based vehicle classification system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US156610A (en) 1874-11-03 Improvement in fabrics for carpets
KR101983684B1 (ko) * 2017-08-25 2019-05-30 광운대학교 산학협력단 컨벌루션 신경망을 이용한 임베디드 플랫폼 상의 피플 카운팅 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057260A1 (en) 2017-08-17 2019-02-21 National Applied Research Laboratories Image-based vehicle classification system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eduardo Jr Piedad 등, Vehicle Count System based on Time Interval Image Capture Method and Deep Learning Mask R-CNN, TENCON 2019(2019.10.17.)*
Jia-Ping 등, A YOLO-based Traffic Counting System, 2018 TAAI(2018.11.30.)

Also Published As

Publication number Publication date
KR20210090418A (ko) 2021-07-20

Similar Documents

Publication Publication Date Title
US8472669B2 (en) Object localization using tracked object trajectories
US11074716B2 (en) Image processing for object detection
EP3434621B1 (en) Instruction projecting device, parcel sorting system and instruction projecting method
EP3579013A1 (en) System and method for detecting a vehicle in night time
CN111178119A (zh) 路口状态检测方法、装置、电子设备及车辆
US20210174079A1 (en) Method and apparatus for object recognition
EP3434623B1 (en) Projection indicator, cargo assortment system, and projection indicating method
JP2003162798A (ja) 障害物監視装置及びプログラム
Bohrer et al. An integrated obstacle detection framework for intelligent cruise control on motorways
KR102423207B1 (ko) 딥러닝 기반의 크레인 대기 컨테이너 트럭 계수 시스템 및 컨테이너 트럭 계수 방법
EP4517700A1 (en) Safety belt wearing detection method and apparatus, electronic device and storage medium
CN114693946A (zh) 图像异常检测方法、装置、计算机设备及存储介质
US20130027550A1 (en) Method and device for video surveillance
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
CN113286086B (zh) 一种摄像头的使用控制方法、装置、电子设备及存储介质
CN118097192B (zh) 一种基于云边协同的网关数据处理方法及系统
CN112585957A (zh) 车站监控系统及车站监控方法
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템
CN104123716B (zh) 检测图像稳定性的方法、装置和终端
EP4334186B1 (en) Automatic digital inspection of railway environment
JP7154071B2 (ja) 運転状態監視支援システム、運転状態監視支援方法及びプログラム
CN117994542A (zh) 异物检测方法、装置以及系统
EP3434625B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
CN117351556A (zh) 手势识别方法、装置、车辆及存储介质
KR102515050B1 (ko) 터널 관제영상 보정장치 및 그 장치의 구동방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200110

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211101

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220425

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20211101

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220425

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20211202

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20220714

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220706

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220425

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20211202

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220715

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220718

End annual number: 3

Start annual number: 1

PG1601 Publication of registration