KR102129579B1 - 브레이크벌크화물 검수 자동화 시스템 및 방법 - Google Patents

브레이크벌크화물 검수 자동화 시스템 및 방법 Download PDF

Info

Publication number
KR102129579B1
KR102129579B1 KR1020190145937A KR20190145937A KR102129579B1 KR 102129579 B1 KR102129579 B1 KR 102129579B1 KR 1020190145937 A KR1020190145937 A KR 1020190145937A KR 20190145937 A KR20190145937 A KR 20190145937A KR 102129579 B1 KR102129579 B1 KR 102129579B1
Authority
KR
South Korea
Prior art keywords
bulk cargo
electronic device
learning model
image data
brake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190145937A
Other languages
English (en)
Inventor
홍정한
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020190145937A priority Critical patent/KR102129579B1/ko
Application granted granted Critical
Publication of KR102129579B1 publication Critical patent/KR102129579B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0835—Relationships between shipper or supplier and carriers
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 야적장의 가장자리 영역에 간격을 두고 설치되며 상기 야적장 내를 향하도록 설치된 복수 개의 비전센서와, 상기 비전센서와 통신 연결이 수립된 전자 장치를 포함하고, 상기 비전센서는, 상기 야적장 내에 하역되는 브레이크벌크화물의 이미지를 획득하고, 상기 획득된 이미지에 대한 이미지 데이터를 상기 전자 장치로 송신하고, 상기 전자 장치는 상기 이미지 데이터로부터 상기 브레이크벌크화물의 종류를 식별하는, 브레이크벌크화물 검수 자동화 시스템을 제공한다.

Description

브레이크벌크화물 검수 자동화 시스템 및 방법{Automation system and method for break bulk cargo inspection}
본 발명의 실시예들은, 브레이크벌크화물 검수 자동화 시스템 및 방법에 관한 것으로, 특히 항만의 야적장에 선적 또는 하역되는 브레이크벌크화물의 검수, 검량, 검정, 및 품질 검사를 자동으로 수행할 수 있는 시스템 및 방법에 관한 것이다.
본 특허출원은 울산항만공사 재원으로 수행된 발명이다.
브레이크벌크화물(break bulk cargo)은, 크기로 인하여 컨테이너와 같은 용기에 수납할 수 없는 화물로, 예를 들면, H형강, 코일, 환봉, 볼트, 너트, 터빈 등 산업용 기계나 선박, 발전소에 들어가는 부속품 등을 포함한다. 예를 들면 브레이크벌크화물에 포함되는 볼트와 너트는 산업용 기계나 장치에 들어가는 부품으로, 크기가 수십 센티미터 내지 수 미터에 이르는 바, 컨테이너로 운송이 불가할 수 있다. 뿐만 아니라 브레이크벌크화물은 자동차, 콤바인, 트랙터, 불도저와 같은 산업용 기계도 포함할 수 있다. 이러한 브레이크벌크화물은 포장되지 않은 채 선박에 싣고 운송된다.
브레이크벌크화물은 수출 내지 수입을 위하여 선박으로 운송된다. 이러한 벌크화물은 선적 내지 하역할 때, 항만 또는 부두의 야적장(open storage)에 입고, 적치, 출고될 수 있다.
현재는 검수회사, 검량회사, 검정회사에서 서베이어(surveyor)들이 이러한 벌크화물의 검수, 검량, 검정을 직접 수행함으로써, 화물의 인도, 인수와 화물의 용적, 중량 등을 증명하고 있다. 또한 서베이어들이 화물의 품질을 직접 확인하여 관세 부과 및 세관 통관이 이루어진다.
현재 이러한 검수, 검량, 검정, 및 품질 검사는 육안 검사에 의존하고 있어 착오가 발생할 수 있으며, 사람마다 검사의 기준이 다를 수 있다. 또한 검수, 검량, 검정 회사의 여러 중개자를 거쳐야 하는 바, 시간이 오래 걸리고 비용이 많이 드는 문제점이 있다.
따라서 항만에서 브레이크벌크화물의 검수, 검량, 검정 과정을 자동화하고 그 기준을 표준화하기 위한 필요성이 존재한다.
본 발명은, 상기와 같은 문제점을 개선하기 위해 안출된 것으로, 브레이크벌크화물 검수를 자동화하는 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한 이를 통해 브레이크벌크화물의 검수 기준을 표준화할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 브레이크벌크화물 검수 자동화 시스템은, 야적장의 가장자리 영역에 간격을 두고 설치되며 상기 야적장 내를 향하도록 설치된 복수 개의 비전센서; 및 상기 비전센서와 통신 연결이 수립된 전자 장치;를 포함하고, 상기 비전센서는, 상기 야적장 내에 하역되는 브레이크벌크화물의 이미지를 획득하고, 상기 획득된 이미지에 대한 이미지 데이터를 상기 전자 장치로 송신하고, 상기 전자 장치는 상기 이미지 데이터로부터 상기 브레이크벌크화물의 종류를 식별할 수 있다.
일 실시예에 따르면, 상기 이미지 데이터는 RGB 이미지 데이터, 적외선 이미지 데이터, 깊이(depth) 데이터를 포함할 수 있다.
일 실시예에 따르면, 상기 비전센서는 팬 앤 틸트(pan and tilt) 기능을 포함할 수 있다.
일 실시예에 따르면, 상기 비전센서는 방수 및 방청 처리될 수 있다.
일 실시예에 따르면, 상기 비전센서는 초당 수 프레임의 이하의 속도로 이미지를 획득하도록 설정될 수 있다.
일 실시예에 따르면, 상기 비전센서는, 상기 야적장의 적어도 일부 영역에 대하여 아날로그 신호로써 이미지를 획득하고, 상기 아날로그 신호로부터 간섭 및 노이즈를 필터링하고, 상기 필터링된 신호를 디지털 신호로 변환하고, 상기 변환된 디지털 신호를 상기 전자 장치에게 송신할 수 있다.
일 실시예에 따르면, 상기 전자 장치는, 상기 복수 개의 비전센서들로부터 수신된 이미지 데이터로부터 브레이크벌크화물에 대한 바운딩 박스를 생성하고, 제1 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 종류를 식별할 수 있다.
일 실시예에 따르면, 상기 제1 학습 모델은 전이 학습 모델을 포함하여 구성될 수 있다.
일 실시예에 따르면, 상기 전자 장치는, 상기 제1 학습 모델과 다른 제2 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 운송량을 산출할 수 있다.
일 실시예에 따르면, 상기 제2 학습 모델은 강화 학습 모델을 포함하여 구성될 수 있다.
일 실시예에 따르면, 상기 전자 장치는, 상기 제1 학습 모델과 다른 제3 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 품질 검사를 수행할 수 있다.
일 실시예에 따르면, 상기 제3 학습 모델은 강화 학습 모델을 포함하여 구성될 수 있다.
일 실시예에 따르면, 상기 품질 검사는, 상기 바운딩 박스의 표면에 드러나는 브레이크벌크화물의 오염, 얼룩, 부러짐, 구부러짐, 스크래치 여부를 검사하는 것을 포함할 수 있다.
일 실시예에 따르면, 상기 브레이크벌크화물은, H형강, 환봉, 코일, 볼트, 너트 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 전자 장치는, 선하증권 데이터를 입력 받고, 상기 이미지 데이터로부터 식별된 브레이크벌크화물의 종류와 상기 선하증권 데이터에 포함된 화물 종류가 일치하는지 여부를 판별할 수 있다.
일 실시예에 따르면, 상기 전자 장치는, 상기 이미지 데이터로부터 산출된 브레이크벌크화물의 운송량과, 상기 선하증권 데이터에 포함된 운송량이 일치하는지 여부를 판별할 수 있다.
일 실시예에 따르면, 상기 전자 장치는, 상기 이미지 데이터로부터 산출된 브레이크벌크화물의 운송량과, 상기 선하증권 데이터에 포함된 운송량이 일치하지 않을 경우, 경고 또는 알림을 제공할 수 있다.
본 발명의 일 실시예에 따른 브레이크벌크화물 검수 자동화 방법은, 야적장의 가장자리 영역에 간격을 두고 설치되며 상기 야적장 내를 향하도록 설치된 복수 개의 비전센서를 통해, 상기 야적장 내에 하역되는 브레이크벌크화물의 이미지를 획득하는 단계; 상기 획득된 이미지에 대한 이미지 데이터를 상기 비전센서와 통신 연결이 수립된 전자 장치로 송신하는 단계; 및 상기 전자 장치를 통해, 상기 이미지 데이터로부터 상기 브레이크벌크화물의 종류를 식별하는 단계;를 포함할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
상술한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 브레이크벌크화물의 검수, 검량, 검정, 검수를 자동화함으로써 운송회사의 운송 효율성을 증대할 수 있다.
또한 중개자인 검수, 검량, 검정 회사의 역할을 대체함으로써 비용을 절감할 수 있다.
또한 육안 검사에 의존하던 서베이어의 역할을 대체함으로써, 검수, 검량, 검정, 및 품질 검사의 기준을 표준화할 수 있다.
물론 이러한 효과들에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 시스템의 환경의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 시스템의 환경을 도시한다.
도 3은 본 발명의 다른 일 실시예에 따른 벌크화물 검수 자동화 시스템의 환경을 도시한다.
도 4는 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 비전센서의 동작의 흐름도이다.
도 6은 본 발명의 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 전자 장치(20)의 동작의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 전자 장치(20)의 동작의 다른 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 전자 장치(20)의 품질 검사 동작의 흐름도이다.
본 특허출원은 울산항만공사 재원으로 수행된 발명이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하의 실시예에서, 영역, 구성 요소, 부, 블록, 모듈 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 영역, 구성 요소, 부, 블록, 모듈 등이 개재되어 있는 경우도 포함한다.
이하의 실시예에서, 영역, 구성 요소, 부, 블록, 모듈 등이 연결되었다고 할 때, 영역, 구성 요소, 부, 블록, 모듈들이 직접적으로 연결된 경우뿐만 아니라 영역, 구성요소, 부, 블록, 모듈들 중간에 다른 요소들이 개재되어 간접적으로 연결된 경우도 포함한다. 예를 들면 전기적으로 연결된 경우, 통신 연결된 경우를 포함한다.
이하 본 문서에서 '화물'이나 '벌크화물'은, 브레이크벌크화물을 지칭할 수 있다.
도 1은 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 시스템의 환경의 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 검수 자동화 시스템은, 야적장(30)에 설치된 비전센서(10), 및 상기 비전센서(10)와 연결된 전자 장치(20)를 포함한다. 비전센서(10)와 전자 장치(20)는 유선 또는 무선 통신 채널을 통해 연결될 수 있다.
야적장(30)은 항만 또는 부두에 설치 또는 마련된 야적장(open storage)이다. 비전센서(10)는 야적장(30)에 설치되며, 전자 장치(20)는 실시예에 따라 야적장(30)에 설치되거나 야적장(30)의 주변에 설치될 수 있으며, 물리적으로 떨어진 곳, 예를 들면 세관 통관을 승인하기 위한 장소에 설치될 수도 있다.
비전센서(10)는, 야적장(30)의 이미지를 획득할 수 있으며, 복수 개 설치될 수 있다. 일 실시예에 따르면, 복수 개의 비전센서(10)가 야적장(30)의 가장자리 영역에 간격을 두고 설치되며 야적장(30) 내를 향하도록 설치될 수 있다.
비전센서(10)는 카메라, 이미지센서 등 이미지를 획득하기 위한 센서를 포함할 수 있다.
일 실시예에 따르면, 비전센서(10)는 센서부(11), 메모리(12), 통신부(13)를 포함할 수 있다. 다만 이에 한정되지 않으며, 비전센서(10)에는, 이 구성요소들 중 적어도 하나가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 비전센서(10)는 배터리(미도시)를 더 포함할 수 있다.
센서부(11)는 야적장(30)의 이미지를 획득할 수 있다. 예를 들면 센서부(11)는 렌즈 어셈블리를 통해 전달된 빛을 전기적인 신호로 변환함으로써 피사체에 대응하는 이미지를 획득할 수 있다.
센서부(11)는 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 포함할 수 있다.
센서부(11)는 야적장(30)의 스트림 이미지를 획득할 수 있다. 예를 들면 센서부(11)는 지정된 주기로 이미지를 획득할 수 있다. 본 발명의 실시예에 따르면, 센서부(11)는 야적장(30)에 입고, 적치, 및 출고되는 임의의 브레이크벌크화물들을 계속적으로(예를 들면 하루 종일 또는 며칠 동안) 탐지해야 하므로, 고속으로 이미지를 촬영할 필요는 없다. 예를 들면 배터리 소모를 절감시키기 위해 센서부(11)는 지정된 속도(예: 초당 수 프레임) 이하로 이미지를 획득하도록 설정될 수 있다.
본 발명의 일 실시예에 따르면, 센서부(11)는 초당 수 프레임(frame)의 속도로 야적장(30)의 이미지를 획득할 수 있다. 예를 들면, 초당 5 내지 10 프레임의 속도로 야적장(30)의 이미지를 획득할 수 있다.
센서부(11)를 통해 획득된 이미지는, 디지털 신호로 전자 장치(20)에게 전달되어, 야적장(30)에 브레이크벌크화물이 하역되었는지 여부를 식별하고, 하역된 브레이크벌크화물의 종류를 식별하고, 화물의 검수, 검량, 검정을 수행하고, 화물의 품질 검사를 수행하기 위해 이용될 수 있다.
센서부(11)는, 예를 들면 RGB 센서, BW(black and white) 센서, 적외선(IR) 센서, 깊이(depth) 센서를 포함할 수 있다. 일 실시예에 따르면 RGB 센서 및 적외선 센서를 통해 획득된 데이터는, 품질 검사의 예로써, 브레이크벌크화물 표면의 얼룩이나 오염 여부를 식별하는 데 이용될 수 있다. 일 실시예에 따르면 깊이 센서를 통해 획득된 데이터는, 품질 검사의 예로써, 화물의 구부러짐(bending), 부러짐, 스크래치 여부를 식별하는데 이용될 수 있다.
센서부(11)는 예를 들면 획득되는 이미지의 아날로그 신호(예: 전기적 신호)로부터 간섭(interference)이나 노이즈를 제거 또는 필터링할 수 있다. 필터링된 아날로그 신호는 디지털 신호로 변환되어 전자 장치(20)로 송출될 수 있다.
본 발명의 일 실시예에 따르면, 센서부(11)는 관성 측정 장치(inertial measurement unit, IMU)를 더 포함할 수 있다.
관성 측정 장치(IMU)는 3축 가속도계를 사용하여 3축 방향의 선형 가속도를 감지할 수 있고, 3축 각속도계(예: 자이로스코프)를 사용하여 3축 방향의 각속도 또는 각가속도를 감지할 수 있다. 관성 측정 장치는 상기 3축 가속도계와 3축 각속도계를 사용하여 진행방향, 횡방향, 높이방향의 가속도와 롤링(roll), 피칭(pitch), 요(yaw) 각속도의 측정이 가능하다.
센서부(11)는, 관성 측정 장치를 이용한 상기 감지 또는 측정을 통해, 대상(object)의 위치 데이터 검출과 회전 추적의 정확도를 높일 수 있다. 예를 들면, 관성 측정 장치는 측위 시스템에 의해 측정된(measured) 측위 값과 대상 물체의 실제 위치 값의 오차를 최소화할 수 있다.
센서부(11)는 관성 측정 장치(IMU)를 포함함으로써, 비전센서(10)가 흔들릴 때에도 대상(object)에 대한 정확한 이미지를 얻을 수 있다.
메모리(12)는 센서부(11)를 통하여 획득된 이미지의 적어도 일부를 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 일 예를 들면 메모리(12)는 센서부(11)를 통해 획득되는 이미지에 대한 스트림 데이터를 전자 장치(20)에게 송신하기 위해 이미지 데이터를 적어도 일시 저장할 수 있다.
통신부(13)는 비전센서(10)와 전자 장치(20)(예: 전자 장치(20)의 통신부(23)) 간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(13)는 획득된 이미지의 아날로그 신호로부터 변환된 디지털 신호를 이미지 데이터로써, 전자 장치(20)에게 송신할 수 있다.
일 실시예에 따르면 비전센서(10)(예: 센서부(11))는 획득되는 이미지 신호로부터 간섭 또는 노이즈 제거를 위해, 이미지 시그널 프로세서(processor)(미도시)를 포함할 수 있다.
이미지 시그널 프로세서(미도시)는 센서부(11)를 통하여 획득된 이미지 또는 메모리(12)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 특징점 추출, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정) 등을 포함할 수 있다.
예를 들면, 이미지 시그널 프로세서는 센서부(11)에 대한 제어(예: 노출 시간 제어 등)를 수행할 수도 있다.
이미지 시그널 프로세서에 의해 처리된 이미지는 다른 구성 요소(예: 메모리(12) 또는 전자 장치(20))로 제공될 수 있다.
하지만 본 발명은 이에 한정되지 않으며, 이미지 시그널 프로세서가 수행하는 이미지 처리들은, 전자 장치(20)(예: 전자 장치(20)의 제어부(21))에 의해 수행될 수도 있다.
전자 장치(20)는 예를 들면, 컴퓨터 장치, 휴대용 통신 장치, 태블릿 PC, 또는 스마트폰을 포함할 수 있으나, 이에 한정되지 않는다.
전자 장치(20)는 제어부(21), 메모리(22), 통신부(23)를 포함할 수 있다. 다만 이에 한정되지 않으며, 이 구성요소들 중 적어도 하나가 생략되거나, 하나 이상의 다른 구성 요소(예: 디스플레이와 같은 표시 장치, 마우스, 키보드, 터치스크린과 같은 입력 장치)가 추가될 수 있다.
통신부(23)는 비전센서(10)의 통신부(13)와 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(23)는 비전센서(10)로부터 야적장(30)의 이미지 데이터를 수신할 수 있다.
제어부(21)는 예를 들면 하나 이상의 프로세서를 포함할 수 있다. 제어부(21)는 소프트웨어 또는 프로그램을 실행하여 다양한 데이터 처리 또는 연산을 수행할 수 있다. 상기 데이터 처리 또는 연산은, 이미지 데이터를 입력으로 하여, 이미지 데이터에 포함된 브레이크벌크화물의 종류를 식별하고, 화물의 검수, 검량, 검정을 수행하고, 화물의 품질 검사를 수행하기 위한 데이터 처리 또는 연산을 포함할 수 있다. 제어부(21)는 명령 또는 데이터를 메모리(22)(예: 휘발성 메모리)에 로드하고, 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(22)(예: 비휘발성 메모리)에 저장할 수 있다.
메모리(22)는, 전자 장치(20)의 적어도 하나의 구성요소(예: 제어부(21))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 상기 데이터는, 예를 들어, 소프트웨어(예: 프로그램), 학습 모델 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(22)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 메모리(22)는, 이미지 데이터에 포함된 브레이크벌크화물의 종류를 식별하고, 검수하고, 품질 검사를 수행하기 위한 소프트웨어, 프로그램, 학습 모델, 또는 알고리즘을 저장할 수 있다.
본 발명의 일 실시예에 따르면 제어부(21)는, 비전센서(10)로부터 야적장(30)의 이미지 데이터를 수신하여, 상기 이미지 데이터로부터 야적장(30)에 브레이크벌크화물이 하역 또는 적치되었는지 여부를 식별할 수 있다.
본 발명의 일 실시예에 따르면 제어부(21)는, 학습 모델을 이용하여, 하역된 브레이크벌크화물의 종류를 식별하고, 화물의 검수, 검량, 검정을 수행하고, 화물의 품질 검사를 수행할 수 있다. 학습 모델은 전이학습(transfer learning) 및/또는 강화학습(reinforcement)을 통해 생성된 모델일 수 있다.
도 2는 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 시스템의 환경을 도시한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 시스템은, 야적장(30)에 설치된 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)를 포함할 수 있다. 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)는 각각 도 1에서 설명한 비전센서(10)에 상응할 수 있다. 도 2에서는 전자 장치(20)가 생략되었다.
야적장(30)은 항만 또는 부두에 설치 또는 마련된 야적장(open storage)으로, 선적 또는 하역의 과정에서 브레이크벌크화물(50)이 임시적으로 적치될 수 있다. 브레이크벌크화물(50)은 환봉을 예시로 도시하였으나, 이에 한정되지 않으며, H형강, 코일, 볼트, 너트, 터빈 등 산업용 기계나 선박, 발전소에 들어가는 부속품을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들은 야적장(30)의 가장자리 영역에 간격을 두고 설치되며 야적장(30) 내를 향하도록 설치될 수 있다. 일 실시예에 따르면, 야적장(30)의 각 모서리 또는 꼭지점에 설치될 수 있다. 일 실시예에 따르면, 야적장(30)의 각 모서리 또는 꼭지점에 기둥(40)을 세우고, 각 기둥(40)의 중간부 또는 상부에 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들 각각을 설치할 수 있다. 즉 비전센서(10-1, 10-2, 10-3, 10-4)는 지면에서 이격되도록 설치될 수 있다.
이하에서 비전센서(10)는 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들을 지칭할 수 있다.
본 발명의 일 실시예에 따르면, 브레이크벌크화물(50)을 선적 또는 하역하기 위해 야외에 마련된 야적장(30)에 비전센서(10)가 설치되는 바, 비전센서(10)는 실외용으로 구성될 수 있다. 비전센서(10)는 방수 및/또는 방청 처리될 수 있다.
일 실시예에 따르면 비전센서(10)는, 비전센서(10)를 통해 센싱된 데이터를 이용하여, 야적장(30)에 입고된 브레이크벌크화물(50)을 인식할 수 있다. 예를 들면, 비전센서(10)(예: 이미지 시그널 프로세서)는 특징점 추출, 깊이 지도, 또는 3차원 모델링 등을 수행하여 야적장(30) 내에 입고된 브레이크벌크화물(50)을 인식할 수 있다.
일 실시예에 따르면 비전센서(10)(예: 이미지 시그널 프로세서)는 획득된 이미지에서 사람이나 차량 등을 브레이크벌크화물(50)이 아닌 노이즈로 식별할 수 있다. 예를 들면, 상기 특징점 추출, 깊이 지도, 또는 3차원 모델링 등을 통해 노이즈 여부를 식별할 수 있다.
일 실시예에 따르면 비전센서(10)는 팬 앤 틸트(pan and tilt) 기능이 탑재될 수 있다. 즉 비전센서(10)가 좌우 및 상하로 헤드를 움직이며 촬영할 수 있다. 예를 들면, 브레이크벌크화물(50)은 야적장(30) 내의 임의의 위치에 적치될 수 있는 바, 비전센서(10)는 야적장(30) 내로 브레이크벌크화물(50)이 입고된 것을 인식하면, 인식된 브레이크벌크화물(50)을 타겟으로 팬 앤 틸트 할 수 있다.
일 실시예에 따르면 비전센서(10)는, 다양한 종류의 센서를 통해 획득된 신호로부터 야적장(30) 내로 임의의 대상(object)이 들어온 것을 인식할 수 있고, 상기 대상이 사람이나 차량 등의 노이즈가 아닌 브레이크벌크화물(50)인 것으로 식별하면, 브레이크벌크화물(50)을 대상으로 하는 이미지를 획득하기 위해 브레이크벌크화물(50)을 타겟으로 팬 앤 틸트 할 수 있다.
일 실시예에 따르면 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들은 각각 브레이크벌크화물(50)을 향해 팬 앤 틸트 할 수 있다. 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들은 각각 브레이크벌크화물(50)의 RGB 이미지 데이터, 적외선 이미지 데이터, 및 깊이 데이터를 획득할 수 있다. 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들은 각각 획득된 데이터를 전자 장치(20)에게 송신할 수 있다.
전자 장치(20)는 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들 각각으로부터 수신한 데이터를 입력으로, 학습 모델을 이용하여, 브레이크벌크화물(50)의 종류를 식별하고, 검수, 검량, 검정을 수행하고, 품질 검사를 수행할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 벌크화물 검수 자동화 시스템의 환경을 도시한다.
도 3에서 본 발명의 다른 일 실시예에 따른 벌크화물 검수 자동화 시스템은, 야적장(30)에 설치된 기둥(40)들, 각 기둥(40)에 설치되되 지면으로부터 이격되도록 설치된 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4)들을 포함할 수 있음은 도 2와 동일하므로 설명을 생략한다.
도 3을 참조하면, 본 발명의 다른 일 실시예에 따른 벌크화물 검수 자동화 시스템은, 크레인(60), 크레인(60)에 설치된 비전센서(10-5)를 더 포함할 수 있다.
일 실시예에 따르면, 야적장을 가로지르는 다리(bridge) 형태로 크레인(60)이 설치될 수 있다. 크레인(60)은 다리 형태에 한정되지 않는다. 크레인(60)의 상부에는, 지면을 향하도록 하나 이상의 비전센서(10-5)가 더 설치될 수 있다. 비전센서(10-5)는 지면과 이격되도록, 예를 들면 공중에서 지면을 촬영하도록 설치될 수 있다. 비전센서(10-5)는 전술한 비전센서(10)에 상응할 수 있다.
한편 야적장(30)에는 한 번에 복수 개 종류의 브레이크벌크화물(50-1, 50-2)이 입고 또는 적치될 수 있다. 제1 브레이크벌크화물(50-1)은 H형강을 예시로 도시하였으며, 제2 브레이크벌크화물(50-2)은 환봉을 예시로 도시하였으나, 이에 한정되지 않음은 물론이다.
본 발명의 일 실시예에 따르면, 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4, 10-5)들은, 제1 브레이크벌크화물(50-1) 및 제2 브레이크벌크화물(50-2)을 각각 타겟으로 이미지를 획득하거나, 또는 모두 포함하도록 이미지를 획득할 수 있다. 또는 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4, 10-5)들 중 일부는 제1 브레이크벌크화물(50-1)을 타겟으로, 나머지 일부는 제2 브레이크벌크화물(50-2)을 타겟으로 이미지를 획득할 수 있다. 하지만 이에 한정되지 않는다.
본 발명의 일 실시예에 따르면, 전자 장치(20)는 복수 개의 비전센서(10-1, 10-2, 10-3, 10-4, 10-5)들로부터 획득된 이미지 데이터에 기반하여, 학습 모델을 이용하여 이미지 데이터에 포함된 복수 개의 브레이크벌크화물(50-1, 50-2)의 종류를 각각 식별(identify)할 수 있다. 또한 복수 개의 브레이크벌크화물(50-1, 50-2)의 검수, 검량, 검정, 품질 검사를 각각 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법의 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 비전센서의 동작의 흐름도이다.
도 4를 참조하면, S101에서 비전센서(10)를 통해 브레이크벌크화물(50)의 이미지를 획득할 수 있다. 이미지를 획득하는 것은, 렌즈 어셈블리를 통해 전달된 빛을 전기적인 신호로 변환하는 것을 포함할 수 있다.
일 실시예에 따르면 복수 개의 비전센서(10) 각각은, 야적장(30)의 적어도 일부 영역에 대한 이미지를 획득(또는 모니터)할 수 있다. 일 실시예에 따르면 복수 개의 비전센서(10) 각각은 야적장(30)의 각각 다른 영역을 모니터할 수도 있다.
S102에서 비전센서(10)는 이미지 데이터를 전자 장치(20)로 송신할 수 있다. 예를 들어 도 5를 참조하면, 복수 개의 비전센서(10) 각각은, 아날로그 신호(예: 전기적 신호)로써 이미지를 획득하고(S101), 아날로그 신호로부터 간섭 및 노이즈를 제거(S201)한 뒤 디지털 신호로 변환(S202)된 이미지 데이터를 전자 장치(20)로 송신할 수 있다.
일 실시예에 따르면, 복수 개의 비전센서(10) 각각은, 지정된 속도(즉, 초당 프레임 수)로 계속적으로 획득되는 이미지로부터 야적장(30)에 임의의 물체가 들어왔는지 여부를 식별하고, 상기 획득된 이미지로부터 임의의 물체가 브레이크벌크화물(50)인지 여부를 식별하고, 임의의 물체가 브레이크벌크화물(50)임을 식별하는 것에 기초하여, 복수 개의 비전센서(10) 각각에서 획득된 이미지 데이터를 전자 장치(20)로 송신할 수 있다. 다만 이에 한정되지 않는다.
다른 일 실시예에 따르면, 복수 개의 비전센서(10) 각각은, 지정된 속도(즉, 초당 프레임 수)로 획득되는 이미지 데이터를 계속적으로 전자 장치(20)에게 송신할 수 있고, 상기 이미지 데이터에 포함된 물체가 브레이크벌크화물(50)인지 여부를 식별하는 동작은 전자 장치(20)에 의해 수행될 수도 있다.
일 실시예에 따르면, 이미지에 포함된 물체가 브레이크벌크화물(50)임을 식별하는 것에 기초하여, 복수 개의 비전센서(10)들은 브레이크벌크화물(50)을 향해 팬 앤 틸트 동작할 수 있다.
S103에서 전자 장치(20)는 수신된 이미지 데이터로부터 브레이크벌크화물(50)의 종류를 식별할 수 있다. 또한 S104에서 전자 장치(101)는 상기 이미지 데이터로부터 브레이크벌크화물(50)의 검수, 검량, 검정, 품질 검사를 수행할 수 있다. S103 및 S104의 상세한 동작은 도 6 내지 도 8을 통해 후술된다.
도 6은 본 발명의 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 전자 장치(20)의 동작의 흐름도이다.
S301에서 전자 장치(20)는 복수 개의 비전센서(10) 각각으로부터 이미지 데이터를 수신할 수 있다.
S302에서 전자 장치(20)는, 수신된 이미지 데이터로부터 브레이크벌크화물(50)에 대한 바운딩 박스 또는 윤곽선을 생성 또는 추출할 수 있다. 바운딩 박스를 생성하는 것은, 배경이 아닌 관심 대상(object), 즉 브레이크벌크화물(50)에 대해서만 경계(boundary)를 생성하는 것을 의미할 수 있다. 상기 바운딩 박스는, 육면체, 삼각뿔, 삼각기둥 등 다양한 형상을 포함할 수 있다. 바운딩 박스는, 화물(50)이 차지하는 부피에 상응할 수 있다. 전자 장치(20)는 바운딩 박스의 길이(length), 너비(width), 높이(height) 등 바운딩 박스의 크기를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(20)는 복수 개의 비전센서(10) 각각으로부터 수신된 RGB 데이터, 적외선 데이터, 깊이 데이터를 이용하여 3차원 점군(3D point cloud) 데이터를 생성하고, 상기 3차원 점군 데이터를 이용하여 3차원의 바운딩 박스를 생성할 수 있다.
다른 일 실시예에 따르면, 전자 장치(20)는 복수 개의 비전센서(10) 각각으로부터 수신된 이미지 데이터에 대하여 각각 윤곽선을 추출하고, 각 이미지 데이터에 대하여 추출된 윤곽선을 이용하여 바운딩 박스를 생성할 수도 있다. 다만 이에 한정되지 않는다.
S303에서 전자 장치(20)는 제1 모델을 통해 바운딩 박스 내의 화물(50)의 종류를 식별할 수 있다. 전자 장치(20)는 제1 모델을 이용하여, 바운딩 박스 내의 화물(50)이 H형강, 코일, 환봉, 볼트, 너트, 터빈을 포함하는 사전 학습된 물체들 중 어느 종류에 속하는지 판별할 수 있다.
제1 모델은 복수 개의 비전센서(10)로부터 수신된 이미지 데이터로부터 브레이크벌크화물의 종류를 식별하기 위한 모델이다. 상기 이미지 데이터는, 복수 개의 비전센서(10) 각각으로부터 수신된 RGB 이미지 데이터, 적외선 이미지 데이터, 깊이 데이터를 포함할 수 있다.
제1 모델은, 전이 학습 방법으로 생성될 수 있다. 예를 들면, 먼저 한 가지 종류의 브레이크벌크화물에 대하여 여부를 식별하도록 학습하고, 상기 학습으로부터 유사 또는 변형 종류의 브레이크벌크화물에 대하여 여부를 식별하도록 학습을 고도화하고, 상기 학습 고도화 과정에서 최적의 성능을 산출하는 최적화된 매개변수(hyperparameter)를 선정하고, 상기 선정된 매개변수를 다른 종류의 브레이크벌크화물의 식별에 사용하도록 학습하는 방식으로 제1 모델이 생성될 수 있다.
S304는 검수, 검량 단계로써, 전자 장치(20)는 제2 모델을 통해 바운딩 박스 내의 화물(50)의 운송량을 산출할 수 있다. 상기 운송량은 수량, 중량, 부피(즉, 길이, 너비, 높이)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(20)는 바운딩 박스의 길이(length), 너비(width), 높이(height) 등 바운딩 박스의 크기를 식별함으로써, 이를 통해 화물(50)이 차지하는 부피를 식별할 수 있다. 바운딩 박스는 육면체에 한정되지 않으며, 전자 장치(20)는 예를 들면 바운딩 박스의 옆면 또는 단면의 모양(예: 삼각형)과 그 크기를 식별함으로써 화물(50)이 차지하는 부피를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(20)는, 식별된 화물의 종류 및 식별된 바운딩 박스의 부피를 이용하여, 제2 모델을 통해 화물(50)의 수량을 산출할 수 있다.
예를 들면 전자 장치(20)는 제2 모델을 이용하여(또는 제1 모델에서 산출된 결과의 적어도 일부를 이용하여), 이미지 데이터로부터, 화물(50) 하나의 형상(예: 길이, 너비, 높이, 직경, 단면), 굴곡, 화물(50) 개수 당 차지하는 공간(예: 틈의 크기) 등을 식별할 수 있다. 또한 전자 장치(20)는 제2 모델을 이용하여(또는 제1 모델의 결과의 적어도 일부를 이용하여), 이미지 데이터로부터 바운딩 박스의 표면 상에 드러나는 화물(50)이 몇 개인지 식별할 수 있다.
일 예를 들면 전자 장치(20)는, 상술한 바와 같은 화물(50) 개수 당 차지하는 공간의 크기, 또는 바운딩 박스의 표면 상에 드러나는 화물(50)의 개수를 이용하여, 바운딩 박스의 부피 또는 형상에 기초하여 화물(50)의 수량을 산출(또는 예측)할 수 있다.
일 예를 들면 전자 장치(20)는, 산출된 화물(50)의 수량과 식별된 화물(50)의 종류를 이용하여, 화물 전체의 중량을 산출(또는 예측)할 수 있다.
상술한 바와 같은 산출 과정은 제2 모델을 통해 실현될 수 있다. 제2 모델은 예를 들면, 제1 모델에 따라 식별된 화물의 종류가 무엇인지에 따라 달라질 수 있다.
제2 모델은 복수 개의 비전센서(10)로부터 수신된 이미지 데이터로부터 브레이크벌크화물의 운송량(예: 부피, 수량, 중량)을 산출하기 위한 모델이다. 상기 이미지 데이터는, 복수 개의 비전센서(10) 각각으로부터 수신된 RGB 이미지 데이터, 적외선 이미지 데이터, 깊이 데이터를 포함할 수 있다.
제2 모델은, 강화 학습 방법으로 생성될 수 있다. 예를 들면, 여러 개의 학습 모델들이 각각 운송량을 산출하도록 학습시키되, 보상을 최대화(또는 손실을 최소화)하도록 각각의 학습 모델들을 학습시키고, 상기 여러 개의 학습 모델의 성능에 따라 예를 들면 에러(또는 오차추정치)에 역비례하도록 상기 여러 개의 학습 모델을 앙상블하여 최종 학습 모델을 생성하는 방식으로, 제2 모델이 생성될 수 있다.
S305는 검정, 품질 검사 단계로써, 전자 장치(20)는 제3 모델을 통해 바운딩 박스 내의 화물(50)의 품질 검사를 수행할 수 있다. 상기 품질 검사는 화물(50) 표면의 얼룩, 오염, 구부러짐(bending), 부러짐, 스크래치 여부를 검사하는 것을 포함할 수 있다.
일 실시예에 따르면, 상기 품질 검사는 바운딩 박스의 표면에 드러나는 화물(50)에 대해서만 수행될 수 있다.
일 실시예에 따르면, 전자 장치(20)는 제3 모델을 이용하여(또는 제1 모델, 제2 모델에서 산출된 결과의 적어도 일부를 이용하여), 이미지 데이터로부터, 화물(50)의 품질 검사를 수행 또는 품질 등급을 예측할 수 있다. 전자 장치(20)는 복수 개의 비전센서(10) 각각으로부터 수신된 이미지 데이터를 이용하여 제3 모델을 통해 화물(50)의 품질 검사를 수행할 수 있다.
예를 들면, 전자 장치(20)는 상기 수신된 이미지 데이터 중 RGB 이미지 데이터 및 적외선 이미지 데이터를 이용하여 화물(50) 표면의 얼룩이나 오염 여부를 식별할 수 있다. 다른 예를 들면, 전자 장치(20)는 상기 수신된 이미지 데이터 중 깊이 데이터를 이용하여 화물(50) 표면의 스크래치, 화물(50)의 구부러짐, 부러짐 여부를 식별할 수 있다.
상술한 바와 같은 식별은 제3 모델을 통해 실현될 수 있다. 제3 모델은 복수 개의 비전센서(10)로부터 수신된 이미지 데이터로부터 브레이크벌크화물의 품질 검사를 수행하기 위한 모델이다. 제3 모델은 강화 학습 방법으로 생성될 수 있다.
도 7은 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 전자 장치(20)의 동작의 다른 흐름도이다.
도 7을 참조하면, S401에서 전자 장치(20)는 비전센서(10)로부터 이미지 데이터를 수신하고, 화물(50)의 운송인으로부터 선하증권(bill of landing, B/L) 데이터를 수신 또는 입력 받을 수 있다.
선하증권 데이터는, 예를 들면 운송인이 발행하여 운송물을 인증하기 위한 데이터일 수 있다. 전자 장치(20)는 예를 들면 운송인이 관리하는 다른 전자 장치로부터 선하증권 데이터를 수신 또는 입력 받을 수 있다.
선하증권 데이터는, 운송물의 종류, 운송량(예: 수량, 부피, 중량)에 관한 정보를 포함할 수 있다. 전자 장치(20)는 벌크화물 검수 자동화를 위하여 선하증권 데이터를 수신할 수 있다.
S402에서 전자 장치(20)는 비전센서(10)로부터 수신한 이미지 데이터로부터 화물(50)에 대한 바운딩 박스를 생성할 수 있다. 이는 도 6의 S302에 대한 설명에 상응할 수 있다.
S403에서 전자 장치(20)는 바운딩 박스 내의 화물(50)의 종류를 식별할 수 있다. 이는 전이 학습 모델을 포함하여 구성된 제1 모델을 통해 수행될 수 있다. 이는 도 6의 S303에 대한 설명에 상응할 수 있다.
S404에서 전자 장치(20)는 식별된 화물(50)의 종류와 선하증권 데이터에 포함된 화물 종류가 일치하는지 여부를 판별할 수 있다. 일치하지 않을 경우, S409로 진행하여 해당 동작을 수행할 수 있다. 예를 들면 S409에서 전자 장치(20)는 운송되는 화물(50)이 선하증권과 일치하지 않음을 나타내는 경고 또는 알림을 제공할 수 있다. 예를 들면 상기 경고 또는 알림은, 전자 장치(20)의 표시 장치(예: 디스플레이)를 통해 표시될 수 있다.
화물 종류가 일치할 경우, S405에서 전자 장치(20)는 바운딩 박스 내의 화물(50)의 운송량을 산출할 수 있다. 이는 강화 학습 모델을 포함하여 구성된 제2 모델을 통해 수행될 수 있다. 이는 도 6의 S304에 대한 설명에 상응할 수 있다.
S406에서 전자 장치(20)는 산출된 운송량과 선하증권 데이터에 포함된 운송량이 일치하는지 여부를 판별할 수 있다. 운송량이 일치하는 것은, 제2 모델을 통해 산출된 운송량이, 선하증권 데이터에 포함된 운송량에서 지정된 범위(또는 기준)를 벗어나지 않는 것을 포함할 수 있다. 운송량이 일치하지 않을 경우, S409로 진행하여 해당 동작을 수행할 수 있다. 예를 들면 S409에서 전자 장치(20)는 운송되는 화물(50)의 운송량이 선하증권과 일치하지 않음을 나타내는 경고 또는 알림을 제공할 수 있다.
운송량이 일치하거나 운송량 기준을 통과할 경우, S407에서 전자 장치(20)는 바운딩 박스 내의 화물(50)의 품질 검사를 수행할 수 있다. 이는 강화 학습 모델을 포함하여 구성된 제3 모델을 통해 수행될 수 있다. 이는 도 6의 S305에 대한 설명에 상응할 수 있다.
S408에서 전자 장치(20)는 제3 모델을 통해 화물(50)이 품질 규격에 부합하는지 여부를 판별할 수 있다. 예를 들면 전자 장치(20)는 바운딩 박스의 표면에 드러나는 화물(50)의 얼룩, 오염, 스크래치, 부러짐, 구부러짐이 지정된 수준 미만인지 여부를 판별할 수 있다.
화물(50)의 얼룩, 오염, 스크래치, 부러짐, 구부러짐이 지정된 수준 이상이어서 품질 규격에 부합하지 않는다고 판별한 경우, S409로 진행하여 해당 동작을 수행할 수 있다. 예를 들면 S409에서 전자 장치(20)는, 화물(50)이 품질 규격에 부합하지 않음을 나타내는 경고 또는 알림을 제공할 수 있다.
품질 규격에 부합한다고 판별한 경우, 전자 장치(20)는 화물(50)이 선하증권에 부합한다고 판단하여 알고리즘을 종료할 수 있다. 이 경우, 화물(50)은 검수, 검량, 검정, 품질 등급을 모두 통과한 것으로 보아, 관세 부과 및 세관 통관이 이루어질 수 있다.
도 8은 본 발명의 일 실시예에 따른 벌크화물 검수 자동화 방법에서 전자 장치(20)의 품질 검사 동작의 흐름도이다. 도 8에 도시된 동작들은 S305, S407의 품질 검사 동작에 상응할 수 있으며, 제3 모델에 포함될 수 있다.
도 8을 참조하면, S501에서 전자 장치(20)는 복수 개의 비전센서(10)로부터 수신된 RGB 이미지 데이터 및 적외선 이미지 데이터를 이용하여, 화물(50)의 표면의 얼룩, 오염 여부를 식별할 수 있다.
S502에서 전자 장치(20)는 복수 개의 비전센서(10)로부터 수신된 깊이(depth) 데이터를 이용하여, 화물(50)에 대한 3차원 점군(3D point cloud) 데이터를 생성할 수 있다. 전자 장치(20)는 3차원 점군 데이터를 이용하여 화물(50)의 표면이 평활 또는 매끈한지 여부를 식별할 수 있다.
S503에서 전자 장치(20)는 3차원 점군 데이터를 이용하여 화물(50)의 벤딩, 부러짐, 스크래치 여부를 식별할 수 있다. 예를 들면, 전자 장치(20)는 화물(50)의 표준 규격과 비교하여 화물(50)의 벤딩, 부러짐, 스크래치가 지정된 수준 이상인지 여부를 식별할 수 있다.
이를 통해 전자 장치(20)는 야적장(30)에 적치된 브레이크벌크화물(50)의 품질 검사 수행을 자동화, 표준화할 수 있다.
본 발명은 도면에 도시된 일 실시예를 참고로 하여 설명하였으나, 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 비전센서
20: 전자 장치
30: 야적장
50: 브레이크벌크화물

Claims (24)

  1. 야적장의 가장자리 영역에 간격을 두고 설치되며 상기 야적장 내를 향하도록 설치된 복수 개의 비전센서; 및
    상기 비전센서와 통신 연결이 수립된 전자 장치;를 포함하고
    상기 비전센서는, 상기 야적장 내에 하역되는 브레이크벌크화물의 이미지를 획득하고, 상기 획득된 이미지에 대한 이미지 데이터를 상기 전자 장치로 송신하고,
    상기 전자 장치는 상기 이미지 데이터로부터, 기계학습으로 생성된 제1 학습 모델을 이용하여, 상기 브레이크벌크화물이 H형강, 코일, 환봉, 볼트, 너트, 터빈 중 하나 이상을 포함하는 사전 학습된 물체들 중 어느 종류에 속하는지 식별하고,
    상기 전자 장치는 상기 이미지 데이터에 포함된 RGB 이미지 데이터 및 적외선 이미지 데이터 중 적어도 하나로부터, 기계학습으로 생성된 제3 학습 모델을 이용하여, 상기 브레이크벌크화물의 표면의 얼룩이나 오염 여부를 식별하고,
    상기 전자 장치는 상기 이미지 데이터에 포함된 깊이(depth) 데이터로부터, 상기 제3 학습 모델을 이용하여 상기 브레이크벌크화물의 스크래치, 구부러짐, 부러짐 여부를 식별하는,
    브레이크벌크화물 검수 자동화 시스템.
  2. 제1항에 있어서,
    상기 이미지 데이터는 RGB 이미지 데이터, 적외선 이미지 데이터, 깊이(depth) 데이터를 포함하는,
    브레이크벌크화물 검수 자동화 시스템.
  3. 제1항에 있어서,
    상기 비전센서는 팬 앤 틸트(pan and tilt) 기능을 포함하는,
    브레이크벌크화물 검수 자동화 시스템.
  4. 제1항에 있어서,
    상기 비전센서는 방수 및 방청 처리된,
    브레이크벌크화물 검수 자동화 시스템.
  5. 제1항에 있어서,
    상기 비전센서는 초당 수 프레임의 이하의 속도로 이미지를 획득하도록 설정된,
    브레이크벌크화물 검수 자동화 시스템.
  6. 제1항에 있어서,
    상기 비전센서는,
    상기 야적장의 적어도 일부 영역에 대하여 아날로그 신호로써 이미지를 획득하고,
    상기 아날로그 신호로부터 간섭 및 노이즈를 필터링하고,
    상기 필터링된 신호를 디지털 신호로 변환하고,
    상기 변환된 디지털 신호를 상기 전자 장치에게 송신하는,
    브레이크벌크화물 검수 자동화 시스템.
  7. 제1항에 있어서,
    상기 전자 장치는,
    상기 복수 개의 비전센서들로부터 수신된 이미지 데이터로부터 브레이크벌크화물에 대한 바운딩 박스를 생성하고,
    제1 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 종류를 식별하는,
    브레이크벌크화물 검수 자동화 시스템.
  8. 제7항에 있어서,
    상기 제1 학습 모델은 전이 학습 모델을 포함하여 구성된,
    브레이크벌크화물 검수 자동화 시스템.
  9. 제7항에 있어서,
    상기 전자 장치는,
    상기 제1 학습 모델과 다른 제2 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 운송량을 산출하는,
    브레이크벌크화물 검수 자동화 시스템.
  10. 제9항에 있어서,
    상기 제2 학습 모델은 강화 학습 모델을 포함하여 구성된,
    브레이크벌크화물 검수 자동화 시스템.
  11. 제7항에 있어서,
    상기 전자 장치는,
    상기 제1 학습 모델과 다른 제3 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 품질 검사를 수행하는,
    브레이크벌크화물 검수 자동화 시스템.
  12. 제11항에 있어서,
    상기 제3 학습 모델은 강화 학습 모델을 포함하여 구성된,
    브레이크벌크화물 검수 자동화 시스템.
  13. 제11항에 있어서,
    상기 품질 검사는, 상기 바운딩 박스의 표면에 드러나는 브레이크벌크화물의 오염, 얼룩, 부러짐, 구부러짐, 스크래치 여부를 검사하는 것을 포함하는,
    브레이크벌크화물 검수 자동화 시스템.
  14. 삭제
  15. 제1항에 있어서,
    상기 전자 장치는,
    선하증권 데이터를 입력 받고,
    상기 이미지 데이터로부터 식별된 브레이크벌크화물의 종류와 상기 선하증권 데이터에 포함된 화물 종류가 일치하는지 여부를 판별하는,
    브레이크벌크화물 검수 자동화 시스템.
  16. 제15항에 있어서,
    상기 전자 장치는,
    상기 이미지 데이터로부터 산출된 브레이크벌크화물의 운송량과, 상기 선하증권 데이터에 포함된 운송량이 일치하는지 여부를 판별하는,
    브레이크벌크화물 검수 자동화 시스템.
  17. 제16항에 있어서,
    상기 전자 장치는,
    상기 이미지 데이터로부터 산출된 브레이크벌크화물의 운송량과, 상기 선하증권 데이터에 포함된 운송량이 일치하지 않을 경우, 경고 또는 알림을 제공하는,
    브레이크벌크화물 검수 자동화 시스템.
  18. 야적장의 가장자리 영역에 간격을 두고 설치되며 상기 야적장 내를 향하도록 설치된 복수 개의 비전센서를 통해, 상기 야적장 내에 하역되는 브레이크벌크화물의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 데이터를 상기 비전센서와 통신 연결이 수립된 전자 장치로 송신하는 단계;
    상기 전자 장치를 통해, 상기 이미지 데이터로부터, 기계학습으로 생성된 제1 학습 모델을 이용하여, 상기 브레이크벌크화물이 H형강, 코일, 환봉, 볼트, 너트, 터빈 중 하나 이상을 포함하는 사전 학습된 물체들 중 어느 종류에 속하는지 식별하는 단계;
    상기 전자 장치를 통해, 상기 이미지 데이터에 포함된 RGB 이미지 데이터 및 적외선 이미지 데이터 중 적어도 하나로부터, 기계학습으로 생성된 제3 학습 모델을 이용하여, 상기 브레이크벌크화물의 표면의 얼룩이나 오염 여부를 식별하는 단계; 및
    상기 전자 장치를 통해, 상기 이미지 데이터에 포함된 깊이(depth) 데이터로부터, 상기 제3 학습 모델을 이용하여, 상기 브레이크벌크화물의 스크래치, 구부러짐, 부러짐 여부를 식별하는 단계;를 포함하는,
    브레이크벌크화물 검수 자동화 방법.
  19. 제18항에 있어서,
    상기 이미지를 획득하는 단계는,
    초당 수 프레임 이하의 속도로 이미지를 획득하는 단계를 포함하는,
    브레이크벌크화물 검수 자동화 방법.
  20. 제18항에 있어서,
    상기 전자 장치를 통해 상기 브레이크벌크화물의 종류를 식별하는 단계는,
    상기 복수 개의 비전센서들로부터 수신된 이미지 데이터로부터 브레이크벌크화물에 대한 바운딩 박스를 생성하는 단계; 및
    제1 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 종류를 식별하는 단계;를 포함하는
    브레이크벌크화물 검수 자동화 방법.
  21. 제20항에 있어서,
    상기 제1 학습 모델은 전이 학습 모델을 포함하여 구성된,
    브레이크벌크화물 검수 자동화 방법.
  22. 제20항에 있어서,
    상기 전자 장치를 통해, 상기 제1 학습 모델과 다른 제2 학습 모델을 이용하여, 상기 바운딩 박스 내의 브레이크벌크화물의 운송량을 산출하는 단계;를 더 포함하는,
    브레이크벌크화물 검수 자동화 방법.
  23. 제22항에 있어서,
    상기 제2 학습 모델은 강화 학습 모델을 포함하여 구성된,
    브레이크벌크화물 검수 자동화 방법.
  24. 제20항에 있어서,
    상기 전자 장치를 통해, 상기 제1 학습 모델과 다른 제3 학습 모델을 이용하여 상기 바운딩 박스 내의 브레이크벌크화물의 품질 검사를 수행하는 단계;를 더 포함하는,
    브레이크벌크화물 검수 자동화 방법.
KR1020190145937A 2019-11-14 2019-11-14 브레이크벌크화물 검수 자동화 시스템 및 방법 Active KR102129579B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145937A KR102129579B1 (ko) 2019-11-14 2019-11-14 브레이크벌크화물 검수 자동화 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145937A KR102129579B1 (ko) 2019-11-14 2019-11-14 브레이크벌크화물 검수 자동화 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102129579B1 true KR102129579B1 (ko) 2020-07-02

Family

ID=71599425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145937A Active KR102129579B1 (ko) 2019-11-14 2019-11-14 브레이크벌크화물 검수 자동화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102129579B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063716A (zh) * 2022-06-06 2022-09-16 欧冶云商股份有限公司 仓库行车出入库货物的数量监管和模型构建的方法
CN118628063A (zh) * 2024-07-17 2024-09-10 四川瑞华合纵实业有限公司 货物数据的验收处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050094745A (ko) * 2004-10-26 2005-09-28 주식회사 아이스기술 석탄 화재 예방 및 온도 감지 시스템
KR20120110335A (ko) * 2011-03-29 2012-10-10 현대제철 주식회사 고철의 재고량 관리 장치 및 그 방법
KR20170098082A (ko) * 2016-02-19 2017-08-29 부산대학교 산학협력단 드론을 이용한 물류관리 시스템
KR20170126602A (ko) * 2016-05-10 2017-11-20 박석준 영상분석을 활용한 가상 실제(cps) 물류 통합관제 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050094745A (ko) * 2004-10-26 2005-09-28 주식회사 아이스기술 석탄 화재 예방 및 온도 감지 시스템
KR20120110335A (ko) * 2011-03-29 2012-10-10 현대제철 주식회사 고철의 재고량 관리 장치 및 그 방법
KR20170098082A (ko) * 2016-02-19 2017-08-29 부산대학교 산학협력단 드론을 이용한 물류관리 시스템
KR20170126602A (ko) * 2016-05-10 2017-11-20 박석준 영상분석을 활용한 가상 실제(cps) 물류 통합관제 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063716A (zh) * 2022-06-06 2022-09-16 欧冶云商股份有限公司 仓库行车出入库货物的数量监管和模型构建的方法
CN118628063A (zh) * 2024-07-17 2024-09-10 四川瑞华合纵实业有限公司 货物数据的验收处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108291880B (zh) 用于检查货柜的布置、方法、装置和软件
AU2017100306A4 (en) Train Wagon 3D Profiler
RU2623295C2 (ru) Система, устройство и способ текущего контроля положения и ориентации транспортного средства, погрузочного устройства и груза при работе погрузочного устройства
CN106996751B (zh) 一种基于视觉图像的运粮车谷物装载状态检测方法及装置
US20170227674A1 (en) Method of imaging an object for tracking and documentation in transportation and storage
CN114022537B (zh) 一种用于动态称重区域车辆装载率和偏载率分析方法
US20160133008A1 (en) Crack data collection method and crack data collection program
KR102129579B1 (ko) 브레이크벌크화물 검수 자동화 시스템 및 방법
EP3410689B1 (en) Photography assistance device and photography assistance method
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
CN109100100A (zh) 刚性测定装置以及刚性测定方法
CN106643661B (zh) 基于机器视觉的轨道式起重机吊具位姿检测系统及方法
CN111814739B (zh) 快递包裹体积的检测方法、装置、设备及存储介质
CN111220246A (zh) 道路损坏计算系统、道路损坏计算方法以及记录介质
CN113034674A (zh) 一种利用多设备配合的施工安全检查的方法和装置
AU2013237637A1 (en) Train Wagon 3D Profiler
JP2021025853A (ja) サイズ測定装置、サイズ測定方法、プログラム
US20210088407A1 (en) Four-dimensional crane rail measurement
CN119091669B (zh) 大件运输的车辆查验方法、装置、设备及存储介质
CN114648233A (zh) 一种动态工位货物搬运方法和系统
KR20140001241U (ko) 무인계근으로 스크랩 ｅｒｐ활용 및 부정방지 시스템
WO2024163368A1 (en) System and method of infrastructure asset prioritization for steel and concrete assets
CN117746288A (zh) 车辆重量预测、样本数据构建、模型训练方法及装置
Bostelman et al. Visualization of pallets
CN113443555B (zh) 确定抓斗位置的方法、抓斗位置检测方法及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191114

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20191129

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20191114

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191219

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200616

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200626

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200629

End annual number: 3

Start annual number: 1

PG1601 Publication of registration