KR102275723B1 - 안전사고위험 알림 방법 및 장치 - Google Patents

Abstract

항만 내 작업자의 위치를 인식함으로써 안전사고를 미연에 방지하기 위한 안전사고위험 알림 방법 및 장치를 제공한다.
카메라로부터 영상데이터(video data)를 수집하고, 영상데이터를 기반으로 작업자위치(worker location)를 판단하고, 크레인에 장착된 좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수집하고, 영역데이터 및 기 설정된 컨테이너 규격을 기반으로 작업영역(work area)을 판단하고, 작업자위치 및 상기 작업영역의 중첩률(overlap rate)을 계산하고, 중첩률이 기 설정된 임계치 이상일 경우 알림모듈(alerting module)을 이용하여 안전사고(negligent accident) 위험 알림을 제공하는 안전사고위험 알림 방법과 이를 위한 장치를 제공한다.

Description

안전사고위험 알림 방법 및 장치 {Method And Apparatus for Alerting Danger of Negligent Accident}

본 개시의 실시예들은 안전사고위험 알림 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상데이터(video data) 및 딥러닝(deep learning) 기반 영상인식 모델(image recognition model)을 이용하여 항만 내 작업자의 위치를 인식함으로써 안전사고(negligent accident)를 미연에 방지하기 위한 안전사고위험 알림 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

항만(port) 내에는 물류 운송용 선박의 출입 및 정박을 위한 설비가 구비되어 있으며, 여기에는 컨테이너(container) 및 이를 운반하기 위한 중장비 등 항만 내 작업자의 안전사고(negligent accident)를 유발하는 요소들이 존재한다. 항만 내 안전사고 발생은 공정 지연, 추가비용 발생뿐만 아니라 인명피해까지 초래할 수 있기 때문에 항만 내에서의 안전사고를 방지하기 위한 기술들이 활발하게 연구되고 있다.

이러한 기술의 예로는 컨테이너의 운반을 자동화함으로써 안전사고를 방지하기 위한 선적(loading) 자동화 시스템 등이 있다. 선적 자동화 시스템은 컨테이너를 적재한 차량이 선적장(loading dock) 내로 진입하면 적재된 컨테이너의 중량을 계산하는 과정 및 컨테이너를 들어 올려 차량으로부터 선박 위로 선적하는 과정을 포함한다. 이 때, 컨테이너에 장착된 결합장치를 탈부착하는 작업을 수행하기 위하여 작업자가 컨테이너 주변에 위치하게 되는데, 컨테이너가 낙하하거나 이동 중에 작업자와 충돌하는 경우 큰 사고가 발생할 수 있다. 즉, 기존의 선적 자동화 시스템만으로는 작업자의 위치를 확인하고, 위험성을 경고하는 등의 방법을 이용하여 작업자의 안전을 직접적으로 보장할 수 없다는 문제점이 있다.

따라서 영상데이터 및 딥러닝 기반 영상인식 모델에 기반하여 작업자의 위치를 인식하고, 안전사고 발생 위험성을 실시간(real-time)으로 판단함으로써, 작업자에게 안전사고위험을 인지시킬 수 있는 알림 제공 기술의 제안이 필요하다.

본 개시의 실시예는 영상데이터를 영상인식 모델에 입력하여 작업자위치(worker location)를 인식하고, 영역데이터 및 좌표측정 모듈(coordinates measuring module)을 이용하여 작업영역을 판단함으로써 항만 내 안전사고위험 알림을 제공하기 위한 방법을 제공하는 데 주된 목적이 있다.

본 실시예의 일 측면에 의하면, 크레인(crane)에 장착된 카메라로부터 영상데이터(video data)를 수집하는 과정; 상기 영상데이터를 기반으로 작업자위치(worker location)를 판단하는 과정; 상기 크레인에 장착된 좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수집하는 과정; 상기 영역데이터 및 기 설정된 컨테이너 규격을 기반으로 작업영역(work area)을 판단하는 과정; 상기 작업자위치 및 상기 작업영역의 중첩률을 계산하는 과정; 및 상기 중첩률이 기 설정된 임계치 이상일 경우 알림모듈(alerting module)를 이용하여 안전사고(negligent accident) 위험 알림을 제공하는 과정을 포함하는 것을 특징으로 하는 안전사고위험 알림 방법을 제공한다.

본 실시예의 다른 측면에 의하면, 적외선 카메라(IR camera)로부터 영상데이터(video data)를 수신하고, 좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수신하며, 알림모듈(alerting module)에게 신호를 송신하는 통신부(communications unit); 상기 영상데이터 및 상기 영역데이터를 저장하는 데이터 저장부(data storage unit); 상기 영상데이터를 기반으로 작업자위치(worker location)를 판단하고, 상기 영역데이터 및 기 설정된 컨테이너 규격을 기반으로 작업영역(work area)을 판단하며, 상기 작업자위치와 상기 작업영역의 중첩률을 계산하는 판단부(determining unit); 및 상기 중첩률이 기 설정된 임계치 이상일 경우 위험 알림 제어신호를 생성하는 출력부(output unit)를 포함하는 것을 특징으로 하는 안전사고위험 알림 장치를 제공한다.

본 실시예의 또 다른 측면에 의하면, 본 개시의 일 실시예에 따른 안전사고위험 알림 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 하나 이상의 기록매체에 각각 저장된 컴퓨터 프로그램을 제공한다.

이상에서 설명한 바와 같이 본 개시의 실시예에 의하면, 항만 내에서 작업 중인 작업자의 위치를 파악하고, 작업자가 위험 영역 내에 위치하는 경우 사고 위험성을 경고함으로써 항만 내에서의 안전사고를 방지하는 효과가 있다.

도 1은 본 개시의 일 실시예에 따른 안전사고위험 알림의 개요를 개략적으로 설명하기 위한 예시도이다.
도 2는 본 개시의 일 실시예에 따른 안전사고위험 알림 장치의 블록구성도이다.
도 3은 본 개시의 일 실시예에 따른 안전사고위험 알림 방법의 동작 과정을 설명하기 위한 순서도이다.
도 4의 (a) 및 (b)는 작업자위치 및 작업영역을 판단하는 방법을 설명하기 위한 순서도이다.
도 5는 영상데이터 화면으로부터 작업자 및 기준점을 인식하는 방법을 설명하기 위한 예시도이다.
도 6의 (a) 및 (b)는 영역데이터 및 컨테이너 규격을 이용하여 작업영역을 판단하는 방법을 설명하기 위한 예시도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

최근 영상으로부터 물체를 인식하는 기술이 발전하고 있다. 본 개시의 일 실시예는 딥러닝(deep learning) 기반 영상인식 모델(image recognition model) 및 좌표측정 모듈(coordinates measuring module)을 이용하여 작업자의 안전사고위험 알림을 제공함으로써 항만 내 안전사고를 미연에 방지하는 기술을 제안한다.

첨부된 도면과 함께 이하에 개시될 발명의 설명은 본 개시의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 발명의 기술적 사상이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

도 1은 본 개시의 일 실시예에 따른 안전사고위험 알림의 개요를 개략적으로 설명하기 위한 예시도이다.

카메라(102: 102_A, 102_B)는 갠트리 크레인(gantry crane, 100)에 설치되어 영상데이터(video data)를 촬영하고, 촬영된 영상데이터를 안전사고위험 알림 장치(apparatus for alerting danger of negligent accident)에게 전송한다. 안전사고위험 알림 장치 및 그 세부유닛에 관하여는 도 2에서 상세히 설명한다.

안전사고위험 알림 장치는 카메라(102: 102_A, 102_B)로부터 수집한 영상데이터 및 좌표측정 모듈(coordinates measuring module, 미도시)로부터 수집한 영역데이터(area data)를 이용하여 작업자위치(worker location) 및 작업영역(work area)을 판단한다. 안전사고위험 알림 장치의 구체적인 동작 방식은 도 3 내지 도 6에 관한 실시예에서 상세히 설명한다.

이후 작업자위치 및 작업영역이 중첩되는 정도, 즉 중첩률(overlap rate)을 계산하고 중첩률이 기 설정된 임계치 이상일 경우 스피커(104)를 이용하여 작업자(106)에게 안전사고위험 알림을 제공한다.

컨테이너를 하역(shipping and discharging)하기 위하여 사용되는 갠트리 크레인(100)은 항만 내 다수 설치될 수 있으나, 도 1에서는 예시적으로 하나의 갠트리 크레인(100)만을 도시하였으며, 설명의 편의를 위하여 컨테이너 및 컨테이너의 좌표 측정을 위한 좌표측정 모듈의 도시를 생략하였다.

카메라(102: 102_A, 102_B)는 적외선(IR) 영역의 파장을 이용하여 물체를 촬영하는 적외선 카메라일 수 있으며, 항만 내에 위치하는 컨테이너 또는 트럭으로 인한 사각지대를 고려하여 갠트리 크레인(100)의 상단에 지면을 향하는 방향으로 2 대 이상 설치될 수 있다. 카메라(102: 102_A, 102_B)는 항만 내에 다수 설치된 각각의 갠트리 크레인(100) 상에 설치되어 항만 내 넓은 범위에 대한 영상데이터를 측정할 수 있다. 전술한 카메라 설치 위치, 설치 수량 및 카메라의 종류에 관한 기재는 예시적인 것으로, 도 1의 실시예에 의하여 한정되지 않는다.

안전사고위험 알림은 스피커(104)를 이용하여 청각적(auditory)으로 제공되는 것 이외에도, 항만 내에 설치된 디스플레이 장치 또는 작업자가 작업복과 함께 착용할 수 있는 작업자단말(worker device)을 이용하여 시각적(visual) 또는 촉각적(haptic)으로 제공될 수 있다.

도 2는 본 개시의 일 실시예에 따른 안전사고위험 알림 장치의 블록구성도이다.

본 실시예에 따른 안전사고위험 알림 장치(200)는 통신부(communications unit, 202), 데이터 저장부(data storage unit, 204), 학습부(learning unit, 206), 판단부(determining unit, 208) 및 출력부(output unit, 210)를 전부 또는 일부 포함한다.

도 2에 도시된 안전사고위험 알림 장치(200)는 본 개시의 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 안전사고위험 알림 장치(200)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 예컨대, 데이터 저장부(204) 이외에 제 2 저장부(second storage unit)를 추가하여 제 2 저장부가 영상데이터를 송신한 카메라(102: 102_A, 102_B)의 위치정보 및 카메라가 설치된 갠트리 크레인(100)의 위치정보를 함께 저장하고, 위험 알림 이벤트가 발생하는 경우 통신부(202)가 관제센터(control center)에게 이벤트 발생 지역으로부터 가장 가까운 갠트리 크레인(100)에 관한 정보를 송신할 수 있다.

통신부(communications unit, 202)는 크레인 1기 당 적어도 2 대의 카메라(102: 102_A, 102_B)로부터 영상데이터를 수신한다. 또한, 통신부(202)는 좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수신한다. 이 때, 영상데이터가 수집되는 주기는 50 ms 이하이고, 영역데이터의 수신 주기는 1 s 일 수 있다. 이러한 데이터 수집 주기로 인하여 실시간으로 작업자의 안전사고를 방지할 수 있는 효과를 달성할 수 있다. 또한, 통신부(202)는 알림모듈(alerting module)에게 위험 알림 제어신호를 송신한다. 통신부(202)에게 영상데이터를 송신하는 카메라(102: 102_A, 102_B)는 적외선(IR) 영역의 파장을 이용하여 물체를 측정하는 적외선 카메라일 수 있다. 통신부에게 영역데이터를 송신하는 좌표측정 모듈은 RTK GPS 모듈(Real Time Kinematic Global Positioning System module)일 수 있다. 통신부로부터 신호를 수신하는 알림모듈은 청각적으로 알림을 제공하는 스피커(104), 시각적으로 알림을 제공하는 디스플레이 장치 및 촉각적으로 알림을 제공하는 작업자단말 중 적어도 하나일 수 있다. 통신부는 외부 모듈 및 장치와 무선통신(wireless communications) 방식으로 데이터를 송수신할 수 있다. 예를 들어, NFC(Near Field Communications) 방식, 저전력 블루투스(BLE: Bluetooth Low Energy), 무선랜(WIFI), UWB(Ultra Wide Band), 무선 주파수(Radio Frequency), 적외선 통신(IRDA: Infrared Data Association), 지그비(Zigbee) 및 QR 코드(Quick Response Code) 등과 같은 무선 통신 방식 중 어느 하나를 이용하여 데이터를 송신할 수 있다.

데이터 저장부(data storage unit, 204)는 통신부(202)가 수신한 영상데이터 및 영역데이터를 저장한다. 데이터 저장부(204)는 장치 내에서 모듈로서 동작할 수도 있고, DAS(Direct Attached Storage), NAS(Network Attached Storage), SAN(Storage Area Network)와 같은 개별적인 기억장치로써 구현될 수도 있다.

학습부(206)는 카메라(102: 102_A, 102_B)로부터 수신한 영상데이터를 이용하여 작업자 및 기준점을 라벨링(labeling)하되, 카메라 1 대 당 적어도 2 개의 기준점이 생성되도록 영상데이터를 라벨링하고, 라벨링에 따른 라벨링 데이터(labeling data)를 학습데이터로써 활용하여 영상인식 모델(image recognition model)을 학습시킨다. 이 때, 영상인식 모델은 실시간 객체 탐지 모델(real-time object detection model) 중 하나인 YOLO(You Only Look Once) v3 모델을 학습시킨다. 학습부(206)가 학습데이터를 기반으로 영상인식 모델을 학습시키는 구체적인 방법은 해당 분야에서 일반적인 바, 자세한 설명은 생략하도록 한다.

판단부(determining unit, 208)는 영상데이터를 기반으로 작업자위치(worker location)를 판단하고, 영역데이터 및 기 설정된 컨테이너 규격을 기반으로 작업영역(work area)을 판단하며, 작업자위치와 작업영역의 중첩률을 계산한다. 판단부(208)는 영상데이터 및 영상인식 모델을 이용하여 작업자가 속하는 그리드의 좌표를 추출하는 작업자위치 판단부(미도시)를 포함할 수 있다. 또한, 판단부(208)는 위험영역을 설정하는 위험영역 설정부(미도시), 위험영역 꼭짓점의 실시간 좌표를 추출하는 실시간 좌표 추출부(미도시) 및 실시간 좌표에 따른 실시간 위험영역을 이용하여 현재 작업영역을 갱신하는 작업영역 갱신부(미도시)를 포함할 수 있다. 한편, 판단부 내의 각각의 세부유닛이 작업자위치 및 작업영역을 판단하는 방법은 도 3 및 도 4에서 상세히 설명한다.

출력부(210)는 중첩률이 기 설정된 임계치 이상일 경우 위험 알림 제어신호를 생성하며, 출력부(210)에 의해 생성된 위험 알림 제어신호는 통신부(202)를 이용하여 알림모듈에 송신된다.

본 개시의 일 실시예에 있어서, 통신부(202)는 클라우드 데이터 서버(cloud data server) 등의 외부 데이터 스토리지(external data storage)와 항만 내 안전사고 기록에 관한 데이터를 송수신할 수 있다. 외부 데이터 스토리지는 안전사고위험 알림 장치(200)에 가장 인접한 항만뿐만 아니라 다른 지역 항만의 데이터 또한 수집하며, 안전사고 기록에 관한 데이터는 적어도 사고 영상, 사고 일시, 사고 규모 및 사고 당시 기상상태를 포함한다. 통신부(202)가 수신한 항만 내 안전사고 기록에 관한 데이터를 기반으로 학습부(206)가 작업자 및 기준점을 라벨링하고, 라벨링된 데이터를 학습데이터 또는 검증데이터(test data)로써 활용하여 영상인식 모델을 학습시키거나 검증할 수 있다. 이후 판단부(208)가 안전사고 발생 빈도가 높은 조건을 판단하고, 영상데이터 및 영역데이터로부터 조건에 부합하는 상태를 인식하는 경우, 출력부(210)가 제어신호를 생성한 이후 알림모듈을 이용하여 작업자에게 알림을 제공할 수 있다.

한편, 도 2에 기재된 본 개시의 일 실시예에 따른 안전사고위험 알림 장치(200)의 동작은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 개시의 일 실시예에 따른 안전사고위험 알림 장치(200)의 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

도 3은 본 개시의 일 실시예에 따른 안전사고위험 알림 방법의 동작 과정을 설명하기 위한 순서도이다.

안전사고위험 알림 장치(200)는 크레인 상에 설치된 적어도 2 대 이상의 카메라(102: 102_A, 102_B)로부터 지면을 촬영한 영상데이터를 수집한다(S300).

안전사고위험 알림 장치(200)는 수집한 영상데이터 및 딥러닝 기반 영상인식 모델을 이용하여 작업자 위치를 판단한다(S302). 안전사고위험 알림 장치(200)가 작업자 위치를 판단하는 구체적인 방법은 도 4 및 도 5에 관한 실시예에서 상세히 설명한다.

안전사고위험 알림 장치(200)는 크레인 상에 설치된 좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수집한다(S304). 좌표측정 모듈은 컨테이너를 크레인과 연결하기 위한 스프레더(spreader) 상에 설치되어 컨테이너의 공간 좌표를 측정할 수 있다. 이러한 좌표측정 모듈은 예컨대 RTK GPS 모듈(Real Time Kinematic Global Positioning System module)로써 구현될 수 있으며, RTK GPS 모듈을 이용하는 경우 단독측위(point positioning)와 DGPS(Differential Global Positioning System)와 대비하여 높은 정밀도를 갖는다는 효과가 있다.

안전사고위험 알림 장치(200)는 수집한 영역데이터 및 기 설정된 컨테이너 규격을 이용하여 컨테이너의 작업영역을 판단한다(S306). 컨테이너 규격은 10ft(feet), 20ft, 30ft 또는 40ft 등 국제표준화기구(ISO, International Organization for Standardization)의 국제 표준 규격에 기반하여 설정된다. 안전사고위험 알림 장치(200)가 작업영역을 판단하는 구체적인 방법은 도 4 및 도 6에 관한 실시예에서 상세히 설명한다.

안전사고위험 알림 장치(200)는 과정 S302에서 판단한 작업자위치 및 과정 S306에서 판단한 작업영역의 공통 영역 넓이를 이용하여 중첩률(overlap rate)을 계산한다(S308). 계산된 중첩률이 기 설정된 임계치 이상의 값을 갖는 경우, 안전사고위험 알림 장치(200)는 알림모듈(alerting module)을 이용하여 작업자가 위험영역 내에 위치하고 있음을 알리고, 위험영역 바깥으로의 이동을 유도한다(S310).

기존의 선적 자동화 시스템에 관한 기술은 컨테이너 주변에 위치한 작업자를 안전사고로부터 직접적으로 보호할 수 없다는 문제점을 가지고 있었다. 반면, 본 개시의 실시예는 전술한 바와 같이 영상데이터를 처리하고 GPS 좌표에 기반한 계산방법을 이용함으로써, 안전사고로 인한 추가비용 발생, 공정 지연, 인명 피해 발생을 미연에 방지하는 등 종래기술과 대비하여 개선된 효과를 갖는다.

도 4의 (a) 및 (b)는 작업자위치 및 작업영역을 판단하는 방법을 설명하기 위한 순서도이고, 도 5는 영상데이터 화면으로부터 작업자 및 기준점을 인식하는 방법을 설명하기 위한 예시도이며, 도 6은 영역데이터 및 컨테이너 규격을 이용하여 작업영역을 판단하는 방법을 설명하기 위한 예시도이다.

이하, 도 4의 (a) 및 도 5를 참조하여 안전사고 알림 장치(200)가 영상데이터 및 영상인식 모델을 이용하여 작업자위치를 판단하는 구체적인 과정을 설명한다.

학습부(206)는 카메라(102: 102_A, 102_B)로부터 수집된 영상데이터를 이용하여 작업자 및 기준점(reference point)을 라벨링한다(S410). 이 때, 기준점이란 항만 내 특정 위치에 대한 좌표를 추출하기 위한 지점으로, 작업자위치를 인식하기 위하여는 카메라 당 적어도 2 개의 기준점, 영상데이터 당 적어도 4 개의 기준점이 생성되어야 한다. 예컨대, 2 개의 기준점을 이용하여 영상데이터 상에 수직방향 및 수평방향의 평행한 기준선(baseline)들을 생성할 수 있으며, 기준선들의 교차로 인하여 그리드(grid)가 형성되고, 생성된 그리드를 이용하여 영상데이터 내의 각 개별 영역의 좌표를 결정할 수 있다. 학습부(206)는 라벨링 데이터가 영상인식 모델의 학습을 위한 학습데이터로써 사용되기 전에, 비어있는 데이터(null data)나 오류가 있는 데이터 등을 제거하는 데이터 전처리(data pre-processing) 작업을 수행할 수 있다.

학습부(206)는 라벨링 작업에 따라 생성된 라벨링 데이터(labeling data)를 학습데이터로써 활용하여 영상인식 모델을 학습시킨다(S412). 이 때, 학습부(206)가 학습시키는 영상인식 모델은 영상데이터로부터 실시간으로 객체(object)를 탐지하는 실시간 객체 탐지 모델(real-time object detection model)이고, 구체적으로는 YOLO(You Only Look Once) v3 모델일 수 있다. YOLO v3 모델을 이용한 객체 탐지 방법은 YOLO v1 모델 등 기존의 방법과 대비하여 속도와 정확도 측면에서 개선된 효과를 갖는다.

판단부(208)는 과정 S412에 따라 기 학습된 영상인식 모델에 영상데이터를 입력하여 작업자 및 기준점을 인식한다(S414). 이 때, 판단부(208)는 작업자의 좌표 추출을 위한 그리드(grid) 생성을 위하여 적어도 2 개의 기준점을 인식해야 한다.

판단부(208)는 과정 S414에 따라 인식된 적어도 2 개의 기준점을 이용하여 영상데이터 상에 가상의 그리드를 생성하고, 작업자가 속하는 그리드의 좌표를 추출한다(S416).

도 5를 참조하면, 카메라(102: 102_A, 102_B)로부터 수집한 영상데이터(500) 상에 기준점(502: 502_A 내지 502_D)들이 표시되어 있고, 기준점에 기반한 수직 및 수평 방향의 기준선(baseline)들 및 기준선 간의 교차로 인하여 형성된 가상의 그리드가 형성되어 있다. 판단부는 작업자 및 4 개의 기준점(502_A 내지 502_D)을 인지하고, 기준점으로부터 형성되는 그리드의 좌표를 추출함으로써 작업자위치를 판단하게 된다.

도 5에서는 설명의 편의를 위하여 그리드의 간격이 넓게 도시되었으나, 판단부가 생성하는 가상의 그리드 간격은 10 cm 정도일 수 있으며, 이로써 작업자 이외에도 YOLO v3 모델을 이용하여 인식할 수 있는 작은 물체의 위치 탐지가 가능하게 된다.

이하, 도 4의 (b) 및 도 6을 참조하여 안전사고 알림 장치(200)가 영역데이터 및 기 설정된 컨테이너 규격을 이용하여 작업영역을 판단하는 구체적인 과정을 설명한다.

판단부(208) 내의 위험영역 설정부(미도시)는 기 설정된 컨테이너 규격을 이용하여 위험영역을 설정한다(S420). 위험영역은 작업자의 안전을 보장하기 위하여 기 설정된 컨테이너 규격의 넓이보다 크게 설정되는 직사각형 영역으로서, 위험영역 내에 컨테이너가 위치하도록 설정될 수 있다. 일반적으로 위험영역의 가로길이(Cw1') 및 세로길이(Cw2')는 각각 컨테이너의 가로길이(Cw1)의 M(M은 1보다 큰 유한소수) 배 및 세로길이(Cw2)의 N(N은 1보다 큰 유한소수) 배를 취득하여 설정될 수 있다. 이 때, M 및 N 값에 비례하여 위험영역의 넓이를 변경할 수 있으며, M 및 N 값에 따라 위험영역의 넓이는 항상 컨테이너 넓이보다 큰 값을 갖게 된다. 위험영역의 길이 정보와 컨테이너의 길이 정보 간의 관계는 수학식 1과 같이 표현할 수 있다.

본 개시의 일 실시예에 있어서, 위험영역은 기 설정된 컨테이너 규격에 따른 컨테이너의 가로길이(Cw1) 또는 세로길이(Cw2) 중 적어도 하나의 1.1 배에 해당하는 직사각형 영역을 기반으로 설정될 수 있다. 위험영역이 컨테이너 규격에 따른 영역과 대비하여 차이가 없는 경우 작업자의 안전을 보장할 수 없고, 컨테이너 규격에 따른 영역에 대비하여 지나치게 넓은 경우 작업자의 작업을 방해할 수 있기 때문에 M 및 N 값의 적절한 설정이 요구된다.

판단부(208) 내의 실시간 좌표 추출부(미도시)는 위험영역 꼭짓점의 실시간 좌표를 추출함으로써 작업영역을 판단한다(S422). 이하 도 6을 참조하여, 기 설정된 컨테이너 규격에 따른 컨테이너 길이 정보를 기반으로, 컨테이너 꼭짓점의 실시간 좌표를 추출함으로써 작업영역을 판단하는 과정을 설명한다. 과정 S422와 같이 위험영역 길이 정보를 기반으로 위험영역 꼭짓점의 실시간 좌표를 추출하는 방법은 이하의 과정 및 수학식 1을 이용하여 수행할 수 있다.

도 6의 (a)는 컨테이너(600)의 각각의 꼭짓점(602: 602_A 내지 602_D) 위치가 변하기 전의 상태를 도시하고 있다. 이 때, 작업영역은 각 꼭짓점 좌표 간의 거리를 계산하여 판단할 수 있다.

도 6의 (b)는 컨테이너(600)가 특정 방위각(dir)만큼 회전된 상태에서 각각의 꼭지점(602': 602_A' 내지 602_D') 위치가 변한 상태를 도시하고 있다. 설명의 편의를 위하여 컨테이너(600)의 중심좌표 (G_x, G_y)는 변하지 않았다고 가정하며, 이하 삼각비(trigonometric ratio)를 이용하여 작업영역을 판단하는 과정을 설명한다.

판단부(208)가 컨테이너(600)의 중심좌표 (G_x, G_y)를 원점으로서 설정하고, 크레인의 작업방향에 따른 방위각(dir)을 이용하여 삼각비를 계산한다. 이후 계산된 삼각비를 이용하여 각각의 위험영역 꼭짓점(danger area vertex)의 실시간 좌표(real-time coordinates)를 추출하고, 실시간 좌표에 따른 실시간 위험영역을 이용하여 작업영역을 판단한다. 예시적으로 도 6의 (b)에서 도시된 컨테이너(600)의 일부 꼭짓점(602_D')의 좌표를 계산하는 방법은 수학식 2와 같다.

판단부(208) 내의 작업영역 갱신부(미도시)는 실시간 위험영역을 현재 작업영역으로 갱신한다(S424). 좌표측정 모듈로부터 영역데이터가 일정한 주기로 수신됨에 따라, 실시간으로 컨테이너 꼭짓점 좌표 및 실시간 위험영역을 계산하고, 이를 현재 작업영역으로 갱신할 수 있다. 이로써, 작업 과정에서 계속해서 변하는 컨테이너의 위치를 추적하여 작업영역을 정확히 계산할 수 있으며 항만 내 안전사고를 방지하는 효과를 갖는다.

도 3 및 도 4에서는 과정 S300 내지 과정 S310, 과정 S410 내지 S416, 과정 S420 내지 S424를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 기술적 사상을 일 실시예를 이용하여 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3 및 도 4에 기재된 순서를 변경하여 실행하거나 과정 S300 내지 과정 S310, 과정 S410 내지 S416, 과정 S420 내지 S424 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3 및 도 4는 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 설명되는 장치 및 방법의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated Circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.

컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비 일시적인(non-transitory) 매체 또는 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

본 명세서에 설명되는 장치 및 방법의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.

이상의 설명은 본 개시의 기술적 사상을 실시예를 이용하여 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 개시의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술적 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 갠트리 크레인 102: 카메라
104: 스피커 106: 작업자
200: 안전사고위험 알림 장치 202: 통신부
204: 데이터 저장부 206: 학습부
208: 판단부 210: 출력부
500: 영상데이터 502: 기준점
600: 컨테이너 602: 컨테이너 꼭짓점

Claims (6)

1. 카메라로부터 영상데이터(video data)를 수집하는 과정;
   상기 영상데이터를 기반으로 작업자위치(worker location)를 판단하는 과정;
   좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수집하는 과정;
   상기 영역데이터 및 기 설정된 컨테이너 규격을 기반으로 작업영역(work area)을 판단하는 과정;
   상기 작업자위치 및 상기 작업영역의 중첩률(overlap rate)을 계산하는 과정; 및
   상기 중첩률이 기 설정된 임계치 이상일 경우 알림모듈(alerting module)을 이용하여 안전사고위험 알림을 제공하는 과정을 포함하되,
   상기 작업영역을 판단하는 과정은,
   상기 기 설정된 컨테이너 규격보다 넓은 직사각형 영역을 위험영역(danger area)으로서 설정하되, 상기 위험영역은 상기 기 설정된 컨테이너 규격에 따른 컨테이너의 가로길이 또는 세로길이 중 적어도 하나의 1.1 배에 해당하는 직사각형 영역을 기반으로 설정하며, 상기 위험영역 내에 상기 컨테이너가 위치하도록 위험영역을 설정하는 과정;
   상기 컨테이너의 중심좌표를 원점으로서 설정하고, 크레인(crane)의 작업방향에 따른 상기 방위각을 이용하여 삼각비(trigonometric ratio)를 계산하며, 상기 삼각비를 이용하여 각각의 위험영역 꼭짓점(danger area vertex)의 실시간 좌표(real-time coordinates)를 추출하는 과정; 및
   상기 실시간 좌표에 따른 실시간 위험영역을 이용하여 현재 작업영역을 갱신하는 과정을 포함하는 것을 특징으로 하는 안전사고위험 알림 방법.
2. 제 1 항에 있어서,
   상기 작업자위치를 판단하는 과정은,
   상기 영상데이터를 이용하여 작업자 및 기준점을 라벨링(labeling)하되, 카메라 1 대 당 적어도 2 개의 기준점이 생성되도록 상기 영상데이터를 라벨링하는 과정;
   상기 라벨링에 따른 라벨링 데이터(labeling data)를 학습데이터로써 활용하여 영상인식 모델을 학습시키되, 상기 영상인식 모델은 실시간 객체 탐지 모델(real-time object detection model)의 일종인 YOLO(You Only Look Once) v3 모델인 학습 과정;
   상기 영상데이터를 상기 YOLO v3 모델에 입력하여 작업자 및 기준점을 인식하는 과정; 및
   간격이 10 cm 인 가상의 그리드(grid)를 생성하고, 작업자가 속하는 상기 그리드의 좌표(coordinates)를 추출하는 과정
   을 포함하는 것을 특징으로 하는 안전사고위험 알림 방법.
3. 삭제
4. 카메라로부터 영상데이터(video data)를 수신하고, 좌표측정 모듈(coordinates measuring module)로부터 컨테이너(container)의 위도(latitude), 경도(longitude), 고도(altitude) 및 방위각(azimuthal angle) 중 적어도 하나에 관한 정보를 포함하는 영역데이터(area data)를 수신하며, 알림모듈(alerting module)에게 신호를 송신하는 통신부(communications unit);
   상기 영상데이터 및 상기 영역데이터를 저장하는 데이터 저장부(data storage unit);
   상기 영상데이터를 기반으로 작업자위치(worker location)를 판단하고, 상기 영역데이터 및 기 설정된 컨테이너 규격을 기반으로 작업영역(work area)을 판단하며, 상기 작업자위치와 상기 작업영역의 중첩률(overlap rate)을 계산하는 판단부(determining unit); 및
   상기 중첩률이 기 설정된 임계치 이상일 경우 위험 알림 제어신호를 생성하는 출력부(output unit)를 포함하되,
   상기 카메라로부터 수집된 영상데이터를 이용하여 작업자 및 기준점을 라벨링하되, 카메라 1 대 당 적어도 2 개의 기준점이 생성되도록 상기 영상데이터를 라벨링하고, 상기 라벨링에 따른 라벨링 데이터(labeling data)를 학습데이터로써 활용하여 실시간 객체 탐지 모델(real-time object detection model)의 일종인 YOLO(You Only Look Once) v3 모델을 학습시키는 학습부를 더 포함하고,
   상기 판단부는,
   상기 영상데이터를 상기 YOLO v3 모델에 입력하여 작업자 및 기준점을 인식하고, 간격이 10 cm 인 가상의 그리드(grid)를 생성하여, 작업자가 속하는 상기 그리드의 좌표(coordinates)를 추출함으로써 상기 작업자위치를 판단하는 작업자위치 판단부;
   상기 기 설정된 컨테이너 규격보다 넓은 직사각형 영역을 위험영역(danger area)으로서 설정하되, 상기 기 설정된 컨테이너 규격에 따른 컨테이너의 가로길이 또는 세로길이 중 적어도 하나의 1.1 배에 해당하는 직사각형 영역을 기반으로 상기 위험영역을 설정하며, 상기 위험영역 내에 상기 컨테이너가 위치하도록 위험영역을 설정하는 위험영역 설정부;
   상기 컨테이너의 중심좌표를 원점으로서 설정하고, 크레인(crane)의 작업방향에 따른 상기 방위각을 이용하여 삼각비(trigonometric ratio)를 계산하며, 상기 삼각비를 이용하여 각각의 위험영역 꼭짓점(danger area vertex)의 실시간 좌표(real-time coordinates)를 추출하는 실시간 좌표 추출부; 및
   상기 실시간 좌표에 따른 실시간 위험영역을 이용하여 현재 작업영역을 갱신하는 작업영역 갱신부를 포함하는 것을 특징으로 하는 안전사고위험 알림 장치.
5. 삭제
6. 제 1 항 또는 제 2 항에 따른 안전사고위험 알림 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 하나 이상의 기록매체에 각각 저장된 컴퓨터 프로그램.

Images