KR20230052576A

KR20230052576A - 물양장 모니터링 시스템

Info

Publication number: KR20230052576A
Application number: KR1020210135791A
Authority: KR
Inventors: 연정흠; 남연호; 최부림; 전태량; 안두영; 박순영; 김기협; 이동민
Original assignee: 부산항만공사
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2023-04-20

Abstract

물양장 모니터링 시스템이 개시된다. 본 발명의 일 실시예에 따른 물양장 모니터링 시스템은, 물양장의 입구 측에 설치되는 촬영부로부터 실시간 촬영 영상을 수신 및 분석하여 선박 이미지를 검출하는 선박 식별부; 선박에 장착된 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보를 수신하는 위치정보 획득부; 상기 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보가 수신되지 않는 경우, 상기 촬영 영상을 분석하여 선박에 표시된 문자를 인식하여 선박명을 인지하는 문자 인식부; 상기 촬영부의 촬영 지점 상의 좌표를 획득하는 드론; 물양장의 입구 측에 설치되며, 사용자 단말로부터 발신되는 무선신호 데이터를 실시간으로 탐지하는 무선신호 감지 센서부; 상기 선박 이미지와 상기 선박의 위치정보가 매칭된 정보와, 검지된 상기 선박의 정보를 저장하고, 상기 선박 이미지를 저장하는 데이터베이스; 및 상기 데이터베이스로부터 상기 선박의 입출항 정보, 정박 정보를 확인하여 모니터링하며, 상기 데이터베이스에 저장된 상기 선박의 정보를 로딩하여 확인 가능하며, 상기 선박의 이벤트 정보를 분석하는 모니터링부;를 포함할 수 있다.

Description

물양장 모니터링 시스템{MONITORING SYSTEM OF LIGHTERS WHARF}

본 발명은 물양장 모니터링 시스템에 관한 것으로서, 보다 상세하게는 물양장의 입출항 선박을 자동으로 식별하고 관리할 수 있는 물양장 모니터링 시스템에 관한 것이다.

일반적으로 물양장이란 소형선박이 접안하여 계류하는 안벽 구조물로서 항만에서는 전면수심이 4.5m 미만, 어항에서는 2.5m 이내인 부두를 의미한다.

물양장 사용을 위해서는 사용요금을 납부하여야 하나 관리시스템의 부재로 허가 받지 않은 선박의 출입이 있어도 파악이 불가능한 문제점이 있다.

부산항만공사에서 관리 중인 물양장의 경우 물양장 당 일일 평균 50~100대의 선박이 출입하며 태풍 등의 재난상황 시 600여대의 선박이 정박한다. 다수의 선박들이 출입함에도 불구하고 현재 선주 신고정보를 기준으로 수기관리 중이며, 무단사용 및 미허가 입출항 선박 등에 대해서는 실시간 관리가 어려운 상황이다.

이에 따라 사용료 부과·징수 등 관리가 곤란하고,선박 입출항 및 계류 상황 파악 역시 어려운 문제점이 있다.

이에 따라, 선박 간 충돌 등의 사고 시 빠른 대응 조치를 위해 해당 선박과 타 정박 선박의 정보를 파악 하여야 하나, 파악 할 수가 없어 2차 사고 위험성이 증가하는 문제점이 있다.

또한 폐선과 장기 방치선박으로 인한 환경오염 및 항로 위협 발생할 수 있는데, 관리 시스템의 부재로 인해 방치 선박의 증명이 어려운 문제점이 있다.

대한민국 등록특허 제10-2137380호(2020.07.20) "스마트 항만 관리 시스템" 대한민국 등록특허 제10-2206662호(2021.01.18) "항만 컨테이너 터미널에서 차량 출입 관리와 객체를 인식하는 비전 카메라 시스템 및 방법" 대한민국 등록특허 제10-2096746호(2020.03.27) "항만보안을 위한 블록체인 기반 출입관리 시스템 및 방법"

본 발명에 따른 물양장 모니터링 시스템은, 물양장의 입출항 선박을 자동으로 식별하고 관리할 수 있는 물양장 모니터링 시스템을 제공하는 것을 목적으로 한다.

본 발명에 따른 물양장 모니터링 시스템은, CCTV 카메라로 물양장의 입구 측을 촬영하는 실시간 촬영영상으로부터 딥러닝을 통해 선박을 검출하고, 위치정보 획득부를 통해 획득한 선박의 위치정보와 선박정보를 매칭하여 물양장의 입출항 선박을 관리하는 물양장 관리 시스템을 제공하는 것을 목적으로 한다.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 물양장 모니터링 시스템은, 물양장의 입구 측에 설치되는 촬영부로부터 실시간 촬영 영상을 수신 및 분석하여 선박 이미지를 검출하는 선박 식별부; 선박에 장착된 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보를 수신하는 위치정보 획득부; 상기 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보가 수신되지 않는 경우, 상기 촬영 영상을 분석하여 선박에 표시된 문자를 인식하여 선박명을 인지하는 문자 인식부; 상기 촬영부의 촬영 지점 상의 좌표를 획득하는 드론; 물양장의 입구 측에 설치되며, 사용자 단말로부터 발신되는 무선신호 데이터를 실시간으로 탐지하는 무선신호 감지 센서부; 상기 선박 이미지와 상기 선박의 위치정보가 매칭된 정보와, 검지된 상기 선박의 정보를 저장하고, 상기 선박 이미지를 저장하는 데이터베이스; 및 상기 데이터베이스로부터 상기 선박의 입출항 정보, 정박 정보를 확인하여 모니터링하며, 상기 데이터베이스에 저장된 상기 선박의 정보를 로딩하여 확인 가능하며, 상기 선박의 이벤트 정보를 분석하는 모니터링부;를 포함할 수 있다.

여기서, 상기 모니터링부는, 물양장의 지도 데이터가 저장되는 지도 서버로부터 상기 지도 데이터를 수신하고, 상기 위치정보 획득부로부터 수신한 선박의 최종 위치와 대응되는 상기 지도 데이터 상의 지점에 상기 선박 이미지를 표시하며, 상기 선박 이미지를 클릭 시 상기 선박의 정보를 로딩하여 디스플레이 상에 표시할 수 있다.

여기서, 상기 선박 식별부는, 딥러닝 알고리즘을 사용하여 영상 분석을 통해 선박 이미지를 검출하며, 상기 딥러닝 알고리즘을 통해 발생되는 데이터는 이미지 파일 형태로 상기 데이터베이스에 저장될 수 있다.

여기서, 상기 문자 인식부는, 복수 대의 상기 촬영부의 촬영 영상을 각각 서로 다른 배율로 확대하여 분석하며, 상기 선박에 표시된 문자가 데이터 라벨링된 자료가 저장될 수 있다.

여기서, 상기 모니터링부는, 상기 지도 데이터를 수신하여 물양장 지도 데이터를 로딩하는 단계; 상기 촬영부 설치 위치에 대응되는 영역에 카메라 아이콘을 표시하는 단계; 선박위치 갱신 스레드와 미등록 선박 확인 스레드를 생성하는 단계;를 수행하며, 상기 선박위치 갱신 스레드 실행 시 상기 위치정보 획득부로부터 수신한 선박의 최종 위치와 대응되는 상기 지도 데이터 상의 지점에 상기 선박 이미지를 표시하며, 상기 미등록 선박 확인 스레드 실행 시 미등록 선박의 접근 정보를 표시하며, 상기 선박 이미지를 클릭 시 상기 선박의 정보를 로딩하여 당시 디스플레이 상에 표시할 수 있다.

여기서, 상기 모니터링부는, 상기 위치정보 획득부로부터 수신된 정보를 기반으로 상기 촬영 영상에 선박을 표시하는 이미지와 상기 선박의 정보를 오버레이할 수 있다.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.

본 발명에 따른 물양장 모니터링 시스템은 물양장의 입출항 선박을 자동으로 식별하고 관리할 수 있다.

또한, 선박 식별부를 통해 촬영부의 촬영 영상에서의 객체가 선박인지 여부를 감지하고, 위치정보 획득부로부터 선박의 위치를 확인함으로써 선박의 입출항을 관리할 수 있다.

또한, 선박 식별부가 딥러닝 알고리즘을 사용하여 영상 분석을 통해 발생되는 데이터는 이미지 파일 형태로 데이터베이스에 저장되고, 이는 다시 촬영부인 CCTV의 영상 분석을 위한 데이터셋으로 활용됨으로써 보다 정확하게 선박을 식별할 수 있다.

또한, 지도 데이터 상에 선박의 위치가 선박 이미지로 표시되고, 선박 이미지를 클릭 시 위치정보 획득부로부터 수신한 선박 정보가 표시됨으로써 용이하게 모니터링을 할 수 있다.

또한, 촬영부가 촬영하는 실시간 영상에 위치정보 획득부로부터 수신한 선박 정보와 선박을 표시하는 이미지가 오버레이 됨으로써 실시간으로 선박을 용이하게 모니터링할 수 있다.

또한, 위치정보 획득부가 없는 선박의 경우에도 문자 인식부를 통해 선박명 등의 정보를 확인할 수 있다.

또한, 저시정으로 인해 촬영 영상으로 선박을 확인할 수 없는 경우, 무선신호 감지 센서부를 통해 선박을 검지할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 물양장 관리 시스템의 장치도
도 2는 본 발명의 일 실시예에 따른 물양장 관리 시스템의 선박 식별부의 관계도
도 3 내지 도 5는 본 발명의 일 실시예에 따른 물양장 관리 시스템의 모니터링부의 모니터링 화면 예시
도 6은 본 발명의 일 실시예에 따른 물양장 관리 시스템의 모니터링부의 모니터링 순서도
도 7은 본 발명의 일 실시예에 따른 물양장 관리 시스템의 모니터링부의 생성단계 알고리즘이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 도면에 예시하고 이에 대해 상세한 설명에 상세하게 설명한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

설명에 앞서 상세한 설명에 기재된 용어에 대해 설명한다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 본 발명에 따른 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면 부호를 부여하고 이에 대해 중복되는 설명은 생략한다.

본 발명에 따른 물양장 모니터링 시스템은, CCTV 카메라로 물양장의 입구 측을 촬영하는 실시간 촬영영상으로부터 딥러닝을 통해 선박을 검출하고, 위치정보 획득부를 통해 획득한 선박의 위치정보와 선박정보를 매칭하여 물양장의 입출항 선박을 관리하는 물양장 관리 시스템에 관한 것이다.

도 1은 본 발명의 일 실시예에 따른 물양장 관리 시스템의 장치도이며, 도 2는 본 발명의 일 실시예에 따른 물양장 관리 시스템의 선박 식별부의 관계도이다.

본 발명의 일 실시예에 따른 물양장 모니터링 시스템(1000)은, 선박 식별부(100)와, 위치정보 획득부(200)와, 데이터베이스(300)와, 문자인식부(400)와, 드론(500)과, 무선신호 감지 센서부(600) 및 모니터링부(700)를 포함한다.

선박 식별부(100)는 물양장의 입구 측에 설치되는 촬영부(10)로부터 실시간 촬영 영상을 수신 및 분석하여 선박 이미지를 검출하는 구성이다. 본 실시예에서 촬영부(10)는 CCTV 카메라로 마련되어 입출항하는 선박들을 촬영한다.

선박 식별부(100)는 CCTV 카메라로부터 촬영 영상을 RTSP(real-time streaming protocol) 통신으로 수신하여, 실시간 영상으로부터 선박 이미지를 검출한다. 선박 식별부(100)는 CCTV 영상 정보를 딥러닝 학습기반 영상 분석 기술로 심층 분석하여 영상 속의 객체를 선박으로 인식한다.

선박 식별부(100)는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Networks), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, 및 Faster RCNN(Region based Convolutional Neural Network), YOLO(You Only Look Once), SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 카메라 영상 내의 선박 이미지를 검출할 수 있으며, 본 실시예에서는 R-CNN 기반의 딥러닝 알고리즘을 사용한다.

본 실시예에서는, 선박 이미지 검출을 위한 딥러닝 알고리즘은 인공 지능의 딥러닝 알고리즘 중 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(Conventional Neural Network, CNN) 알고리즘을 사용하였다.

CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 인공 신경망 계층들로 구성되며, 가중치와 통합 계층(pooling layer)들을 추가로 활용하며, 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용한다.

카메라 입력 영상으로부터 입력층(input layer)/ n개의 은닉층(hidden layer)(Layer 1, Layer 2, Layer 3... )/ 출력층(output layer)을 포함하는 다층구조의 컨볼루션 신경망(CNN) 알고리즘은 CCTV 카메라 영상의 특징을 추출하고 분류하여 선박 이미지를 검출한다.

다층구조의 합성곱 신경망(CNN)을 사용하여 Multilayer Perceptron을 통해 카메라 영상의 특징 추출(feature extraction)과 객체를 분류(classification)하여 객체(컨테이너, 차량, 사람, 양·적하 장비 등)를 검출한다.

컨볼루션 신경망(CNN, Convolutional Neural Network)은 컨볼루셔널 층(Convolutional Layer), 풀링 층(Pooling Layer), FC 층(Fully Connected Layer, 완전연결층)을 포함하는 3개의 레이어가 사용된다.

CNN 알고리즘은 입력 영상에 가중치를 갖는 mask(예, 3x3 window)를 일정거리씩 이동해가며 컨볼루셔널 층(Convolutional Layer)과 풀링 층(Pooling Layer)에 의해 각각 convolution(합성곱)과 subsampling을 반복하여 영상의 데이터량을 줄이며 영상의 특징을 추출(feature extraction)하며, 컨볼루션에 의해 특징맵(feature map)을 추출하고, 신경망(Neural Network)에 의해 객체(사람, 선박 등)를 분류(classification)한다.

영상 처리시에, CNN 알고리즘에서, 컨볼루션(convolution)은 가중치(weight)를 갖는 마스크(예, 3x3 윈도우)를 사용하여 영상처리가 이루어지며, 입력 영상에 가중치를 갖는 마스크(예, 3x3 윈도우)를 이동해가며, 현재 입력 영상에 가중치를 갖는 마스크를 씌운 후 입력 영상의 픽셀값과 마스크의 가중치(weight)를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정해진다.

subsampling은 화면 크기를 줄이는 과정이며, 해당 영역의 최대치를 선택하는 max pooling을 사용한다.

FC 층(Fully Connected Layer, 완전연결층)은 신경망의 입력단자에 연결시켜 학습(learning)에 의해 객체를 분류한다.

현재 5층의 convolution layer와 3층의 fully_connected layer를 사용할 수 있다. 객체 추적을 학습하기 위해 객체 추적용 데이터베이스(300)를 사용하여 학습할 수있다.

컨볼루셔널 층(Convolutional Layer)의 출력은 Max-Pooling Layer에 의해 subsampling을 진행하여 image의 특징맵(feature map)의 사이즈가 줄여지며, Max-Pooling의 출력은 FC 층(Fully Connected Layer)에서 객체의 클래스를 분류한다.

결과적으로, 드론(500) 카메라의 영상 내의 객체들(사람, 선박 등)을 검출하고 각각의 객체의 특징 추출 및 분류를 위해 CNN 구조의 중간 몇 개의 컨볼루션 층(convolutional layer)에서 객체 위치영역과 종류 정보를 포함하는 특징맵(feature map)을 추출하고, Pooling layer를 통과함에 따라 특징맵의 크기가 작아지며 각각 다른 크기의 특징맵에서 객체 위치영역 정보를 추출하여 객체를 검출하여, FC 층(Fully Connected Layer, 완전 연결층)에 의해 선박 이미지를 분류(classification)한다.

R-CNN의 기본적인 구조는 입력 이미지에서 Selective Search라는 Region Proposal 생성 알고리즘을 사용하여, 객체가 존재할 것으로 추정되는 Region Proposal들을 추출한다. 각각의 Region Proposal들은 사각형 모양의 Bounding Box 안의 이미지 형태인데, 모든 Region Proposal들에 대하여 크기를 동일하게 만든 후 CNN을 거쳐 분류하는 작업을 수행한다.

선박 식별부(100)가 검출한 선박 이미지는 위치정보 획득부(200)가 수신한 선박의 위치 정보와 매칭된다.

위치정보 획득부(200)는 선박의 위치 정보를 포함한 선박 정보를 획득하기 위한 구성이다. 위치정보 획득부(200)는 선박에 장착된 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보를 수신한다.

선박자동식별장치(AIS : Automatic Identification System)는 선박 운항정보, 하만 보고를 위하여 선박 간 또는 육상과 정보를 교환하며 300톤 이상의 배에서는 의무적으로 사용하여야 하는 국제 표준시스템이다.

어선위치발신장치(V-pass)는 해양사고 발생 시 신속한 대응을 위해 어선의 위치 및 긴급구조신호를 발신하며, 선박안전조업규칙 제15조에 따라 어선의 출입항 신고를 자동으로 처리할 수 있는 장치이다. 어선용단말기는 GPS와 무선데이터모뎀이 결합된 형태의 장치로서 GPS로부터 수신된 어선의 위치를 897Mhz대의 수신기가 어선의 위치를 수신한 후 해당 데이터를 해양경찰로 보내며 해양경찰 상황실, 안전센터(파출소), 출장소 등의 전자해도 화면에 어선의 위치가 나타나 실시간 위치파악 등 안전관리를 할 수 있는 장치이다.

선박자동식별장치 및/또는 어선위치발신장치로부터 신호를 수신하여 선박의 위치정보를 획득할 수 있다. 이 때 어선위치발신장치는 선박 정보, 연락처 및 위치를 어선안전국의 '어산통합관리시스템', 수협 중앙회의 '어선안전조업 관리시스템'에서 모니터링하는 바 위와 같은 유관기관으로부터 신호를 수신할 수 있다.

즉, 위치정보 획득부(200)는 선박에 장착된 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보를 직/간접적으로 수신할 수 있다.

또한, 위치정보 외에도 다양한 선박정보를 위치정보 획득부(200)로부터 수신한다. 이 선박 정보에는 MMSI(Maritime Mobile Service Identity, 해상 이동 업무 식별 부호), 선박명, 선박타입, 목적지, 항해 상태, 대지 속력 등을 포함할 수 있다.

문자인식부(400)와 드론(500)은 선박의 정보를 파악할 수 없는 경우 선박을 인식하기 위한 구성이다.

문자인식부(400)는 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보가 수신되지 않는 경우, 촬영 영상을 분석하여 선박에 표시된 문자를 인식하여 선박명을 인지하는 구성이다.

위치정보 획득부(200)로부터 선박의 위치정보 외에도 다양한 선박 정보들을 수신한다. 모니터링을 위해서는 선박의 위치정보 외에도 선박명 등의 정보들이 필요한데, 위치정보 획득부(200)로부터 정보가 수신되지 않는 경우, 선박의 위치, 선박명 등의 파악이 필요하다.

어선위치발신장치 설치 제외 어선으로는, 무동력선, 「내수면어업법」에 따른 내수면어업에 종사하는 어선, 수산업에 관한 시험·조사·지도·단속에 종사하는 어선, 「수산업법」제8조에 따른 면허어업에 사용하기 위하여 같은 법 제27조 제1항, 제3항에 따라 관리선으로 지정받거나 승인받은 어선(다만, 「낚시 관리 및 육성법」에 따른 낚시어선은 제외한다.), 「선박안전 조업규칙」제5조제2항제2호에 따른 서해특정해역에서 「수산업법 시행령」제24조제1항제111호에 따른 근해자망어업에 종사하는 어선의 부속선, 2톤 미만의 어선으로서 상갑판이 없이 현단으로만 이루어져 있거나, 상갑판 상부에 구조물이 없는 어선 등이다. 이러한 어선에는 위치정보 획득부(200)를 통한 위치정보, 선박정보의 획득이 불가능하다.

이에 문자인식부(400)는 촬영부(10)의 촬영 영상을 수신하여 문자를 인식함으로써 선박명을 판독하는 구성이다.

선박에는 선미 좌·우, 후면에 선명을 표기하고 있으므로, 촬영부(10)의 촬영 영상을 수신하여 문자를 인식함으로써 선박명을 판독한다.

그리고, 드론(500)은 촬영부(10)의 촬영영역 상에 위치한다. 즉, 드론(500)은 촬영부(10)의 촬영영역에 대응하는 지점의 상공에서 비행한다. 드론(500)의 비행좌표는 데이터베이스(300)로 전송되며 드론(500)의 좌표로부터 선박의 위치정보를 알 수 있다.

즉, 촬영부(10)가 촬영하는 영역 내로 선박이 들어오면, 문자인식부(400)가 선박명을 분석하고, 드론(500)의 위치정보가 선박의 위치정보가 되므로 드론(500)의 비행좌표를 통해 선박의 위치정보를 알 수 있다.

한편, 야간이나 안개가 발생하는 등의 이유로 저시정인 경우에는 촬영부(10)의 영상으로 정확한 선박 탐지가 어려운 문제점이 있다. 즉, 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보가 수신되지 않는 경우, 문자인식부(400)가 촬영 영상을 분석하여야 하나, 저시정인 경우에는 촬영 영상에 의해서도 선박이 있는지 여부를 분석하기 어렵다.

무선신호 감지 센서부(600)는 저시정인 경우에 선박을 검지하기 위한 구성이다.

무선신호 감지 센서부(600)는 물양장의 입구 측에 설치되어, 사용자 단말로부터 발신되는 무선신호 데이터를 실시간으로 검지하는 구성이다. 일반적으로 물양장 출입선박은 대부분 승선 인원이 선실 밖에 나와있는 경우가 대부분이며, 특히 저시정인 경우에는 육안으로 직접 확인을 위해 선실 밖에 나와있는 경우가 많다.

무선신호 감지 센서부(600)는 스마트폰과 같은 사용자 단말에 내장된 WI-Fi 모듈에서 발신되는 무선신호 데이터를 실시간으로 탐지한다. 무선신호 데이터를 탐지함으로써 Wi-Fi센서가 off상태에서도 탐지가 가능하며 기기마다 부여된 고유의 맥(MAC)주소를 비식별화 및 암호화하기 때문에 정확도가 매우 높고 개인정보보호법 및 위치정보보호법에도 위반되지 않는다.

무선신호 감지 센서부(600)는 지향성 안테나를 포함함으로써 가상의 펜스를 생성하고, 무선신호 데이터를 검지하는 경우 이를 선박으로 검지함으로써 저시정의 경우에도 선박의 입출항을 검지할 수 있다.

데이터베이스(300)는 선박 이미지와 선박의 위치정보가 매칭된 정보와, 검지된 선박의 정보 및 선박 이미지를 저장한다.

구체적으로, 데이터베이스(300)는 위치정보 획득부(200)로부터 각종 선박 정보를 TCP/IP 통신으로 수신하여 저장하고, 선박 정보를 TCP/IP 통신으로 선박 식별부(100)로 전송한다. 선박 식별부(100)는 검출한 선박 이미지와 수신한 선박 정보를 매칭하고, TCP/IP 통신으로 데이터베이스(300)에 저장한다.

또한, 선박 식별부(100)가 딥러닝 알고리즘을 사용하여 영상 분석을 통해 발생되는 데이터는 이미지 파일 형태로 데이터베이스(300)에 저장된다. 저장된 이미지 파일은 다시 촬영부(10)인 CCTV의 영상 분석을 위한 데이터셋으로 활용된다.

본 선박 식별부(100)는 R-CNN 기반의 딥러닝 알고리즘을 통해 객체(선박)을 검출하는 바 영상 이미지의 특징(feature)의 판단으로 검출한다. 이러한 특징 때문에 각도가 약간만 다를 경우 객체가 미인식/오인식이 나는 경우가 많다. 그러나 본 실시예에서 촬영부(10)는 복수 대가 다양한 각도로 영상을 촬영하며, 다양한 각도에 맞게 다양한 데이터 셋을 구축할 수 있다.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 물양장 관리 시스템의 모니터링부의 모니터링 화면 예시이며, 도 6은 본 발명의 일 실시예에 따른 물양장 관리 시스템의 모니터링부의 모니터링 순서도이며, 도 7은 본 발명의 일 실시예에 따른 물양장 관리 시스템의 모니터링부의 생성단계 알고리즘이다.

모니터링부(700)는 물양장에 입출항하는 선박들을 모니터링하기 위한 구성이다.

모니터링부(700)는 크게 지도 화면에 선박 정보를 표출하는 모니터링과, 실시간 관제 모니터링을 수행한다.

지도 화면에 선박 정보를 표출하는 모니터링은, 물양장의 지도 데이터가 저장되는 지도 서버로부터 지도 데이터를 수신하고, 위치정보 획득부(200)로부터 수신한 선박의 최종 위치와 대응되는 지도 데이터 상의 지점에 선박 이미지를 표시하며, 선박 이미지를 클릭 시 선박의 정보를 로딩하여 디스플레이 상에 표시한다.

구체적으로, 모니터링부(700)는 지도 화면에 선박 정보를 표출하는 모니터링 수행 시, 로딩단계, 아이콘 표시단계, 생성단계, 디스플레이 단계를 실행한다.

로딩 단계는 지도 데이터를 수신하여 물양장 지도 데이터를 로딩하는 단계이다. 즉, 지도 서버에는 물양장의 지도 데이터가 저장되며, 이 지도 데이터를 로딩한다.

그리고, 지도 데이터 상에 촬영부(10) 설치 위치에 대응되는 영역에 카메라 아이콘을 표시한다.

이 때, 물양장의 입구에 설치되는 CCTV인 촬영부(10) 외에도, 물양장 내부를 촬영하는 다른 카메라들의 설치 위치에도 카메라 아이콘을 표시할 수 있다.

생성단계는 선박위치 갱신 스레드와 미등록 선박 확인 스레드를 생성하는 단계이다.

선박위치 갱신 스레드 실행 시 위치정보 획득부(200)로부터 수신한 선박의 최종 위치와 대응되는 지도 데이터 상의 지점에 선박 이미지를 표시한다. 스레드 종료 이벤트가 수신되면 스레드가 종료되며, 수신되지 않는 경우 선박들의 최근 위치 정보를 수신하며 최종 위치에 선박 이미지를 표시한다.

미등록 선박 확인 스레드 실행 시 미등록 선박의 접근 정보를 표시한다.

디스플레이 단계는 사용자가 선박 이미지를 클릭 시 선박의 정보를 로딩하여 디스플레이 상에 표시한다.

지도 이미지 상에 위치정보 획득부(200) 등으로부터 수신되는 정보들의 리스트를 표시하고, 사용자가 어느 하나의 선박 이미지를 클릭하는 경우 해당 선박의 위 정보들을 표시한다.

실시간 관제 모니터링은 촬영부(10)가 촬영한 촬영 영상에 선박을 표시하는 이미지와, 선박의 정보를 오버레이하여, 실시간 영상을 기반으로 선박 정보 표출 및 시스템 운영 상 발생되는 시스템 또는 네트워크 오류 등을 사용자가 실시간으로 확인할 수 있도록 촬영부(10)의 촬영 영상을 관제한다.

촬영부(10)로부터 촬영 영상을 RTSP로 수신받아 선박 입출항 및 주변 영상을 실시간으로 표출한다.

그리고 데이터베이스(300)로부터 선박 정보(위치정보 획득부(200)로부터 데이터베이스(300)로 전송됨)를 수신하여, 선박 정보를 실시간 영상에 오버레이 하여 함께 표출되도록 한다.

따라서 본 발명에 의하면, CCTV 카메라로 물양장의 입구 측을 촬영하는 실시간 촬영영상으로부터 딥러닝을 통해 선박을 검출하고, 위치정보 획득부를 통해 획득한 선박의 위치정보와 선박정보를 매칭하여 물양장의 입출항 선박을 관리하는 물양장 모니터링 시스템이 제공된다.

본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위 뿐만 아니라, 이 청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

1000 : 물양장 관리 시스템
100 : 선박 식별부 200 : 위치정보 획득부
300 : 데이터 베이스 400 : 문자인식부
500 : 드론 600 : 무선신호 감지 센서부
700 : 모니터링부

Claims

물양장의 입구 측에 설치되는 촬영부로부터 실시간 촬영 영상을 수신 및 분석하여 선박 이미지를 검출하는 선박 식별부;
선박에 장착된 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보를 수신하는 위치정보 획득부;
상기 선박자동식별장치 또는 어선위치발신장치로부터 선박의 위치정보가 수신되지 않는 경우, 상기 촬영 영상을 분석하여 선박에 표시된 문자를 인식하여 선박명을 인지하는 문자 인식부;
상기 촬영부의 촬영 지점 상의 좌표를 획득하는 드론;
물양장의 입구 측에 설치되며, 사용자 단말로부터 발신되는 무선신호 데이터를 실시간으로 탐지하는 무선신호 감지 센서부;
상기 선박 이미지와 상기 선박의 위치정보가 매칭된 정보와, 검지된 상기 선박의 정보를 저장하고, 상기 선박 이미지를 저장하는 데이터베이스; 및
상기 데이터베이스로부터 상기 선박의 입출항 정보, 정박 정보를 확인하여 모니터링하며, 상기 데이터베이스에 저장된 상기 선박의 정보를 로딩하여 확인 가능하며, 상기 선박의 이벤트 정보를 분석하는 모니터링부;를 포함하는 물양장 모니터링 시스템.
제1항에 있어서,
상기 모니터링부는,
물양장의 지도 데이터가 저장되는 지도 서버로부터 상기 지도 데이터를 수신하고, 상기 위치정보 획득부로부터 수신한 선박의 최종 위치와 대응되는 상기 지도 데이터 상의 지점에 상기 선박 이미지를 표시하며, 상기 선박 이미지를 클릭 시 상기 선박의 정보를 로딩하여 디스플레이 상에 표시하는 물양장 모니터링 시스템.
제1항에 있어서,
상기 선박 식별부는,
딥러닝 알고리즘을 사용하여 영상 분석을 통해 선박 이미지를 검출하며,
상기 딥러닝 알고리즘을 통해 발생되는 데이터는 이미지 파일 형태로 상기 데이터베이스에 저장되는 물양장 모니터링 시스템.
제2항에 있어서,
상기 문자 인식부는,
복수 대의 상기 촬영부의 촬영 영상을 각각 서로 다른 배율로 확대하여 분석하며, 상기 선박에 표시된 문자가 데이터 라벨링된 자료가 저장되는 물양장 모니터링 시스템.
제1항에 있어서,
상기 모니터링부는,
상기 지도 데이터를 수신하여 물양장 지도 데이터를 로딩하는 단계;
상기 촬영부 설치 위치에 대응되는 영역에 카메라 아이콘을 표시하는 단계;
선박위치 갱신 스레드와 미등록 선박 확인 스레드를 생성하는 단계;를 수행하며,
상기 선박위치 갱신 스레드 실행 시 상기 위치정보 획득부로부터 수신한 선박의 최종 위치와 대응되는 상기 지도 데이터 상의 지점에 상기 선박 이미지를 표시하며,
상기 미등록 선박 확인 스레드 실행 시 미등록 선박의 접근 정보를 표시하며,
상기 선박 이미지를 클릭 시 상기 선박의 정보를 로딩하여 당시 디스플레이 상에 표시하는 물양장 모니터링 시스템.
제1항에 있어서,
상기 모니터링부는,
상기 위치정보 획득부로부터 수신된 정보를 기반으로 상기 촬영 영상에 선박을 표시하는 이미지와 상기 선박의 정보를 오버레이하는 물양장 모니터링 시스템.