KR102294303B1 - 항만 고박 영상정보를 이용한 선박 주선 인식 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 항만 고박 영상정보를 이용한 선박 주선 인식 시스템 및 방법에 관한 것이다. 본 시스템은, 촬영 장치에 의해 촬영된 선박 및 고박의 촬영 영상과 미리 수집된 선박 및 고박 영상 데이터를 입력하는 고박 영상 입력부; 상기 고박 영상 입력부로부터 입력되는 선박 및 고박 영상 데이터의 빈고박 상태 또는 매인 고박 상태를 학습하여 인공신경망 모델을 생성하는 신경망 기계 학습 모듈; 상기 인공신경망 모델에 상기 촬영 장치로부터 실시간 입력되는 촬영 영상을 적용하여 선박 식별 번호와 각 고박에 선박을 고박하기 위한 적어도 하나의 고박줄이 매인 상태 또는 풀린 상태를 인식하는 딥러닝 영상 인식 모듈; 상기 딥러닝 영상 인식 모듈의 판단 결과에 기초하여 선박의 고박 시작/완료를 판단하여 선박의 접안/이안 시간을 인식하고, 인식한 선박별 접안/이안 시간 정보를 원격의 선박 주선 과금 시스템에 전송하는 접안/이안 관리 모듈을 포함하는 것을 특징으로 한다. 이에 의하여, 한 대의 선박을 주선하기 위해 필요한 복수개의 고박들이 빈고박인지 고박줄이 매여진 상태인지의 여부를 감지할 수 있으므로, 기존의 사람의 판단에 의존하여 주선상태를 판단하는 방법의 부정확성을, 영상인식 방법으로 대체함으로써, 더욱 정확하고 객관적인 데이터를 기반으로 선박의 주선을 정확하게 인식할 수 있다.

Description

항만 고박 영상정보를 이용한 선박 주선 인식 시스템 및 그 방법{SYSTEM FOR RECOGNITION OF SHIP ANCHORING USING A TIE DOWN IMAGE FOR A SHIP IN A HARBOR AND METHOD THEREOF}

본 발명은 항만 고박 영상정보를 이용한 선박 주선 인식 시스템에 관한 것으로서, 보다 상세하게는 선박의 고박을 촬영한 영상을 학습하여 선박의 주선 여부를 인식하는 선박 주선 인식 시스템 및 방법에 관한 것이다.

선박을 부두에 정박시키는 것을 접안이라고 한다.

선석은 선박이 접안하여 화물의 하역 작업이 이루어질 수 있도록 구축된 구조물로 육상 높이와 같이 해저에서 수직으로 구축된 일종의 벽과 그 부속물을 총칭한다. 그리고, 선석은, 보통 부두, 기교, 안벽, 부표 등 선박을 계류시키는 설비가 상설되어 있고 보통 한 척의 선박을 계류시키는 접안 장소를 의미하는데 선박이 승객이나 화물을 내리고 실기 위한 부두(Wharf)와 돌출 안벽(pier), 평행 안벽(quay)의 가장자리에 있는 해수 지역을 의미한다.

일반적으로 도 1a 및 도 1b를 참조하면, 항만에서 10~15미터마다 1개의 고박(100)이 설치되어 있고, 일예로, 부산항구의 길이는 40키로 미터로, 20대의 선박(200)의 정박이 가능하다.

선박(200)이 선석에 접안하여 있을 때 하역이 가능하다. 선석 별로 통상 2~4개의 고박이 있으며, 이 고박에 고박줄이 매어진다. 빈고박은 현재 선박이 주선되어 있지 않은 선석이다. 고박줄이 묶인 고박은 현재 선박이 주선되어 있는 선석이다.

선박(200)이 안벽 접안시 고박(100)에 고박줄을 매는 순서를 설명하면 다음과 같다. 선박이 접안할 선석이 정해지면 선박이 선석에 충분히 가깝게 접안을 시도한다. 이후, 선박에서 내려준 끝에 추가 달린 얇은 예비줄을 선석으로 멀리 던지면 이를 선석에서 줄잡이들이 잡아서 끌어 올리면 예비줄과 연결된 굵고 튼실한 고박줄(Mooring Line)을 잡고, 이를 안벽의 고박(비트, Bollard)에 걸고, 선박에서 장비를 이용하여 줄을 팽팽히 잡아당기면 선박의 한쪽이 부분적으로 접안이 완료된다. 동일한 방식으로 선수, 선미, 중간에 고박줄을 고박에 매면 전체적으로 접안이 완료된다.

항만의 하나의 선석에 선박이 주선함에 따른 과금은 해당 선박의 첫번째 고박줄을 고박에 맬 때부터 과금이 시작되고, 이 선박이 출항할 때 마지막 고박줄을 풀때까지의 시간을 접안시간으로 잡고 이를 기준으로 과금 시스템이 과금을 하게 된다.

종래에는, 일반 선석에서 주선의 여부를 판단하는 기술로서, 도 2에 보인 바와 같이, 레이져빔을 선석 고박장치(100)에서 선박(200)쪽으로 쏘고, 반사파를 이용하여 거리를 측정하고, 이 거리에 따라 주선 여부를 판단하는 방법이 있다.

그 밖에도 다양한 형태의 종래 공개된 기술이 제안되어 있지만, 기본적으로 종래기술은 선석 마다 센서나 단위 감지 장치를 배치하게 된다.

그런데, 종래 기술에서 선석에 주선 여부를 판단하는 시스템은 선박과 선석의 거리측정을 통하여 이루어지는데, 안개, 풍랑등 기상 조건에 따라 오류가 많이 발생하는 등 탐지 오류가 많고 효율적인 주선 여부를 판단하기가 어려운 실정이다.

또한, 접안 시간은 선사와 터미널간 시점에 따라 분쟁의 소지가 있어 왔다.

따라서, 영상인식을 통해 정확히 측정하고, 기록을 남겨 정확하게 접안 시간을 과금할 수 있는 방법이 요구된다.

따라서, 본 발명은 상기한 문제점을 해결하기 위해 창안된 것으로, 항만 고박을 촬영하여 선박에서 고박줄을 내려 고박에 거는 시점을 정확히 포착하여 기록하고, 이를 기반으로 기존 과금시스템에 정확한 선박 접안 시간 정보를 제공하는, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템 및 그 방법을 제공하는 것이다.

본 발명의 다른 일실시예에 따른 목적은 주선 여부를 판별하기 위한 관련장치들의 설치비용, 유지관리비용을 획기적으로 경감할 수 있고, 고장률이 적어 주선 여부의 확인을 신뢰성 있게 제공해줄 수 있는 항만 고박 영상정보를 이용한 선박 주선 인식 시스템 및 그 방법을 제공하는 것이다.

상기의 목적을 달성하기 위한 본 발명의 제1양태에 따른 구성은, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템으로서, 촬영 장치에 의해 촬영된 선박 및 고박의 촬영 영상과 미리 수집된 선박 및 고박 영상 데이터를 입력하는 고박 영상 입력부; 상기 고박 영상 입력부로부터 입력되는 선박 및 고박 영상 데이터의 빈고박 상태 또는 매인 고박 상태를 학습하여 인공신경망 모델을 생성하는 신경망 기계 학습 모듈; 상기 인공신경망 모델에 상기 촬영 장치로부터 실시간 입력되는 촬영 영상을 적용하여 선박 식별 번호와 각 고박에 선박을 고박하기 위한 적어도 하나의 고박줄이 매인 상태 또는 풀린 상태를 인식하는 딥러닝 영상 인식 모듈; 상기 딥러닝 영상 인식 모듈의 판단 결과에 기초하여 선박의 고박 시작/완료를 판단하여 선박의 접안/이안 시간을 인식하고, 인식한 선박별 접안/이안 시간 정보를 원격의 선박 주선 과금 시스템에 전송하는 접안/이안 관리부를 포함하고, 상기 딥러닝 영상 인식 모듈은, 입력되는 영상의 선명도를 떨어뜨리는 전처리를 수행하고, 인식된 고박줄에 대하여 고박줄이 매여진 상태임을 이중 체킹을 수행하는 후처리를 수행하는 영상 전/후 처리부와, 신경망 기계 학습 모듈의 학습 결과에 의해, 영상 전/후 처리된 선박 영상에서, 선박의 측면에 적혀있는 선박 식별 번호와 선박명을 포함하는 선박 식별 정보를 인식하는 선박 식별번호 인식부와, 고박/고박줄의 고박 여부 상태를 판단하는 개별 고박줄 고박 여부 인식부와, 고박줄에 의해 접안으로 인식되는 특정 고박과 인식된 해당 선박과의 매칭을 통해서 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성하는 매칭부를 포함하고,상기 접안/이안 관리부는 상기 딥러닝 영상 인식 모듈로부터 제공된 선박 식별 번호-고박 매칭 정보와 선박 식별 번호를 이용하여 선박의 접안 시점 및 접안 종료를 판단하여 상기 접안/이안 시간을 인식하고, 상기 개별 고박줄 고박 여부 인식부는, 하나의 선박이 안벽 선석에 접안할 때 필요한 다수의 고박줄로 구성되는 고박줄 세트에 대하여 각 개별 고박줄의 상태 판단 결과에 기초하여 하나의 선박의 접안여부를 최종 인식하고, 하나의 고박의 고박줄 세트가 모두 매여진 것으로 판단되면, 상기 접안/이안 관리 모듈이 각 고박의 최초 고박줄이 매여진 시각 및 마지막 고박줄의 풀어진 시간을 인식하고, 그에 기초하여 선박의 주선 시각을 판단하는 것을 특징으로 한다.

여기서, 상기 고박 영상 입력부는, 항만의 일정 거리 간격마다 설치된 지지대에, 다수의 선박을 촬영하도록 설치되는 카메라와 상기 카메라가 촬영한 영상을 무선전송하는 통신부로 구성되는 촬영 장치; 빈고박/고박 상태 학습 자료가 저장되는 학습용 오픈이미지 데이터베이스와, 상기 촬영 장치가 전송한 실시간 영상을 입력받아 저장하는 고박 영상 데이터베이스를 포함하는 것이 바람직하다.

상기 신경망 기계 학습 모듈이, 빈고박/고박 상태 학습 데이터를 수집하는 학습 데이터 수집부와, 상기 카메라로부터 촬영된 다수의 영상을 이용하여 기계학습을 이용하여 개별 고박별로 고박줄이 매여졌는지 여부를 학습하거나 판단하는 고박/고박줄 신경망 학습부를 포함하고, 상기 기계학습은 딥 러닝(Deep Learning) 및 샬로우 러닝(Shallow learning) 중 적어도 하나를 포함하는 것이 바람직하다.

또한, 상기 신경망 기계 학습 모듈은, 수집된 학습 데이터에 대해서 레이블링 혹은 애노테이션을 붙여, 빈고박과 고박줄이 매여있는 고박의 두가지 형태로 학습 형상 데이터를 생성하는 애노테이션 도구부를 더 포함하는 것이 바람직하다.

또한, 상기 신경망 기계 학습 모듈은, 상기 고박 영상 입력부로부터 입력되는 영상 데이터와 또는 상기 학습 형상 데이터에 대해 날씨변화, 주변물체변화, 시간에 기초한 색상, 음영변화를 포함한 환경변화를 모델화하여 학습 복합 데이터 세트를 생성하는 학습 데이터 증강 처리부를 더 포함하는 것이 바람직하다.

한편, 상기 접안/이안 관리부는 상기 딥러닝 영상 인식 모듈의 고박 상태 판단결과에 의해 주선 완료 시각 및 출항 완료 시각을 인식하는 주선완료시각 및 출항완료 시각 인식부, 선박 접안/이안 시간 관리부, 선박/접안 이안 모니터링부를 포함하는 것이 바람직하다.
상기 선박 접안/이안 시간 관리부는 상기 딥러닝 영상 인식부의 매칭부에서 출력되는 선박 식별번호-고박 매칭 정보에 따라 고박줄을 매는 시점에서부터 푸는 시점까지의 시간을 계산하는 것이 바람직하다.

상기 개별 고박줄 고박 여부 인식부가 각 고박의 고박줄 세트의 개별 고박줄이 매여진 상태/풀려진 상태를 판단하고, 상기 매칭부가 각 고박줄세트와 선박을 매칭하여 저장하는 것이 바람직하다.
상기 접안/이안 관리부는 상기 딥러닝 영상 인식 모듈의 고박 상태 판단결과에 의해 주선 완료 시각 및 출항 완료 시각을 인식하는 주선완료시각 및 출항완료 시각 인식부, 선박 접안/이안 시간 관리부, 선박/접안 이안 모니터링부를 포함하는 것이 바람직하다.

삭제

한편, 상기의 목적을 달성하기 위한 본 발명의 제2양태에 따른 구성은, 항만 고박 영상정보를 이용한 선박 주선 인식 방법으로서, 고박 영상 입력부가 촬영 장치에 의해 촬영된 선박 및 고박의 촬영 영상과 미리 수집된 선박 및 고박 영상 데이터를 입력받는 제1단계; 신경망 기계 학습 모듈이 상기 고박 영상 입력부로부터 입력되는 선박 및 고박 영상 데이터의 빈고박 상태 또는 매인 고박 상태를 학습하여 인공신경망 모델을 생성하는 제2단계; 딥러닝 영상 인식 모듈이 상기 인공신경망 모델에 상기 촬영 장치로부터 실시간 입력되는 촬영 영상을 적용하여 선박 식별 번호와 각 고박에 선박을 고박하기 위한 적어도 하나의 고박줄이 매인 상태 또는 풀린 상태를 인식하는 제3단계; 접안/이안 관리부가 상기 딥러닝 영상 인식 모듈의 실시간 고박 상태 정보에 기초하여 선박의 고박 시작/완료를 판단하여 선박의 접안/이안 시간을 인식하고, 인식한 선박별 접안/이안 시간 정보를 원격의 선박 주선 과금 시스템에 전송하는 제4단계를 포함하고, 상기 제3단계에서, 상기 딥러닝 영상 인식 모듈이 선박 영상에 대해, 입력되는 영상의 선명도를 떨어뜨리는 전처리를 수행하고, 인식된 고박줄에 대하여 고박줄이 매여진 상태임을 이중 체킹을 수행하는 후처리를 수행하는 영상 전/후 처리를 한 후, 상기 인공신경망 모델로 학습하여, 선박의 측면에 적혀있는 선박 식별 번호와 선박명을 포함하는 선박 식별 정보를 인식하고, 고박줄에 의해 접안으로 인식되는 특정 고박과 인식된 해당 선박과의 매칭을 통해서 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성하고, 상기 제4단계는, 상기 접안/이안 관리부가 상기 딥러닝 영상 인식 모듈로부터 제공된 선박 식별 번호-고박 매칭 정보와 선박 식별 번호를 이용하여 선박의 접안 시점 및 접안 종료를 판단하여 접안/이안 시간을 인식하고, 하나의 선박이 안벽 선석에 접안할 때 필요한 다수의 고박줄로 구성되는 고박줄 세트에 대하여 각 개별 고박줄의 상태 판단 결과에 기초하여 하나의 선박의 접안여부를 최종 인식하고, 하나의 고박의 고박줄 세트가 모두 매여진 것으로 판단되면, 각 고박의 최초 고박줄이 매여진 시각 및 마지막 고박줄의 풀어진 시간을 인식하고, 그에 기초하여 선박의 주선 시각을 판단하는 것을 특징으로 한다.

상기 제2단계는, 상기 신경망 기계 학습 모듈이 빈고박/고박 상태 학습 데이터를 수집하는 단계와, 수집된 학습 데이터에 대해서 레이블링 혹은 애노테이션을 붙여, 빈고박과 고박줄이 매여있는 고박의 두가지 형태로 학습 형상 데이터를 생성하는 단계와, 상기 학습 형상 데이터에, 날씨변화, 주변물체 변화, 시간기반 색상 및 음영 변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 학습 데이터를 증강시키는 단계를 포함하는 것이 바람직하다.

여기서, 상기 제3단계는, 상기 신경망 기계 학습 모듈의 학습 결과에 의해, 고박 촬영 영상에서 선박의 식별번호를 추출하는 선박 식별번호 인식 단계와, 고박/고박줄의 상태를 판단하는 고박줄 고박 여부를 인식하는 단계와, 고박줄에 의해 접안으로 인식되는 특정 고박과 인식된 해당 선박과의 매칭을 통해서 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성하는 단계를 포함하는 것이 바람직하다.

또한, 상기 제3단계는, 상기 딥러닝 영상 인식 모듈이 각 고박의 고박줄 세트의 개별 고박줄이 매여진 상태/풀려진 상태를 판단하고, 각 고박줄세트와 선박을 매칭하여 저장하는 것이 바람직하다.

또한, 상기 제3단계는, 상기 신경망 기계 학습 모듈은, 최초의 학습데이터의 각도를 회전시키거나, 거리를 조절하거나, 안개낀 상태처럼 희미하게 처리하여, 학습 데이터를 증강하고, 날씨변화, 시간기반 변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하는 단계를 더 포함하는 것이 바람직하다.

상기의 구성으로 이루어진 항만 고박 영상정보를 이용한 선박 주선 인식 시스템 및 그 방법에 따르면, 첫째, 항만 안벽의 선석, 즉, 한 대의 선박을 주선하기 위해 필요한 복수개의 고박으로 구성되는 소그룹마다 고박들이 빈고박인지 고박줄이 매여진 상태의 고박인지의 여부를 감지하는 단위 판단을 할 수 있으므로, 기존의 사람의 판단에 의존하여 주선상태를 판단하는 방법의 부정확성을, 컴퓨터 영상인식 방법으로 대체함으로써, 더욱 정확하고 객관적인 데이터를 기반으로 하는 접안/이안 시각 인식이 가능하게 된다.

둘째, 기존 선박의 접안/이안 상태를 판단하기 위하여 사용하던 방법으로서 레이져빔을 쏘고 반사파를 받아서 거리를 측정하는 방식에 따른 설치비용, 관리비용, 안개, 비 등 날씨상태에 따른 부정확성 및 탐지 오류 등의 환경적 번잡함을 일거에 해소할 수 있다.

셋째, 주선 여부를 판별하기 위한 관련 장치들의 설치비용, 유지관리비용을 획기적으로 경감할 수 있고, 고장율이 적어 주선 여부의 확인을 신뢰성 있게 제공해줄 수 있다.

도 1a는 항만에 설치된 다수의 고박의 예시도,
도 1b는 항만의 고박에 매여지는 선박의 다수의 고박줄이 매인 상태를 나타낸 도면,
도 2는 종래의 선박 고박 상태 측정 시스템의 개념도,
도 3은 본 발명에 따른 항만 고박을 촬영하는 촬영 장치의 구성도,
도 4는 본 발명에 따른 항만 고박 영상정보를 이용한 선박 주선 인식 시스템의 구성도,
도 5는 일실시예에 따른 항만 고박 영상정보를 이용한 선박 주선 인식 방법의 순서도,
도 6은 다른 실시예에 따른 항만 고박 영상정보를 이용한 선박 주선 인식 방법의 순서도이다.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다. 본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.

본 발명은 항만의 선석을 촬영한 영상 데이터를 이용하여 인공지능식 학습을 통해 선석이 빈 선석인지 또는 주선중인 선석인지의 여부를 판단하여 선박의 접안 및 이안 시각을 판단할 수 있는 선박 주선 인식 시스템 및 방법을 제공하는 것이다.

본 발명은, 다수의 고박들의 영상정보를 이용하여 미리 인공지능식 학습을 통해 선박의 접안 및 이안 시각을 판단할 수 있다. 이를 위해, 선박의 고박 상태 영상을 학습한 신경망 인공지능 학습데이터 정보를 축적하고, 이 학습데이터를 이용하여 신경망 모델을 학습시키고, 이 학습된 신경망 모델을 기초로 특정 항만 안벽의 카메라를 통해 입력되는 실시간 영상 정보로부터 해당 선석에 선박이 주선을 시작한 접안 시점과, 선박이 주선을 종료하는 이안시점을 판단한다.

항만 고박과 고박줄 영상정보를 이용한 선박 접안, 정박, 이안 영상객체 인식을 하는데 필요한 고박의 여러 상태, 즉, 빈고박 상태인지, 고박에 고박줄을 매기 시작하는 상태인지, 고박에 고박줄이 매여 유지하는 상태인지, 고박에 고박줄을 푸는 상태인지를 판단할 수 있다.

이하에서, 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 본 발명을 구체적으로 설명한다. 본 발명을 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 3은 본 발명에 따른 항만 고박 영상정보를 이용한 선박 주선 인식 시스템의 세부 구성도이고, 도 4는 본 발명에 따른 항만 고박을 촬영하는 촬영 장치의 구성도이다.

도 3에 보인 바와 같이, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템(1)은, 선박의 고박 영상을 입력하는 고박 영상 입력부(10), 고박 영상 입력부(10)로터 입력되는 고박 영상을 학습하여 인공지능 모델을 생성하는 신경망 기계 학습 모듈(20), 딥러닝 영상 인식 모듈(30), 접안/이안 관리 모듈(40), 저장부(60), 선박 주선시간 과금 시스템(3)과 통신을 위한 통신부(70)를 포함한다.
본 발명에서, 선박 주선 시간은, 선박이 항만 안벽 선석에 접안하였다가 이안할 때까지의 시간을 의미한다.

고박 영상 입력부(10)는, 도 3에 보인 바와 같이, 안벽의 고박과 고박줄을 촬영하여 실시간 영상스트림을 입력받기 위한 고박 촬영용 촬영 장치(11)와, 기 저장된 영상 스트림을 입력받기 위한 VMS(Video Management System: 영상 관리 장치)(12)와, 고박 영상 데이터베이스(DB)(13), 및 구글 이미지 등 오픈된 학습용 영상자료들이 저장된 학습용 오픈이미지 데이터베이스(DB)(14)를 포함한다.

촬영 장치(11)는 항만에 설치되어, 선박의 id, 선석, 고박줄을 촬영하며 근거리 통신이 가능하다. 촬영 장치(11)는 항만 안벽에 설치되어, 안벽의 고박과 고박줄을 촬영한다. 또한, 촬영 장치(11)는 접안 시설의 실외에 배치될 수 있다. 예를 들어, 고박 주변에 일정 거리 간격마다 촬영 장치(11)를 설치하기 위한 지지대를 설치하되, 일정 개수(예를 들어, 2~4개)의 고박 간격으로 지지대를 설치할 수도 있다.

촬영 장치(11)는, 도 4에 보인 바와 같이, 선박 영상을 촬영하는 카메라(11a), 카메라(11a)가 실시간 촬영한 영상을 임시 저장하는 저장부(11c), 촬영한 고박 영상을 전송하기 위한 통신부(11b), 카메라(11a)와 저장부(11c) 및 통신부(11b)에 전원을 공급하는 전원공급부(11d)를 포함한다.

본 실시예에서, 카메라(11a)는 근적외선 카메라를 이용하는 것이 바람직하다.

근적외선 카메라는, 야간이나 안개, 강우, 강설, 연무, 박무, 황사, 연기 등 영상획득을 방해하는 요소가 있는 장소에서 촬영을 가능한 근적외선 카메라이다.

근적외선 카메라는, CCTV 카메라로 볼 수 없었던 안개 등의 상황에서도 근적외선 영역의 파장만을 선별하여 영상을 획득하여 기후와 상관없이 영상획득이 가능한 근적외선 카메라이다. 안개 투시 기능을 가지는 근적외선 카메라의 기술은 한국등록번호 10-1332231에는 개시되어 있다. 렌즈 연결부의 후면에 CCD 소자부가 구비되는 카메라에 있어서, 상기 렌즈 연결부와 CCD 소자부의 CCD 사이에는 칼라필터, 흑백필터 및 근적외선필터가 구비된 필터회전판이 필터선택모터에 의해 회전 가능하도록 더 결합되어, 기후상황에 따라 필터를 선택할 수 있도록 형성되어 있다. 이 근적외선 카메라를 이용하면, 안개 등 영상획득을 방해하는 요소에 상관없이 양질의 영상을 획득할 수 있다.

다른 실시예에 따라, 카메라(11a)는 CCTV 카메라를 이용할 수도 있음은 물론이다.

한편, 도 3의 고박 영상 입력부(10)의 VMS(영상 관리 장치)(43)는 촬영 장치(11)와 무선/유선 통신으로 연결되어, 카메라가 촬영한 영상을 수집하고 고박 영상 데이터를 저장한다.

한편, 도 3의 신경망 기계 학습 모듈(20)은 빈고박/고박 상태 학습 데이터 수집부(21), 애노테이션 도구부(22), 환경 변화를 반영하여 학습 복합 데이터를 생성하는 학습 데이터 증강 처리부, 고박/고박줄 신경망 기계 학습부를 포함한다.

빈고박/고박 상태 학습데이터 수집부(21)는, 일반 고박들과 관련된 영상정보를 포함하는 학습 자료들을 사전에 수집한다.

구체적으로, 빈고박/고박 상태 학습 데이터 수집부(21)는, 항만 고박 영상 입력부로부터 입력되는 카메라(예를 들어 CCTV) 영상 자료, 및 오픈 자료에 기초하여, 항만 안벽 선석에 설치된 고박들과 고박에 고박줄이 매인/풀린 형상을 결정하고, 결정된 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 저장부(60)에 저장한다.

애노테이션 도구부(22)는, 소프트웨어 도구로서, 수집된 학습 데이터에 대해서 레이블링 혹은 애노테이션을 붙여, 빈고박과 고박줄이 매여있는 고박의 두가지 형태로 학습 형상 데이터를 수동 또는 자동 생성하여 저장부(60)에 저장한다.

보다 구체적으로, 애노테이션 도구부(22)는 동영상의 스냅샷 사진을 컴퓨터 장치의 표시 장치에 표시하고, 선박으로부터 내려온 고박줄과 선석에 고정되어 있는 고박들의 이미지 영역을 수동 혹은 자동으로 다각형(사각형, 사다리꼴형, 마름모형 중의 하나)으로 하나의 고박과 고박줄을 별도로 따내거나(스냅샷), 빈고박 또는 고박줄이 매인 고박 상태, 빈고박에 고박줄을 매는 과정, 고박줄이 메인 고박에서 고박을 푸는 과정들을 따냄(스냅샷)으로써, 고박/고박줄의 연결 모습을 인식하기 위해 고박 객체 학습에 필요한 학습 형상 데이터를 생성하여 고박 영상 DB(13)에 저장한다. 이때 학습 형상 데이터의 다각형의 위치 정보는 스냅샷 사진에 바로 표시될 수도 있지만 좌표 정보를 별도의 파일(텍스트, xml, 바이너리)로 저장하여 관리할 수도 있다.

본 발명에 따라, 애노테이션 도구부(22)는, 항만 안벽에 설치된 카메라로부터 유무선 통신망을 통해 고박과 고박줄의 상태 영상을 실시간으로 입력받거나, 이미 촬영된 고박과 고박줄의 상태 관련 카메라 영상을 외부소스 자료로서 입력하는 고박 영상 입력부로부터 입력받을 수 있다.

또한, 애노테이션 도구부(22)는, 고박 영상 DB(13)나 학습용 오픈이미지 DB(14)에 미리 축적된 영상 자료를 오픈 자료로 사용할 수도 있다.

도 3의 학습데이터 증강 처리부(23)는 최초의 학습데이터의 각도를 회전시키거나, 거리를 조절하거나, 안개낀 상태처럼 희미하게 처리하여, 학습 데이터 수를 늘려서, 고박 영상 입력부의 고박 영상 DB(13)에 저장한다.

또한, 학습데이터 증강처리부(23)는, 빈고박/고박 상태 학습데이터 수집부(21)에서 마련한 학습 형상 데이터에 대해, 날씨변화, 주변물체변화, 시간에 기초한 색상, 음영변화와 같은 환경변화를 모델화하여 학습 복합 데이터 세트를 생성하여 고박 영상 DB에 저장한다.

보다 구체적으로, 학습데이터 증강처리부(23)는, 학습용 고박 영상 이미지 데이터를 기초로 환경변화, 즉, 맑음, 흐림, 비 또는 눈오는 날씨 상황, 영상이 찍히는 각도 및 촬영 거리 등의 변화를 가미한 다양한 학습 형상 데이터에 적용시켜, 고박에서 특히 고박 주변의 날씨변화, 물체변화, 시간 기반 음영, 색상 변화와 같은 환경 변화를 적용하여 다양한 복합 학습 데이터 세트를 생성하여 고박/고박줄 신경망 기계학습 모듈(20)의 기계학습용 입력 데이터로 사용할 수 있도록 고박 영상 DB(13)에 저장, 축적한다.

또한, 학습 데이터 증강 처리부(23)는 오픈 자료(예를 들면, 선박 고박 영상 데이터 세트)를 사용하여 오픈 자료에 포함된 맑음, 흐림, 비 또는 눈오는 날씨 상황의 선박 고박 영상데이터를 사용하거나, 장기간 선박 고박을 촬영한 카메라 영상데이터로서의 오픈 자료에서 수집한 맑음, 흐림, 비 또는 눈오는 날씨 상황의 환경 관련 데이터를 수집하여 복합(환경) 학습 데이터 또는 복합(환경) 데이터 세트를 생성한다. 이와 같이 생성된 복합 학습 데이터 세트는 학습 데이터 증강 처리부(23)가 자체적으로 저장하거나, 자체적 저장 없이 또는 병행하여 백업용으로 고박 영상 DB(13)에도 저장할 수도 있다.

여기서, 복합 학습 데이터 세트는 빈 고박과 고박줄이 묶여진 고박(찬 고박)에 대한 영상 이미지가 거의 같은 수로 있을 경우 신경망 기계 학습 모듈(20)의 학습효과를 높일 수 있다. 또한, 복합 학습 데이터 세트는 다양한 영상 데이터를 통해 다양한 기상조건에서 카메라의 각도에 따라 다르게 표현되는 선박 형상을 커버할 수 있다.

신경망 기계학습 모듈(20)은, 고박 영상 입력부(10)의 학습데이터를 이용하여, 예상되는 고박의 형상 및 고박줄이 매여있는 여부를 학습하여 임의 고박에 대해 고박줄이 매여져 있는지의 여부를 판단할 수 있는 기능을 가진 학습된 신경망 인공지능 모델을 생성한다.

또한, 신경망 기계학습 모듈(20)은, 애노테이션 도구부(22)와 학습데이터 증강처리부(23)가 생성한 복합 학습 데이터 세트를 기초로 CNN등의 딥러닝 영상학습 모델을 이용하여 학습을 통해 일반 안벽 선석들의 고박에서의 빈고박 상태, 고박줄이 묶인 상태의 고박상태, 빈고박에서 묶인 상태로 천이하는 접안 상태, 묶인 고박에서 풀리는 상태로 천이하는 이안 상태, 여부를 결정하는 학습된 신경망 모델을 생성한다.

신경망 기계학습 모듈(20)은 딥러닝(Deep Learning) 혹은 샬로우 러닝(Shallow Learning) 기술을 사용하여 고박과 고박줄의 관계 상태를 판단하는 능력을 가지도록 고박 학습을 수행한다.

즉, 신경망 기계학습 모듈(20)은, 빈고박 영상 이미지(도 1b의 (a) 참조)를 입력받아 빈고박을 학습하고, 형상 학습 데이터 중에서 고박줄이 매인 고박 영상 이미지(도 1b의 (b) 참조)를 입력받아 매인 고박을 학습한다. 그리고, 신경망 기계학습 모듈(20)은 빈고박과 매인 고박 영상 데이터에 의해 생성된, 고박 학습정보를 학습하여 고박 객체를 획득함으로써, 학습된 신경망 인공지능으로 판단하는 프로그램으로 구현할 수 있다.

이 경우, 신경망 기계학습 모듈(20)은 예를 들면, CNN(Convolutional Neural Network), 부스팅(Boosting), 랜덤 포리스트(Random forest)와 같은 지도학습(Supervised Learning) 방법을 사용하거나 분류(clustering), ICA(Independent Component Analysis), PCA(Principle Component Analysis), SVD(Singular Value Decomposition)와 같은 자율학습(Unsupervised Learning) 방법을 사용하여 고박객체 학습을 진행할 수 있다.

보다 구체적으로 설명하면, 먼저, 신경망 기계학습 모듈(20)이 입력된 학습 형상 데이터를 딥러닝 혹은 샬로우 러닝의 기술 중 컨볼루션 레이어(Convolution Layer), ReLu 레이어, MaxPool 레이어 중 하나 이상을 반복적으로 적용하여 샘플링맵을 생성한다.

이어서, 신경망 기계학습 모듈(20)이 샘플링맵을 입력으로 딥러닝 혹은 샬로우 러닝의 기술 중 풀리 커넥티드 레이어(Fully connected Layer), 드롭아웃 레이어(Dropout Layer), Softmax 함수 중 하나 이상을 적용하여 빈고박/매어 있는 고박을 학습함으로써, 일반 고박에 범용으로 적용할 수 있는 학습된 신경망 인공지능 신경망 모델을 생성하여 축적한다. 이렇게 학습 복합 데이터 세트를 이용하여 신경망 기계학습을 통해 고박과 고박줄의 관계를 판단하는 기능을 가진 학습된 인공지능 신경망 모델을 생성한다.

도 3의 딥러닝 영상 인식 모듈(30)은, 고박 영상 입력부(10)로부터 제공되는 실시간 선박 고박 영상을 인공지능 신경망 모델에 적용하여, 항만 고박과 고박줄 영상정보를 이용한 선박 접안, 정박, 선박 이안 등의 영상객체 인식을 하는데 필요한 여러 상태, 즉, 빈고박 상태인지, 고박에 고박줄을 매기 시작하는 상태인지, 고박에 고박줄이 매여 유지하는 상태인지, 고박에 고박줄을 푸는 상태인지를 판단한다.

보다 구체적으로, 딥러닝 영상 인식 모듈(30)은, 고박에 고박줄을 거는 행위 인식, 선박과 고박 간에 팽팽해진 고박줄 인식, 정박 중인 선박의 식별번호(예를 들어, ID)를 인식한다.

딥러닝 영상 인식 모듈(30)은 도 3에 보인 바와 같이, 영상 전/후 처리부(31), 선박 식별번호 인식부(32), 개별 고박줄 고박여부 인식부(33), 매칭부(34)를 포함한다.

영상 전/후 처리부(31)는, 아주 선명한 영상이 입력되어 지나치게 민감하게 영상들을 비교했을 때 탐지오류가 발생할 수 있는데, 이를 방지하기 위하여 최초 입력된 영상을 희미하게 처리하는 전처리 기능을 수행한다. 즉, 영상 전/후 처리부(31)는, 주선된 선박의 선미에 적혀있는 IMO 번호와 선박명을 OCR 혹은 영상인식 방식의 문자인식을 처리하기 위하여, 확보된 영상에 대한 선명도를 떨어뜨리는 등 지나친 민감도를 줄여주는 전처리 기능을 수행한다.

또한, 영상 전/후 처리부(31)는, 인식된 고박줄에 대하여 인식된 선박 ID가 적절한가를 한번 더 논리적 타당성을 적용하여 고박줄이 매여진 상태임을 이중 체킹을 수행하여 탐지 오류를 걸러내는 후처리 기능을 수행한다.

딥러닝 영상 인식 모듈(30)의 선박 식별번호 인식부(32)는, 영상 전/후 처리된 선박 영상에서, 선박의 선미에 적혀있는 IMO 번호와 선박명을 OCR 혹은 영상인식 방식의 문자인식을 처리하여 선박ID 정보(선박 식별 정보)를 인식한다.

또한, 선박 식별번호 인식부(32)는, 영상 전/후 처리된 선박 영상에서 선박의 측면에 마련된 인식 마크에 의해 선박 식별 번호를 추출하고, 미리 저장된 접안 시설별 선박 사용 정보 테이블을 참조하여, 접안 시설로 입항하는 선박이 등록 선박 또는 미등록 선박인지 여부를 확인할 수 있다.

개별 고박줄 고박 여부 인식부(33)는 인공신경망 모델에 의해, 특정 선석에서 특정 고박에 매여지는 개별 고박줄이 각각 매여지는/풀어지는 과정을 인식한다.

딥러닝 영상 인식 모듈(30)의 매칭부(34)는, 고박줄에 의해 접안으로 인식되는 특정 고박과, 인식된 해당 선박과의 매칭을 통해서, 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성한다.

한편, 도 3의 접안/이안 관리 모듈(40)은, 안벽 선석에 접안하는 선박(200)에 대한 접안/이안 시간 관리 등을 수행한다. 보다 구체적으로, 접안/이안 관리 모듈(40)은 딥러닝 영상 인식 모듈(30)의 매칭부(34)가 매칭한 결과에 따라, 선박의 접안 또는 이안 상태를 인식하고, 선박의 접안/이안 시간을 관리한다.

또한, 도 3의 접안/이안 관리 모듈(40)은 딥러닝 영상 인식 모듈(30)로부터 제공된 선박-고박 매칭 정보와, 선박ID 정보를 이용하여 선박의 접안 시점 및 접안 종료(이안 시점)를 판단하여 주선 완료 시각 및 출항 완료 시각을 인식한다.

이러한, 접안/이안 관리 모듈(40)은 선박 접안/이안 시간 관리부(41), 선박 접안/이안 모니터링부(42), 선박 접안/이안 알림부(43)를 포함한다.

선박 접안/이안 시간 관리부(41)는 딥러닝 영상 인식부의 매칭부(34)에서 출력되는 선박 식별번호-고박 매칭 정보에 따라 고박줄을 매는 시점에서부터 푸는 시점까지의 시간을 계산한다.

선박접안/이안 모니터링부(42)는 선박접안/이안 시간 관리부(41)로부터 선박이 접안 또는 이안하는 순간 영상을 전달받아 저장한다.

선박 접안/이안 알림부(43)는 선박의 접안/이안 상태를 선박 운전자나 관리자에게 문자 혹은 화상으로 제공하기 위해, 선석의 고박과 고박줄의 연결 상태 변화에 따라 선박의 접안 또는 이안 상태를 소리, 빛 등으로 표시하거나 선박 운전자나 관리자에게 상태 정보를 전송한다.

선박 접안/이안 알림부(43)는 개별 고박줄 고박 여부 인식부(33)로부터 제공되는 실시간 고박 상태 정보를 기반으로 특정 고박에서 빈고박/고박줄이 매여지는 상태의 변화를 반영하는 알람, 메시지, GUI상의 색상변화, 다각 형상을 항만에 설치된 표시부를 통해 직접 제공하거나, 통신부를 통해 선박 주선시간 과금 시스템에 고박 상태 변화 정보를 전송하여 이용하도록 한다.

선박 접안/이안 알림부(43)에서 제공하는 고박 및 주선 상태변화 정보는 주선 관리장치에 설치된 스피커, 알림 전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용될 수 있다.

또한, 선박 접안/이안 알림부(43)에서 제공하는 고박 및 주선 상태변화 정보에 의해, 항만 터미널 관리자의 시스템이 빈고박/고박줄이 매여진 상태 및 하나의 선박에 관련된 고박줄들의 상태를 종합하여 주선여부를 판단하고 그 결과를 알림 정보로 사용할 수 있다.

상술한 구성에 의해, 본 발명은 학습된 신경망 인공지능 학습데이터 정보를 축적하고, 이 학습데이터를 이용하여 신경망 모델을 학습시키고, 이 학습된 신경망 모델을 기초로 특정 항만 안벽의 카메라를 통해 입력되는 실시간 영상 정보로부터 선박이 주선을 위해, 해당 선석에 접안을 시작한 접안 시점과, 선박이 주선을 종료하는 이안 시점을 판단할 수 있다.

한편, 도 3에는 도시하지 않았으나, 고박 영상 입력부(10)로터 입력되는 고박 영상을 학습하여 인공지능 모델을 생성하는 신경망 기계 학습 모듈(20), 딥러닝 영상 인식 모듈(30), 접안/이안 관리 모듈(40)은 각각 도시않은 제어부에 의한 제어에 의해 데이터를 서로 교환하는 것으로 구현될 수 있고, 각 모듈의 기능 수행 및 동작 처리시에 필요한 데이터 또는 기능 수행후에 생성되는 데이터 등은 해당 데이터베이스 또는 저장부에 저장하는 구성으로 구현될 수 있음은 물론이다.

도 5는 본 발명의 일실시예에 따른, 항만 고박 영상정보를 이용한 선박 주선 인식 방법의 순서도이다. 도 5에 보인 바와 같이, 고박 영상 입력부(10)로부터 선박의 고박/빈고박 상태 영상자료를 입력받는다. 구체적으로, 외부 소스로서 학습용 선박 영상 이미지 데이터를 입력받는다(S1).

신경망 기계 학습 모듈(20)이 입력된 선박의 고박/빈고박 영상 자료를 이용하여 고박의 형상과 고박줄이 매여있는 여부를 학습하여 고박줄 상태를 판단하는 학습된 인공지능 신경망 모델을 생성한다(S2).

딥러닝 영상 인식 모듈(30)의 선박 식별 번호 인식부(32)가 특정 선석에 매여지는 복수의 고박(고박줄)으로 이루어지는 고박줄 세트의 실시간 영상을 학습된 인공신경망 모델에 적용하여, 선박의 식별 번호를 인식하고, 개별 고박줄 고박여부 인식부(33)가 각 고박의 고박줄 세트의 개별 고박줄이 매여진 상태/풀려진 상태를 판단하고, 매칭부(34)가 각 고박줄 세트와 선박을 매칭하여 저장한다(S3).

개별 고박줄 고박여부 인식부(33)가 하나의 고박에 대한 고박줄 세트의 각 고박줄이 모두 고박 상태인지 판단한다(S4).

하나의 고박의 고박줄 세트가 모두 매여진 것으로 판단되면, 접안/이안 관리 모듈(40)이 각 고박의 최초 고박줄이 매여진 시각 및 마지막 고박줄의 풀어진 시간을 인식하고, 그에 기초하여 선박의 주선 시각을 판단한다(S5).

접안/이안 관리 모듈(40)이 각 고박의 주선 시각 정보를 통신부(70)를 통해 원격의 선박 주선시간 과금 시스템(3)에 전송한다(S6). 이때, 접안/이안 관리 모듈(40)이, 선박 접안/이안 모니터부(42)가 각 고박에서 고박줄 세트의 최초 고박줄이 매여진 시점 또는 고박줄 세트의 마지막 풀려진 시점을 모니터한 결과 데이터를 저장부에 저장할 수 있다.

도 6은 본 발명의 다른 실시예에 따른 항만 고박 영상정보를 이용한 선박 주선 인식 방법의 순서도이다. 도 6의 실시예는, 도 5의 실시예에 추가하여, 고박 영상 데이터의 애노테이션 처리에 의해 고박/고박줄의 연결 모습을 인식하기 위한 학습 형상 데이터를 생성하는 구성과, 학습을 위한 고박 영상 데이터에 환경 변화를 적용하여 복합 학습 데이터 세트를 생성하는 구성을 포함하는 것이다.

도 6에 보인 바와 같이, 먼저 고박 영상 입력부(10)로부터 외부 소스로서 학습용 선박의 고박/빈고박 상태의 영상 자료를 입력받는다(T1).

신경망 기계 학습 모듈(20)의 애노테이션 도구부(22)가 학습용 최초 이미지 데이터를 이용하여 수동/자동 애노테이션 처리로 고박/고박줄이 연결된 모습을 인식하기 위한 학습 형상 데이터를 형성하여 고박 영상 DB에 저장한다(T2). 그리고, 신경망 기계 학습 모듈(20)의 학습 데이터 증강 처리부(23)가 학습용 최초 선박 영상 이미지 데이터를 기초로 환경 변화가 적용된 복합 학습 데이터 세트를 형성하여 고박 영상 DB(13)에 저장한다(T3).

신경망 기계 학습 모듈(20)이 복합 학습 데이터 세트와 선박 영상 자료를 이용하여 고박의 형상과 고박줄이 매여있는 상태 또는 풀려 있는 상태를 학습하여 고박줄 상태를 판단하는 학습된 인공신경망 모델을 생성한다(T4).

딥러닝 영상 인식 모듈(30)이 학습된 인공지능 신경망 모델에 특정 선석의 고박과 고박줄 실시간 영상을 적용하여 해당 고박에 개별 고박줄의 연결 상태를 판단한다(T5).

딥러닝 영상 인식 모듈(30)의 고박/고박줄의 연결 상태 판단 결과에 기초하여, 접안/이안 관리 모듈(40)이 선박의 접안/이안을 인식하고, 접안/이안 시각을 원격의 선박 주선시간 과금 시스템(3)에 전송함과 아울러, 선박의 접안/이안 상태를 알리는 알림 정보를 항만에 설치된 표시부를 통해 표시하거나, 선박 운전자 및 관리자에게 전송한다(T5).

상술한 본 발명의 실시예에서, 촬영 장치와 선박 주선 인식 시스템간에 통신과, 선박 주선 인식 시스템과 선박 과금 시스템간의 통신은 도시않은 통신망을 통해 이루어진다. 통신망은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.

예를 들면, 통신망은 무선 데이터 통신망으로서, 무선주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.

또한, 데이터 보관소로 기능하는, 서버 컴퓨터(server computer)는 강력한 컴퓨터 또는 컴퓨터들의 클러스터를 포함할 수 있다. 예를 들면, 상기 서버 컴퓨터는 대규모 메인프레임, 미니컴퓨터, 또는 유닛으로서 기능하는 서버들의 그룹일 수 있다. 일 예에서, 상기 서버 컴퓨터는 웹 서버에 결합된 데이터베이스 서버일 수 있다. 그 서버 컴퓨터는 데이터베이스에 연결될 수 있을 것이며 그리고 하나 또는 그 이상의 클라이언트 컴퓨터들로부터의 요청들에 서비스하기 위한 하드웨어, 소프트웨어, 다른 로직, 또는 전술한 것들의 조합을 포함할 수 있을 것이다. 상기 서버 컴퓨터는 하나 또는 그 이상의 계산 장치들을 포함할 수 있을 것이며 그리고 하나 또는 그 이상의 클라이언트 컴퓨터들로부터의 요청들에 대한 서비스를 하기 위한 다양한 컴퓨팅 구조들, 배치들, 및 편집물들 중 어느 것이라도 사용할 수 있을 것이다.

상술한 본 발명에 따르면, 첫째, 항만 안벽의 선석, 즉, 한대의 선박을 주선하기 위해 필요한 2-4개의 고박으로 구성되는 소그룹마다 고박들이 빈고박인지 고박줄이 매여진 상태의 고박인지의 여부를 감지하는 단위 판단을 할 수 있으므로, 기존의 주선상태를 판단하기 위해 사람의 판단에 의존하는 방법의 부정확성을 컴퓨터 영상인식 방법으로 대체함으로써, 더욱 정확하고 객관적인 데이터를 기반으로 하는 접안/이안 시각 측정이 가능하다.

둘째, 기존 선박의 접안/이안 상태를 판단하기 위하여 사용하던 시스템 및 방법으로서 레이져빔을 쏘고 반사파를 받아서 거리측정 시스템 및 방식에 따른 설치비용, 관리비용, 안개, 비 등 날씨 상태에 따른 부정확성 및 탐지 오류 등의 환경적 번잡함을 일거에 해소할 수 있다.

상기는 본 발명의 예시로서, 한정적으로 해석되어야 하는 것은 아니다. 본 발명의 몇 가지 예시적인 실시 형태에 대해 설명했지만, 본 발명의 신규 교시 및 이점으로부터 현저하게 일탈하지 않고, 많은 변경이 예시적인 실시 형태에 있어서 가능한 것을 당업자라면 용이하게 이해할 것이다. 따라서 모든 그러한 변경은 특허청구의 범위에서 정의되는 본 발명의 범위 내에 포함되는 것이 의도된다. 따라서 상기가 본 발명의 예시이며, 공개된, 또는 본 명세서에 공개되는 발명에 있어서 특정의 실시 형태에 한정되는 것으로서 해석되어서는 안 되며, 개시된 실시 형태로의 변경 및 다른 실시 형태가 본 명세서에 개시되는 발명의 범위 내에 포함되는 것으로 이해해야 할 것이다.

1 : 선박 주선 인식 시스템 3 : 선박 주선시간 과금 시스템
10 : 고박 영상 입력부 11 : 촬영 장치
11a : 근적외선 카메라 11b : 통신부
11c : 저장부 11d : 전원공급부
11e : 제어부 12 : VMS
13 ： 고박 영상 DB 14 : 학습용 오픈 이미지 DB
20 : 신경망 기계 학습 모듈
21 : 빈고박/고박 상태 학습 데이터 수집부
22 : 애노테이션 도구부 23 : 학습 데이터 증강 처리부
24 : 고박/고박줄 신경망 기계 학습부
30 : 딥러닝 영상 인식 모듈 31 : 영상 전/후 처리부
32 : 선박 식별 번호 인식부 33 : 개별 고박줄 고박 여부 인식부
34 : 선박-고박 매칭부 40 : 접안/이안 관리부
41 : 선박 접안/이안 시간 관리부 42 : 선박 접안/이안 모니터부
43 : 고박 및 주선 상태 변화 알림부
50 : 저장부 60 : 통신부
70_1~70_n : 고박 71~74 : 고박줄
80_1~80_n: 선박

Claims (12)

1. 항만 고박 영상정보를 이용한 선박 주선 인식 시스템으로서,
   촬영 장치에 의해 촬영된 선박 및 고박의 촬영 영상과 미리 수집된 선박 및 고박 영상 데이터를 입력하는 고박 영상 입력부;
   상기 고박 영상 입력부로부터 입력되는 선박 및 고박 영상 데이터의 빈고박 상태 또는 매인 고박 상태를 학습하여 인공신경망 모델을 생성하는 신경망 기계 학습 모듈;
   상기 인공신경망 모델에 상기 촬영 장치로부터 실시간 입력되는 촬영 영상을 적용하여 선박 식별 번호와 각 고박에 선박을 고박하기 위한 적어도 하나의 고박줄이 매인 상태 또는 풀린 상태를 인식하는 딥러닝 영상 인식 모듈;
   상기 딥러닝 영상 인식 모듈의 판단 결과에 기초하여 선박의 고박 시작/완료를 판단하여 선박의 접안/이안 시간을 인식하고, 인식한 선박별 접안/이안 시간 정보를 원격의 선박 주선 과금 시스템에 전송하는 접안/이안 관리부를 포함하고,
   상기 딥러닝 영상 인식 모듈은,
   입력되는 영상의 선명도를 떨어뜨리는 전처리를 수행하고, 인식된 고박줄에 대하여 고박줄이 매여진 상태임을 이중 체킹을 수행하는 후처리를 수행하는 영상 전/후 처리부와, 신경망 기계 학습 모듈의 학습 결과에 의해, 영상 전/후 처리된 선박 영상에서, 선박의 측면에 적혀있는 선박 식별 번호와 선박명을 포함하는 선박 식별 정보를 인식하는 선박 식별번호 인식부와, 고박/고박줄의 고박 여부 상태를 판단하는 개별 고박줄 고박 여부 인식부와, 고박줄에 의해 접안으로 인식되는 특정 고박과 인식된 해당 선박과의 매칭을 통해서 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성하는 매칭부를 포함하고,
   상기 접안/이안 관리부는 상기 딥러닝 영상 인식 모듈로부터 제공된 선박 식별 번호-고박 매칭 정보와 선박 식별 번호를 이용하여 선박의 접안 시점 및 접안 종료를 판단하여 상기 접안/이안 시간을 인식하고,
   상기 개별 고박줄 고박 여부 인식부는, 하나의 선박이 안벽 선석에 접안할 때 필요한 다수의 고박줄로 구성되는 고박줄 세트에 대하여 각 개별 고박줄의 상태 판단 결과에 기초하여 하나의 선박의 접안여부를 최종 인식하고, 하나의 고박의 고박줄 세트가 모두 매여진 것으로 판단되면, 상기 접안/이안 관리 모듈이 각 고박의 최초 고박줄이 매여진 시각 및 마지막 고박줄의 풀어진 시간을 인식하고, 그에 기초하여 선박의 주선 시각을 판단하는 것을 특징으로 하는 것을 특징으로 하는 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
2. 제1항에 있어서,
   상기 고박 영상 입력부는,
   항만의 일정 거리 간격마다 설치된 지지대에, 다수의 선박을 촬영하도록 설치되는 카메라와 상기 카메라가 촬영한 영상을 무선전송하는 통신부로 구성되는 촬영 장치;
   빈고박/고박 상태 학습 자료가 저장되는 학습용 오픈이미지 데이터베이스와,
   상기 촬영 장치가 전송한 실시간 영상을 입력받아 저장하는 고박 영상 데이터베이스를 포함하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
3. 제2항에 있어서,
   상기 신경망 기계 학습 모듈이,
   빈고박/고박 상태 학습 데이터를 수집하는 학습 데이터 수집부와,
   상기 카메라로부터 촬영된 다수의 영상을 이용하여 기계학습을 이용하여 개별 고박별로 고박줄이 매여졌는지 여부를 학습하거나 판단하는 고박/고박줄 신경망 학습부를 포함하고,
   상기 기계학습은 딥 러닝(Deep Learning) 및 샬로우 러닝(Shallow learning) 중 적어도 하나를 포함하는 것을 특징으로 하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
4. 제3항에 있어서,
   상기 신경망 기계 학습 모듈은, 수집된 학습 데이터에 대해서 레이블링 혹은 애노테이션을 붙여, 빈고박과 고박줄이 매여있는 고박의 두가지 형태로 학습 형상 데이터를 생성하는 애노테이션 도구부를 더 포함하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
5. 제4항에 있어서,
   상기 신경망 기계 학습 모듈은,
   상기 고박 영상 입력부로부터 입력되는 영상 데이터와 또는 상기 학습 형상 데이터에 대해 날씨변화, 주변물체변화, 시간에 기초한 색상, 음영변화를 포함한 환경변화를 모델화하여 학습 복합 데이터 세트를 생성하는 학습 데이터 증강 처리부를 더 포함하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
6. 제1항에 있어서,
   상기 접안/이안 관리부는 상기 딥러닝 영상 인식 모듈의 고박 상태 판단결과에 의해 주선 완료 시각 및 출항 완료 시각을 인식하는 주선완료시각 및 출항완료 시각 인식부, 선박 접안/이안 시간 관리부, 선박/접안 이안 모니터링부를 포함하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
7. 제6항에 있어서,
   상기 선박 접안/이안 시간 관리부는 상기 딥러닝 영상 인식부의 매칭부에서 출력되는 선박 식별번호-고박 매칭 정보에 따라 고박줄을 매는 시점에서부터 푸는 시점까지의 시간을 계산하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
8. 제1항에 있어서,
   상기 개별 고박줄 고박 여부 인식부가 각 고박의 고박줄 세트의 개별 고박줄이 매여진 상태/풀려진 상태를 판단하고, 상기 매칭부가 각 고박줄세트와 선박을 매칭하여 저장하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 시스템.
9. 항만 고박 영상정보를 이용한 선박 주선 인식 방법으로서,
   고박 영상 입력부가 촬영 장치에 의해 촬영된 선박 및 고박의 촬영 영상과 미리 수집된 선박 및 고박 영상 데이터를 입력받는 제1단계,
   신경망 기계 학습 모듈이 상기 고박 영상 입력부로부터 입력되는 선박 및 고박 영상 데이터의 빈고박 상태 또는 매인 고박 상태를 학습하여 인공신경망 모델을 생성하는 제2단계,
   딥러닝 영상 인식 모듈이 상기 인공신경망 모델에 상기 촬영 장치로부터 실시간 입력되는 촬영 영상을 적용하여 선박 식별 번호와 각 고박에 선박을 고박하기 위한 적어도 하나의 고박줄이 매인 상태 또는 풀린 상태를 인식하여 실시간 고박 상태 정보를 형성하는 제3단계,
   접안/이안 관리부가 상기 딥러닝 영상 인식 모듈의 실시간 고박 상태 정보에 기초하여 선박의 고박 시작/완료를 판단하여 선박의 접안/이안 시간을 인식하고, 인식한 선박별 접안/이안 시간 정보를 원격의 선박 주선 과금 시스템에 전송하는 제4단계를 포함하고,
   상기 제3단계에서, 상기 딥러닝 영상 인식 모듈이 선박 영상에 대해, 입력되는 영상의 선명도를 떨어뜨리는 전처리를 수행하고, 인식된 고박줄에 대하여 고박줄이 매여진 상태임을 이중 체킹을 수행하는 후처리를 수행하는 영상 전/후 처리를 한 후, 상기 인공신경망 모델로 학습하여, 선박의 측면에 적혀있는 선박 식별 번호와 선박명을 포함하는 선박 식별 정보를 인식하고, 고박줄에 의해 접안으로 인식되는 특정 고박과 인식된 해당 선박과의 매칭을 통해서 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성하고,
   상기 제4단계는, 상기 접안/이안 관리부가 상기 딥러닝 영상 인식 모듈로부터 제공된 선박 식별 번호-고박 매칭 정보와 선박 식별 번호를 이용하여 선박의 접안 시점 및 접안 종료를 판단하여 접안/이안 시간을 인식하고, 하나의 선박이 안벽 선석에 접안할 때 필요한 다수의 고박줄로 구성되는 고박줄 세트에 대하여 각 개별 고박줄의 상태 판단 결과에 기초하여 하나의 선박의 접안여부를 최종 인식하고, 하나의 고박의 고박줄 세트가 모두 매여진 것으로 판단되면, 각 고박의 최초 고박줄이 매여진 시각 및 마지막 고박줄의 풀어진 시간을 인식하고, 그에 기초하여 선박의 주선 시각을 판단하는 것을 특징으로 하는, 항만 고박 영상정보를 이용한 선박 주선 인식 방법.
10. 제9항에 있어서,
    상기 제3단계는,
    상기 신경망 기계 학습 모듈의 학습 결과에 의해, 고박 촬영 영상에서 선박의 식별번호를 추출하는 선박 식별번호 인식 단계와, 고박/고박줄의 상태를 판단하는 고박줄 고박 여부를 인식하는 단계와, 고박줄에 의해 접안으로 인식되는 특정 고박과 인식된 해당 선박과의 매칭을 통해서 특정 선박이 특정 고박에 고박된 것을 결정하여 선박 식별번호-고박 매칭 정보를 형성하는 단계를 포함하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 방법.
11. 제9항에 있어서,
    상기 제2단계는,
    상기 신경망 기계 학습 모듈이 빈고박/고박 상태 학습 데이터를 수집하는 단계와,
    수집된 학습 데이터에 대해서 레이블링 혹은 애노테이션을 붙여, 빈고박과 고박줄이 매여있는 고박의 두가지 형태로 학습 형상 데이터를 생성하는 단계와,
    상기 학습 형상 데이터에, 날씨변화, 주변물체 변화, 시간기반 색상 및 음영 변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 학습 데이터를 증강시키는 단계를 포함하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 방법.
12. 제9항에 있어서,
    상기 제3단계는, 상기 딥러닝 영상 인식 모듈이 각 고박의 고박줄 세트의 개별 고박줄이 매여진 상태/풀려진 상태를 판단하고, 각 고박줄세트와 선박을 매칭하여 저장하는 것인, 항만 고박 영상정보를 이용한 선박 주선 인식 방법.

Images