KR20150075505A

KR20150075505A - 영상 기반 선박 주변 타선정보 제공장치 및 그 방법

Info

Publication number: KR20150075505A
Application number: KR1020130163539A
Authority: KR
Inventors: 박정호; 장병태; 임동선
Original assignee: 한국전자통신연구원
Priority date: 2013-12-26
Filing date: 2013-12-26
Publication date: 2015-07-06

Abstract

촬영된 영상에서 검출된 타선의 정보를 자동으로 제공하는 장치 및 그 방법이 개시된다. 이를 위한, 본 발명의 일 면에 따른 영상 기반 선박 주변 타선정보 제공방법은 선박에 장착된 영상촬영 장치에서 획득한 영상에서 주변 선박을 검출하는 단계; 검출된 주변 선박의 형상정보 및 특징정보를 추출하는 단계; 상기 형상정보 또는 상기 특징정보를 이용하여 상기 선박과 검출된 주변 선박 사이의 거리 정보, 검출된 주변 선박의 속도 정보, 및 방향 정보 중 적어도 하나를 포함하는 주변상황 정보를 추정하는 단계; 및 상기 주변상황 정보를 이용하여 상기 선박의 위험상황 여부를 추론하는 단계를 포함한다.

Description

영상 기반 선박 주변 타선정보 제공장치 및 그 방법{APPARATUS AND METHOD FOR PROVIDING OTHER SHIP INFORMATION BASED ON IMAGE}

본 발명은 선박 주변의 타선정보를 제공하는 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 촬영된 영상에서 검출된 타선의 정보를 자동으로 제공하는 장치 및 그 방법에 관한 것이다.

어선과 같은 소형 선박은 안전한 운항을 위한 장비가 미흡하거나 관련 장비를 장착하지 못하는 경우가 많아 타 선박(타선)과의 충돌과 같은 선박 사고의 위험을 안고 있다. 또한 이들 선박은 자기 선박(자선)의 위치 노출을 꺼려하기 때문에 안전운항 관리를 위한 정부차원의 장비 장착에도 매우 소극적으로 대응하는 상황이다.

타선의 정보를 제공받기 위해서는 AIS, Radar 등 전자적 장치에 의거해야 하지만, 소형선박에서 운용하기에는 자선의 정보노출이나 고가의 장비 장착 부담 때문에 현실적으로 실행하기 어렵다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 일반 카메라에서 촬영된 영상을 분석하여 선박 주변의 타선을 검출하고, 검출된 타선과의 거리정보, 타선의 속도 정보, 방향 정보 등을 제공하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 영상 기반 선박 주변 타선정보 제공방법은 선박에 장착된 영상촬영 장치에서 획득한 영상에서 주변 선박을 검출하는 단계; 검출된 주변 선박의 형상정보 및 특징정보를 추출하는 단계; 상기 형상정보 또는 상기 특징정보를 이용하여 상기 선박과 검출된 주변 선박 사이의 거리 정보, 검출된 주변 선박의 속도 정보, 및 방향 정보 중 적어도 하나를 포함하는 주변상황 정보를 추정하는 단계; 및 상기 주변상황 정보를 이용하여 상기 선박의 위험상황 여부를 추론하는 단계를 포함한다.

이상 상술한 바와 같은 본 발명에 따르면, 기본적인 항해장비가 열악하고 자신의 위치 노출을 꺼리는 소형선박의 안전운항을 지원하기 위하여 선박에 장착된 비디오 카메라를 주변 선박을 검출하여 해당 선박과의 거리 및 이동방향을 시각적으로 제공함으로써, 보다 안전한 운항을 지원할 수 있다.

도 1은 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치 및 그 방법이 적용되는 환경을 도시한 도면.
도 2는 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치의 블록 구성도.
도 3은 본 발명에 따른 영상 기반 선박 주변 타선정보 제공방법의 흐름도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치 및 그 방법이 적용되는 환경을 도시한 도면이다.

도 1을 참조하면, 운행중인 선박(S)에는 영상촬영 장치가 구비되어 있으며, 본 발명에 따른 장치는 영상촬영 장치에서 획득한 주변 영상에서 객체 검출 알고리즘을 이용하여 타선(他船)을 검출한다. 예컨대, 도 1에 도시된 바와 같이 제1 타선(S1), 제2 타선(S2), 및 제3 타선(S3)이 촬영된 영상(혹은, 동영상)에서 검출될 수 있으며, 본 발명에 따른 장치는 검출된 타선에서 거리정보(D1, D2, D3)를 포함하는 주변상황 정보를 추정한다.

여기서, 주변상황 정보는 선박(S)과 타선(S1,S2,S3) 사이의 거리 정보, 타선(S1,S2,S3)의 속도 및 방향각(Heading Angle) 정보 등을 포함할 수 있다.

여기서, 영상촬영 장치는 선박의 흔들림이나 상하운동에 대해 항상 일정한 방향과 각도를 유지할 수 있는 기능을 가지는 것이 바람직하다. 또한, 영상촬영 장치의 촬영 영역은 선박 관리자가 결정할 수 있으며, 필요한 경우 360° 회전이 가능하도록 설치될 수 있다.

본 발명에 따른 장치는 주변상황 정보 및 선박(S)의 운행정보를 이용하여, 선박(S)에 대한 위험 상황정보를 추론한다. 예컨대, 운행정보 및 주변상황 정보에 의해 선박(S)과 타선(S1,S2,S3) 간의 충돌 발생 정보 등이 추론될 수 있다. 본 발명에 따른 장치는 추론된 위험 상황정보를 선박(S)에 구비된 표시장치에 표시하거나, 또는 선박(S)에 탑승한 선원의 사용자 단말에 표시할 수 있다.

이하, 도 2를 참조하여 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치의 구성을 살펴본다. 도 2는 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치의 블록 구성도이다.

도 2를 참조하면, 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치는 영상 처리부(100)와, 영상 인식부(200), 주변상황 정보 제공부(300)를 포함한다.

영상 처리부(100)는 선박에 구비된 영상촬영 장치에서 획득한 영상에서 선박 주변에 위치한 타선을 검출하는 것으로서, 영상 입력부(110), 전처리부(120), 선박 검출부(130)를 포함한다.

영상 입력부(110)는 영상촬영 장치에서 획득한 영상을 입력 받아 전처리부(120)로 전달한다. 여기서, 입력되는 영상은 어느 일 시점에 촬영된 영상일 수 있고, 혹은 복수의 시점에 촬영된 영상 시퀀스일 수도 있다.

전처리부(120)는 영상 입력부(110)에서 전달된 선박 주변의 영상에서 특정 객체를 검출할 수 있도록 영상을 최적의 상태로 변환한다. 예컨대, 전처리부(120)는 안개가 끼인 영상일 경우, 공지된 안개 제거 알고리즘을 이용하여 안개가 제거된 전처리 영상으로 변환할 수 있다.

구체적으로 설명하면, 전처리부(120)는 입력 영상에 대하여 노이즈 감소, 화소 결점 제거 등의 전처리를 수행하며 대비도 개선을 수행하도록 지원할 수 있다. 예컨대, 영상 입력부(110)가 수집하는 영상은 채광 변화에 따라 상이한 영상으로 분류될 수 있는데, 전처리부(120)는 분광 보정을 수행함으로써 채광 변화에 관계 없이 동일한 영상으로 분석될 수 있도록 지원할 수 있다.

선박 검출부(130)는 전처리된 입력 영상에서 정적 또는 동적인 객체를 검출한다. 예컨대, 선박 검출부(130)는 객체 검출 알고리즘을 이용하여 정박하거나, 이동 중인 선박을 검출하여 선박 전체를 감쌀 수 있는 관심 영역의 사각형의 좌표를 영상 인식부(200)로 전달한다.

영상 인식부(200)는 선박 검출부(130)에서 전달된 관심 영역 좌표를 이용하여, 해당 좌표 영역에 있는 영상의 특징을 추출하고, 이를 이용하여 주변 상황정보를 추정하는 것으로서, 특징 추출부(210)와, 주변 상황정보 추정부(220)를 포함한다.

특징 추출부(210)는 관심 영역 좌표를 이용하여 해당 좌표 영역에 있는 영상의 특징을 추출하고, 추출된 특징을 선박정보 데이터베이스와 비교하여, 검출된 선박이 어떤 종류의 선박인지를 인식한다.

또한, 특징 추출부(210)는 검출된 타선(他船) 영상(관심영역 영상)으로부터 에지 검출을 통해 가장 긴 가로 방향의 에지 상에서 처음과 마지막 점을 우선적으로 선정하여 특징점을 저장한다.

주변 상황정보 추정부(220)는 특징 추출부(210)에서 생성된 특징 정보와, 자선 정보를 기반으로 연속적으로 입력된 영상에서 자선과 타선 사이의 거리, 타선의 속도, 및 타선의 이동 방향 등에 관한 주변 상황정보를 추정한다.

여기서, 자선 정보는 선박의 운행정보를 포함하는 것으로서 카메라, GPS, 레이더, 자이로 콤파스(Gyrocompass), 스피드 로그(Speed Log) 등의 측정 센서에서 획득한 현재 선박의 위치, 진행 속도, 진행 방향 등과 같은 선박의 실제 운항 환경과 관련된 정보를 포함한다. 한편, 선박에 따라 구비된 센서의 종류와 개수는 다양할 수 있다.

예컨대, 주변 상황정보 추정부(220)는 카메라의 초점거리와, 특징 추출부(210)에서 획득한 가장 긴 가로 방향의 에지 상에서 처음과 마지막 특징점 간의 거리를 이용하여 해당 선박까지의 거리를 추정할 수 있다.

한편, 타선의 이동 방향은 자선의 속도와 이동방향에 따라 결정되는데, 자선의 속도가 0일 경우, 연속적인 입력 영상에서 검출된 타선의 위치 및 형태를 통해 이동 방향은 추정될 수 있다. 예컨대, 타선 영상에서 일정한 크기의 서브 영상 A를 검출하고, 연속된 타선 영상에서 A에 해당하는 영역을 검색하는 영상 매칭 방식을 이용하여 타선의 이동 방향이 추정된다.

다른 한편으로, 타선의 속도는 주어진 시간 동안의 타선의 이동거리, 즉 영상 화소의 개수로부터 추정될 수 있다.

그리고, 주변 상황정보 추정부(220)는 입력된 영상에서 검출된 모든 타선에 대해 전술한 검출 및 인식 과정을 반복적으로 수행하여 모든 타선에 대한 정보를 주변상황 정보 제공부(300)로 전달한다.

주변상황 정보 제공부(300)는 전달된 자선과 타선 간의 거리, 타선의 속도 및 이동 방향에 관한 정보를 영상 표시 장치 등에 표시한다.

예컨대, 영상 표시 장치는 현재 선박 조종실에 위치한 관제 모니터를 그대로 사용해도 되지만 관제의 편의성과 효율성을 위해 대형 모니터를 사용하는 것이 바람직하다.

이상으로, 본 발명의 일 면에 따른 영상 기반 선박 주변 타선정보 제공장치를 설명하였고, 이하에서는 도 3을 참조하여 본 발명에 따른 영상 기반 선박 주변 타선정보 제공장치에서 수행하는 방법에 대해서 설명한다.

도 3은 본 발명에 따른 영상 기반 선박 주변 타선정보 제공방법의 흐름도이다.

S10 단계에서, 선박에 구비된 영상촬영 장치에서 획득한 영상이 입력된다.

S20 단계에서, 영상 처리부(100)는 선박 주변의 영상에서 특정 객체를 검출할 수 있도록 영상을 최적의 상태로 변환한다. 예컨대, 영상 처리부(100)는 안개가 끼인 영상일 경우, 공지된 안개 제거 알고리즘을 이용하여 안개가 제거된 전처리 영상으로 변환할 수 있다.

S30 단계에서, 영상 처리부(100)는 전처리된 영상에서 정적 또는 동적인 객체를 검출한다. 예컨대, 영상 처리부(100)는 객체 검출 알고리즘을 이용하여 정박하거나, 이동 중인 선박을 검출하여 선박 전체를 감쌀 수 있는 관심 영역의 사각형의 좌표를 영상 인식부(200)로 전달한다.

S40 단계에서, 영상 인식부(200)는 검출된 관심 영역에 있는 영상의 특징을 추출한다.

이후, S50 단계에서, 영상 인식부(200)는 추출된 특징을 선박정보 데이터베이스와 비교하여, 검출된 선박이 어떤 종류의 선박인지를 인식한다. 이 때, 영상 인식부(200)는 검출된 타선(他船) 영상(관심영역 영상)으로부터 에지 검출을 통해 가장 긴 가로 방향의 에지 상에서 처음과 마지막 점을 우선적으로 선정하여 특징점을 저장한다.

S60 단계에서, 영상 인식부(200)는 특징 정보와, 자선 정보를 기반으로 연속적으로 입력된 영상에서 자선과 타선 사이의 거리, 타선의 속도, 및 타선의 이동 방향 등에 관한 주변 상황정보를 추정하고, 추정된 정보들을 주변상황 정보 제공부(300)로 전달한다.

S70 단계에서, 주변상황 정보 제공부(300)는 전달된 자선과 타선 간의 거리, 타선의 속도 및 이동 방향에 관한 정보를 영상 표시 장치 등에 표시한다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

선박에 장착된 영상촬영 장치에서 획득한 영상에서 주변 선박을 검출하는 단계;
검출된 주변 선박의 형상정보 및 특징정보를 추출하는 단계;
상기 형상정보 또는 상기 특징정보를 이용하여 상기 선박과 검출된 주변 선박 사이의 거리 정보, 검출된 주변 선박의 속도 정보, 및 방향 정보 중 적어도 하나를 포함하는 주변상황 정보를 추정하는 단계; 및
상기 주변상황 정보를 이용하여 상기 선박의 위험상황 여부를 추론하는 단계
를 포함하는 영상 기반 선박 주변 타선정보 제공방법.