KR102069694B1 - 영상 분할 기반의 해양 상황 인식 장치 및 그 방법 - Google Patents

영상 분할 기반의 해양 상황 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR102069694B1
KR102069694B1 KR1020170156670A KR20170156670A KR102069694B1 KR 102069694 B1 KR102069694 B1 KR 102069694B1 KR 1020170156670 A KR1020170156670 A KR 1020170156670A KR 20170156670 A KR20170156670 A KR 20170156670A KR 102069694 B1 KR102069694 B1 KR 102069694B1
Authority
KR
South Korea
Prior art keywords
image
information
horizontal line
region
detector
Prior art date
Application number
KR1020170156670A
Other languages
English (en)
Other versions
KR20190059083A (ko
Inventor
정치윤
문경덕
박윤경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170156670A priority Critical patent/KR102069694B1/ko
Publication of KR20190059083A publication Critical patent/KR20190059083A/ko
Application granted granted Critical
Publication of KR102069694B1 publication Critical patent/KR102069694B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

본 발명은 항행 중인 선박 또는 지상에서 관제를 위하여 설치된 카메라의 영상을 자동으로 분석하여 영상에 존재하는 수평선 및 객체 정보를 영상 분할 방법을 사용하여 정확하고 효과적으로 인식할 수 있도록 한 영상 분할 기반의 해양 상황 인식 장치 및 그 방법에 한 것으로서, 상기 장치는, 카메라로부터 제공되는 영상을 분석 가능한 데이터 형태로 변환하는 영상 수집부; 상기 영상 수집부에서 제공되는 입력 영상 데이터에 영상 분할 방법을 적용하여 영상을 미리 정의된 범주로 분류하는 영상 분할부; 상기 영상 분할부로부터 제공되는 영역 분할 영상으로부터 해양 영역의 바다 경계선을 검출한 후, 검출된 바다 경계선을 이용하여 수평선을 검출하여 수평선의 위치 및 기울기 정보를 생성하는 수평선 검출부; 상기 영상 분할부에서 분류된 영역 분할 영상으로부터 먼저 관심 객체 영역을 추출하고, 추출된 관심 객체 영역으로부터 객체를 추출 및 분류하여 객체별 위치, 종류 및 거리 정보를 생성하는 객체 검출부; 및 상기 수평선 검출부로부터 생성된 수평선 위치 및 기울기, 객체 검출부에서 생성된 객체별 위치, 종류 및 거리 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 상황 정보 표출부를 포함한다.

Description

영상 분할 기반의 해양 상황 인식 장치 및 그 방법{Apparatus and method for recognition marine situation based image division}
본 발명은 영상 분할 기반의 해양 상황 인식 장치 및 그 방법에 관한 것으로서, 특히 항행 중인 선박 또는 지상에서 관제를 위하여 설치된 카메라의 영상을 자동으로 분석하여 영상에 존재하는 수평선 및 객체 정보를 효과적으로 검출하여 해양 상황을 용이하게 인식할 수 있도록 한 영상 분할 기반의 해양 상환 인식 장치 및 그 방법에 관한 것이다.
최근 사람의 개입 없이 스스로 운행할 수 있는 자율운항 선박에 대한 관심이 증가하면서 선박의 주변 상황 정보를 자동으로 분석할 수 있는 기술에 대한 필요성이 증가하고 있다.
현재 레이더를 이용한 상황 정보 분석 기술이 가장 많이 사용되고 있지만, 레이더의 경우 물체의 크기 및 재질 등의 영향을 많이 받기 때문에 레이더 시스템을 보완할 수 있는 방법이 필요하다.
EO(Electro-optic) 센서는 센서로부터 생성된 정보를 사용자가 직관적으로 이해할 수 있고, 영상 처리 및 컴퓨터 비전 기술을 사용하여 자동으로 분석할 수 있기 때문에 레이더 시스템의 보완 수단으로 각광 받고 있다.
EO센서를 사용한 해양 객체 인식 방법은 일반적으로 수평선 검출, 수평선 정보 기반 영상 정합, 배경 모델링을 통한 전경 객체 검출, 객체 인식 등의 4단계 파이프라인 구조를 가지고 있다.
이 중 수평선 검출 단계는 해양 객체 인식을 위한 첫 번째 단계로써 이후 영상 정합, 객체 검출 단계 등의 성능에 영향을 미치기 때문에 해양 상황을 효과적으로 인식하기 위해서는 수평선을 정확하게 검출하는 방법이 필요하다.
EO센서 기반의 수평선 검출은 입력 영상에서 에지(Edge)를 검출한 후 허프 변환(Hough transform), 라돈 변환(Radon transform) 등의 프로젝션을 통하여 수평선을 검출하는 방법, 영상에서 수직 방향으로 에지 성분을 분석하여 수평선을 검출하는 방법, 바다 및 하늘 영역의 통계적 특성을 모델링하여 분석하는 방법 등이 주로 사용되었다.
또한 최근에는 세 가지 방법의 장점을 조합한 방법들이 제안되고 있다. 그러나, 이러한 종래의 방법들은 영상에서 검출된 에지 정보에 의존하기 때문에 에지 정보가 부정확할 경우 수평선 검출 성능이 저하되는 문제점이 있다.
이를 위하여 다중 스케일 기반의 에지 검출을 사용하는 방법들도 제안되었지만, 바다와 하늘의 경계가 부드럽게 변하여 에지가 검출되지 않거나, 선박, 파도, 바다 색의 변화 등으로 인하여 수평선보다 우세한 에지 성분이 존재하는 경우 수평선 검출의 정확도가 낮아지는 문제점이 있다.
EO센서 기반의 객체 검출은 연속되는 영상에서의 픽셀 정보의 변화를 모델링하여 전경 객체 영역을 찾는 배경 모델링 방법을 기반으로 많이 수행된다. 그러나, 해양 영상의 경우 파도나 물결 등으로 인하여 동일 위치에서의 색상 변화가 많이 발생하고, 카메라가 설치된 선박의 움직임과 영상에 존재하는 객체의 움직임이 동시에 발생하기 때문에 배경 모델링으로 객체를 검출하기에는 한계가 있다.
한편, 영상 분할은 영상에 존재하는 서로 다른 영역들을 구분하는 기술로써, 기존에는 영상 이진화와 연결요소 라벨링(Connected Component Labeling) 방법이 많이 사용되었다. 하지만 최근 영상 분석 분야에서 딥러닝 기술이 발전하면서 딥러닝을 이용한 영상 분할 방법들이 많이 제안되고 있으며, 기존의 방법들이 가진 성능의 한계를 뛰어넘는 좋은 성능을 보여주고 있다.
따라서, 본 발명의 목적은, 항행 중인 선박 또는 지상에서 관제를 위하여 설치된 카메라의 영상을 자동으로 분석하여 영상에 존재하는 수평선 및 객체 정보를 영상 분할 방법을 사용하여 정확하고 효과적으로 인식할 수 있도록 한 영상 분할 기반의 해양 상황 인식 장치 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 분할 기반의 해양 상황 인식 장치는, 카메라로부터 제공되는 영상을 분석 가능한 데이터 형태로 변환하는 영상 수집부; 상기 영상 수집부에서 제공되는 입력 영상 데이터에 영상 분할 방법을 적용하여 영상을 미리 정의된 범주로 분류하는 영상 분할부; 상기 영상 분할부로부터 제공되는 영역 분할 영상으로부터 수평선 정보를 검출하는 수평선 검출부; 상기 영상 분할부에서 분류된 영역 분할 영상으로부터 관심 객체 영역을 추출하고, 추출된 관심 객체 영역으로부터 객체를 추출하여 객체 정보를 생성하는 객체 검출부; 및 상기 수평선 검출부로부터 검출된 수평선 정보와 상기 객체 검출부에서 검출된 객체 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 상황 정보 표출부를 포함할 수 있다.
상기 수평선 검출부는, 상기 영상 분할부로부터 제공되는 영역 분할 영상으로부터 해양 영역의 바다 경계선을 검출한 후, 검출된 바다 경계선을 이용하여 수평선을 검출하여 수평선의 위치 및 기울기 정보를 포함하는 수평선 정보를 생성한다.
상기 객체 검출부는, 상기 추출된 객체를 분류하여 분류된 각 객체 별 위치, 종류 및 거리 정보를 생성하여 상기 상황 정보 표출부로 제공한다.
상기 상황 정보 표출부는, 상기 수평선 검출부를 통해 생성된 수평선 위치 및 기울기와, 상기 객체 검출부에서 생성된 객체 별 위치, 종류 및 거리 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이한다.
상기 영상 분할부는, 상기 영상 수집부에서 제공되는 입력 영상에 대하여 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 입력 영상에 존재하는 영역을 미리 정의된 범주로 픽셀 수준에서 구분하는 것이고, 상기 미미 정의된 범주는 바다, 하늘, 배, 부표, 등대와 같은 해양 영상에서 존재하는 다양한 객체를 포함한다.
한편, 본 발명의 다른 측면에 따른 영상 분할 기반의 해양 상황 인식 방법은, 카메라로부터 제공되는 영상을 분석 가능한 데이터 형태로 변환하는 단계; 상기 변환된 입력 영상 데이터에 영상 분할 방법을 적용하여 영상을 미리 정의된 범주로 분류하는 단계; 상기 영역 분할 영상으로부터 수평선 정보를 검출하는 단계; 상기 분류된 영역 분할 영상으로부터 관심 객체 영역을 추출하고, 추출된 관심 객체 영역으로부터 객체를 추출하여 객체 정보를 생성하는 단계; 및 상기 검출된 수평선 정보와 상기 검출된 객체 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 단계를 포함할 수 있다.
상기 수평선 정보를 검출하는 단계는, 상기 영역 분할 영상으로부터 해양 영역의 바다 경계선을 검출하는 단계; 상기 검출된 바다 경계선을 이용하여 수평선을 검출하여 수평선의 위치 및 기울기 정보를 포함하는 수평선 정보를 생성하는 단계를 포함한다.
상기 객체 정보를 생성하는 단계는, 상기 추출된 객체를 분류하여 분류된 각 객체 별 위치, 종류 및 거리 정보를 생성한다.
상기 디스플레이하는 단계는, 상기 생성된 수평선 위치 및 기울기와, 상기 생성된 객체 별 위치, 종류 및 거리 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이한다.
상기 영상을 미리 정의된 범주로 분류하는 단계는, 상기 입력 영상에 대하여 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 입력 영상에 존재하는 영역을 미리 정의된 범주로 픽셀 수준에서 구분하고, 상기 미미 정의된 범주는 바다, 하늘, 배, 부표, 등대와 같은 해양 영상에서 존재하는 다양한 객체를 포함한다.
본 발명의 영상 분할 기반의 해양 상황 인식 장치 및 그 방법에 따르면, 다음과 같은 효과를 가질 수 있다.
첫 째, 지금까지의 해양에서 상황 인식 방법은 수평선 검출, 수평선 정보 기반 영상 정합, 배경 모델링을 통한 전경 객체 검출, 객체 인식 등의 4단계 파이프라인으로 구성되어 순차적으로 실행되며, 이전 단계의 오차가 계속 누적되는 구조를 가지고 있었다. 그러나, 본 발명에 따르면, 영역 분할 영상으로부터 수평선 검출 및 객체 인식을 병렬적으로 수행함으로써 서로 영향을 주지 않아 오차가 누적되지 않고, 상황 인식 방법의 처리 시간을 향상 시킬 수 있는 장점이 있다.
둘 째, 기존의 수평선 검출 방법은 에지 정보를 주로 사용하였기 때문에 바다와 하늘의 경계가 부드럽게 변하여 에지가 검출되지 않거나, 다양한 객체가 존재하는 복잡한 해양 영상에서는 수평선 검출의 정확도가 낮아지는 문제점이 있었다. 그러나, 본 발명의 경우 영상 분할 방법을 사용하여 바다 영역을 정확하게 검출하고, 경계선을 분석하여 수평선을 검출하기 때문에 수평선 검출의 정확도를 획기적으로 개선할 수 있는 이점이 있다.
셋 째, 기존의 해양 환경에서의 객체 검출 방법들은 순차적으로 입력되는 영상 정보를 누적시켜 관심 객체를 추출하는 배경모델링 방법들을 많이 사용했지만, 배경 영역에 해당되는 바다의 특성 변화가 심하여 전경 영역으로 잘못 검출하는 경우가 빈번하게 발생하였다. 그러나, 본 발명의 경우 단일 영상에서 관심 객체를 추출하며 미리 학습된 범주 정보를 사용하기 때문에 바다의 특성 변화를 완화시켜 정확하게 객체를 검출할 수 있는 장점이 있다.
넷 째, 영상 분석을 통하여 인지된 해양 상황정보를 입력 영상에 다양한 형태로 증강시켜 표출함으로써 사용자가 보다 직관적으로 해양 상황정보를 인식 할 수 있다는 장점이 있다.
도 1은 본 발명에 따른 영상 분할 기반으로 해양 상황 인식 장치에 대한 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 영상 분할부에서 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 입력 영상을 미리 정의된 범주로 분류한 영역을 분할하는 과정을 설명하기 위한 도면.
도 3은 도 2에서 분류된 영역 분할 영상으로부터 도 1에 도시된 수평선 검출부에서 수평선을 검출하는 과정을 설명하기 위한 도면.
도 4는 도 2에서 분류된 영역 분할 영상으로부터 도 1에 도시된 객체 검출부에서 객체를 탐지하는 과정을 설명하기 위한 도면.
도 5는 도 1에 도시된 상황 분석 표출부에 디스플레이되는 분석된 해양상황 정보를 표출화면의 일 예를 나타낸 도면.
도 6은 본 발명에 따른 영상 분할 기반의 해양 상황 인식 방법에 대한 동작 플로우챠트를 나타낸 도면.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 1은 본 발명에 따른 영상 분할 기반의 해양 상황 인식 장치에 대한 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 영상 분할 기반의 해양 상황 인식 장치는, 영상 수집부(100), 영상 분할부(200), 수평선 검출부(300), 객체 검출부(400) 및 상황정보 표출부(500)를 포함할 수 있다.
영상 수집부(100)는 EO 센서로부터 영상을 수신하여 분석 가능한 데이터 형태로 변환하여 영상 분할부(200)로 제공한다.
영상 분할부(200)는 상기 영상 수집부(100)에서 제공되는 입력 영상 데이터에 영상 분할 방법을 적용하여 영상을 미리 정의된 범주로 분류한 후, 분류된 영역 분할 영상을 수평선 검출부(300) 및 객체 검출부(400)로 각각 제공한다.
수평선 검출부(300)는 상기 영상 분할부(200)로부터 제공되는 영역 분할 영상으로부터 해양 영역의 바다 경계선을 검출한 후, 검출된 바다 경계선을 이용하여 수평선을 검출하여 수평선의 위치 및 기울기 정보를 상황 정보 표출부(500)로 제공한다.
객체 검출부(400)는 상기 영상 분할부(200)에서 분류된 영역 분할 영상으로부터 먼저 관심 객체 영역을 추출하고, 추출된 관심 객체 영역으로부터 객체를 추출 및 분류하여 객체 별 위치, 종류 및 거리 정보를 상황 정보 표출부(500)로 제공한다.
상황 정보 표출부(500)는 상기 수평선 검출부(300)로부터 제공되는 수평선 위치 및 기울기, 객체 검출부(400)에서 제공되는 객체 별 위치, 종류 및 거리 정보를 이용하여 입력 영상에 증강시켜 수평선과 객체를 표출한다.
이하, 상기한 영상 분할부(200), 수평선 검출부(300) 및 객체 검출부(400)의 동작을 도 2내지 도 4를 참조하여 좀 더 상세하게 살펴보자.
도 2는 도 1에 도시된 영상 분할부(200)에서 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 입력 영상을 미리 정의된 범주로 분류한 영역을 분할하는 과정을 설명하기 위한 도면이다.
먼저, 도 2 (a)와 같이 도 1에 도시된 영상 수집부(100)로부터 제공되는 입력 영상에 대하여 도 2 (b)와 같이 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 영상에 존재하는 영역을 미리 정의된 범주로 픽셀 수준에서 구분하는 기능을 수행한다. 이때 미리 정의된 범주는 바다, 하늘, 배, 부표, 등대 등 해양 영상에서 존재하는 다양한 객체들을 포함한다.
이와 같이 도 2 (b)에서와 같이 Dilated Convolution 기반 영역 분할 방법을 사용할 경우 도 2 (c)와 같은 영역 분할 영상이 생성되고, 생성된 영역 분할 영상은 수평선 검출부(300) 및 객체 검출부(400)로 각각 제공된다. 여기서, 도 2 (c)와 같은 영역 분할 영상에서 각각의 색상은 미리 정의된 범주를 의미한다.
도 3은 도 2에서 분류된 영역 분할 영상으로부터 도 1에 도시된 수평선 검출부(300)에서 수평선을 검출하는 과정을 설명하기 위한 도면이다.
도 3 (a)와 같이 도 2의 방법을 통해 분류된 영역 분할 영상을 통한 수평선 검출은 먼저, 도 3 (b)와 같이 바다 경계선을 검출한 후, 검출된 바다 경계선으로부터 도 3 (c)와 같이 수평선 검출을 수행한다.
도 3 (b)와 같은 바다 경계선 검출은 영역 분할 영상의 각 컬럼에서 제일 상단에 위치한 바다 영역의 픽셀 정보를 검색함으로써 이루어질 수 있다. 각 컬럼에서 수직 방향 스캔을 사용하여 바다 영역 경계선을 검출할 때 후보 픽셀의 주변 정보(인접 픽셀의 범주, 에지의 존재 여부 등)를 사용하면 좀 더 정교한 바다 영역 경계선을 검출할 수 있다.
해양에서의 수평선은 직선으로 표현되기 때문에, 바다 경계선 정보를 기반으로 허프 변환(Hough Transform), 최소 자승법(Least-square Method), RANSAC(RANdom SAmple Consensus) 등의 방법 중 하나 이상의 조합을 사용하여 도 3 (c)와 같이 수평선을 검출하여 수평선의 중심 위치 및 기울기에 대한 정보를 생성하여 생성된 수평선의 위치 및 기울기에 대한 정보를 상황 정보 표출부(500)로 제공한다.
도 4는 도 2에서 분류된 영역 분할 영상으로부터 도 1에 도시된 객체 검출부(400)에서 객체를 탐지하는 과정을 설명하기 위한 도면이다.
도 4 (a)에 도시된 바와 같이, 영상 분할부(200)에서 분류된 영역 분할 영상을 통한 객체 검출은 먼저, 도 4 (a)와 같은 영역 분할 영상으로부터 도 4 (b)와 같이 관심 객체 영역을 추출하고, 관심 객체 추출이 완료되면, 추출된 관심 객체로부터 도 4 (c)와 같이 대상 객체 추출 및 분류 동작을 수행한다.
도 4 (b)와 같은 관심 객체 영역 추출 과정은, 선박의 운항에 영향을 미칠 수 있는 선박 등의 동적 객체와 부표 등의 정적 객체를 선별하여 추출한다.
그리고, 도 4 (c)와 같은 객체 추출 및 분류 과정에서는, 도 4 (b)와 같이 추출된 관심 객체 영역들 간의 관계를 분석하여 동일 객체지만 다른 영역으로 구분된 경우 동일 객체로 합치거나, 노이즈와 같은 작은 영역들을 제거하는 등의 작업을 수행한다. 이후, 최종적으로 영상에 존재하는 객체들은 객체의 영역 정보를 사용하여 객체의 종류를 구분하게 된다. 이때 기존에 사용되던 색상, 형태, 질감 등의 특징 정보와 SVM(Support Vector Machines), DT(Decision Tree) 등의 분류기를 조합하는 방법, 또는 최근에 사용되는 딥러닝 기반 물체 분류 방법 중 하나 이상의 조합을 통해 객체의 종류를 분류하게 된다. 이때 인식하게 되는 객체의 종류는 사전에 정의되며, 선박의 용도, 크기, 기능 등의 조합으로 구성된다.
여기서, 선박의 종류가 인식되면 선박의 크기 정보와 영상에 존재하는 객체의 크기 정보를 분석하여 선박과 객체 간의 거리 정보를 추정한다. 객체 추출 및 분류 단계를 거치면 최종적으로 영상에 존재하는 객체 별 위치 및 종류, 선박과의 거리 정보 등이 생성된다.
한편, 도 1에 도시된 상황정보 표출부(500)는 입력 영상에 수평선 검출부(300) 및 객체 검출부(400)에서 생성된 정보를 증강시켜서 표출하는 기능을 수행하며, 도 5는 상황 정보 표출부(500)에서 표출하는 화면의 일 예를 나타낸 것으로서, 영상에 존재하는 객체는 객체의 종류 및 선박과의 거리에 따라서 다른 형태(색상, 모양 등)로 표출 될 수 있다.
이하, 상기와 같은 본 발명에 따른 영상 분할 기반의 해양 상황 인식 장치의 동작과 상응하는 본 발명에 따른 영상 분할 기반의 해양 상황 인식 방법에 대하여 도 6을 참조하여 단계적으로 살펴보기로 한다.
도 6은 본 발명에 따른 영상 분할 기반의 해양 상황 인식 방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 6에 도시된 바와 같이, 먼저, 카메라(또는 EO 센서)를 이용하여 촬영된 영상 데이터를 수집하여 영상 분석 프로그램에서 처리할 수 있는 형태로 영상 데이터를 변환한다(S601).
이어, 상기 S601 단계를 통해 생성된 영상 데이터를 Dilated Convolution을 사용하여 영상을 미리 정의된 범주로 영역을 분할한다(S602).
상기 S602 단계에 대하여 구체적으로 살펴보면, 도 2의 (a)와 같이 S601 단계를 통해 처리된 입력 영상에 대하여 도 2의 (b)와 같이 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 영상에 존재하는 영역을 미리 정의된 범주로 픽셀 수준에서 구분하는 기능을 수행한다. 이 때 미리 정의된 범주는 바다, 하늘, 배, 부표, 등대 등 해양 영상에서 존재하는 다양한 객체들을 포함한다.
이와 같이 도 2의 (b)에서와 같이 Dilated Convolution 기반 영역 분할 방법을 사용할 경우 도 2의 (c)와 같은 영역 분할 영상이 생성된다. 여기서, 도 2 (c)와 같은 영역 분할 영상에서 각각의 색상은 미리 정의된 범주를 의미한다.
상기 S602단계 이후, S601 단계에서 생성된 영역 분할 영상에서 먼저 바다의 경계선을 추출하고(S603), 추출된 경계선 정보를 사용하여 수평선을 검출하게 된다(S604).
상기한 S603 단계 및 S604 단계에 대하여 좀 더 구체적으로 살펴보면, 먼저, S6703 단계에서와 같은 영역 분할 영상을 통한 바다 경계선 검출은 도 3 (b)에 도시된 바와 같이 영역 분할 영상의 각 컬럼에서 제일 상단에 위치한 바다 영역의 픽셀 정보를 검색함으로써 이루어질 수 있다. 각 컬럼에서 수직 방향 스캔을 사용하여 바다 영역 경계선을 검출할 때 후보 픽셀의 주변 정보(인접 픽셀의 범주, 에지의 존재 여부 등)를 사용하면 좀 더 정교한 바다 영역 경계선을 검출할 수 있다.
해양에서의 수평선은 직선으로 표현되기 때문에, 바다 경계선 정보를 기반으로 허프 변환(Hough Transform), 최소 자승법 (Least-square Method), RANSAC(RANdom SAmple Consensus) 등의 방법 중 하나 이상의 조합을 사용하여 도 3 (c)와 같이 수평선을 검출하여 수평선의 중심 위치 및 기울기에 대한 정보를 생성하는 것이다.
한편, S602 단계에서 처리된 영역 분할 영상에서 관심 객체 영역을 추출하고(S605), 객체 별 범주 및 거리를 계산하게 된다(S606).
여기서, 상기 S605 단계 및 S606단계에 대하여 좀 더 구체적으로 살펴보면, 먼저, 도 4 (b)와 같은 관심 객체 영역 추출 과정(S605)은, 선박의 운항에 영향을 미칠 수 있는 선박 등의 동적 객체와 부표 등의 정적 객체를 선별하여 추출한다.
그리고, 도 4 (c)와 같은 객체 추출 및 분류 과정(S606)에서는, 도 4 (b)와 같이 추출된 관심 객체 영역들 간의 관계를 분석하여 동일 객체지만 다른 영역으로 구분된 경우 동일 객체로 합치거나, 노이즈와 같은 작은 영역들을 제거하는 등의 작업을 수행한다. 이후, 최종적으로 영상에 존재하는 객체들은 객체의 영역 정보를 사용하여 객체의 종류를 구분하게 된다. 이때 기존에 사용되던 색상, 형태, 질감 등의 특징 정보와 SVM(Support Vector Machines), DT(Decision Tree) 등의 분류기를 조합하는 방법, 또는 최근에 사용되는 딥러닝 기반 물체 분류 방법 중 하나 이상의 조합을 통해 객체의 종류를 분류하게 된다. 이 때 인식하게 되는 객체의 종류는 사전에 정의되며, 선박의 용도, 크기, 기능 등의 조합으로 구성된다. 선박의 종류가 인식되면 선박의 크기 정보와 영상에 존재하는 객체의 크기 정보를 분석하여 선박과 객체 간의 거리 정보를 추정한다. 객체 추출 및 분류 단계를 거치면 최종적으로 영상에 존재하는 객체 별 위치 및 종류, 선박과의 거리 정보 등이 생성된다.
이어, 상기 S604 단계를 통해 생성된 수평선 위치 및 기울기 정보와, S606단계를 통해 생성된 객체 별 위치, 종류 및 거리 정보를 이용하여 객체의 종류 및 거리에 따른 증강 데이터를 생성한다(S607).
이어, 상기 S607단계를 통해 생성된 증강 데이터 즉, 입력 영상에 대한 수평선 및 객체에 관련된 증강 데이터를 시각적으로 도 5와 같이 디스플레이하여 사용자에게 제공하는 것이다(S608)
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 수집부
200 : 영상 분할부
300 : 수평선 검출부
400 : 객체 검출부
500 : 상황정보 표출부

Claims (10)

  1. 카메라로부터 제공되는 영상을 분석 가능한 데이터 형태로 변환하는 영상 수집부;
    상기 영상 수집부에서 제공되는 입력 영상 데이터에 영상 분할 방법을 적용하여 영상을 미리 정의된 범주로 분류하는 영상 분할부;
    상기 영상 분할부로부터 제공되는 영역 분할 영상으로부터 수평선 정보를 검출하는 수평선 검출부;
    상기 영상 분할부에서 분류된 영역 분할 영상으로부터 관심 객체 영역을 추출하고, 추출된 관심 객체 영역으로부터 객체를 추출하여 객체 정보를 생성하는 객체 검출부; 및
    상기 수평선 검출부로부터 검출된 수평선 정보와 상기 객체 검출부에서 검출된 객체 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 상황 정보 표출부를 포함하고,
    상기 영상 분할부는,
    상기 영상 수집부에서 제공되는 입력 영상에 대하여 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 입력 영상에 존재하는 영역을 미리 정의된 범주로 픽셀 수준에서 구분하는 것이고, 상기 미리 정의된 범주는 바다, 하늘, 배, 부표, 등대를 포함하는 해양 영상에서 존재하는 다수의 객체를 포함하는 영상 분할 기반의 해양 상황 인식 장치.
  2. 제1항에 있어서,
    상기 수평선 검출부는,
    상기 영상 분할부로부터 제공되는 영역 분할 영상으로부터 해양 영역의 바다 경계선을 검출한 후, 검출된 바다 경계선을 이용하여 수평선을 검출하여 수평선의 위치 및 기울기 정보를 포함하는 수평선 정보를 생성하는 것인 영상 분할 기반의 해양 상황 인식 장치.
  3. 제2항에 있어서,
    상기 객체 검출부는,
    상기 추출된 객체를 분류하여 분류된 각 객체 별 위치, 종류 및 거리 정보를 생성하여 상기 상황 정보 표출부로 제공하는 것인 영상 분할 기반의 해양 상황 인식 장치.
  4. 제3항에 있어서,
    상기 상황 정보 표출부는,
    상기 수평선 검출부를 통해 생성된 수평선 위치 및 기울기와, 상기 객체 검출부에서 생성된 객체 별 위치, 종류 및 거리 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 것인 영상 분할 기반의 해양 상황 인식 장치.
  5. 삭제
  6. 카메라로부터 제공되는 영상을 분석 가능한 데이터 형태로 변환하는 단계;
    상기 변환된 입력 영상 데이터에 영상 분할 방법을 적용하여 영상을 미리 정의된 범주로 분류하는 단계;
    상기 미리 정의된 범주로 분류된 영역 분할 영상으로부터 수평선 정보를 검출하는 단계;
    상기 분류된 영역 분할 영상으로부터 관심 객체 영역을 추출하고, 추출된 관심 객체 영역으로부터 객체를 추출하여 객체 정보를 생성하는 단계; 및
    상기 검출된 수평선 정보와 상기 검출된 객체 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 단계를 포함하고,
    상기 영상을 미리 정의된 범주로 분류하는 단계는,
    상기 입력 영상에 대하여 Dilated Convolution 기반의 뉴럴 네트워크를 사용하여 입력 영상에 존재하는 영역을 미리 정의된 범주로 픽셀 수준에서 구분하고, 상기 미리 정의된 범주는 바다, 하늘, 배, 부표, 등대를 포함하는 해양 영상에서 존재하는 다수의 객체를 포함하는 영상 분할 기반의 해양 상황 인식 방법.
  7. 제6항에 있어서,
    상기 수평선 정보를 검출하는 단계는,
    상기 영역 분할 영상으로부터 해양 영역의 바다 경계선을 검출하는 단계;
    상기 검출된 바다 경계선을 이용하여 수평선을 검출하여 수평선의 위치 및 기울기 정보를 포함하는 수평선 정보를 생성하는 단계를 포함하는 것인 영상 분할 기반의 해양 상황 인식 방법.
  8. 제7항에 있어서,
    상기 객체 정보를 생성하는 단계는,
    상기 추출된 객체를 분류하여 분류된 각 객체 별 위치, 종류 및 거리 정보를 생성하는 것인 영상 분할 기반의 해양 상황 인식 방법.
  9. 제8항에 있어서,
    상기 디스플레이하는 단계는,
    상기 생성된 수평선 위치 및 기울기와, 상기 생성된 객체 별 위치, 종류 및 거리 정보를 이용하여 입력 영상에 수평선 및 객체에 관련된 증강 데이터를 디스플레이하는 것인 영상 분할 기반의 해양 상황 인식 방법.
  10. 삭제
KR1020170156670A 2017-11-22 2017-11-22 영상 분할 기반의 해양 상황 인식 장치 및 그 방법 KR102069694B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170156670A KR102069694B1 (ko) 2017-11-22 2017-11-22 영상 분할 기반의 해양 상황 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156670A KR102069694B1 (ko) 2017-11-22 2017-11-22 영상 분할 기반의 해양 상황 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190059083A KR20190059083A (ko) 2019-05-30
KR102069694B1 true KR102069694B1 (ko) 2020-01-23

Family

ID=66675497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156670A KR102069694B1 (ko) 2017-11-22 2017-11-22 영상 분할 기반의 해양 상황 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102069694B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406600B1 (ko) * 2021-12-23 2022-06-13 국방과학연구소 해양 영상 실사화 방법, 해양 영상 실사화 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345873B1 (ko) * 2020-02-04 2022-01-03 (주)씨텍 해양관측 부이용 영상촬영 카메라를 이용한 파랑관측 방법 및 시스템
CN113705505A (zh) * 2021-09-02 2021-11-26 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统
KR102633461B1 (ko) * 2023-07-05 2024-02-02 한성진 선박항해 안내를 위한 드론장치 및 그 장치의 구동방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101657646B1 (ko) 2016-02-16 2016-09-22 한국해양과학기술원 증강현실 항해정보 출력을 위한 라벨 표시 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101575954B1 (ko) * 2014-04-30 2015-12-11 인하대학교 산학협력단 3차원 정합을 이용한 증강현실 장치 및 그 방법
KR101589814B1 (ko) * 2014-04-30 2016-01-29 인하대학교 산학협력단 연안에서의 객체 인식 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101657646B1 (ko) 2016-02-16 2016-09-22 한국해양과학기술원 증강현실 항해정보 출력을 위한 라벨 표시 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yasunori Kudo, et al., "Dilated Convolutions for Image Classification and Object Localization", IAPR International Conference, 2017.05.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406600B1 (ko) * 2021-12-23 2022-06-13 국방과학연구소 해양 영상 실사화 방법, 해양 영상 실사화 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20190059083A (ko) 2019-05-30

Similar Documents

Publication Publication Date Title
KR102069694B1 (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
Li et al. Urban building damage detection from very high resolution imagery using OCSVM and spatial features
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
EP3327617A2 (en) Object detection in image data using depth segmentation
Jeong et al. A novel approach for detecting the horizon using a convolutional neural network and multi-scale edge detection
WO2013088175A1 (en) Image processing method
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
Xia et al. A novel sea-land segmentation algorithm based on local binary patterns for ship detection
Wang et al. An overview of 3d object detection
Alaei et al. A complete logo detection/recognition system for document images
KR101836811B1 (ko) 이미지 상호간의 매칭을 판단하는 방법, 장치 및 컴퓨터 프로그램
Haiyang et al. Earthquake-collapsed building extraction from LiDAR and aerophotograph based on OBIA
Bao et al. Context modeling combined with motion analysis for moving ship detection in port surveillance
Giri Text information extraction and analysis from images using digital image processing techniques
JP2020017136A (ja) 物体検出認識装置、方法、及びプログラム
Kim et al. Segmentation of salient regions in outdoor scenes using imagery and 3-d data
CN112712066A (zh) 图像识别方法、装置、计算机设备和存储介质
Zhu et al. Scene text relocation with guidance
Ghoshal et al. An improved scene text and document image binarization scheme
US20180150716A1 (en) Object Detection In Image Data Using Color Segmentation
Byeon et al. Supervised texture segmentation using 2D LSTM networks
Nayan et al. Real time multi-class object detection and recognition using vision augmentation algorithm
Sushma et al. Text detection in color images
Wang et al. Adaptive analysis method for particles image
KR101357581B1 (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right