KR20190025162A - 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템 - Google Patents

Abstract

본 발명은 이동체에서 실시간으로 영상을 취득하는 동안에 감독 학습을 수행하는 방법 및 시스템으로서, 취득한 영상을 지리참조된 영상으로 변환하고, 지리참조된 영상으로부터 클래스 정보를 생성하고, 지리참조된 영상과 클래스 정보의 쌍으로 구성되는 학습데이터를 생성하고, 생성된 학습데이터에 지리참조된 영상을 입력하여 객체 분류 결과를 추출하는 모델을 감독 학습시키는 모든 과정을 실시간으로 영상을 취득하는 동안에 모두 수행하는 것을 특징으로 한다. 본 발명에 따르면, 지리공간정보를 이용하여 실시간으로 영상 취득, 학습 및 분류를 신속하게 자동으로 수행함으로써, 미리 방대한 학습데이터를 저장해야 하는 필요가 없다. 또한, 현재 시점에서 취득하는 데이터의 일부를 학습데이터로 사용하기 때문에 현재 시점의 객체 분류나 식별에 더욱 최적화될 수 있다는 효과가 있다.

Description

지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템{METHODS AND SYSTEM FOR REAL-TIME SUPERVISED LEARNING USING GEO-SPATIAL INFORMATION}

본 발명은 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템에 관한 것으로, 보다 상세하게는, 이동체에서 취득하는 영상으로부터 학습데이터를 생성하고, 생성된 학습데이터를 감독 학습시키고, 학습된 모델로 취득 영상으로부터 객체를 분류하는 전체 과정을 실시간으로 영상을 취득하는 동안에 모두 수행하는 방법 및 시스템에 관한 것이다.

관측 영역 내의 이상 현상이나 불법 현상을 탐지하고자 할 때, 유인항공기나 드론(UAV), 차량, 보트 등의 이동체에서 촬영한 영상을 많이 활용한다. 예를 들어, 홍수나 산사태 등의 재난상황을 신속히 파악하거나, 개발제한구역 내 불법 건축물을 탐지하거나, 영해 내 불법 선박을 식별하거나, 건설 현장을 모니터링하거나, 국립공원 내 수목을 모니터링하는 경우 등이 있을 수 있다.

영상을 활용한 객체 분류 방법으로서, 대한민국 등록특허 제10-1417498호에는 입력 영상으로부터 배경과 전경을 분리하고, 분리된 전경의 특징을 추출하여 디스크립터를 생성하여 데이터베이스와 비교하여 객체의 정보를 검색하는 기술이 공지되어 있다. 그런데, 이러한 방법은 미리 구축되어 데이터베이스에 저장되어 있는 객체만을 검색할 수 있기 때문에, 미리 저장되어 있지 않은 객체인 경우에는 분류 또는 식별이 곤란해지는 문제가 있다.

한편, 신경망 등을 사용하는 감독 학습(supervised learning) 방법은 미리 구축된 학습데이터를 이용하여 학습데이터에서 분류하고 있는 객체의 범주에 대해서 분류 또는 식별할 수 모델을 생성할 수 있다. 그런데, 이러한 감독 학습 방법은 수 많은 경우의 학습데이터를 이용하여 최적의 모델을 산출하기 때문에, 방대한 양의 학습데이터를 확보하는데 많은 시간과 비용이 소모되는 문제가 있다. 또한, 다양한 경우에 적응적으로 잘 동작하는 모델을 산출하기 때문에, 오히려 특정 시점의 특정 데이터에는 상대적으로 잘 동작하지 않는 취약점을 안고 있다는 문제가 있다.

KR 10-1417498.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 미리 방대한 학습데이터를 저장해야 되는 필요 없이 영상 취득, 학습 및 분류의 모든 과정을 영상 취득을 하는 동안에 실시간으로 신속하게 자동으로 수행하는 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따르면, 이동체에서 실시간으로 영상을 취득하는 동안에 수행되는 감독 학습 방법으로서, 상기 취득한 영상을 지리참조된 영상으로 변환하는 단계; 제1시간구간 동안 상기 지리참조된 영상에 기초하여 클래스 정보를 생성하여, 상기 지리참조된 영상과 상기 클래스 정보의 쌍으로 구성되는 학습데이터를 생성하는 단계; 및 상기 생성된 학습데이터를 이용하여 상기 지리참조된 영상에 대한 객체 분류 결과를 추출하는 모델을 감독 학습시키는 단계를 포함하고, 상기 제1시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고, 상기 클래스 정보는 데이터베이스에 저장되어 있는 지리공간정보(geo-spatial information)에 기초하여 생성되는 것을 특징으로 하는, 실시간 감독 학습 방법이 제공된다.

상기 실시간 감독 학습 방법은 제2시간구간 동안 상기 학습된 모델에 상기 지리참조된 영상을 입력하여 객체 분류 결과를 추출하는 단계를 더 포함하고, 상기 제2시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고, 상기 제2시간구간은 상기 제1시간구간 이후의 시간구간일 수 있다.

상기 제1시간구간은 상기 감독 학습의 완성도를 나타내는 하나 이상의 지표에 기초하여 정해질 수 있다.

상기 클래스 정보는 상기 지리참조된 영상으로부터 상기 지리공간정보를 기준으로 생성되는 래스터(raster) 형식일 수 있다.

상기 클래스 정보는 픽셀 단위로 객체의 종류를 나타내는 의미론적 세분화(semantic segmentation) 데이터일 수 있다.

상기 학습시키는 단계는, 상기 지리참조된 영상의 상기 모델 기반의 객체 분류 결과 및 상기 클래스 정보로부터 파악된 객체 분류 결과의 차이가 최소화되도록 상기 모델을 수정하는 최적화 단계를 포함할 수 있다.

또한, 다른 바람직한 일 실시예에 따르면, 전술한 각 방법에 따른 방법을 실행시키기 위한 컴퓨터 프로그램이 제공된다.

또한, 또 다른 바람직한 일 실시예에 따르면, 상기 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록매체가 제공된다.

상기 기술적 과제를 달성하기 위한, 본 발명의 또 다른 바람직한 일 실시예에 따르면, 이동체에서 실시간으로 영상을 취득하는 동안에 감독 학습을 수행하는 시스템으로서, 상기 취득한 영상을 지리참조된 영상으로 변환하는 데이터 처리부; 제1시간구간 동안 상기 지리참조된 영상에 기초하여 클래스 정보를 생성하여, 상기 지리참조된 영상과 상기 클래스 정보의 쌍으로 구성되는 학습데이터를 생성하는 학습데이터 생성부; 및 상기 생성된 학습데이터를 이용하여 상기 지리참조된 영상에 대한 객체 분류 결과를 추출하는 모델을 감독 학습시키는 감독 학습부를 포함하고, 상기 제1시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고, 상기 클래스 정보는 데이터베이스에 저장되어 있는 지리공간정보에 기초하여 생성되는 것을 특징으로 하는, 실시간 감독 학습 시스템이 제공된다.

상기 실시간 감독 학습 시스템은 제2시간구간 동안 상기 학습된 모델에 상기 지리참조된 영상을 입력하여 객체 분류 결과를 추출하는 분류부를 더 포함하고, 상기 제2시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고, 상기 제2시간구간은 상기 제1시간구간 이후의 시간구간일 수 있다.

상기 감독 학습부는 상기 감독 학습의 완성도를 나타내는 하나 이상의 지표에 기초하여 상기 제1시간구간을 결정할 수 있다.

상기 클래스 정보는 상기 지리참조된 영상으로부터 상기 지리공간정보를 기준으로 생성되는 래스터 형식일 수 있다.

상기 클래스 정보는 픽셀 단위로 객체의 종류를 나타내는 의미론적 세분화 데이터일 수 있다.

상기 감독 학습부는, 상기 지리참조된 영상의 상기 모델 기반의 객체 분류 결과 및 상기 클래스 정보로부터 파악된 객체 분류 결과의 차이가 최소화되도록 상기 모델을 수정하는 최적화를 수행할 수 있다.

이상과 같이, 본 발명에 따르면, 이동체에서 취득하는 영상으로부터 학습데이터를 생성하고, 생성된 학습데이터를 감독 학습시키고, 학습된 모델로 취득 영상으로부터 객체를 분류하는 전체 과정을 실시간으로 영상을 취득하는 동안에 모두 수행함으로써, 실시간으로 영상 취득, 학습 및 분류를 신속하게 자동으로 수행할 수 있는 효과가 있다.

또한, 지리공간정보에 기초하여 실시간으로 학습데이터를 만들기 때문에 미리 방대한 학습데이터를 저장해야 되는 필요가 없고, 또한, 현재 시점에서 취득하는 데이터의 일부를 학습데이터로 사용하기 때문에 현재 시점의 객체 분류나 식별에 더욱 최적화될 수 있다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 감독 학습 시스템이 동작하는 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 실시간 감독 학습 시스템의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실시간 감독 학습 방법에 대한 구체적인 일례를 나타내는 순서도이다.
도 4는 본 발명의 다른 일 실시예에 따른 실시간 감독 학습 방법에 대한 구체적인 일례를 나타내는 순서도이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 실시간 감독 학습 방법에 대한 구체적인 일례를 나타내는 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 하기의 설명에서는 본 발명의 실시예에 따른 동작을 이해하는데 필요한 부분만이 도시되고 설명되며 그 이외 부분의 도시와 설명은 본 발명의 요지를 흐리지 않도록 생략하였다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

설명의 간략함을 위해, 본 명세서에서는 예시를 들어 순서도 또는 플로우 차트의 형태로 하나 이상의 방법이 일련의 단계로서 도시되고 기술되어 있지만, 본 발명이 단계들의 순서에 의해 제한되지 않는데 그 이유는 본 발명에 따라 본 명세서에 도시되고 기술되어 있는 것과 다른 순서로 또는 다른 단계들과 동시에 행해질 수 있기 때문이라는 것을 잘 알 것이다. 또한, 예시된 모든 단계들이 본 발명에 따라 방법을 구현해야만 하는 것은 아닐 수 있다.

본 발명은, 미리 방대한 학습데이터를 저장해야 되는 필요 없이 영상 취득, 학습 및 분류의 모든 과정을 영상 취득을 하는 동안에 실시간으로 신속하게 자동으로 수행하는 방법 및 시스템을 제공하는 것을 목적으로 하기 때문에, 이하 명세서 전체에서 설명의 편의를 위하여, 이동체(10)로부터 영상 취득이 시작되고 초기 일정 시간 동안을 '제1시간구간'이라고 하고, 제1시간구간 이후의 일정 시간 동안을 '제2시간구간'이라고 하기로 한다. 즉, 제1시간구간과 제2시간구간은 실시간으로 영상을 취득하는 전체 시간 구간에 포함되고, 제2시간구간은 제1시간구간 이후의 시간 구간이다.

제1시간구간은 정밀도(precision), 재현율(recall) 등과 같이 학습의 완성도를 나타내는 지표들을 통하여 충분히 학습이 되었다고 판단되기까지의 시간 구간으로 정의되는 것이 바람직하다. 그러나, 이에 반드시 한정되지는 않고 구체적인 특정 시간 구간으로 정의될 수도 있다. 예를 들어, 이동체(10)가 영상을 취득하는 시간에서 초기 10분 또는 10%의 시간 구간을 제1시간구간, 이후 나머지 시간 구간을 제2시간구간이라고 할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 감독 학습 시스템(50)이 동작하는 환경을 나타내는 도면이다.

도 1을 참조하면, 이동체(10), 서버(20) 및 관측 영역(30)이 도시되어 있다. 본 발명에 따른 실시간 감독 학습 시스템(50)은 이동체(10) 및/또는 서버(20)에 구현될 수 있다.

이동체(10)는 헬리콥터 같은 유인항공기, 드론(UAV) 같은 무인 항공기, 차량, 보트 등의 다양한 이동체 또는 이동형 플랫폼일 수 있다. 이동체(10)에는 관측 영역(30)의 정보 및 영상을 취득할 수 있는 광학 카메라, 적외선 카메라, GPS/INS, 각종 센서 등의 장비들이 탑재될 수 있다. 이동체(10)는 이러한 장비들을 사용하여 광학 영상, 열화상 영상, 이동형 플랫폼의 위치/자세 정보 등의 다양한 데이터를 취득할 수 있다.

또한, 이동체(10)는 서버나 컴퓨터 등의 계산 장치 및 데이터베이스를 저장할 수 있는 저장 장치 등을 탑재하여, 객체 인식, 분류, 추출, 학습 등의 다양한 기능을 수행할 수도 있다.

서버(20)는 통상의 서버 장치, 휴대폰, 스마트폰, 컴퓨터, 태블릿, PC 등 다양한 장치일 수 있다. 또한, 서버(20)는 데이터베이스를 저장할 수 있는 저장 장치를 포함할 수도 있다.

이동체(10)와 서버(20)는 다양한 무선 통신 수단으로 서로 통신을 수행할 수 있으며, 데이터를 서로 전송할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 실시간 감독 학습 시스템(50)의 구성을 나타내는 블록도이다.

도 2를 참조하면, 본 발명에 따른 실시간 감독 학습 시스템(50)은 데이터 처리부(52), 학습데이터 생성부(54) 및 감독 학습부(56)를 포함하여 구성될 수 있다. 또한, 실시간 감독 학습 시스템(50)은 분류부(58)를 더 포함하여 구성될 수도 있다.

데이터 처리부(52)는 이동체(10)가 실시간으로 취득하고 있는 영상을 실시간으로 수신하고, 수신한 영상을 '지리참조된 영상'으로 실시간으로 변환한다. 지리참조된 영상은 지리적인 정보를 참조하여 생성, 보정 또는 변환된 영상으로서, 대표적으로는 정사영상이 있으나. 이에 반드시 한정되지는 않는다.

정사영상(orthophoto)이란 영상 촬영 당시의 카메라 자세 및 지형 기복에 의해 발생된 대상체의 변위를 제거한 영상으로서, 수치미분편위수정 같은 정사 보정 작업을 통하여 제작되고, 정사 보정을 거친 영상은 지형/지물의 상호 위치관계가 지도와 동일해지게 된다. 따라서, 일반 사진에서는 사진의 중심부가 아닌 곳에서 높이를 갖는 객체의 옆면이 나타나는 현상이, 정사 보정을 거친 영상에서는 수직으로 내려다 본 영상으로 표현된다.

데이터 처리부(52)에서 실시간으로 변환된 지리참조된 영상은, 이동체(10)로부터 영상 취득이 시작되고 제1시간구간(초기 일정 시간 동안)에는 학습데이터 생성부(54)에서 사용을 하고, 제2시간구간(초기 일정 시간 이후)에는 분류부(58)에서 사용을 할 수 있다.

학습데이터 생성부(54)는, 제1시간구간 동안 지리참조된 영상에 기초하여 클래스 정보를 생성하여, 지리참조된 영상과 클래스 정보의 쌍으로 구성되는 학습데이터를 생성한다. 즉, 이동체(10)로부터 영상 취득이 시작되고 초반에 생성된 지리참조된 영상으로 학습데이터를 생성하는 것이다.

클래스 정보는 데이터베이스에 저장되어 있는 관측 영역의 지리공간정보(geo-spatial information)에 기초하여 지리참조된 영상으로부터 생성될 수 있다. 즉, 클래스 정보는 지리참조된 영상으로부터 지리공간정보를 기준으로 하여 생성될 수 있다.

지리공간정보는 데이터베이스로서 미리 확보되어 저장될 수 있다. 대표적인 지리공간정보로는 대상 영역의 수치지도가 있으며, 건물, 도로, 논, 밭 등 명시적으로 대상 영역의 지형 및 지물 등 객체의 클래스가 정의되어 있는 정보 등이 있다.

일 실시예로서, 클래스 정보는 지리참조된 영상과 동일한 크기의 래스터(raster) 형태일 수 있으며, 지리참조된 영상의 모든 픽셀의 위치가 수치지도 상에서 각각 어떠한 객체로 정의되었는지 확인하여 분류 정보, 즉 클래스를 레이블링(labeling)함으로써 생성될 수 있다. 즉, 클래스 정보는 지리참조된 영상 상에 지리공간정보(절대 좌표 수치 정보 및 객체 클래스 정보)를 추가한 것이라고 할 수 있다.

따라서, 이렇게 생성된 클래스 정보는 픽셀 단위로 건물, 도로 등 객체의 종류를 나타내는 의미론적 세분화(semantic segmentation) 데이터이다.

이상에서와 같이, 본 발명에서, 지리공간정보에 기초하여 지리참조된 영상으로부터 클래스 정보를 생성하는 이유는, 지리참조된 영상과 지리공간정보는 동일한 지도 좌표 체계를 가지기 때문에 신속하게 정합시킬 수 있는 장점이 있기 때문이다. 따라서, 이로 인하여 본 발명에 따른 실시간 감독 학습이 가능한 것이다.

한편, 감독 학습부(56)는, 학습데이터 생성부(54)에서 지리참조된 영상과 클래스 정보의 쌍으로 구성되는 학습데이터가 생성되면, 이 학습데이터를 이용하여 분류 모델을 감독 학습시킨다. 즉, 학습데이터를 이용하여 지리참조된 영상을 입력했을 때 객체를 분류(또는 식별)하는 결과를 산출(또는 추출)할 수 있는 모델(또는 분류기)을 생성한다.

감독 학습은 학습데이터 또는 훈련데이터(training data)로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법으로서, 디컨볼루션 네트워크(Deconvolutional Network) 같은 신경망 등이 많이 사용되지만, 이에 반드시 한정되지는 않는다.

또한, 감독 학습부(56)는 학습된 모델을 수정하는 최적화 과정을 더 수행할 수도 있다. 즉, 학습 모델에 지리참조된 영상을 입력하여 산출된 객체 분류 결과 및 클래스 정보로부터 파악된 객체 분류 결과의 차이가 최소화되도록 학습 모델을 수정할 수 있다.

예를 들어, 지리참조된 영상에 기하학적 왜곡이 어느 정도 포함되어 있어서 학습 데이터 자체에 어느 정도의 에러가 존재할 수 있는데, 이러한 약간의 에러가 있더라도 잘 동작(분류)할 수 있도록 최적화를 수행함으로써, 오류에 강인(roust)하도록 분류기 모델의 최적화된 계수들을 결정할 수 있다.

또한, 감독 학습부(56)는 감독 학습의 완성도에 기초하여 제1시간구간과 제2시간구간을 결정할 수 있다. 예를 들어, 생성된 학습데이터로 모델을 최적화하는 과정에서 산출하는 지표들(정확도, 재현율 등)을 기반으로 충분히 학습되었는지 판단할 수 있다.

판단 결과 아직 학습이 더 필요하다고 판단되면, 제1시간구간에서 학습을 추가로 계속 수행할 수 있다. 학습의 완성도가 특정 임계값을 넘었다고 판단되면, 즉, 학습이 충분하다고 판단되면, 제2시간구간으로 결정하여 학습을 종료하고 분류기 모델을 확정할 수 있다.

상술한 감독 학습부(56)의 다양한 기능은 제1시간구간 동안에 이동체(10)로부터의 영상획득과 병렬로 실시간으로 수행된다.

마지막으로, 분류부(58)는, 감독 학습부(56)에서 학습 생성된 모델에 지리참조된 영상을 입력하여 분류 결과를 추출한다.

이 때, 입력되는 지리참조된 영상은 제2시간구간 동안 데이터 처리부(52)에서 실시간으로 변환된 지리참조된 영상이다. 즉, 제1시간구간에서는 학습데이터의 생성 및 학습 모델 생성을 하고, 그 이후의 시간인 제2시간구간에는 객체 분류를 수행하는 것이다.

다시 말해서, 이동체(10)가 실시간으로 취득하는 데이터 중에서 초반의 일부 데이터는 학습에 사용을 하고, (실시간으로 취득하는) 나머지 데이터로 분류를 수행하는 것이다.

한편, 실시간 감독 학습 시스템(50)의 각 기능 블록들은 이동체(10)와 서버(20)에 전부 또는 일부가 다양하게 구현될 수 있다.

예를 들어, 이동체(10)는 영상 획득을 담당하고, 이동체(10)가 획득한 영상을 서버(20)로 실시간으로 전송하면, 데이터 처리부(52), 학습데이터 생성부(54), 감독 학습부(56) 및 분류부(58)는 서버(20)에 구현될 수 있다.

또한, 이동체(10)에 데이터 처리부(52)가 구현되고, 서버(20)에 학습데이터 생성부(54), 감독 학습부(56) 및 분류부(58)가 구현될 수도 있다.

또한, 이동체(10)에 데이터 처리부(52) 및 학습데이터 생성부(54)가 구비되고, 서버(20)에 감독 학습부(56) 및 분류부(58)가 구비될 수도 있다.

또한, 이동체(10)에 분류부(58)를 제외한 모든 기능이 구현되고, 서버(20)에는 분류부(58)만 구현될 수도 있다.

또한, 이동체(10)에 모든 기능 블록들이 구비되고, 서버(20)는 이동체(10)로부터 분류 결과만 수신할 수도 있다.

이상에서와 같이, 본 발명에 따른 실시간 감독 학습 시스템(50)은, 이동체(10)에서 취득하는 영상으로부터 학습데이터를 생성하고, 생성된 학습데이터를 감독 학습시키고, 학습된 모델로 취득 영상을 분류하는 전체 과정을 실시간으로 영상을 취득하는 동안에 모두 수행함으로써, 실시간으로 영상 취득, 학습 및 분류를 신속하게 자동으로 수행하는 것이 가능하다.

또한, 지리공간정보에 기초하여 실시간으로 학습데이터를 만들기 때문에 미리 방대한 학습데이터를 저장해야 되는 필요가 없고, 또한, 현재 시점에서 취득하는 데이터의 일부를 학습데이터로 사용하기 때문에 현재 시점의 객체 분류나 식별에 더욱 최적화가 가능하다.

도 3은 본 발명의 일 실시예에 따른 실시간 감독 학습 방법에 대한 구체적인 일례를 나타내는 순서도(S100)이다.

S110 단계에서는, 이동체(10)에서 취득하는 영상을 실시간으로 수신하여 지리참조된 영상으로 실시간으로 변환시킨다.

S130 단계에서는, 데이터베이스에 저장되어 있는 지리공간정보에 기초하여, S110 단계에서 변환된 영상으로부터 클래스 정보를 생성하고, 지리참조된 영상과 클래스 정보의 쌍으로 구성된 학습데이터를 생성한다. 이 단계는 실시간으로 획득 영상이 수신되는 동안 제1시간구간에서 지속적으로 수행될 수 있다.

클래스 정보는 데이터베이스에 저장되어 있는 관측 영역의 지리공간정보에 기초하여 지리참조된 영상으로부터 생성될 수 있다. 지리공간정보는 수치지도 등을 포함할 수 있으며, 데이터베이스로서 미리 확보되어 저장되는 것이 바람직하다. 생성된 클래스 정보는 지리참조된 영상과 동일한 크기의 래스터 형식일 수 있으며, 지리참조된 영상 상에 관측 영역의 절대 좌표 수치 정보 및 객체 클래스 정보를 추가한 것일 수 있다. 지리참조된 영상과 지리공간정보는 동일한 지도 좌표 체계를 가지기 때문에 신속하게 정합시키는 것이 가능하다.

S140 단계에서는, S130 단계에서 생성된 학습데이터를 이용하여 지리참조된 영상에 대한 객체 분류 결과를 추출하는 모델을 감독 학습시킨다. 즉, 학습데이터를 사용하여 지리참조된 영상을 입력했을 때 객체를 분류(또는 식별)하는 결과를 산출(또는 추출)할 수 있는 모델(또는 분류기)을 생성한다. 이 단계는 실시간으로 획득 영상이 수신되는 동안 제1시간구간에서 지속적으로 수행될 수 있다.

또한, S140 단계는 입력되는 지리참조된 영상의 모델 기반 분류 결과와 학습데이터로 주어지는 분류 결과의 차이가 최소화되도록 모델을 수정하는 최적화 단계를 포함할 수 있다. 예를 들어, 지리참조된 영상에 기하학적 왜곡이 어느 정도 포함되어 있어서 학습 데이터 자체에 어느 정도의 에러가 존재할 수 있는데, 이러한 약간의 에러가 있더라도 잘 분류할 수 있도록 최적화를 수행하여, 오류에 강인하도록 분류기 모델의 최적화된 계수들을 결정할 수 있다.

S145 단계에서는, 생성된 학습데이터로 모델을 감독 학습하는 과정에서 산출되는 지표들(정확도, 재현율 등)을 기반으로 모델이 충분히 학습되었는지를 판단한다.

판단 결과 모델이 충분히 학습되지 않았으면, 즉, 제1시간구간이면, 변환된 지리참조된 영상은 S130 단계에서 학습데이터 생성에 사용된다.

판단 결과 모델이 충분히 학습되었으면, 즉, 제2시간구간이면, 학습을 종료하고, 변환된 지리참조된 영상은 S150 단계에서 객체 분류에 사용된다.

제1시간구간에서 학습된 모델이 생성되면, S150 단계에서는 학습 생성된 모델에 지리참조된 영상을 입력하여 분류 결과를 추출한다. 이 단계는 실시간으로 획득 영상이 수신되는 동안 제2시간구간에서 지속적으로 수행될 수 있다.

한편, 이동체(10)는 영상 획득을 담당하고, 이동체(10)가 획득한 영상을 서버(20)로 실시간으로 전송하면, S110 단계부터 S150 단계는 서버(20)에서 수행될 수 있다.

또한, 이동체(10)는 S110 단계부터 S150 단계까지 중에서 어느 특정 단계까지 실행을 하고, 어느 특정 단계 이후의 단계는 서버(20)에서 실행될 수도 있다.

이상에서와 같이, 본 발명에 따른 실시간 감독 학습 방법(100)은, 이동체(10)에서 취득하는 영상으로부터 학습데이터를 생성하고, 생성된 학습데이터를 감독 학습시키고, 학습된 모델로 취득 영상을 분류하는 전체 과정을 실시간으로 영상을 취득하는 동안에 모두 수행함으로써, 실시간으로 영상 취득, 학습 및 분류를 신속하게 자동으로 수행하는 것이 가능하다.

도 4는 본 발명의 다른 일 실시예에 따른 실시간 감독 학습 방법에 대한 구체적인 일례를 나타내는 순서도로서, 개발제한구역 내 불법 건축물을 탐지하는 실시예(S200)이다.

개발제한 구역, 예를 들어 그린벨트 지역 내 불법 건축물을 조사하기 위하여 지자체에서는 항공사진 측량을 수행하고, 사람이 일일이 지난해의 조사 결과와 관련 대장을 비교해가며 불법 건축물을 조사하는 방법을 사용하고 있다. 따라서, 많은 시간과 비용이 소모되기 때문에 자주 조사하기 어려운 문제가 있다.

본 발명을 적용한다면, 실시간으로 영상 취득을 하면서, 학습 및 분류까지 신속하게 자동으로 수행하는 것이 가능하기 때문에, 자주 신속히 조사할 수 있다.

이동체(10)가 그린벨트 구역에서 영상을 취득하기 시작하면(S210), 이 영상을 수신하여 실시간으로 정사영상(지리 참조된 영상)으로 변환한다(S220).

데이터베이스에 저장되어 있는 해당 지역의 지리공간정보를 이용하여, 정사영상 상에 불법 건축물과 불법 건축물이 아닌 영역으로 분류하는 클래스 정보(래스터)를 생성하여, 정사영상과 클래스 정보의 쌍으로 구성되는 학습데이터를 생성한다(S240).

학습데이터는 제1시간구간동안 계속 증가되고, 동시에 병렬로, 생성된 학습데이터를 이용하여 불법 건축물과 불법 건축물이 아닌 영역을 구분하는 분류기를 산출하도록 모델을 감독 학습시킨다(S250).

생성된 학습데이터로 모델을 감독 학습하는 과정에서 산출되는 지표들(정확도, 재현율 등)을 기반으로 모델이 충분히 학습되었는지를 판단한다(S255).

판단 결과 모델이 충분히 학습되지 않았으면, 즉, 제1시간구간이면, S240 단계를 다시 실행한다.

판단 결과 모델이 충분히 학습되었으면, 즉, 제2시간구간이면, 학습을 종료하고 S260 단계를 실행한다.

제1시간구간에서 학습데이터의 생성 및 감독 학습으로 분류기 모델이 생성되면, 이제는 제2시간구간동안, 학습된 모델에 정사영상을 입력하여 분류 결과를 추출한다. 즉, 산출된 분류기에 정사영상을 입력하여 대상 영역 내 불법 건축물을 실시간으로 확인한다(S260).

이상에서와 같이, 본 실시예에 따르면, 실시간으로 영상 취득, 학습 및 분류를 수행하므로 신속하게 자동으로 불법 건축물을 분류하는 것이 가능하다. 또한, 지리공간정보에 기초하여 실시간으로 학습데이터를 만들기 때문에 미리 방대한 학습데이터를 저장해야 되는 필요가 없고, 또한, 현재 시점에서 취득하는 데이터의 일부를 학습데이터로 사용하기 때문에 현재 시점의 객체 분류나 식별에 더욱 최적화가 가능하다.

도 5는 본 발명의 또 다른 일 실시예에 따른 실시간 감독 학습 방법에 대한 구체적인 일례를 나타내는 순서도로서, 해양 영역에서 불법 선박 감시 및 식별을 수행하는 실시예(S300)이다.

도 4의 그린벨트 내 불법 건축물 탐지와 유사하게 해양 영역, 특히 선박 감시에 본 발명을 적용할 수 있다. 현재의 선박 감시는 선박에서 보내는 신호, 예를 들어, AIS(Automatic Identification System) 신호에 의존적이기 때문에 불법 선박 감시에 취약하다.

본 발명을 적용한다면, 실시간으로 영상 취득, 학습 및 분류(감시 또는 식별)를 신속하게 자동으로 모두 수행하는 것이 가능하다.

해양 영역을 능동적으로 관측하여 선박 감시를 수행할 수 있는 수단으로서 항공 카메라 시스템을 활용할 수 있다.

유인 또는 무인 항공기(10)가 해양 순찰 영역에서 실시간으로 영상을 취득하고(S310), 취득한 영상을 실시간으로 지리참조된 영상(정사영상)으로 변환한다(S320).

제1시간구간이면, 지리참조된 영상과 해당 지역의 지리공간정보를 이용하여, 지리참조된 영상 상에 물, 도서지역, 그 밖에 지도 상에 정의되어 있는 지형/지물과 이들이 아닌 영역으로 분류하는 클래스 정보를 생성하고, 지리참조된 영상과 클래스 정보의 쌍으로 구성되는 학습데이터를 생성한다(S340).

생성된 학습데이터를 이용하여 분류기 모델을 감독 학습시킨다(S350).

생성된 학습데이터로 모델을 감독 학습하는 과정에서 산출되는 지표들(정확도, 재현율 등)을 기반으로 모델이 충분히 학습되었는지를 판단한다(S355).

판단 결과 모델이 충분히 학습되지 않았으면, 즉, 제1시간구간이면, S340 단계를 다시 실행한다.

판단 결과 모델이 충분히 학습되었으면, 즉, 제2시간구간이면, 학습을 종료하고 S360 단계를 실행한다.

생성된 분류기에 지리참조된 영상을 입력하여 대상 영역 내에서 물, 도서지역, 그 밖에 지도 상에 정의되어 있는 지형/지물과 이들이 아닌 영역을 실시간으로 확인한다(S360). 이 때, 물, 도서지역, 그 밖에 지도 상에 정의되어 있는 지형/지물이 아닌 영역을 선박 후보라고 할 수 있다.

S360 단계에서 선박 후보가 분류되었으므로, 이 후보들 중에서 크기나 모양 들 선박이 가지는 특성을 이용하여 룰기반(rule-based) 방법이나 딥러닝 기반으로 실제 선박을 탐지해낼 수 있다(S370).

그러면, 탐지된 선박 중에서 AIS 송신 여부를 확인하여 최종적으로 불법 선박을 식별할 수 있는 것이다(S380).

이상과 같이, 다양한 실시예들에 의하면, 이동체에서 취득하는 영상으로부터 학습데이터를 생성하고, 생성된 학습데이터를 감독 학습시키고, 학습된 모델로 취득 영상을 분류하는 전체 과정을 실시간으로 영상을 취득하는 동안에 모두 수행함으로써, 실시간으로 영상 취득, 학습 및 분류를 신속하게 자동으로 수행하는 것이 가능하다.

또한, 지리공간정보에 기초하여 실시간으로 학습데이터를 만들기 때문에 미리 방대한 학습데이터를 저장해야 되는 필요가 없고, 또한, 현재 시점에서 취득하는 데이터의 일부를 학습데이터로 사용하기 때문에 현재 시점의 객체 분류나 식별에 더욱 최적화되는 것이 가능하다.

또한, 이상에서 설명된 실시간 감독 학습 방법의 실시예는 다양한 컴퓨터 구성요소들을 통하여 수행될 수 있는 컴퓨터 프로그램 명령어의 형태로 구현될 수 있다. 또한, 상기 구현된 컴퓨터 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수도 있다. 언급된 기록 매체는 ROM, 자기 디스크 혹은 콤팩트 디스크, 광 디스크 등 일 수 있으나, 이에 반드시 한정되지는 않는다.

이상에서와 같이, 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

10: 이동체
20: 서버
30: 관측 영역
50: 실시간 감독 학습 시스템
52: 데이터 처리부
54: 학습데이터 생성부
56: 감독 학습부
58: 분류부

Claims (14)

1. 이동체에서 실시간으로 영상을 취득하는 동안에 수행되는 감독 학습 방법으로서,
   상기 취득한 영상을 지리참조된 영상으로 변환하는 단계;
   제1시간구간 동안 상기 지리참조된 영상에 기초하여 클래스 정보를 생성하여, 상기 지리참조된 영상과 상기 클래스 정보의 쌍으로 구성되는 학습데이터를 생성하는 단계; 및
   상기 생성된 학습데이터를 이용하여 상기 지리참조된 영상에 대한 객체 분류 결과를 추출하는 모델을 감독 학습시키는 단계;
   를 포함하고,
   상기 제1시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고,
   상기 클래스 정보는 데이터베이스에 저장되어 있는 지리공간정보(geo-spatial information)에 기초하여 생성되는 것을 특징으로 하는, 실시간 감독 학습 방법.
   
2. 제 1항에 있어서,
   제2시간구간 동안 상기 학습된 모델에 상기 지리참조된 영상을 입력하여 객체 분류 결과를 추출하는 단계;
   를 더 포함하고,
   상기 제2시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고, 상기 제2시간구간은 상기 제1시간구간 이후의 시간구간인 것을 특징으로 하는, 실시간 감독 학습 방법.
   
3. 제 1항에 있어서,
   상기 제1시간구간은 상기 감독 학습의 완성도를 나타내는 하나 이상의 지표에 기초하여 정해지는 것을 특징으로 하는, 실시간 감독 학습 방법.
   
4. 제 1항에 있어서,
   상기 클래스 정보는 상기 지리참조된 영상으로부터 상기 지리공간정보를 기준으로 생성되는 래스터(raster) 형식인 것을 특징으로 하는, 실시간 감독 학습 방법.
   
5. 제 1항에 있어서,
   상기 클래스 정보는 픽셀 단위로 객체의 종류를 나타내는 의미론적 세분화(semantic segmentation) 데이터인 것을 특징으로 하는, 실시간 감독 학습 방법.
   
6. 제 1항에 있어서,
   상기 학습시키는 단계는, 상기 지리참조된 영상의 상기 모델 기반의 객체 분류 결과 및 상기 클래스 정보로부터 파악된 객체 분류 결과의 차이가 최소화되도록 상기 모델을 수정하는 최적화 단계를 포함하는 것을 특징으로 하는, 실시간 감독 학습 방법.
   
7. 청구항 제 1항 내지 청구항 제 6항 중의 어느 한 항에 따른 방법을 실행시키기 위한 컴퓨터 프로그램.
   
8. 청구항 제 7항에 따른 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록매체.
   
9. 이동체에서 실시간으로 영상을 취득하는 동안에 감독 학습을 수행하는 시스템으로서,
   상기 취득한 영상을 지리참조된 영상으로 변환하는 데이터 처리부;
   제1시간구간 동안 상기 지리참조된 영상에 기초하여 클래스 정보를 생성하여, 상기 지리참조된 영상과 상기 클래스 정보의 쌍으로 구성되는 학습데이터를 생성하는 학습데이터 생성부; 및
   상기 생성된 학습데이터를 이용하여 상기 지리참조된 영상에 대한 객체 분류 결과를 추출하는 모델을 감독 학습시키는 감독 학습부;
   를 포함하고,
   상기 제1시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고,
   상기 클래스 정보는 데이터베이스에 저장되어 있는 지리공간정보에 기초하여 생성되는 것을 특징으로 하는, 실시간 감독 학습 시스템.
   
10. 제 9항에 있어서,
    제2시간구간 동안 상기 학습된 모델에 상기 지리참조된 영상을 입력하여 객체 분류 결과를 추출하는 분류부;
    를 더 포함하고,
    상기 제2시간구간은 상기 실시간으로 영상을 취득하는 시간구간에 포함되고, 상기 제2시간구간은 상기 제1시간구간 이후의 시간구간인 것을 특징으로 하는, 실시간 감독 학습 시스템.
    
11. 제 9항에 있어서,
    상기 감독 학습부는 상기 감독 학습의 완성도를 나타내는 하나 이상의 지표에 기초하여 상기 제1시간구간을 결정하는 것을 특징으로 하는, 실시간 감독 학습 시스템.
    
12. 제 9항에 있어서,
    상기 클래스 정보는 상기 지리참조된 영상으로부터 상기 지리공간정보를 기준으로 생성되는 래스터 형식인 것을 특징으로 하는, 실시간 감독 학습 시스템.
    
13. 제 9항에 있어서,
    상기 클래스 정보는 픽셀 단위로 객체의 종류를 나타내는 의미론적 세분화 데이터인 것을 특징으로 하는, 실시간 감독 학습 시스템.
    
14. 제 9항에 있어서,
    상기 감독 학습부는, 상기 지리참조된 영상의 상기 모델 기반의 객체 분류 결과 및 상기 클래스 정보로부터 파악된 객체 분류 결과의 차이가 최소화되도록 상기 모델을 수정하는 최적화를 수행하는 것을 특징으로 하는, 실시간 감독 학습 시스템.
    

Images