KR102547763B1 - 인공지능기반 위성영상 의미분할 최적화시스템 및 최적화방법 - Google Patents

Abstract

본 발명은 각 학습모델의 단점을 보완하여 가장 최적의 의미분할을 자동으로 수행할 수 있는 자동화된 의미분할 최적화시스템 및 최적화방법에 관한 것이다. 이를 위하여, 본 발명은 이미지를 수신받아 복수의 학습모델로 의미분할을 학습하는 이미지학습부; 상기 의미분할을 위한 분류항목 및 상기 분류항목에 해당하는 지형데이터를 저장하는 분류기준부; 상기 이미지학습부에 의한 학습결과를 기초로 하이퍼파라미터를 변경시키는 하이퍼파라미터튜닝부; 상기 학습결과에 기초하여 각 학습모델에 대한 정확도를 판단하는 분류평가부; 상기 분류평가부에 의한 평가결과에 기초하여 각 학습모델마다 대응하는 분류항목을 매칭시키는 의미분할최적화부를 포함하여 구성되는 의미분할 최적화시스템을 제공한다.
따라서, 본 발명에 의하면, 단일 방법론에 의존한 의미분할방법을 개선하여 이미지 항목별 최적화된 분류방법을 제공하여 분류 신뢰도를 향상시킬 수 있으며, 고품질의 분류결과를 산출할 수 있다.

Description

인공지능기반 위성영상 의미분할 최적화시스템 및 최적화방법{Satellite image semantic segmentation optimizing system and optimizing method based on AI}

본 발명은 인공지능기반 피복 의미분할 최적화시스템 및 최적화방법에 관한 것이며, 구체적으로 각 학습모델의 단점을 보완하여 가장 최적의 의미분할을 자동으로 수행할 수 있는 인공지능기반 피복 의미분할 최적화시스템 및 최적화방법에 관한 것이다.

위성영상을 활용한 토지피복 분류는 원격탐사의 발전과 함께 지속적으로 진행된 분야이다. 특히, 2000년대 초반 감독 및 무감독 분류에 2010년 이후, 기계학습 및 딥러닝을 적용하는 방향으로 발전하였다. 기존의 위성영상을 활용한 토지피복 분류 기술의 발전의 선행 조건은 위성영상 전체 또는 특정 지역을 연구지역으로 선정하고, 선택된 지역의 영상 전체를 분류 항목을 선정하여 전체를 분류하는 것이다. 즉, 토지피복 분류 항목을 선정하고 연구지역 위성영상 전체에서 이를 분류하고자 하는 것이다. 머신러닝을 활용한 토지피복 분류 결과는 대부분 높은 정확도를 산출하였으며 분류항목들의 정확도는 모델별로 상이하게 나타났다. 또한 위성영상의 경우 밴드에 따라서 높은 정확도를 나타내는 모델이 차이가 났다.

위성영상은 다양한 밴드를 가지고 있으며, 열적외 밴드등을 활용하면 도시폭염 모니터링등 다양한 분야에서 활용 가능하다.

최근 딥러닝 알고리즘은 이미지에서 다양한 객체를 동시에 분할하고 분류하는 기능을 가진 CNN기반의 의미분할(Semantic segmentation) 알고리즘이 등장하고 있다.

CNN은 딥러닝 알고리즘의 하나로서, 이미지를 인식하고 분류하기 위해 주로 사용된다. 일반적인 인공지능 알고리즘은 2차원 이미지데이터를 1차원 배열로 변환한뒤 Fully connected network로 학습시키는 방법이나, 이러한 방법은 2차원적인 이미지의 특성을 충분히 반영하지 못하기 때문에 많은 양의 학습데이터가 필요하고 학습시간이 길어지는 문제점이 있다. CNN은 이미지의 공간정보를 유지한 채 학습을 하게 하여 이러한 문제점을 해결하였다.

도 10을 참조하면, 필터를 이용하여 대상 이미지와의 컨볼루션(convolution) 값을 저장하며, 이를 통해 이미지의 특성도(feature map)을 생성한다. 이때, stride값에 따라 필터를 한 픽셀씩 이동할지 두 픽셀씩 이동할지 등 이동할 거리를 정하게 된다.

또한, 연산량을 줄이기 위해 도 11과 같이 일정 구역 중 최대값을 구하거나 평균값을 구하는 등으로 이미지의 크기를 줄이는 풀링(pooling) 과정을 거친다.

이후에는 일반적인 신경망 알고리즘과 같이 히든레이어 및 출력레이어를 거쳐 이미지를 분류하게 된다.

도 12를 참조하면, 특징추출단계에서는 컨볼루션층(convolution layer)에서 필터를 통해 이미지의 특징을 추출하고, 풀링층(pooling layer)을 통해 특징을 강화시키고 이미지의 크기를 줄인다.

또한, 이미지분류단계에서는 플래튼층(Flatten layer)에서 데이터 타입을 FC네트워크 형태로 변경하고, 소프트맥스층(softmax layer)에서 분류를 수행한다. 이러한 방법들은 원격탐사 등에서 활발히 사용되고 있으며, 의미분할(semantic segmentation)은 컴퓨터비전 분야에서 가장 핵심적인 분야이고, 자율주행, 의료이미지 분류 등 다양하게 활용중이다.

이와 관련된 종래기술인 등록특허 제10-1993085호(심층학습을 이용하는 의미적 영상분할 방법)에 의하면, 이전 학습 결과를 현재 학습에 반영하여, 입력 영상을 객체 단위의 의미적 특징으로 분할하는 의미적 영상 분할 방법이 개시된다. 개시된 심층 학습을 이용하는 의미적 영상 분할 방법은 레퍼런스 영상 및 상기 레퍼런스 영상에 대한 레퍼런스 분할 영상을 이용하여, 컨벌루션 레이어의 필터의 가중치를 학습하는 단계; 및 상기 학습 결과를 이용하여, 입력 영상을 복수의 세그먼트로 분할하는 단계를 포함하며, 상기 가중치를 학습하는 단계는 제1학습 구간에서 상기 컨벌루션 레이어의 필터의 가중치를 학습하는 단계; 상기 제1학습 구간에서 컨벌루션을 통해 얻어진 제1피쳐맵을 디컨벌루션하여 제2피쳐맵을 생성하는 단계; 및 제2학습 구간에서, 상기 제2피쳐맵을 이용하여 상기 컨벌루션 레이어의 필터의 가중치를 학습하는 단계를 포함한다.

이렇게 다양한 인공지능 알고리즘이 개발됨에 따라 높은 정확도를 산출하는 최신 알고리즘들이 등장 중이다.

하지만, 항목별 성능을 살펴보면, 항목에 따라 성능이 차이가 나타난다. 즉, 인공지능 알고리즘의 개발목적이 상이하기 때문에 어떤 분류항목에서 높은 정확도를 나타내는 방법이 다른 분류항목에서는 낮는 수준의 정확도를 나타내는 경우가 많아 안정적인 신뢰도를 유지하기 위해서는 많은 개선이 필요하다.

본 발명은 상기한 문제점을 해결하기 위한 것이며, 구체적으로 고해상도 위성영상 및 딥러닝 기법을 활용하여 토지피복을 분류하고 공간객체별 최적화된 의미분할시스템을 제공하기 위한 것이다.

상기한 목적을 달성하기 위하여, 본 발명은 이미지를 수신받아 복수의 학습모델로 의미분할을 학습하는 이미지학습부; 상기 의미분할을 위한 분류항목 및 상기 분류항목에 해당하는 지형데이터를 저장하는 분류기준부; 상기 이미지학습부에 의한 학습결과를 기초로 하이퍼파라미터를 변경시키는 하이퍼파라미터튜닝부; 상기 학습결과에 기초하여 각 학습모델에 대한 정확도를 판단하는 분류평가부; 상기 분류평가부에 의한 평가결과에 기초하여 각 학습모델마다 대응하는 분류항목을 매칭시키는 의미분할최적화부를 포함하여 구성되는 의미분할 최적화시스템을 제공한다.

상기 분류기준부는 지형에 대한 분류항목을 포함하며, 상기 분류항목은 1차로 산림지과 비산림지로 구분되고, 상기 산림지와 비산림지에 대해 가각 세분화된 분류항목으로 구분되는 것이 바람직하다.

상기 분류평가부는 복수의 학습모델에 대하여 각각 학습된 결과를 지형데이터와 비교하여 각 분류항목마다 정확도를 계산할 수 있다.

상기 의미분할최적화부는 각 분류항목마다 정확도가 가장 높은 학습모델을 매칭시키고, 대상 이미지에서 각 분류항목에 매칭된 학습모델에 의한 의미분할결과를 이용하여 대상 이미지를 의미분할하는 것이 바람직하다.

의미분할최적화부는 상기 복수의 학습모델에 의해 의미분할된 부분이 중복되는 경우, 중복부분에 대한 학습모델의 정확도를 비교하여 정확도가 더 높은 학습모델에 의한 분류항목을 선택하는 것이 바람직하다.

하이퍼파라미터튜닝부는 상기 이미지학습부에 의한 학습결과에 따라 학습반복횟수, 입력영상크기, 배치크기(batch size) 중 적어도 하나를 포함한 하이퍼파라미터를 변경시키며, 정확도 및 손실값에 기초하여 최적의 하이퍼파라미터를 산출하는 것이 바람직하다.

본 발명에 의하면, 단일 방법론에 의존한 의미분할방법을 개선하여 이미지 항목별 최적화된 분류방법을 제공하여 분류 신뢰도를 향상시킬 수 있으며, 고품질의 분류결과를 산출할 수 있다.

도 1은 본 발명에 의한 의미분할 최적화시스템의 구성을 나타내는 구성도;
도 2는 도 1에 의한 의미분할 최적화시스템의 흐름도;
도 3은 도 1에서 분류기준부에 의한 분류항목을 나타내는 예시도;
도 4 내지 도 6은 학습모델의 예를 나타내는 예시도;
도 7은 지형데이터 및 복수의 학습모델에 의한 의미분할 결과를 나타내는 예시도;
도 8은 도 1에서 분류평가부에 의한 평가결과를 나타내는 예시도;
도 9는 도 1에서 의미분할최적화부의 최적화방법을 설명하기 위한 설명도;
도 10 내지 도 12는 CNN 알고리즘에 대한 설명도.

본 발명에 의한 구체적인 실시예의 구성 및 작용에 대하여 도면을 참조하여 상세하게 설명한다.

도 1 및 도 2를 참조하면, 본 발명에 의한 자동화된 의미분할 최적화시스템(10)은 전처리부(100), 분류기준부(200), 이미지학습부(300), 하이퍼파라미터튜닝부(400), 분류평가부(500), 의미분할최적화부(600)를 포함하여 구성된다.

상기 전처리부(100)는 한 이미지에 대하여 복수의 밴드를 포함하는 이미지데이터셋을 구성하며, 상기 밴드는 Pancromatic(PAN), blue, gree, red, near infrared(NIR) 등을 포함할 수 있다. 또한, 전처리부(100)는 이러한 복수의 밴드로 구성된 고해상도 영상을 수신받을 수 있다. 또한, 고해상도의 다중분광 영상을 사용하기 위하여 고해상도 Pancromatic 밴드를 활용하여 상대적으로 낮은 다중분광 밴드의 해상도를 높여주는 Pan-sharpening을 사용할 수 있다. 본 실시예에서는 0.7m 해상도의 다중분광 영상을 사용하였다.

상기 분류기준부(200)는 데이터베이스를 이용하여 구성될 수 있으며, 의미분할(Semantic segmentation)을 통해 분류하고자 하는 항목에 대한 데이터 및 각 분류항목에 해당하는 지형데이터인 국가공인환경수치주제도가 저장될 수 있다.

본 실시예에서는 분류기준부(200)에 토지피복항목이 저장되며, 도 3을 참조하면, 상기 분류기준부(200)는 분류항목을 산림지와 비산림지로 1차 분류하고, 다시 산림지와 비산림지를 세분화하여 총 13개의 분류항목이 저장된다. 그리고, 상기 분류항목에는 각각 대응하는 색상이 매칭된다.

상기 지형데이터는 지도상의 실제 지형정보가 담긴 Ground Truth데이터로 구성될 수 있으며, 이러한 지형데이터는 임상도 및 토지피복지도를 포함하여 다양한 국가공인 환경수치주제도를 통해 입력받을 수 있다. 즉, 국가공인 데이터를 통해 검증된 Ground Truth를 생성할 수 있다.

이미지학습부(300)에서는 수신된 구축된 이미지데이터셋을 이용하여 복수의 학습모델로 의미분할(Semantic segmentation) 학습을 수행한다. 이러한 복수의 학습모델은 세그넷(Segnet), 유넷(U-net), 딥랩V3+(DeeplabV3+) 모델 등을 포함할 수 있다.

도 4를 참조하면, 상기 세그넷은 인코더 및 디코더 프로세스로 구성된다. 즉, 인코더 프로세스에서 압축 및 특징 추출단계가 진행되며, 디코더 프로세스에서 영상복원을 진행한다. 이러한 세그넷은 기존 풀링층(pooling layer)을 디코더 프로세스에 사용함으로써 공간정보 소실의 문제점이 완화된다.

도 4에서 입력이미지가 네트워크에 들어가면 컨볼루션(convolution)과 맥스풀링(max pooling)이 반복하여 수행됨으로써 압축되고, 중간 네트워크에서 다른 도메인으로 변환하여 다시 업샘플링(upsampling) 된다.

도 5를 참조하면, 상기 유넷은 왼쪽의 축소경로(contracting path), 오른쪽의 확장경로(expansive path)로 나뉘게 된다. 축소경로 단계에서는 N×N×C 크기의 C채널을 갖는 이미지 패치를 입력 레이어로 사용한다. 또한, 각 단계별로 컨볼루션층(Convolution layer), ReLU 활성화함수 및 맥스풀링(Max pooling)을 이용한 서브샘플링(sub sampling)이 수행된다.

확장경로 단계에서는 두가지 특징이 나타난다. 첫째, 스킵커넥션(skip connection)을 사용하여 축소경로 단계에서 사용된 원시정보를 가져오는 카피앤크롭(copy and crop) 과정이다. 둘째, 영상복원 단계에서 총연결층(Fully conneted layer) 없이 컨볼루션층(convolution layer)만 존재한다.

네트워크에서는 입력이미지를 미러링하여 패치의 경계값을 예측한다. 또한, 슬라이딩 윈도우가 아닌 패치단위로 입력데이터를 사용함으로써, 빠른 속도를 나타낸다.

도 6을 참조하면, 상기 딥랩V3+는 인코딩과 디코딩 구조로 나뉜다. 먼저, 인코더 과정에서 특징추출 및 압축이 진행되며, 컨볼루션 중간에 공간을 비워두는 Atrous 컨볼루션을 사용하여 특징추출을 진행한다. Atrous 컨볼루션은 풀링(pooling) 과정에서 상세한 정보의 유실 및 특징의 추상화를 방지함으로써 모델의 성능을 높일 수 있다. 또한, 풀링 과정에서 공간 피라미드 풀링(spatial pyramid pooling)을 적용하여 다양한 크기의 정보를 담을 수 있게 구성한다. 특징추출 완료후, 디코더 과정에서 원본 이미지와 동일한 해상도로 영상이 복원되며, 최종결과를 예측한다.

이미지학습부(300)에서는 상기한 바와 같은 복수의 학습모델을 이용하여 의미분할이 학습되며, 이때, 하이퍼파라미터튜닝부(400)에 의해 하이퍼파라미터가 변경되면서 반복적으로 학습이 이루어진다.

상기 하이퍼파라미터는 학습반복횟수, 입력 영상크기, 한번 학습시 사용되는 영상(밴드) 개수인 배치크기(batch size) 등이 포함될 수 있다.

상기 밴드는 적외선 및 자외선을 포함하는 Pancromatic(PAN) 이미지,blue 이미지, green이미지, red이미지, near infrared(NIR)이미지 등을 포함할 수 있으며, 어떤 밴드를 포함시킬 것인가는 하이퍼파라미터튜닝부에 의한 학습결과에 의하여 결정된다.

상기 하이퍼파라미터튜닝부(400)에서는 한번 학습이 종료될 때마다 산출된 정확도 및 손실값의 변화율에 기초하여 상기 하이퍼파라미터를 변경시킨다. 예를 들어, 하이퍼파라미터튜닝부(400)에서는 학습반복횟수를 증가시키면서 학습을 반복하면서 정확도의 변화율이 설정치 이하가 되면 다른 하이퍼파라미터인 입력영상크기를 변경시킨다. 이와 같이 하이퍼파라미터튜닝부에서는 정확도의 변화율이 설정치 이하가 되면 다른 파라미터를 순차적으로 변경시키면서 학습을 반복하도록 할 수 있다.

학습이 모두 종료된 후에는 정확도 또는 손실값에 기초하여 최적의 하이퍼파라미터를 산출한다. 이때, 상기 하이퍼파라미터는 각 학습모델에 따라 달라질 수 있다.

도 7을 참조하면, 이렇게 각 학습모델별로 학습결과가 표시되고, 상기 분류평가부(500)는 각 학습모델별로 정확도 또는 손실값을 계산하며, 분류기준부(200)에 의한 각 분류항목별로 정확도를 계산한다.

상기 정확도 산출은 이미지의 각 픽셀별로 수행된다. 구체적으로, 분류기준부의 지형데이터(환경수치주제도)에 의한 특정 분류항목에 속하는 모든 픽셀에 대하여, 학습결과에 의한 상기 픽셀과 동일한 위치의 픽셀을 비교하여 분류항목이 일치하는 픽셀의 갯수를 산출하여 정확도를 계산한다.

예를 들어, 국가공인 환경수치주제도에서 분류항목 '도로'에 해당하는 픽셀의 개수가 20,000이고, 상기 지형데이터의 '도로'와 동일한 위치의 20,000개 픽셀 중 학습모델 1에 의한 학습결과에서 '도로'로 분류된 픽셀의 갯수가 15,000개라면 정확도는 15,000/20,000×100 = 75%로 계산된다.

이렇게 분류평가부(500)에서는 분류기준부에 의한 분류항목에 따라 정확도를 계산하여 가장 높은 정확도를 나타내는 학습모델을 상기 분류항목에 매칭시킨다. 이때, 분류평가부(500)에 의한 정확도 계산에서 모든 학습모델에서 정확도가 일정 수치 이하인 분류항목은 특정 학습모델에 매칭되지 않을 수 있다. 이렇게 함으로써 인식이 안되는 분류항목을 색출할 수 있으며, 이러한 분류항목에 대한 새로운 학습모델을 개발할 필요성을 객관적인 자료로 나타낼 수가 있다.

상기 의미분할최적화부(600)는 복수의 학습모델을 이용하여 임의의 대상 이미지에 대해 의미분할을 수행하며, 이때, 분류평가부(500)에 의해 매칭된 학습모델을 이용한다.

구체적으로, 학습모델1 내지 학습모델 3에 의해 대상 이미지가 의미분할(Semantic segmentation)되면 각 분류항목이 생성되며, 의미분할최적화부에서는 생성된 분류항목마다 매칭되는 학습모델을 검색하여 해당 학습모델에 의한 분류결과를 이용하여 의미분할을 한다.

예를 들어, 도 8에서 임의의 대상 이미지에 대하여 '침엽수', '활엽수', '기타초지', '묘지', '고사목', '건물', '도로', '논', '밭'에 대한 분류항목이 생성되고, 이 중 '건물'에 대하여 매칭되는 학습모델은 '학습모델1'로 검출된다. 따라서, 의미분할최적화부(600)에서는 '학습모델1'에 의한 의미분할결과에서 '건물'로 분류된 픽셀에 대하여 '건물'로 분류한다. 마찬가지로, 분류항목 '논'에 대해서는 '학습모델2'가 매칭되고, 학습모델2에서 '논'으로 분류된 픽셀에 대하여 대상 이미지에서 '논'으로 분류한다.

도 9를 참조하면, 대상 이미지에서 학습모델1에 의한 '건물'과 학습모델2에 의한 '나지'가 분류되었으나, '건물'과 '나지'가 겹쳐서 중복되는 부분(A)이 발생하는 경우가 있다.

이러한 경우 의미분할최적화부에서는 학습모델1 및 학습모델2를 제외한 다른 학습모델을 참조할 수 있으며, 예를 들어, 'A'부분에 대하여 학습모델3이 정확도 60% 이상으로 '나지'로 분류했다면 의미분할최적화부에서는 중복되는 부분인 'A'에 대하여 '나지'로 분류할 수 있다.

다른 방법으로서, 학습모델1 및 학습모델2를 제외한 다른 학습모델이 없거나 'A'부분에 대하여 다른 학습모델인 학습모델3에 의한 결과가 정확도 60% 미만이거나 학습모델3에 의한 결과가 '건물'도 아니고 '나지'도 아닌 경우, 의미분할최적화부에서는 중복부분인 'A'부분에 대하여 학습모델1 및 학습모델2의 각 분류항목에 대한 정확도를 비교하여 정확도가 더 높은 분류항목으로 분류할 수 있다.

예를 들어, 학습모델1에서 '건물'에 대한 정확도가 51.6%이고, 학습모델2에서 '나지'에 대한 정확도가 69.7%인 경우 의미부할통합부에서는 중복되는 'A'부분에 대해 '나지'으로 분류한다.

이와 같이 본 발명에 의하면 각 학습모델의 강점을 취합하여 최적화를 통해 가장 정확한 의미분할을 수행할 수 있어 결과의 신뢰성을 향상시킬 수 있다.

상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 전처리부 200 : 분류기준부
300 : 이미지학습부 400 : 하이퍼파라미터튜닝부
500 : 분류평가부 600 : 의미분할최적화부

Claims (6)

1. 이미지를 수신받아 복수의 학습모델로 의미분할을 학습하는 이미지학습부;
   상기 의미분할을 위한 분류항목 및 상기 분류항목에 해당하는 지형데이터를 저장하는 분류기준부;
   상기 이미지학습부에 의한 학습결과를 기초로 하이퍼파라미터를 변경시키는 하이퍼파라미터튜닝부;
   상기 학습결과에 기초하여 각 학습모델에 대한 정확도를 판단하는 분류평가부;
   상기 분류평가부에 의한 평가결과에 기초하여 각 학습모델마다 대응하는 분류항목을 매칭시키는 의미분할최적화부를 포함하여 구성되며,
   상기 분류평가부는 지형데이터에 의한 특정 분류항목에 속하는 모든 픽셀에 대하여 학습결과에 의한 상기 픽셀과 동일한 위치의 픽셀을 비교하여 분류항목이 일치하는 픽셀의 개수를 산출하여 각 분류항목마다 정확도를 계산하고,
   상기 의미분할최적화부는 각 분류항목마다 정확도가 가장 높은 학습모델을 매칭시키고, 대상 이미지에서 각 분류항목에 매칭된 학습모델에 의한 의미분할결과를 이용하여 대상 이미지를 의미분할하며, 상기 복수의 학습모델에 의해 의미분할된 부분이 중복되는 경우, 중복부분에 대한 학습모델의 정확도를 비교하여 정확도가 더 높은 학습모델에 의한 분류항목을 선택하는 것을 특징으로 하는 의미분할 최적화시스템.
   
2. 제1항에 있어서,
   상기 분류기준부는 지형에 대한 분류항목을 포함하며, 상기 분류항목은 1차로 산림지과 비산림지로 구분되고, 상기 산림지와 비산림지에 대해 가각 세분화된 분류항목으로 구분되는 것을 특징으로 하는 의미분할 최적화시스템.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images