KR20210122523A

KR20210122523A - 영상 분석을 위한 인덱스 발굴 장치 및 방법

Info

Publication number: KR20210122523A
Application number: KR1020200039781A
Authority: KR
Inventors: 이준환
Original assignee: 전북대학교산학협력단
Priority date: 2020-04-01
Filing date: 2020-04-01
Publication date: 2021-10-12
Also published as: KR102333149B1

Abstract

본 발명의 일 실시예에 따른 영상 분석을 위한 인덱스 발굴 장치는, 입력 영상의 채널들을 비선형적으로 조합하여 인덱스 풀을 생성하는 인덱스 풀 생성부; 상기 인덱스 풀에 포함된 인덱스가 임의의 목적에 부합하는지 해석하기 위해 CAM(Class Activation Map)을 생성하는 CAM 생성부; 및 상기 CAM을 기초로 상기 임의의 목적에 부합하는 최적의 인덱스를 발굴하는 인덱스 발굴부를 포함할 수 있다.

Description

영상 분석을 위한 인덱스 발굴 장치 및 방법 {Apparatus and Method for Index Discovery for Image Analysis}

본 출원은 영상 분석을 위한 인덱스 발굴 장치 및 방법에 관한 것이다.

일반적으로 RGB 영상뿐만 아니라 다중분광 영상 분석에는 표 1과 같은 다양한 인덱스들이 개발되어 사용되고 있다.

이러한 인덱스들은 영상 분석 전문가의 경험을 통해 얻어진 일종의 특징으로 특별한 관심영역을 강조하여 인간의 시각을 통해서나 기계시각(machine vision) 관점에서 영상 분석을 용이하게 만들어 준다.

식생지수	공식
NDVI (Normalized Difference Vegetation Index)
GNDVI (Green Normalized Difference Vegetation Index)
SAVI (Soil Adjusted Vegetation Index)
MSAVI (Modified Soil Adjusted Vegetation Index)
ARVI (Atmospherically Resistant Vegetation Index)
RVI (Ratio Vegetation Index)

그러나, 이와 같은 인덱스들이 어떤 목적에 최적으로 부합하는지 판단하기 위해서 또 다른 시행착오가 필요하고, 경우에 따라서는 파라미터를 포함하고 있어서(예를 들어, ARVI에서 rb) 이 파라미터를 목적에 맞게 조정해야 하는 번거로움이 있다.

따라서, 당해 기술분야에서는 영상 분석을 위한 인덱스를 자동으로 발굴해 내고 최적의 목적으로 활용하도록 하기 위한 방안이 요구되고 있다.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 영상 분석을 위한 인덱스 발굴 장치를 제공한다.

상기 영상 분석을 위한 인덱스 발굴 장치는, 입력 영상의 채널들을 비선형적으로 조합하여 인덱스 풀을 생성하는 인덱스 풀 생성부; 상기 인덱스 풀에 포함된 인덱스가 임의의 목적에 부합하는지 해석하기 위해 CAM(Class Activation Map)을 생성하는 CAM 생성부; 및 상기 CAM을 기초로 상기 임의의 목적에 부합하는 최적의 인덱스를 발굴하는 인덱스 발굴부를 포함할 수 있다.

또한, 본 발명의 다른 실시예는 영상 분석을 위한 인덱스 발굴 방법을 제공한다.

상기 영상 분석을 위한 인덱스 발굴 방법은, 입력 영상의 채널들을 비선형적으로 조합하여 인덱스 풀을 생성하는 단계; 상기 인덱스 풀에 포함된 인덱스가 임의의 목적에 부합하는지 해석하기 위해 CAM(Class Activation Map)을 생성하는 단계; 및 상기 CAM을 기초로 상기 임의의 목적에 부합하는 최적의 인덱스를 발굴하는 단계를 포함할 수 있다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 영상 분석을 위한 인덱스를 자동으로 발굴해 내고 최적의 목적으로 활용하도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 분석을 위한 인덱스 발굴 장치의 구성도이다.
도 2는 도 1에 도시된 인덱스 풀 생성부의 상세 구성도이다.
도 3은 본 발명의 일 실시예에 따른 다중 채널 영상의 1x1 콘볼루션과 덴스 넷의 구조를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 CAM 생성 및 인덱스 발굴 예를 도시하는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 분석을 위한 인덱스 발굴 방법의 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 영상 분석을 위한 인덱스 발굴 장치의 구성도이고, 도 2는 도 1에 도시된 인덱스 풀 생성부의 상세 구성도이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 분석을 위한 인덱스 발굴 장치(100)는 인덱스 풀 생성부(110), CAM(Class Activation Map) 생성부(120) 및 인덱스 발굴부(130)를 포함하여 구성될 수 있다.

여기서, 인덱스 풀 생성부(110)는 입력 영상의 채널들을 비선형적으로 조합하여 인덱스 풀을 생성하기 위한 것으로, 1x1 콘볼루션 및 덴스 넷(dense net)(111)으로 구현될 수 있으며 선택적으로 분류기(112)를 더 포함하여 구성될 수 있다.

도 3은 본 발명의 일 실시예에 따른 다중 채널 영상의 1x1 콘볼루션과 덴스 넷의 구조를 도시하는 도면이다.

입력 영상에 해당하는 다중 채널 영상은 RGB 영상에서는 3 채널을 포함하며, 다중분광 영상에서는 RGB 이외에 NIR, RedEdge 등을 포함하는 복수의 채널을 포함할 수 있다.

도 3은 RGB와 NIR을 포함하는 4 채널 영상인 경우의 예를 도시하는 것으로, 덴스 넷 구조의 레이어는 이전 레이어의 모든 채널을 입력으로 한다. 이를 통해, 학습에 의해 발굴되는 인덱스가 다양한 함수들에 의해 선택되어 채널들을 융합하게 만들 수 있다. 또한, 레이어가 깊어질수록 더 많은 조합의 채널들이 융합된 인덱스들을 생성할 수 있다.

구체적으로, 1x1 콘볼루션은 수학식 1과 같이 표현될 수 있다.

[수학식 1]

또한, 덴스 넷에서의

번째 레이어의 출력은 수학식 2와 같이 표현될 수 있다.

[수학식 2]

여기서,

는

번째 채널의 가중치이고,

는 바이어스를 의미한다. 또한, 함수

는 비선형 함수로서, 수학식 3과 같은 시그모이드(sigmoid) 함수를 사용할 수 있다.

[수학식 3]

이와 같은 시그모이드 함수는 지수 부분을 포함하고 있으므로, 테일러(Taylor) 급수 전개시 다양한 차수의 비선형 항을 포함하여 풍성한 비선형 함수의 풀(pool)을 구성함으로써 학습에 의한 비선형 인덱스 자동 생성에 도움을 줄 수 있다.

한편, 분류기(112)는 필요에 따라 선택적으로 구비될 수 있는 것으로, 일 실시예에 따르면, 1x1 콘볼루션 및 덴스 넷(dense net)(111)에 의해 출력된 특징 맵(feaure map), 즉 인덱스 풀에 GAP(Global Average Pooling)을 수행하고 소프트맥스(softmax)를 이용하여 복수의 부류를 분류할 수 있다. 이는 다양한 특징을 생성하여 특정한 영상 분석을 위해 활용하기 위해 필요한 구성이다.

구체적으로, 도 3에 도시된 덴스 넷의 출력이

개의 특징 맵을 제공하는 경우, 해당 특징 맵에 수학식 4에 따라 GAP를 수행할 수 있다.

[수학식 4]

이후, 수학식 5와 같이 각각의 특징에 가중치를 곱하여 합산할 수 있다.

[수학식 5]

이후, 그 결과에 소프트맥스를 취하여 수학식 6과 같이

개 부류의 소속 확률을 계산할 수 있다.

[수학식 6]

상술한 수학식 1 내지 수학식 6의 과정은 모두 미분 가능하며, 학습시 임의의 영상에 구별하고자 하는 객체가 들어 있다면 해당 부류를 1로 하며 다른 부류는 0으로 하여 약 감독학습(weakly supervised learning)을 수행할 수 있다. 예를 들어,

인 경우, 해당 객체가 두 번째 부류라면 (0,1,0)을 원하는 출력으로 하여 수학식 6에 따른 결과들과 크로스 엔트로피(Cross Entropy) 등을 손실함수로 하여 학습을 수행할 수 있다.

CAM 생성부(120)는 어떠한 인덱스가 임의의 목적에 부합하는지 해석하기 위해 CAM을 생성할 수 있고, 인덱스 발굴부(130)는 임의의 목적에 부합하는 최적의 인덱스를 발굴하기 위한 것이다.

도 4는 본 발명의 일 실시예에 따른 CAM 생성 및 인덱스 발굴 예를 도시하는 도면이다.

도 4에 도시된 바와 같이,

번째 객체의 가중치들을 특징 맵에 곱하여 이를 합산하면 CAM을 생성할 수 있으며, 이를 히트 맵(heat map) 형태로 표현한 경우 객체가 존재하는 위치를 근사적으로 알 수 있게 된다.

여기서, 각각의 가중치들은

번째 객체를 구별하는데 얼마나 중요한 역할을 하였는지를 표현하는 것으로, 가중치의 절대값,

이 큰 특징 맵들이 결국

번째 객체를 구별해 내는데 중요한 인덱스가 될 수 있다.

필요에 따라서,

가 큰 특징 맵으로부터 덴스 넷을 역추적하면서 1x1 콘볼루션의 파라미터들을 얻어내면 최초 입력단의 다중 채널이 어떻게 결합하여 특징 맵, 즉 인덱스가 만들어 졌는지 확인할 수 있다. 즉, 입력 영상의 각 채널이 어떻게 1x1 콘볼루션 되었으며 덴스 넷에서 어떠한 경로로 특징 맵을 구성하였는지를 탐색함으로써 인덱스를 명시적인 함수로 표현할 수 있다.

도 5는 본 발명의 다른 실시예에 따른 영상 분석을 위한 인덱스 발굴 방법의 흐름도이다.

도 5를 참조하면, 입력 영상의 채널들을 비선형 조합하여 인덱스 풀을 생성하고(S510), 필요에 따라 GAP 및 소프트맥스 분류를 수행할 수 있다(S520).

이후, CAM을 생성하고(S530), 이를 기초로 임의의 목적에 부합하는 인덱스를 발굴할 수 있다(S540).

각 단계의 구체적인 내용은 도 1 내지 도 4를 참조하여 상술한 바와 동일하므로 이에 대한 중복적인 설명은 생략한다.

도 5를 참조하여 상술한 인덱스 발굴 방법은 도 1을 참조하여 상술한 인덱스 발굴 장치에 의해 수행될 수 있다.

상술한 바와 같은 본 발명의 실시예에 따른 인덱스 발굴 장치 및 인덱스 발굴 방법은 후술하는 바와 같은 기술적 특징을 갖는다.

첫째, 일반적으로 전문가에 의해 만들어진 인덱스에는 대역을 구성하는 채널들 사이에 비선형 함수를 포함하고 있으므로, 이를 근사화하기 위해 1x1 콘볼루션 연산과 시그모이드 함수를 활용한다.

둘째, 덴스 넷을 활용하여 다양한 비선형 함수의 풀을 구성한다. 이와 같은 다양성은 사람이 미처 발견하지 못한 인덱스를 학습에 의해 찾아내는데 유리하다.

셋째, CAM 방식을 이용하여 특정 객체 부분을 히트 맵 형태로 표현할 수 있으며 분류에 적합한 특징, 즉 가중치의 절대치가 큰 특징을 찾아내어 이를 인덱스로 발굴한다. 또한, 이와 같이 학습된 인덱스를 만드는 1x1 콘볼루션 및 덴스 넷을 해석함으로써 비선형 함수를 명시적인 함수로 표현할 수 있다.

넷째, GAP과 소프트맥스 분류를 수행하지 않더라도, 다양한 비선형 채널들의 풀로부터 의미있는 국부적인 특징들을 추출하고 이를 여러 가지 목적에 활용할 수 있다.

상술한 바와 같은 본 발명의 실시예에 따라 발굴된 인덱스들은 다중분광 영상을 활용하는 다양한 영상분석 분야에서 사용될 수 있다.

예를 들어, 본 발명의 실시예는 항공 다중분광 영상으로부터의 소나무 재선충 탐색을 위한 최적의 인덱스를 발굴하기 위해 사용될 수 있다. 이 경우, 본 발명의 실시예에 따른 인덱스의 발굴 및 탐색을 위한 네트워크를 탑재한 임베디드 보드를 드론에 장착하고, 드론에서 실시간으로 영상을 분석하여 재선충 피해목의 위치 정보를 전송하는 형태로 구현될 수 있다.

뿐만 아니라, 대상 객체의 종류 및 목적에 따라 전문가의 도움 없이도 최적의 인덱스를 개발할 수 있게 되어 다양한 분야에서 널리 활용될 수 있다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 인덱스 발굴 장치
110: 인덱스 풀 생성부
120: CAM 생성부
130: 인덱스 발굴부

Claims

입력 영상의 채널들을 비선형적으로 조합하여 인덱스 풀을 생성하는 인덱스 풀 생성부;
상기 인덱스 풀에 포함된 인덱스가 임의의 목적에 부합하는지 해석하기 위해 CAM(Class Activation Map)을 생성하는 CAM 생성부; 및
상기 CAM을 기초로 상기 임의의 목적에 부합하는 최적의 인덱스를 발굴하는 인덱스 발굴부를 포함하는 영상 분석을 위한 인덱스 발굴 장치.
제 1 항에 있어서, 상기 인덱스 풀 생성부는,
시그모이드 함수를 사용하는 1x1 콘볼루션 및 덴스 넷을 포함하며,
상기 덴스 넷은 이전 레이어의 모든 채널을 입력으로 하는 복수의 레이어를 포함하는 것을 특징으로 하는 영상 분석을 위한 인덱스 발굴 장치.
제 2 항에 있어서, 상기 인덱스 풀 생성부는,
상기 1x1 콘볼루션 및 덴스 넷에 의해 출력된 인덱스 풀에 GAP(Global Average Pooling)을 수행하고 소프트맥스(softmax)를 이용하여 복수의 부류를 분류하는 분류기를 더 포함하는 것을 특징으로 하는 영상 분석을 위한 인덱스 발굴 장치.
제 1 항에 있어서,
상기 CAM 생성부는 CAM을 히트 맵(heat map) 형태로 표현하는 것을 특징으로 하는 영상 분석을 위한 인덱스 발굴 장치.
제 1 항에 있어서,
상기 인덱스 발굴부는 가중치의 절대값이 가장 큰 인덱스를 임의의 객체를 구별하는 인덱스로 발굴하는 것을 특징으로 하는 영상 분석을 위한 인덱스 발굴 장치.
입력 영상의 채널들을 비선형적으로 조합하여 인덱스 풀을 생성하는 단계;
상기 인덱스 풀에 포함된 인덱스가 임의의 목적에 부합하는지 해석하기 위해 CAM(Class Activation Map)을 생성하는 단계; 및
상기 CAM을 기초로 상기 임의의 목적에 부합하는 최적의 인덱스를 발굴하는 단계를 포함하는 영상 분석을 위한 인덱스 발굴 방법.
제 6 항에 있어서,
상기 인덱스 풀에 GAP(Global Average Pooling)을 수행하고 소프트맥스(softmax)를 이용하여 복수의 부류를 분류하는 단계를 더 포함하는 것을 특징으로 하는 영상 분석을 위한 인덱스 발굴 방법.