KR102141163B1

KR102141163B1 - Sar 영상 생성을 위한 뉴럴 네크워크 학습 방법 및 장치.

Info

Publication number: KR102141163B1
Application number: KR1020200053805A
Authority: KR
Inventors: 김영중; 김성호
Original assignee: 국방과학연구소
Priority date: 2020-05-06
Filing date: 2020-05-06
Publication date: 2020-08-04

Abstract

본 발명은 SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크 학습 방법 및 장치를 제공한다.
본 발명에서는 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 뉴럴 네트워크에 입력하고, 뉴럴 네트워크를 통해 제1 영상을 생성하고, 뉴럴 네트워크의 라벨 데이터(label data)에 상응하는 제2 영상을 생성하고, 생성된 제1 영상 및 제2 영상을 이용하여 뉴럴 네트워크를 학습시키는 뉴럴 네트워크 학습 방법이 제공될 수 있다.

Description

SAR 영상 생성을 위한 뉴럴 네크워크 학습 방법 및 장치.{NEURAL NETWORK LEARNING METHOD AND APPARATUS FOR GENERATING SYNTHETIC APERTURE RADAR IMAGE}

실시예들은 뉴럴 네트워크 학습 방법 및 장치에 관한 것으로, 보다 상세하게는 SAR 영상 생성을 위한 뉴럴 네트워크를 학습시키는 방법 및 장치에 관한 것이다.

SAR 영상은 합성개구레이다(SAR　: Synthetic Aperture Radar)에 의해 관찰된 영상이다. 합성개구레이다(SAR)는 공중에서 지상 및 해양을 관찰하는 레이다이다. 합성개구레이다(SAR)는 항공기 등에 탑재되어 지형 지물에 대한 정보를 제공하거나, 드론 등의 무인 정찰기에 탑재되어 적군의 위치, 움직임 등에 대한 정보를 제공할 수 있다.

한편, 수동 센서(Passive Sensor)를 사용하는 일반 광학영상과는 달리 능동 센서를(Active Sensor) 사용하는 SAR영상은 전파를 송신하고 이를 수신한 원시 측정 데이터를 처리하여 생성하기 때문에 영상 생성의 난이도가 높다. 이에 따라, 원시 측정 데이터로부터 SAR 영상 생성을 위해 Matched Filter, Backprojection, Range Doppler, Compressed Sensing 등 다양한 알고리즘들이 개발되어 왔다. 위 방법들은 측정된 복소수 형태의 원시 데이터를 신호처리 관점에서 처리하여 장면의 반사율 (reflectivity)로 변환한다.

도 1은 비교예로서 종래의 SAR영상 생성을 위한 신호처리 파이프라인이다. Range Doppler 와 같은 주파수 도메인 방법들은 여러 SAR 데이터 처리 파이프라인으로 구성되어 있다. 구체적으로는 Motion compensation단계, Range compression단계, Range migration단계, Azimuth compression단계 및 Auto-focusing단계를 거쳐서 SAR영상을 생성한다. 이처럼 여러 단계의 처리 파이프라인으로 구성되어있기 때문에, 각 단계의 오차가 다음 단계로 전파될 수 있다는 문제점이 있다. 또한 Backprojection 등의 시간 도메인 방법들은 계산 복잡도가 높고 병렬 연산을 통한 고속화가 어렵다는 문제점이 있다. 따라서, 이러한 문제점을 해결하기 위한 새로운 SAR영상 생성 방법이 요구되고 있다.

선행 1: KR 10-2074372호 선행 2: KR 10-2019-0084146호

실시예들에 따른 일 과제는, SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크 학습 방법 및 장치를 제공하는 것이다.

실시예들에 따른 다른 일 과제는 뉴럴 네트워크를 이용한 SAR 영상 생성 방법 및 장치를 제공하는 것이다.

해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 양상에 따르면, SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크 학습 방법으로서, 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 뉴럴 네트워크에 입력하는 단계, 뉴럴 네트워크를 통해 제1 영상을 생성하는 단계, 제1 데이터를 기초로 SAR영상 생성 알고리즘을 수행하여 뉴럴 네트워크의 라벨 데이터(label data)에 상응하는 제2 영상을 생성하는 단계 및 생성된 제1 영상 및 제2 영상을 이용하여 뉴럴 네트워크를 학습시키는 단계를 포함하는 뉴럴 네트워크 학습 방법이 제공될 수 있다.

또한, 뉴럴 네트워크를 학습시키는 단계는 손실 함수를 계산하는 단계를 더 포함하고, 손실 함수는 제1 영상 및 상기 제2 영상의 차이의 절댓값에 소정의 상수를 합하고, 절댓값과 소정의 상수의 합을 거듭제곱한 것으로 구성될 수 있다.

또한, 손실함수는 하기 수학식에 의해 계산되고,

[수학식]

를

에서

에 가깝게 소정의 임계값 만큼씩 감소시키면서 학습하는 단계를 포함할 수 있다.

(여기서,

은 제1 영상,

은 제2 영상,

는 픽셀좌표,

는 상수,

는 상수 임.)

또한, 제1 영상을 생성하는 단계는 원시 에코 데이터를 제1 인코더에 의해 제2 데이터로 변환하는 단계, 주파수 및 기하 정보를 제2 인코더에 의해 제3 데이터로 변환하는 단계, 제2 데이터 및 제3 데이터를 융합하여 제4 데이터를 생성하는 단계 및 제4 데이터를 디코더에 의해 제1 영상으로 변환하는 단계를 포함할 수 있다.

또한, 제1 인코더는 허수부 컨볼루션 커널 및 실수부 컨볼루션 커널을 포함할 수 있다.

또한, 제4 데이터를 생성하는 단계는, 제2 데이터 및 제3 데이터에 소정의 가중치를 각각 곱하여 합하는 단계를 포함할 수 있다.

또한, SAR영상 생성 알고리즘은 역투영 알고리즘(Backprojection Algorithm)일 수 있다.

다른 일 양상에 따르면, SAR 영상 생성 방법으로서, SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크 학습 방법에 의해 학습된 뉴럴 네트워크에 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 입력하는 단계 및 학습된 뉴럴 네트워크를 통해 제1 데이터에 상응하는 SAR 영상을 생성하는 단계를 포함할 수 있다.

또 다른 일 양상에 따르면, SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크 학습 방법 또는 SAR 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

또 다른 일 양상에 따르면, 뉴럴 네트워크 학습 장치로서, 메모리 및 프로세서를 포함하고, 프로세서는, 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 뉴럴 네트워크에 입력하고, 상기 뉴럴 네트워크를 통해 제1 영상을 생성하고, 제1 데이터를 기초로 SAR영상 생성 알고리즘을 수행하여 뉴럴 네트워크의 라벨 데이터(label data)에 상응하는 제2 영상을 생성하고, 상기 생성된 제1 영상 및 제2 영상을 이용하여 뉴럴 네트워크를 학습시킬 수 있다.

또 다른 일 양상에 따르면, 뉴럴 네트워크를 이용한 SAR 영상 생성 장치로서, 메모리 및 프로세서를 포함하고, 프로세서는, 학습된 뉴럴 네트워크에 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 입력하고, 학습된 뉴럴 네트워크를 통해 제1 데이터에 상응하는 SAR 영상을 생성할 수 있다.

실시예들은 SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크를 학습 시킴으로써, SAR 영상 생성 알고리즘을 하나의 CNN 구조로 통합하고 가속화할 수 있고, 병렬화가 용이한 CNN 구조를 학습함으로써 효율적인 SAR 영상 생성 알고리즘을 개발 가능하다.

또한, CNN의 정규화 기능을 통해 SAR영상의 스페클 노이즈(Speckle noise)를 감소시킬 수 있어서 고품질의 SAR 영상을 생성 할 수 있다.

효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 비교예로서 종래의 SAR영상 생성을 위한 신호처리 파이프라인이다.
도 2는 일 실시예에 따른 뉴럴 네트워크의 아키텍처를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 뉴럴 네트워크에서 입력 피처맵 및 출력 피처맵의 관계를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 뉴럴 네트워크 장치의 하드웨어 구성을 도시한 블록도이다.
도 5는 뉴럴 네트워크의 컨볼루션 연산을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 SAR 영상 생성 방법을 설명하기 위한 도면이다.
도 7은 학습 입력데이터와 학습 라벨 데이터를 설명하기 위한 도면이다
도 8은 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 블록도이다.
도 9는 복소수 컨볼루션을 설명하기위한 도면이다.
도 10은 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 흐름도이다.

본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.

실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 "...부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 실시 예들에서 사용되는 "구성된다"또는"포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.

실시 예에서, SAR 영상은 합성개구레이다(SAR　: Synthetic Aperture Radar)에 의해 관찰된 영상을 의미한다. 합성개구레이다(SAR)는 공중에서 지상 및 해양을 관찰하는 레이다이다. 합성개구레이다는 지상 및 해양에 대해 공중에서　레이다파를 순차적으로 쏜 이후 레이다파가 굴곡면에 반사되어 돌아오는 미세한 시간차를 처리하여 지상지형도를 만들거나 지표를 관측하는 레이다 시스템이다.

실시 예에서, 제1 영상은 뉴럴 네트워크에 의해 생성된 SAR영상, 제2 영상은 학습라벨 데이터로서 생성된 SAR영상을 의미한다.

실시 예에서, 제1 데이터는 뉴럴 네트워크에 입력되는 데이터, 제2 데이터는 원시 에코 데이터를 인코딩한 데이터, 제3 데이터는 주파수 및 기하 정보를 인코딩한 데이터, 제4 데이터는 제2 데이터와 제3 데이터를 융합한 데이터를 의미한다.

실시 예에서, 제1 인코더는 원시 에코 데이터 인코더, 제2 인코더는 주파수, 기하 정보 인코더를 의미한다.

뉴럴 네트워크(neural network)는 생물학적 뇌를 모델링한 컴퓨터 과학적 아키텍쳐(computational architecture)를 참조한다. 최근 뉴럴 네트워크(neural network) 기술이 발전함에 따라, 다양한 종류의 전자 시스템에서 뉴럴 네트워크를 활용하여 입력 데이터를 분석하고 유효한 정보를 추출하는 연구가 활발히 진행되고 있다. 뉴럴 네트워크를 처리하는 장치는 복잡한 입력 데이터에 대한 많은 양의 연산을 필요로 한다. 따라서, 뉴럴 네트워크를 이용하여 대량의 입력 데이터를 실시간으로 분석하여, 원하는 정보를 추출하기 위해서는 뉴럴 네트워크에 관한 연산을 효율적으로 처리할 수 있는 기술이 요구된다.

도 2는 일 실시예에 따른 뉴럴 네트워크의 아키텍처를 설명하기 위한 도면이다.

도 2를 참조하면, 뉴럴 네트워크(1)는 딥 뉴럴 네트워크(Deep Neural Network, DNN) 또는 n-계층 뉴럴 네트워크(n-layers neural networks)의 아키텍처일 수 있다. DNN 또는 n-계층 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(Convolutional Neural Networks, CNN), 리커런트 뉴럴 네트워크(Recurrent Neural Networks, RNN), Deep Belief Networks, Restricted Boltzman Machines 등에 해당될 수 있다. 예를 들어, 뉴럴 네트워크(2)는 컨볼루션 뉴럴 네트워크(CNN)로 구현될 수 있으나, 이에 제한되지 않는다. 도 2에서는 뉴럴 네트워크(1)의 예시에 해당하는 컨볼루션 뉴럴 네트워크에서 일부의 컨볼루션 레이어가 도시되었지만, 컨볼루션 뉴럴 네트워크는 도시된 컨볼루션 레이어 외에도, 풀링 레이어(pooling layer), 풀리 커넥티드(fully connected) 레이어 등을 더 포함할 수 있다.

뉴럴 네트워크(2)는 입력 데이터, 피처맵들(feature maps) 및 출력을 포함하는 복수 레이어들을 갖는 아키텍처로 구현될 수 있다. 뉴럴 네트워크(2)에서 입력 데이터는 커널(kernel)이라 불리는 필터와의 컨볼루션 연산이 수행되고, 그 결과 피처맵들이 출력된다. 이때 생성된 출력 피처맵들은 입력 피처맵들로서 다시 커널과의 컨볼루션 연산이 수행되고, 새로운 피처맵들이 출력된다. 이와 같은 컨볼루션 연산이 반복적으로 수행된 결과, 최종적으로는 뉴럴 네트워크(2)를 통한 입력 데이터의 특징들에 대한 인식 결과가 출력될 수 있다.

또한, 입력 데이터가 복소수인 경우, 뉴럴 네트워크는 허수부 컨볼루션 커널과 실수부 컨볼루션 커널을 포함 할 수 있으며, 허수부 컨볼루션 커널 및 실수부 컨볼루션 커널을 이용한 복소수 컨볼루션에 대해서는 도 8을 참조하여 더 자세히 후술한다.

예를 들어, 도 2의 뉴럴 네트워크(2)에 24x24 픽셀 크기의 데이터가 입력된 경우, 입력 데이터는 커널과의 컨볼루션 연산을 통해 20x20 크기를 갖는 4채널의 피처맵들로 출력될 수 있다. 이후에도, 20x20 피처맵들은 커널과의 반복적인 컨볼루션 연산을 통해 크기가 줄어들면서, 최종적으로는 1x1 크기의 특징들이 출력될 수 있다. 뉴럴 네트워크(2)는 여러 레이어들에서 컨볼루션 연산 및 서브샘플링(또는 풀링) 연산을 반복적으로 수행함으로써 입력 데이터로부터 데이터 전체를 대표할 수 있는 강인한 특징들을 필터링하여 출력하고, 출력된 최종 특징들을 통해 입력 데이터의 인식 결과를 도출할 수 있다.

도 3은 일 실시예에 따른 뉴럴 네트워크에서 입력 피처맵 및 출력 피처맵의 관계를 설명하기 위한 도면이다.

도 3을 참고하면, 뉴럴 네트워크의 어느 레이어(3)에서, 제1피처맵(FM1)은 입력 피처맵에 해당될 수 있고, 제2피처 맵(FM2)는 출력 피처맵에 해당될 수 있다. 피처맵은 입력 데이터의 다양한 특징들이 표현된 데이터 세트를 의미할 수 있다. 피처맵들(FM1, FM2)은 2차원 매트릭스의 엘리먼트들을 갖거나 또는 3차원 매트릭스의 엘리먼트들을 가질 수 있고, 각각의 엘리먼트에는 픽셀 값이 정의될 수 있다. 피처 맵들(FM1, FM2)은 너비(W)(또는 칼럼이라고 함), 높이(H)(또는 로우라고 함) 및 깊이(D)를 가진다. 이때, 깊이(D)는 채널들의 개수에 해당될 수 있다.

제1피처맵(FM1) 및 커널의 웨이트맵(WM)에 대한 컨볼루션 연산이 수행될 수 있고, 그 결과 제2피처맵(FM2)이 생성될 수 있다. 웨이트맵(WM)은 각 엘리먼트에 정의된 웨이트로 제1피처맵(FM1)과 컨볼루션 연산을 수행함으로써 제1피처맵(FM1)의 특징들을 필터링한다. 웨이트맵(WM)은 제1입력 피처맵(FM1)을 슬라이딩 윈도우 방식으로 시프트하면서 제1입력 피처맵(FM1)의 윈도우들(또는 타일이라고도 함)과 컨볼루션 연산을 수행한다. 각 시프트 동안, 웨이트맵(WM)에 포함된 웨이트들 각각은 제1피처맵(FM1) 내 중첩된 윈도우의 픽셀 값들 각각과 곱해지고 더해질 수 있다. 제1피처맵(FM1)과 웨이트맵(WM)이 컨볼루션됨에 따라, 제2피처맵(FM2)의 하나의 채널이 생성될 수 있다. 도 3에는 하나의 커널에 대한 웨이트맵(WM)이 도시되었으나, 실제로는 복수의 커널들의 웨이트 맵들이 제1피처맵(FM1)과 각각 컨볼루션되어, 복수의 채널들의 제2피처맵(FM2)이 생성될 수 있다. 제2피처맵(FM2)은 다음 레이어의 입력 피처맵에 해당될 수 있다. 예를 들어, 제2피처맵(FM2)은 풀링(또는 서브샘플링) 레이어의 입력 피처맵이 될 수 있다.

도 2 및 도 3에서는 설명의 편의를 위하여 뉴럴 네트워크(2)의 개략적인 아키텍처에 대해서만 도시되어 있다. 하지만, 뉴럴 네트워크(2)는 도시된 바와 달리, 보다 많거나 적은 개수의 레이어들, 피처맵들, 커널들 등으로 구현될 수 있고, 그 크기들 또한 다양하게 변형될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.

도 4는 일 실시예에 따른 뉴럴 네트워크 장치의 하드웨어 구성을 도시한 블록도이다.

뉴럴 네트워크 장치(400)는 PC(personal computer), 서버 디바이스, 모바일 디바이스, 임베디드 디바이스 등의 다양한 종류의 디바이스들로 구현될 수 있고, 구체적인 예로서 뉴럴 네트워크를 이용한 음성 인식, 영상 인식, 영상 분류 등을 수행하는 스마트폰, 태블릿 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스, 자율주행 자동차, 로보틱스, 의료기기 등에 해당될 수 있으나, 이에 제한되지 않는다. 나아가서, 뉴럴 네트워크 장치(400)는 위와 같은 디바이스에 탑재되는 전용 하드웨어 가속기(HW accelerator)에 해당될 수 있고, 뉴럴 네트워크 장치(400)는 뉴럴 네트워크 구동을 위한 전용 모듈인 NPU(neural processing unit), TPU(Tensor Processing Unit), Neural Engine 등과 같은 하드웨어 가속기일 수 있으나, 이에 제한되지 않는다.

도 4를 참고하면, 뉴럴 네트워크 장치(400)는 프로세서(410) 및 메모리(420)를 포함한다. 도 4에 도시된 뉴럴 네트워크 장치(400)에는 본 실시예들와 관련된 구성요소들만이 도시되어 있다. 따라서, 뉴럴 네트워크 장치(400)에는 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.

프로세서(410)는 뉴럴 네트워크 장치(400)를 실행하기 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(410)는 뉴럴 네트워크 장치(400) 내의 메모리(420)에 저장된 프로그램들을 실행함으로써, 뉴럴 네트워크 장치(400)를 전반적으로 제어한다. 프로세서(410)는 뉴럴 네트워크 장치(400) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.

메모리(420)는 뉴럴 네트워크 장치(400) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(420)는 뉴럴 네트워크 장치(400)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(420)는 뉴럴 네트워크 장치(400)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(420)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.

프로세서(410)는 메모리(420)로부터 뉴럴 네트워크 데이터, 예를 들어 이미지 데이터, 피처맵 데이터, 커널 데이터 등을 리드/라이트(read/write)하고, 리드/라이트된 데이터를 이용하여 뉴럴 네트워크를 실행한다. 뉴럴 네트워크가 실행될 때, 프로세서(410)는 출력 피처맵에 관한 데이터를 생성하기 위하여, 입력 피처맵과 커널 간의 컨볼루션 연산을 반복적으로 수행한다. 이때, 입력 피처맵의 채널 수, 커널의 채널 수, 입력 피처맵의 크기, 커널의 크기, 값의 정밀도(precision) 등의 다양한 팩터들에 의존하여 컨볼루션 연산의 연산량이 결정될 수 있다. 도 2에 도시된 뉴럴 네트워크(2)와 달리, 뉴럴 네트워크 장치(400)에서 구동되는 실제 뉴럴 네트워크는 보다 복잡한 아키텍처로 구현될 수 있다. 이하에서 설명된 방법들은 뉴럴 네트워크 장치(400)의 프로세서(410) 및 메모리(420)에 의해 수행될 수 있다.

도 5는 뉴럴 네트워크의 컨볼루션 연산을 설명하기 위한 도면이다.

도 5의 예시에서, 입력 피처맵(510)은 6x6 크기이고, 원본 커널(520)은 3x3 크기이고, 출력 피처맵(530)은 4x4 크기인 것으로 가정하나, 이에 제한되지 않고 뉴럴 네트워크는 다양한 크기의 피처맵들 및 커널들로 구현될 수 있다. 또한, 입력 피처맵(510), 원본 커널(520) 및 출력 피처맵(530)에 정의된 값들은 모두 예시적인 값들일 뿐이고, 본 실시예들은 이에 제한되지 않는다. 한편, 원본 커널(520)은 앞서 설명된 바이너리-웨이트 커널에 해당된다.

원본 커널(520)은 입력 피처맵(510)에서 3x3 크기의 윈도우 단위로 슬라이딩하면서 컨볼루션 연산을 수행한다. 컨볼루션 연산은 입력 피처맵(510)의 어느 윈도우의 각 픽셀 값 및 원본 커널(520)에서 대응 위치의 각 엘리먼트의 웨이트 간의 곱셈을 하여 획득된 값들을 모두 합산하여, 출력 피처맵(530)의 각 픽셀 값을 구하는 연산을 의미한다. 구체적으로, 원본 커널(520)은 먼저 입력 피처맵(510)의 제1윈도우(511)와 컨볼루션 연산을 수행한다. 즉, 제1윈도우(511)의 각 픽셀 값 1, 2, 3, 4, 5, 6, 7, 8, 9는 각각 원본 커널(520)의 각 엘리먼트의 웨이트 -1, -1, +1, +1, -1, -1, -1, +1, +1과 각각 곱해지고, 그 결과로서 -1, -2, 3, 4, -5, -6, -7, 8, 9가 획득된다. 다음으로, 획득된 값들 -1, -2, 3, 4, -5, -6, -7, 8, 9를 모두 더한 결과인 3이 계산되고, 출력 피처맵(530)의 1행1열의 픽셀 값(531)은 3으로 결정된다. 여기서, 출력 피처맵(530)의 1행1열의 픽셀 값(531)은 제1윈도우(511)에 대응된다. 마찬가지 방식으로, 입력 피처맵(510)의 제2윈도우(512)와 원본 커널(520) 간의 컨볼루션 연산이 수행됨으로써 출력 피처맵(530)의 1행2열의 픽셀 값(532)인 -3이 결정된다. 최종적으로, 입력 피처맵(510)의 마지막 윈도우인 제16윈도우(513)와 원본 커널(520) 간의 컨볼루션 연산이 수행됨으로써 출력 피처맵(530)의 4행4열의 픽셀 값(533)인 -13이 결정된다.

즉, 하나의 입력 피처맵(510)과 하나의 원본 커널(520) 간의 컨볼루션 연산은 입력 피처맵(510) 및 원본 커널(520)에서 서로 대응하는 각 엘리먼트의 값들의 곱셈 및 곱셈 결과들의 합산을 반복적으로 수행함으로써 처리될 수 있고, 컨볼루션 연산의 결과로서 출력 피처맵(530)이 생성된다.

도 6은 일 실시예에 따른 SAR 영상 생성 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 원시 에코 데이터, 주파수 정보 코드(code) 및 기하 정보 코드(code)를 뉴럴 네트워크에 입력하여 SAR영상이 생성될 수 있다. 원시 에코 데이터는 복소수일 수 있다. 기하정보는 SAR 센서의 위치, 높이를 포함할 수 있다. 주파수 정보는 레이더의 주파수와 파장을 포함할 수 있다. 뉴럴 네트워크는 SAR영상을 생성할 수 있도록 학습된 뉴럴 네트워크 일 수 있다.

도 1을 참조하면, 기존의 SAR 영상 생성 방법은 복잡한 파이프라인을 거친다. 반면에 도 6의 SAR 영상 생성 방법은 하나의 컨볼루션 뉴럴 네트워크 구조로 영상을 생성할 수 있기 때문에 SAR영상 생성의 복잡도를 낮추고 가속화 할 수 있다. 또한, 컨볼루션 뉴럴 네트워크의 정규화 기능을 통해 SAR영상의 스페클 노이즈(Speckle noise)가 감소 될 수 있다. 스페클 노이즈의 감소에 따라 고품질의 SAR영상이 생성 될 수 있다.

도 6에서는 컨볼루션 뉴럴 네트워크를 기재하고 있으나, 다른 뉴럴 네트워크를 이용할 수 있음은 물론이다. 뉴럴 네트워크가 SAR 영상을 생성할 수 있도록 학습하는 방법에 대해서는 도 7 내지 도 10에서 상세히 후술한다.

일 실시예에 따르면 SAR영상 생성을 위한 뉴럴 네트워크 학습 장치는 원시 에코 데이터, 주파수 정보 및 기하 정보를 뉴럴 네트워크에 입력할 수 있다. 뉴럴 네트워크는 입력된 데이터를 기초로 SAR 영상을 생성할 수 있다. 뉴럴 네트워크는 입력된 원시 에코 데이터, 주파수 정보 및 기하정보를 이용하여 학습 라벨 데이터(label data)를 생성할 수 있다. 학습 라벨 데이터(label data)는 영상일 수 있다. 생성된 SAR영상과 학습 라벨 데이터(label data)를 이용하여 뉴럴 네트워크가 학습 될 수 있다. 학습을 위해 입력된 데이터와 학습 라벨 데이터를 이용하여 병렬화가 용이한 CNN 구조를 학습함으로서 효율적인 SAR 영상 생성 알고리즘을 개발할 수 있다.

도 7은 학습 입력데이터와 학습 라벨 데이터를 설명하기 위한 도면이다. 도 7을 참조하면, 원시 에코 데이터(710), 기하 및 주파수정보(730)는 뉴럴 네트워크의 학습을 위해 입력되는 학습 입력 데이터 일 수 있다. 기하 및 주파수정보(730)는 헤더파일에서 추출될 수 있다.

또한, 학습 입력 데이터를 이용하여 뉴럴 네트워크에 의해 생성된 영상과 비교하기 위한 학습 라벨 데이터(label data)를 생성할 수 있다. 학습 라벨 데이터는 SAR영상 생성 알고리즘에 의해 생성될 수 있다.

일 실시예에 따르면, 학습 라벨 데이터를 생성하는 SAR영상 생성 알고리즘은 역투영 알고리즘(Backprojecton algorithm)일 수 있다.

도 8은 일 실시예에 따른 뉴럴 네트워크 학습 장치를 설명하기 위한 블록도이다. 도 8을 참조하면, 뉴럴 네트워크는 원시 에코 데이터 인코더 및 주파수, 기하 정보 인코더를 포함 할 수 있다. 원시 에코 데이터는 제1 인코더 일 수 있다. 주파수, 기하 정보 인코더는 제2 인코더 일 수 있다. 뉴럴 네트워크는 SAR 영상 생성 디코더를 포함 할 수 있다. 예를 들어, 인코더는 복소수 컨볼루션, RELU, Max Pooling으로 구성될수 있다. 디코더는 복소수 컨볼루션, RELU, Pixel shuffle로 구성될 수 있다.

원시 에코 데이터(810)는 제1 인코더에 입력되어 인코딩 될 수 있다. 인코딩 된 원시 에코 데이터(810)는 제2 데이터 일 수 있다. 주파수 정보 및 기하정보(820)는 제2 인코더에 입력되어 인코딩 될 수 있다. 인코딩 된 주파수 정보 및 기하정보(820)는 제3 데이터 일 수 있다. 제2 데이터와 제3 데이터는 융합될 수 있다. 뉴럴 네트워크는 융합된 데이터들을 디코딩하여 SAR영상을 생성할 수 있다. 이에 따라, SAR 영상 생성 알고리즘을 하나의 구조로 통합하고 가속화할 수 있다.

일 실시예에 따르면, 제2 데이터 및 제3 데이터에 각각 소정의 가중치를 곱하여 합할 수 있다. 가중치는 고품질의 SAR 영상을 생성하도록 적절히 설정될 수 있다.

도 9는 복소수 컨볼루션을 설명하기 위한 도면이다. 도 9를 참조하면, 제1 인코더는 허수부 컨볼루션 커널(921) 및 실수부 컨볼루션 커널(922)을 포함 할 수 있다.

입력 허수부 특징채널(911)은 허수부 컨볼루션 커널(921)과 컨볼루션 되어 II(Imaginary-Imaginary)로 계산 될 수 있다. 입력 허수부 특징채널(911)은 실수부 컨볼루션 커널(922)과 컨볼루션 되어 IR(Imaginary-Real)로 계산 될 수 있다. 입력 실수부 특징채널(912)은 허수부 컨볼루션 커널(921)과 컨볼루션 되어 RI(Real-Imaginary)로 계산 될 수 있다. 입력 실수부 특징채널(912)은 실수부 컨볼루션 커널(922)과 컨볼루션 되어 RR(Real-Real)로 계산 될 수 있다. IR과 RI를 합산하여 결과 허수부 특징 채널(931)이 될 수 있다. RR과 II의 차이가 결과 실수부 특징 채널(932)이 될 수 있다.

일 실시예에 따르면, 제1 인코더는 제1 영상 및 제2 영상을 이용하여 손실 함수를 계산할 수 있다. 뉴럴 네트워크는 손실함수를 계산하여 학습 될 수 있다. 손실함수는 제1 영상 및 제2 영상의 차이의 절댓값에 소정의 상수를 합하고, 절댓값과 소정의 상수의 합을 거듭제곱한 것으로 구성될 수 있다. 이에 따라 목표로 하는 SAR영상의 품질을 얻을 수 있도록 학습 될 수 있다.

일 실시예에 따르면, 학습 과정에서 손실함수는 하기의 수학식에 의해 계산 될 수 있다.

[수학식]

여기서,

은 제1 영상,

은 제2 영상,

는 픽셀좌표,

는 상수,

는 상수를 의미한다.

은 스페클링 노이즈(speckling noise)가 포함되어 있을 수 있다. 따라서 스페클링 노이즈에 강인한 L0 norm(

)을 이용하여 학습 될 수 있다. 뉴럴 네트워크는, 학습의 수치적 안정성(numerical stability)을 위해, 학습 과정 중

를

에서

에 가깝게 소정의 임계값 만큼씩 감소시키는 어닐링(annealing) 기법을 사용하여 학습될 수 있다. 예를 들어,

를 2에서부터 1.8, 1.8에서 1.5, 1.5에서 1, 1에서 0.8, 0.8에서 0.5로 점층적으로 줄여갈 수 있다. 이에 따라, 생성된 SAR영상의 스페클링 노이즈가 감소될 수 있다.

도 10은 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 흐름도이다. 도 10에 도시된 뉴럴 네트워크 학습 방법은, 앞서 설명된 도면들에서 설명된 실시 예들에 관련되므로, 이하 생략된 내용이라 할지라도, 앞서 도면들에서 설명된 내용들은 도 5의 방법에도 적용될 수 있다.

도 10을 참조하면, 단계 1010에서, SAR영상 생성을 위한 CNN구조가 구성된다. 단계 1020에서, 원시데이터, 주파수 및 기하정보가 입력 된다. 단계 1030에서 입력된 데이터를 이용하여 학습라벨 데이터가 생성된다. 단계 1040에서 컨볼루션 뉴럴 네트워크를 이용하여 SAR영상이 생성된다. 단계 1050에서 학습 라벨 데이터와 생성된 영상을 이용하여 컨볼루션 뉴럴 네트워크가 학습된다.

이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형 가능하다. 그러므로 본 발명의 범위는 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

본 발명의 일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

SAR(Synthetic Aperture Radar)영상 생성을 위한 뉴럴 네트워크 학습 방법으로서,
상기 뉴럴 네트워크 학습 방법은 프로세서에서 수행되고,
원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 뉴럴 네트워크에 입력하는 단계;
상기 뉴럴 네트워크를 통해 제1 영상을 생성하는 단계;
상기 제1 데이터를 기초로 SAR영상 생성 알고리즘을 수행하여 상기 뉴럴 네트워크의 라벨 데이터(label data)에 상응하는 제2 영상을 생성하는 단계; 및
상기 생성된 제1 영상 및 제2 영상을 이용하여 상기 뉴럴 네트워크를 학습시키는 단계를 포함하는, 뉴럴 네트워크 학습 방법.
제 1 항에 있어서,
상기 뉴럴 네트워크를 학습시키는 단계는
손실 함수를 계산하는 단계를 더 포함하고, 상기 손실 함수는
상기 제1 영상 및 상기 제2 영상의 차이의 절댓값에 소정의 상수를 합하고,
상기 절댓값과 상기 소정의 상수의 합을 거듭제곱한 것으로 구성되는,
뉴럴 네트워크 학습 방법.
제 2 항에 있어서,
상기 손실함수는 하기 수학식에 의해 계산되고,
[수학식]

상기
를
에서
에 가깝게 소정의 임계값 만큼씩 감소시키면서 학습하는 단계를 포함하는, 뉴럴 네트워크 학습 방법.
(여기서,
은 제1 영상,
은 제2 영상,
는 픽셀좌표,
는 상수,
는 상수 임.)
제 1 항에 있어서,
상기 제1 영상을 생성하는 단계는,
상기 원시 에코 데이터를 제1 인코더에 의해 제2 데이터로 변환하는 단계;
상기 주파수 및 기하 정보를 제2 인코더에 의해 제3 데이터로 변환하는 단계;
상기 제2 데이터 및 제3 데이터를 융합하여 제4 데이터를 생성하는 단계; 및
상기 제4 데이터를 디코더에 의해 상기 제1 영상으로 변환하는 단계를 포함하는, 뉴럴 네트워크 학습 방법.
제 4 항에 있어서,
상기 제1 인코더는 허수부 컨볼루션 커널 및 실수부 컨볼루션 커널을 포함하는, 뉴럴 네트워크 학습 방법.
제 4 항에 있어서,
상기 제4 데이터를 생성하는 단계는, 상기 제2 데이터 및 제3 데이터에 소정의 가중치를 각각 곱하여 합하는 단계를 포함하는, 뉴럴 네트워크 학습 방법.
제 1항에 있어서
상기 SAR영상 생성 알고리즘은 역투영 알고리즘(Backprojection algorithm)인, 뉴럴 네트워크 학습 방법.
뉴럴 네트워크를 이용한 SAR 영상 생성 방법으로서,
상기 SAR 영상 생성 방법은 프로세서에서 수행되고,
제 1 항에 따라 학습된 뉴럴 네트워크에 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 입력하는 단계; 및
상기 학습된 뉴럴 네트워크를 통해 상기 제1 데이터에 상응하는 SAR 영상을 생성하는 단계를 포함하는 뉴럴 네트워크를 이용한 SAR 영상 생성 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
뉴럴 네트워크 학습 장치로서,
메모리; 및
프로세서를 포함하고,
상기 프로세서는,
원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 뉴럴 네트워크에 입력하고, 상기 뉴럴 네트워크를 통해 제1 영상을 생성하고, 상기 제1 데이터를 기초로 SAR영상 생성 알고리즘을 수행하여 상기 뉴럴 네트워크의 라벨 데이터(label data)에 상응하는 제2 영상을 생성하고, 상기 생성된 제1 영상 및 제2 영상을 이용하여 상기 뉴럴 네트워크를 학습시키는, 뉴럴 네트워크 학습 장치.
뉴럴 네트워크를 이용한 SAR 영상 생성 장치로서,
메모리; 및
프로세서를 포함하고,
상기 프로세서는,
제 1 항에 따라 학습된 뉴럴 네트워크에 원시 에코 데이터, 주파수 정보 및 기하 정보를 포함하는 제1 데이터를 입력하고, 상기 학습된 뉴럴 네트워크를 통해 상기 제1 데이터에 상응하는 SAR 영상을 생성하는 뉴럴 네트워크를 이용한 SAR 영상 생성 장치.