KR102296220B1 - 합성개구 레이다 영상의 건물 추출 방법 - Google Patents

합성개구 레이다 영상의 건물 추출 방법 Download PDF

Info

Publication number
KR102296220B1
KR102296220B1 KR1020210034234A KR20210034234A KR102296220B1 KR 102296220 B1 KR102296220 B1 KR 102296220B1 KR 1020210034234 A KR1020210034234 A KR 1020210034234A KR 20210034234 A KR20210034234 A KR 20210034234A KR 102296220 B1 KR102296220 B1 KR 102296220B1
Authority
KR
South Korea
Prior art keywords
building
neural network
image
learning
sar
Prior art date
Application number
KR1020210034234A
Other languages
English (en)
Inventor
김준희
신수진
황인수
김영중
김성호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210034234A priority Critical patent/KR102296220B1/ko
Application granted granted Critical
Publication of KR102296220B1 publication Critical patent/KR102296220B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9004—SAR image acquisition techniques
    • G01S13/9005—SAR image acquisition techniques with optical processing of the SAR signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 건물 추출 방법에 관한 것으로, 프로세서와 메모리를 포함하는 컴퓨팅 장치에 의해 수행되는 건물 추출 방법에 있어서, 합성개구 레이다(Synthetic Aperture Radar, SAR) 영상을 수신하는 단계, 제1 신경망의 제1 인코더를 이용하여, 상기 합성개구 레이다 영상에 대응하는 특징 벡터를 추출하는 단계, 상기 제1 신경망의 제1 디코더를 이용하여, 상기 특징 벡터에 대응하는, 상기 합성개구 레이다 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역을 추출하는 단계, 및 상기 건물 추정 영역을 표시한 지도를 출력하는 단계를 포함하는 건물 추출 방법을 제공한다.

Description

합성개구 레이다 영상의 건물 추출 방법{BUILDING EXTRACTION METHOD FOR SYNTHETIC APERTURE RADAR}
본 발명은 합성개구 레이다 영상의 건물 추출 방법에 관한 것으로, 보다 상세하게는 광학 영상으로부터 추출되는 특징 벡터를 학습에 이용하여 성능을 향상한 합성개구 레이다 영상의 건물 추출 방법에 관한 것이다.
항공 및 위성 영상으로부터 건물을 검출하는 작업은 도시 계획, 재난 관리 및 지도 제작과 같은 다양한 분야에 활용되고 있다. 항공 및 위성 영상으로부터 건물을 검출하기 위하여, 영상으로부터 건물을 구별할 수 있는 특징을 설계하고, 설계된 특징을 기준으로 영상으로부터 건물을 판별하는 방식이 주로 사용되고 있다. 그러나, 건물의 규모, 모양 및 배경 등에 따라, 그 특징이 달라지며, 이를 일반화할 수 있는 특징을 설계하는 것은 매우 어렵다.
합성곱 신경망 장치(Convolutional Neural Networks, CNNs)은 학습이 가능한 필터로 구성되어 있으며, 이를 이용하여 영상으로부터 복잡한 특징들을 추출할 수 있다. 이러한 합성곱 신경망의 강력한 특징 추출 기능을 이용하여, 위성 및 항공 영상으로부터 건물을 검출하고자 하는 시도들이 활발하게 진행되고 있다.
합성곱 신경망을 이용하는 종래의 기술들은 대다수가 광학(Electro Optical, EO) 영상들을 대상으로 설계되어 있다. 광학 영상은 건물의 특징을 추출하기에 용이하나, 야간이나 악천후의 환경에서는 영상을 확보하기 어려운 단점이 있다.
반면, 합성개구 레이다(Synthetic Aperture Radar, SAR) 영상은 주간, 야간 및 기상 조건에 관계 없이 영상을 확보할 수 있다. 그러나, 합성개구 레이다 영상은 광학 영상에 비하여 건물의 특징을 추출하는 것이 어려운 문제점이 존재한다.
한국 등록특허공보 등록번호 10-0956446(2010.04.28)호는 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법에 관한 것으로서, 보다 상세하게는 일정 중복도를 갖는 디지털 항공영상의 항공사진들 중에서 3차원 객체(즉, 대상물)의 외관이 온전하게 포함된 항공사진들을 수집하고, 수집된 항공사진들 중에서 외관 텍스쳐링(객체 가시화)에 가장 적합한 영상을 선택한 후에 해당 외관의 텍스쳐를 자동으로 추출하는 방법에 관한 것이다.
이러한 방식은 여러 기상 상황에서 획득한 광학 영상을 이용하므로, 대상물의 외관이 온전하게 포함된 항공 사진을 획득할 수 있으나, 실시간 특징 추출이 어렵고, 다수의 영상을 획득하기 어려운 감시정찰 또는 재난관리 등의 임무에 적용할 수 없다.
1. 한국 등록특허공보 등록번호 10-0956446(2010.04.28)호
본 발명이 해결하고자 하는 기술적 과제는 광학 영상으로부터 추출되는 특징 벡터를 학습에 이용하여 성능을 향상한 합성개구 레이다 영상의 건물 추출 방법을 제공하는 것이다.
상술한 기술적 과제를 해결하기 위하여 본 발명의 일 실시예는, 프로세서와 메모리를 포함하는 컴퓨팅 장치에 의해 수행되는 건물 추출 방법에 있어서, 합성개구 레이다(Synthetic Aperture Radar, SAR) 영상을 수신하는 단계, 제1 신경망의 제1 인코더를 이용하여, 상기 합성개구 레이다 영상에 대응하는 특징 벡터를 추출하는 단계, 상기 제1 신경망의 제1 디코더를 이용하여, 상기 특징 벡터에 대응하는, 상기 합성개구 레이다 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역을 추출하는 단계, 및 상기 건물 추정 영역을 표시한 지도를 출력하는 단계를 포함하는 건물 추출 방법을 제공한다.
상기 제1 인코더는 복수의 인코딩 합성곱 필터를 포함하고, 상기 제1 디코더는 복수의 디코더 합성곱 필터를 포함하고, 상기 제1 신경망은 상기 제1 인코더와 상기 제1 디코더를 포함하는 합성곱 신경망일 수 있다.
상기 컴퓨팅 장치는 제2 인코더와 제2 디코더를 포함하고, 광학(Electro Optical, EO) 영상을 수신하고 상기 광학 영상에 대응하여 상기 광학 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역을 출력하도록 미리 학습된 제2 신경망을 더 포함할 수 있다.
상기 제1 신경망을 학습시키기 위하여, 상기 건물 추출 방법은 서로 대응하는 학습용 SAR 영상과 학습용 EO 영상을 수신하는 단계, 상기 제1 신경망의 상기 제1 인코더를 이용하여, 상기 학습용 SAR영상에 대응하는 제1 특징 벡터를 추출하는 단계, 상기 제2 신경망의 상기 제2 인코더를 이용하여, 상기 학습용 EO 영상에 대응하는 제2 특징 벡터를 추출하는 단계, 및 상기 제1 특징 벡터와 상기 제2 특징 벡터의 차이를 최소화하는 제1 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함할 수 있다.
또는, 건물 추출 방법은 상기 제1 신경망의 상기 제1 디코더를 이용하여, 상기 제1 특징 벡터에 대응하는, 상기 학습용 SAR 영상에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역을 추출하는 단계, 상기 제2 신경망의 상기 제2 디코더를 이용하여, 제2 특징 벡터에 대응하는, 상기 학습용 EO 영상에서 건물이 위치하는 것으로 추정되는 제2 건물 추정 영역을 추출하는 단계, 및 상기 제1 건물 추정 영역과 상기 제2 건물 추정 영역의 차이를 최소화하는 제2 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함할 수 있다.
상기 건물 추출 방법은, 상기 학습용 SAR 영상에서 건물이 실제로 위치하는 건물 영역에 관한 정보를 수신하는 단계, 상기 제1 건물 추정 영역과 상기 건물 영역의 차이를 최소화하는 제3 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함할 수 있다.
상기 건물 추출 방법은, 상기 학습용 SAR 영상을 회전한 SAR 회전 영상을 생성하는 단계, 상기 제1 건물 추정 영역을 회전한 제1 건물 회전 추정 영역을 결정하는 단계, 상기 SAR 회전 영상을 상기 제1 신경망에 입력하여, 상기 SAR 회전 영상에서 건물이 위치하는 것으로 추정되는 제2 건물 회전 추정 영역을 추출하는 단계, 상기 제1 건물 회전 추정 영역과 상기 제2 건물 회전 추정 영역의 차이를 최소화하는 제4 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함할 수 있다.
상술한 방법들을 컴퓨팅 장치로 수행하기 위하여, 본 발명의 일 실시예는 이를 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램의 형식으로 제공할 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 발명의 일 실시예에 따른 건물 추출 방법은 합성개구 레이다 영상을 이용하여 건물 추정 영역을 추출 함으로써, 광량이나 기상 조건에 무관하게 건물의 위치를 추정할 수 있다. 따라서, 실시간성을 요구하는 감시정찰체계 등에 적용할 수 있다.
또한, 광학 영상을 이용하여 학습한 제2 신경망으로부터 추출한 특징 벡터를 학습에 이용하여, 합성개구 레이다 영상을 이용하여 건물 추정 영역을 추출하는 제1 신경망을 학습함으로써, 제1 신경망의 건물 추정 영역 추출 성능을 향상시킬 수 있다.
본 발명의 기술적 효과들은 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 합성개구 레이다 영상의 건물 추출 방법을 수행하기 위한 컴퓨팅 장치를 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따라, 합성개구 레이다 영상으로부터 건물 추정 영역을 추출하는 제1 신경망과, 광학 영상으로부터 건물 추정 영역을 추출하는 제2 신경망을 도시하는 블록도이다.
도 3은 제1 신경망을 도시하는 개념도이고, 도 4는 합성개구 레이다 영상의 건물 추출 방법을 설명하기 위한 순서도이다.
도 5는 제2 신경망을 도시하는 개념도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따라, 제2 신경망이 추출하는 제2 특징 벡터와 제1 신경망이 추출하는 제1 특징 벡터의 차이를 최소화하는 목적함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라, 제2 신경망이 추출하는 제2 건물 추정 영역과, 제1 신경망이 추출하는 제1 건물 추정 영역의 차이를 최소화하는 목적 함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따라, 제1 신경망이 추출하는 제1 건물 추정 영역과, 실제로 위치하는 건물 영역의 차이를 최소화하는 제3 목적함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 12 및 도 13은 본 발명의 일 실시예에 따라, 제1 건물 회전 추정 영역과, 제2 건물 회전 추정 영역의 차이를 최소화하는 제4 목적함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
본 발명이 여러 가지 수정 및 변형을 허용하면서도, 그 특정 실시예들이 도면들로 예시되어 나타내어지며, 이하에서 상세히 설명될 것이다. 그러나 본 발명을 개시된 특별한 형태로 한정하려는 의도는 아니며, 오히려 본 발명은 청구항들에 의해 정의된 본 발명의 사상과 합치되는 모든 수정, 균등 및 대용을 포함한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서의 제어 또는 다른 제어 장치에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 또한, 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "부", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 본 발명의 구성요소들이 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
비록 제1, 제2 등의 용어가 여러 가지 요소들, 성분들, 영역들, 층들 및/또는 지역들을 설명하기 위해 사용될 수 있지만, 이러한 요소들, 성분들, 영역들, 층들 및/또는 지역들은 이러한 용어에 의해 한정되어서는 안 된다는 것을 이해할 것이다.
이하 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하 도면 상의 동일한 구성 요소에 대하여는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 합성개구 레이다 영상의 건물 추출 방법을 수행하기 위한 컴퓨팅 장치를 도시하는 블록도이다.
도 1을 참조하면, 컴퓨팅 장치(100)는 메모리(110)와 프로세서(130)를 포함할 수 있다.
상기 컴퓨팅 장치(100)는, 전형적인 컴퓨터 하드웨어(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치, 네트워크 부착 스토리지(NAS; network-attached storage) 및 스토리지 영역 네트워크 (SAN; storage area network)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 명령어들)의 조합을 이용하여 원하는 인공 신경망의 성능을 달성하는 것일 수 있다.
메모리(110)는 컴퓨팅 장치(100)의 적어도 하나의 구성요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 상기 데이터는, 예를 들어, 응용 프로그램, 어플리케이션, 이의 동작을 위한 데이터들 및 명령어들을 포함할 수 있다.
프로세서(130)는 컴퓨팅 장치(100)을 전반적으로 제어하기 위한 구성이다. 구체적으로 프로세서(130)는 컴퓨팅 장치(100)의 메모리(110)에 저장된 각종 프로그램을 이용하여 컴퓨팅 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(130)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 메모리(110)에 저장된 운영체제를 램에 복사하고, 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU는 메모리(110)에 저장된 각종 애플리케이션을 램에 복사하고 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(130)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
본 발명의 일 실시예에 따라 프로세서(130)는 컴퓨팅 장치(100)을 실행하기 위한, 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(150)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
상기 컴퓨팅 장치는 외부 컴퓨팅 장치(미도시)와 직간접적으로 통신하기 위한 통신부(미도시)를 더 포함할 수 있다. 상기 통신부는 외부 컴퓨팅 장치와 요청과 응답, 데이터를 송수신할 수 있다. 또한, 넓은 의미에서 상기 통신부는 명령어 또는 지시 등을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치, 프린터 등 인쇄장치, 디스플레이 장치, 기타 외부 출력장치를 포함할 수 있다.
상기 컴퓨팅 장치(100)는 합성개구 레이다(SAR) 영상(11)을 수신하여, 상기 합성개구 레이다 영상(11)에서 건물이 위치하는 것으로 추정되는 건물 추정 영역(13)을 추출한다.
이 때, 상기 합성개구 레이다 영상은, 지상 또는 해양에 대하여 비행물체 또는 위성이 공중에서 고속으로 이동하며 레이다 파를 순차적으로 방사한 후, 반사되어 돌아오는 레이다를 신호 처리하여 생성하는 영상이다. 상기 합성개구 레이다는 주간, 야간 및 악천후에서도 사용 가능하나, 광학 영상에 비하여 건물의 특징을 추출하는 것이 어려울 수 있다.
상기 컴퓨팅 장치(100)은 상기 합성개구 레이다 영상(11)의 픽셀에 대응하는 픽셀들 각각을 건물로 추정되는지 여부에 따라 분류하고, 상기 건물로 추정되는 픽셀들의 집합을 건물 추정 영역으로 결정한다. 일 예로, 건물로 추정되는 픽셀들 각각은 1의 값을 부여 받을 수 있고, 건물이 아닌 것으로 추정되는 픽셀들은 0의 값을 부여 받을 수 있다. 그러나 이러한 분류 방법에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른, 합성개구 레이다 영상으로부터 건물 추정 영역을 추출하는 제1 신경망과, 광학 영상으로부터 건물 추정 영역을 추출하는 제2 신경망을 도시하는 블록도이다.
도 2를 참조하면, 건물 추출 방법을 학습하기 위한 컴퓨팅 장치는 학습용 SAR 영상(21)으로부터 제1 건물 추정 영역(23)을 추출하는 제1 신경망(200)과, 학습용 EO 영상(31)으로부터 제2 건물 추정 영역(33)을 추출하는 제2 신경망(300)을 포함할 수 있다.
제1 신경망(200)과 제2 신경망(300)은 별개의 메모리와 프로세서를 갖는 컴퓨팅 장치로 구성되거나, 동일한 컴퓨팅 장치에서 수행되는 소프트웨어 또는 어플리케이션일 수 있다.
상기 제1 신경망(200)은 학습용 SAR 영상(21)을 입력 받아, 상기 학습용 SAR 영상(21)에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역(23)을 출력하고, 그 결과를 평가하여 상기 제1 신경망(200)을 갱신하는 것을 반복하여 학습을 수행한다.
상기 제2 신경망(300)은 학습용 EO 영상(31)을 입력 받아, 상기 학습용 EO 영상(31)에서 건물이 위치하는 것으로 추정되는 제2 건물 추정 영역(33)을 출력하고, 그 결과를 평가하여 상기 제2 신경망(300)을 갱신하는 것을 반복하여 학습을 수행한다.
학습용 SAR 영상(21)과 학습용 EO 영상(31)은 각각 동일 지역 또는 적어도 일부 중복되는 지역을 광학 센서와 합성개구 레이다를 이용해 촬영한 영상일 수 있다. 학습용 SAR 영상(21)과 학습용 EO 영상(31)은 상기 동일 지역 또는 일부 중복되는 목표 지역에 대하여 서로 대응하는 것일 수 있다.
상기 제1 신경망(200)과 상기 제2 신경망(300)은 동일한 수의 합성곱 필터를 갖는 것일 수 있으나, 이에 한정되는 것은 아니다. 상기 제2 신경망(300)은 상기 제1 신경망(200)보다 많은 수의 합성곱 필터 또는 추가적인 구조를 가질 수 있으나, 이에 한정되는 것은 아니다.
광학 영상은 SAR 영상보다 건물 특징 추출 관점에서 성능이 뛰어나므로, 상기 제2 신경망(300)이 상기 학습용 EO 영상(31)을 이용하여 학습한 내용을 기반으로 상기 제1 신경망(200)을 학습시킬 수 있다.
상기 제2 신경망(300)은 상기 제1 신경망(200)의 학습을 위한 목적 함수를 제공하기 위하여, 상기 제1 신경망(200)의 학습 단계 또는 학습 전 단계에서 구동될 수 있으나, 상기 제1 신경망(200)의 학습이 종료되고, 실제 합성개구 레이다 영상으로부터 건물 추정 영역을 출력하는 실행 단계에서는 사용되지 않는다.
따라서, 본 발명의 일 실시예에 따른 건물 추출 방법은, 합성개구 레이다 영상을 이용하는 제1 신경망(200)이 광학 영상을 이용하는 제2 신경망(300)과 유사하게 높은 정확도로 건물 추정 영역을 추출할 수 있으나, 건물 추출 방법 실행 시 제2 신경망(300)을 사용하지 않아, 제2 신경망(300)을 구동하기 위한 메모리 및 전력을 소요하지 않을 수 있다.
도 3은 합성개구 레이다 영상의 건물 추출을 수행하는 제1 신경망 장치를 도시하는 개념도이고, 도 4는 합성개구 레이다 영상의 건물 추출 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 제1 신경망(200)은 복수 개의 합성곱 필터(Convolution Filter)를 갖는 인공 신경망으로 표현할 수 있다.
제1 신경망(200)은 합성개구 레이다 영상(11)에 대응하는 특징 벡터를 추출하는 제1 인코더와, 상기 특징 벡터에 대응하는 상기 합성개구 레이다 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역(13)을 추출하는 제1 디코더를 포함할 수 있다.
상기 제1 인코더는 복수의 인코딩 합성곱 필터를 포함하고, 상기 제1 디코더는 복수의 디코더 합성곱 필터를 포함할 수 있다. 상기 인코딩 합성곱 필터는 합성개구 레이다 영상(11) 또는 앞선 합성곱 레이어를 건물의 특징 벡터를 추출하기 위하여 다운샘플링(Downsampling) 하는 것일 수 있다. 상기 디코딩 합성곱 필터는 앞선 합성곱 레이어에 포함된 건물의 특징 벡터를 상기 광학 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역(13)을 출력하도록 업샘플링(Upsampling) 하는 것일 수 있다.
제1 신경망(200)은 광학 영상을 이용하여 건물 추정 영역을 추출하도록 미리 학습된 제2 신경망(300)을 적용하여 학습된 것일 수 있다. 제1 신경망(200)의 학습 방법에 대한 상세한 설명은 도 5 내지 도 13의 설명에서 후술한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 건물 추출 방법은, 합성개구 레이다 영상을 수신하는 단계(S11), 제1 신경망의 제1 인코더를 이용하여 특징 벡터를 추출하는 단계(S12), 제1 신경망의 제1 디코더를 이용하여 건물 추정 영역을 추출하는 단계(S13), 및 건물 추정 영역을 표시한 지도를 출력하는 단계(S14)를 포함한다.
합성개구 레이다 영상을 수신하는 단계(S11)에서, 제1 신경망(200)은 외부 컴퓨팅 장치, 또는 합성개구 레이다로부터 합성개구 레이다 영상(11)을 수신한다.
제1 신경망의 제1 인코더를 이용하여 특징 벡터를 추출하는 단계(S12)에서, 상기 제1 신경망(200)은 복수의 합성곱 인코딩 필터를 포함하는 제1 인코더를 이용하여, 상기 합성 개구 레이다 영상(11)에 대응하는 특징 벡터를 추출한다.
제1 신경망(200)의 제1 디코더를 이용하여 건물 추정 영역을 추출하는 단계(S13)에서, 상기 제1 신경망(200)는 복수의 디코딩 합성곱 필터를 포함하는 제1 디코더를 이용하여, 상기 합성개구 레이다 영상(11)에서 건물이 위치하는 것으로 추정되는 건물 추정 영역을 추출한다.
상기 제1 디코더는 추출된 특징 벡터를 기초로, 원래 영상의 크기로 복원된 건물 추정 영역을 포함하는 정보를 생성한다. 건물 추정 영역을 포함하는 정보는 입력된 합성개구 레이다 영상(11)과 동일한 크기를 가지며, 각각의 픽셀은 합성개구 레이다 영상(11)에서 동일한 좌표에 위치하는 픽셀에 대응한다. 각각의 픽셀들은 건물로 추정되는지 여부에 따라 분류되고, 건물로 추정되는 픽셀들의 집합이 건물 추정 영역으로 결정된다.
제1 신경망(200)이 건물 추정 영역을 표시한 지도를 출력하는 단계(S14)에서, 상기 제1 신경망(200)은 건물 추정 영역을 표시한 지도를 사용자에게 제공한다. 상기 건물 추정 영역을 표시한 지도는 데이터 파일, 인쇄물 또는 디스플레이를 통하여 사용자에게 제공될 수 있다. 또는 제1 신경망(200)은 컴퓨팅 장치(100)가 포함하는 통신 장치를 이용하여 외부 컴퓨팅 장치로 상기 건물 추정 영역을 표시한 지도를 제공하여, 추가적인 연산을 수행하도록 할 수 있다.
도 5는 광학 영상의 건물 추출을 수행하는 제2 신경망을 도시하는 개념도이다.
도 5를 참조하면, 제2 신경망(300)는 학습용 EO 영상(31)을 입력 받아, 상기 학습용 EO 영상(31)에서 건물이 위치하는 것으로 추정되는 제2 건물 추정 영역(33)을 추출하는 복수의 합성곱 필터를 포함하는 인공 신경망으로 나타낼 수 있다.
상기 제2 신경망(300)는 학습용 EO 영상(31)에 대응하는 특징 벡터를 추출하는 제2 인코더와, 상기 특징 벡터에 대응하는 상기 학습용 EO 영상(31)에서 건물이 위치하는 것으로 추정되는 건물 추정 영역(33)을 추출하는 제2 디코더를 포함할 수 있다.
이 때, 상기 제2 인코더는 복수의 인코딩 합성곱 필터를 포함하고, 상기 제2 디코더는 복수의 디코딩 합성곱 필터를 포함할 수 있다.
상기 제2 신경망(300)은 상기 학습용 EO 영상(31)에서 건물이 실제로 위치하는 건물 영역(35)에 관한 정답 정보를 제공 받고, 그 결과를 기초로 각 합성곱 필터들을 갱신하며 학습된 것일 수 있다.
도 6 및 도 7은 본 발명의 일 실시예에 따른, 제2 신경망이 추출하는 제2 특징 벡터와 제1 신경망이 추출하는 제1 특징 벡터의 차이를 최소화하는 목적함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 6 및 도 7을 참조하면, 서로 대응하는 학습용 SAR 영상(21)과 학습용 EO 영상(31)을 수신하는 단계(S21)에서, 제1 신경망(200)은 학습용 SAR 영상(21)을 수신한다. 제2 신경망(300)은 상기 학습용 SAR 영상(21)에 대응하여, 동일한 지역 또는 적어도 중복되는 지역을 포함하는 학습용 EO 영상(31)을 수신한다.
제1 신경망(200)의 제1 인코더를 이용하여 제1 특징 벡터(
Figure 112021030995115-pat00001
)를 추출하는 단계(S22)에서, 제1 신경망(200)은 복수의 인코딩 합성곱 필터를 포함하는 제1 인코더를 이용하여 입력된 상기 학습용 SAR 영상(21)에 대응하는 제1 특징 벡터(
Figure 112021030995115-pat00002
)를 추출한다.
이 때, 제1 인코더를 구성하는 복수의 인코딩 합성곱 필터는 무작위 값을 가질 수 있으며, 복수의 학습용 SAR 영상(21)을 이용한 반복 학습을 통하여 갱신되는 것일 수 있다.
제2 신경망(300)의 제2 인코더를 이용하여 제2 특징 벡터(
Figure 112021030995115-pat00003
)를 추출하는 단계(S23)에서, 제2 신경망(300)은 복수의 인코딩 합성곱 필터를 포함하는 제2 인코더를 이용하여, 입력된 상기 학습용 EO 영상(31)에 대응하는 제2 특징 벡터(
Figure 112021030995115-pat00004
)를 추출한다. 제2 신경망(300)은 광학 영상으로부터 건물 추정 영역을 추출하도록 미리 학습된 것일 수 있으며, 제2 특징 벡터(
Figure 112021030995115-pat00005
)를 추출하는 단계(S23)는 제1 특징 벡터(
Figure 112021030995115-pat00006
)를 추출하는 단계(S22) 이전, 이후 또는 동시에 수행되는 것일 수 있다.
제1 목적함수를 이용하여 제1 신경망을 학습시키는 단계(S24)에서, 상기 제1 특징 벡터(
Figure 112021030995115-pat00007
)와 상기 제2 특징 벡터(
Figure 112021030995115-pat00008
)의 차이를 최소화하는 제1 목적함수(
Figure 112021030995115-pat00009
)를 설정하고, 상기 제1 목적함수(
Figure 112021030995115-pat00010
)를 적용하여 상기 제1 신경망(200)을 갱신한다.
상기 제1 목적함수(
Figure 112021030995115-pat00011
)는 아래의 수학식 1로 나타낼 수 있다.
[수학식 1]
Figure 112021030995115-pat00012
도 8 및 도 9는 본 발명의 일 실시예에 따른, 제2 신경망이 추출하는 제2 건물 추정 영역과, 제1 신경망이 추출하는 제1 건물 추정 영역의 차이를 최소화하는 목적 함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 8 및 도 9를 참조하면, 서로 대응하는 학습용 SAR 영상(21)과 학습용 EO 영상(31)을 수신하는 단계(S31)에서, 제1 신경망(200)은 학습용 SAR 영상(21)을 수신한다. 제2 신경망(300)은 상기 학습용 SAR 영상(21)에 대응하여, 동일한 지역 또는 적어도 중복되는 지역을 포함하는 학습용 EO 영상(31)을 수신한다.
제1 신경망(200)의 제1 디코더를 이용하여 제1 건물 추정 영역을 추출하는 단계(S32)에서, 제1 신경망(200)은 복수의 디코딩 합성곱 필터를 포함하는 제1 디코더를 이용하여, 상기 학습용 SAR 영상(21)에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역(23)을 추출한다.
마찬가지로, 제1 디코더를 구성하는 복수의 디코딩 합성곱 필터는 무작위 값을 가질 수 있으며, 복수의 학습용 SAR 영상(21)을 이용한 반복 학습을 통하여 갱신되는 것일 수 있다.
제2 신경망(300)의 제2 디코더를 이용하여 제2 건물 추정 영역을 추출하는 단계(S33)에서, 제2 신경망(300)은 복수의 디코딩 합성곱 필터를 포함하는 제2 디코더를 이용하여, 상기 학습용 EO 영상(31)에서 건물이 위치하는 것으로 추정되는 제2 건물 추정 영역(33)을 추출한다.
상기 제2 신경망(300)은 광학 영상으로부터 건물 추정 영역을 추출하도록 미리 학습된 것일 수 있으며, 제2 건물 추정 영역(33)을 추출하는 단계(S33)는 제1 건물 추정 영역(23)을 추출하는 단계(S32) 이전, 이후 또는 동시에 수행되는 것일 수 있다.
제2 목적함수를 이용하여 제1 신경망(200)을 학습시키는 단계(S34)에서, 상기 제1 건물 추정 영역(23)과 상기 제2 건물 추정 영역(33)의 차이를 최소화하는 제2 목적함수(
Figure 112021030995115-pat00013
)를 설정하고, 상기 제2 목적함수(
Figure 112021030995115-pat00014
)를 적용하여 상기 제1 신경망(200)을 갱신한다.
상기 제2 목적함수(
Figure 112021030995115-pat00015
)는 아래의 수학식 2로 나타낼 수 있다.
Figure 112021030995115-pat00016
여기서,
Figure 112021030995115-pat00017
은 상기 제1 건물 추정 영역이고,
Figure 112021030995115-pat00018
는 상기 제2 건물 추정 영역이다.
Figure 112021030995115-pat00019
는 이진 손실 함수(Binary cross-entropy loss)로, 아래의 수학식 3으로 나타낼 수 있다.
[수학식 3]
Figure 112021030995115-pat00020
여기서, h는 입력 영상의 높이이고, w는 입력 영상의 넓이이고, c는 채널의 수이고, N은 픽셀의 총 수를 나타낸다.
도 10 및 도 11은 본 발명의 일 실시예에 따라, 제1 신경망이 추출하는 제1 건물 추정 영역과, 실제로 위치하는 건물 영역의 차이를 최소화하는 제3 목적함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 10 및 도 11을 참조하면, 학습용 SAR 영상을 수신하는 단계(S41)에서, 상기 제1 신경망(200)은 학습용 SAR 영상을 수신한다.
제1 신경망(200)을 이용하여 제1 건물 추정 영역(23)을 추출하는 단계(S42)에서, 제1 신경망(200)은 제1 인코더를 이용하여, 상기 학습용 SAR 영상(21)에 대응하는 제1 특징 벡터(
Figure 112021030995115-pat00021
)를 추출하고, 상기 제1 특징 벡터(
Figure 112021030995115-pat00022
)를 업샘플링하여, 제1 건물 추정 영역(23)을 추출한다.
제1 신경망(200)은 학습용 SAR 영상(21)에서 건물이 실제로 위치하는 건물 영역(25)에 관한 정보를 수신한다. 건물이 실제로 위치하는 건물 영역(25)은 사람 또는 다른 장치에 의하여 상기 학습용 SAR 영상(21)의 건물이 위치하는 픽셀과, 건물이 위치하지 않는 픽셀을 분류한 정답 데이터(ground truth)일 수 있다. 상기 건물이 실제로 위치하는 건물 영역(25)에 관한 정보는 마스크 데이터 형태로 제공될 수 있다.
제3 목적함수를 이용하여 제1 신경망(200)을 학습시키는 단계(S44)에서, 상기 제1 건물 추정 영역(23)과, 상기 건물 영역(25)의 차이를 최소화하는 제3 목적함수(
Figure 112021030995115-pat00023
)를 설정하고, 상기 제3 목적함수를 적용하여 상기 제1 신경망(200)을 갱신한다.
상기 제3 목적함수(
Figure 112021030995115-pat00024
)는 아래의 수학식 4로 나타낼 수 있다.
[수학식 4]
Figure 112021030995115-pat00025
여기서
Figure 112021030995115-pat00026
는 학습 모델의 성능을 결정하는 상수로, 컴퓨팅 장치의 성능 및 목표하는 학습 속도에 따라 사용자가 다르게 설정할 수 있다.
Figure 112021030995115-pat00027
는 제1 건물 추정 영역(23)이고, y는 건물 영역이다.
Figure 112021030995115-pat00028
는 신경망의 정확도를 측정하는 데 이용되는 Intersection over Union loss를 나타내는 것으로, 아래 수학식 5로 나타낼 수 있다.
[수학식 5]
Figure 112021030995115-pat00029
도 12 및 도 13은 본 발명의 일 실시예에 따라, 제1 건물 회전 추정 영역과, 제2 건물 회전 추정 영역의 차이를 최소화하는 제4 목적함수를 이용하여 제1 신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 12 및 도 13을 참조하면, SAR 회전 영상을 생성하는 단계(S51)에서, 상기 학습용 SAR 영상(21)을 회전하여, 회전한 SAR 회전 영상(21')을 생성한다. 상기 SAR 회전 영상(21')은 회전, 좌우 반전 또는 상하 반전을 조합하여 통하여 상기 학습용 SAR 영상(21)을 변환한 것일 수 있다.
제1 건물 회전 추정 영역(미도시)을 결정하는 단계에서, 상기 제1 신경망(200)이 학습용 SAR 영상(21)을 입력 받아 추출한 제1 건물 추정 영역(23)을 회전하여, 제1 건물 회전 추정 영역을 결정한다.
상기 제1 건물 회전 추정 영역은 상기 SAR 회전 영상(21')에 대응하도록 회전, 좌우 반전 또는 상하 반전을 조합하여 기하학적으로 변환한 것일 수 있다.
SAR 회전 영상(21')을 제1 신경망(200)에 입력하여, 제2 건물 회전 추정 영역(23')을 추출하는 단계(S53)에서, 제1 신경망(200)은 상기 SAR 회전 영상(21')을 입력 받아, 상기 SAR 회전 영상(21')에서 건물이 위치하는 것으로 추정되는 제2 건물 회전 추정 영역(23')을 추출한다.
제4 목적함수(
Figure 112021030995115-pat00030
)를 이용하여 제1 신경망(200)을 학습시키는 단계(S54)에서, 상기 제1 건물 회전 추정 영역과, 제2 건물 회전 추정 영역(23')의 차이를 최소화하는 제4 목적함수(
Figure 112021030995115-pat00031
)를 설정하고, 상기 제4 목적함수(
Figure 112021030995115-pat00032
)를 이용하여 상기 제1 신경망(200)을 학습시켜 갱신한다.
상기 제4 목적함수(
Figure 112021030995115-pat00033
)는 아래의 수학식 6으로 나타낼 수 있다.
[수학식 6]
Figure 112021030995115-pat00034
여기서,
Figure 112021030995115-pat00035
은 상기 학습용 SAR 영상(21)이고,
Figure 112021030995115-pat00036
은 기하학적으로 변환된 상기 회전 SAR 영상(21')이고,
Figure 112021030995115-pat00037
은 제1 건물 추정 영역이고, M은 기하학적 변환 수이다.
상술한 제1 목적함수(
Figure 112021030995115-pat00038
), 제2 목적함수(
Figure 112021030995115-pat00039
), 제3 목적함수(
Figure 112021030995115-pat00040
), 및 제4 목적함수(
Figure 112021030995115-pat00041
) 중 적어도 두 개 이상의 목적함수를 조합하여, 최종 목적함수(
Figure 112021030995115-pat00042
)를 설정할 수 있다.
일 실시예에서, 최종 목적함수(
Figure 112021030995115-pat00043
)는 아래의 수학식 7로 나타낼 수 있다.
[수학식 7]
Figure 112021030995115-pat00044
여기서,
Figure 112021030995115-pat00045
는 상수 값으로, 컴퓨팅 장치의 목표 성능 및 연산 속도에 따라 다르게 설정되는 것일 수 있다.
다른 실시예들에서, 최종 목적함수(
Figure 112021030995115-pat00046
)는 아래의 수학식들 중 어느 하나로 나타낼 수 있다.
[수학식 8]
Figure 112021030995115-pat00047
[수학식 9]
Figure 112021030995115-pat00048
[수학식 10]
Figure 112021030995115-pat00049
[수학식 11]
Figure 112021030995115-pat00050
상기에서는 본 발명에 따른 실시예들을 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않는다. 본 발명이 속하는 기술분야의 당업자가 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있으며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속한다.
100 : 컴퓨팅 장치 110 : 메모리
130 : 프로세서 200 : 제1 신경망
300 : 제2 신경망
11 : SAR 영상 13 : 건물 추정 영역
21 : 학습용 SAR 영상 23 : 제1 건물 추정 영역
31 : 학습용 EO 영상 33 : 제2 건물 추정 영역

Claims (11)

  1. 프로세서와 메모리를 포함하는 컴퓨팅 장치에 의해 수행되는 건물 추출 방법에 있어서,
    합성개구 레이다(Synthetic Aperture Radar, SAR) 영상을 수신하는 단계;
    제1 신경망의 제1 인코더를 이용하여, 상기 합성개구 레이다 영상에 대응하는 특징 벡터를 추출하는 단계;
    상기 제1 신경망의 제1 디코더를 이용하여, 상기 특징 벡터에 대응하는, 상기 합성개구 레이다 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역을 추출하는 단계; 및
    상기 건물 추정 영역을 표시한 지도를 출력하는 단계를 포함하는 건물 추출 방법.
  2. 제1항에 있어서,
    상기 제1 인코더는 복수의 인코딩 합성곱 필터를 포함하고,
    상기 제1 디코더는 복수의 디코더 합성곱 필터를 포함하고,
    상기 제1 신경망은 상기 제1 인코더와 상기 제1 디코더를 포함하는 합성곱 신경망인 건물 추출 방법.
  3. 제1항에 있어서,
    제2 인코더와 제2 디코더를 포함하고, 광학(Electro Optical, EO) 영상을 수신하고 상기 광학 영상에 대응하여 상기 광학 영상에서 건물이 위치하는 것으로 추정되는 건물 추정 영역을 출력하도록 미리 학습된 제2 신경망을 준비하는 단계를 더 포함하는 건물 추출 방법.
  4. 제3항에 있어서,
    서로 대응하는 학습용 SAR 영상과 학습용 EO 영상을 수신하는 단계;
    상기 제1 신경망의 상기 제1 인코더를 이용하여, 상기 학습용 SAR영상에 대응하는 제1 특징 벡터를 추출하는 단계;
    상기 제2 신경망의 상기 제2 인코더를 이용하여, 상기 학습용 EO 영상에 대응하는 제2 특징 벡터를 추출하는 단계; 및
    상기 제1 특징 벡터와 상기 제2 특징 벡터의 차이를 최소화하는 제1 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  5. 제4항에 있어서,
    상기 제1 신경망의 상기 제1 디코더를 이용하여, 상기 제1 특징 벡터에 대응하는, 상기 학습용 SAR 영상에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역을 추출하는 단계;
    상기 제2 신경망의 상기 제2 디코더를 이용하여, 제2 특징 벡터에 대응하는, 상기 학습용 EO 영상에서 건물이 위치하는 것으로 추정되는 제2 건물 추정 영역을 추출하는 단계; 및
    상기 제1 건물 추정 영역과 상기 제2 건물 추정 영역의 차이를 최소화하는 제2 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  6. 제5항에 있어서,
    상기 학습용 SAR 영상에서 건물이 실제로 위치하는 건물 영역에 관한 정보를 수신하는 단계;
    상기 제1 건물 추정 영역과 상기 건물 영역의 차이를 최소화하는 제3 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  7. 제6항에 있어서,
    상기 학습용 SAR 영상을 회전한 SAR 회전 영상을 생성하는 단계;
    상기 제1 건물 추정 영역을 회전한 제1 건물 회전 추정 영역을 결정하는 단계;
    상기 SAR 회전 영상을 상기 제1 신경망에 입력하여, 상기 SAR 회전 영상에서 건물이 위치하는 것으로 추정되는 제2 건물 회전 추정 영역을 추출하는 단계;
    상기 제1 건물 회전 추정 영역과 상기 제2 건물 회전 추정 영역의 차이를 최소화하는 제4 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  8. 제4항에 있어서,
    서로 대응하는 학습용 SAR 영상과 학습용 EO 영상을 수신하는 단계;
    상기 제1 신경망을 이용하여, 상기 학습용 SAR 영상에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역을 추출하는 단계;
    상기 제2 신경망을 이용하여, 상기 제2 특징 벡터에 대응하는, 상기 학습용 EO 영상에서 건물이 위치하는 것으로 추정되는 제2 건물 추정 영역을 추출하는 단계; 및
    상기 제1 건물 추정 영역과 상기 제2 건물 추정 영역의 차이를 최소화하는 제2 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  9. 제8항에 있어서,
    학습용 SAR 영상을 수신하는 단계;
    상기 학습용 SAR 영상에서 건물이 실제로 위치하는 건물 영역에 관한 정보를 수신하는 단계;
    상기 학습용 SAR 영상을 상기 제1 신경망에 입력하여, 상기 학습용 SAR 영상에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역을 추출하는 단계;
    상기 제1 건물 추정 영역과 상기 건물 영역의 차이를 최소화하는 제3 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  10. 제9항에 있어서,
    학습용 SAR 영상을 수신하는 단계;
    상기 학습용 SAR 영상을 회전한 SAR 회전 영상을 생성하는 단계;
    상기 학습용 SAR 영상을 상기 제1 신경망에 입력하여, 상기 학습용 SAR 영상에서 건물이 위치하는 것으로 추정되는 제1 건물 추정 영역을 추출하는 단계;
    상기 제1 건물 추정 영역을 회전한 제1 건물 회전 추정 영역을 결정하는 단계;
    상기 SAR 회전 영상을 상기 제1 신경망에 입력하여, 상기 SAR 회전 영상에서 건물이 위치하는 것으로 추정되는 제2 건물 회전 추정 영역을 추출하는 단계;
    상기 제1 건물 회전 추정 영역과 상기 제2 건물 회전 추정 영역의 차이를 최소화하는 제4 목적함수를 이용하여 상기 제1 신경망을 학습시키는 단계를 더 포함하는 건물 추출 방법.
  11. 컴퓨터를 이용하여 제1항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
KR1020210034234A 2021-03-16 2021-03-16 합성개구 레이다 영상의 건물 추출 방법 KR102296220B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210034234A KR102296220B1 (ko) 2021-03-16 2021-03-16 합성개구 레이다 영상의 건물 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210034234A KR102296220B1 (ko) 2021-03-16 2021-03-16 합성개구 레이다 영상의 건물 추출 방법

Publications (1)

Publication Number Publication Date
KR102296220B1 true KR102296220B1 (ko) 2021-08-31

Family

ID=77489336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034234A KR102296220B1 (ko) 2021-03-16 2021-03-16 합성개구 레이다 영상의 건물 추출 방법

Country Status (1)

Country Link
KR (1) KR102296220B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102659347B1 (ko) * 2021-12-10 2024-04-19 한국항공우주연구원 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956446B1 (ko) 2009-09-11 2010-05-06 중앙항업(주) 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법
KR20180043937A (ko) * 2016-10-21 2018-05-02 삼성전자주식회사 표정 인식 방법 및 장치
KR102158799B1 (ko) * 2020-05-06 2020-09-22 호서대학교 산학협력단 심층신경망 모델을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956446B1 (ko) 2009-09-11 2010-05-06 중앙항업(주) 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법
KR20180043937A (ko) * 2016-10-21 2018-05-02 삼성전자주식회사 표정 인식 방법 및 장치
KR102158799B1 (ko) * 2020-05-06 2020-09-22 호서대학교 산학협력단 심층신경망 모델을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102659347B1 (ko) * 2021-12-10 2024-04-19 한국항공우주연구원 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치

Similar Documents

Publication Publication Date Title
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
US11232286B2 (en) Method and apparatus for generating face rotation image
CN112991413A (zh) 自监督深度估测方法和系统
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN110210493B (zh) 基于非经典感受野调制神经网络的轮廓检测方法及系统
EP4057226A1 (en) Method and apparatus for estimating pose of device
Xiao et al. Single image dehazing based on learning of haze layers
US20230281913A1 (en) Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
US20230177822A1 (en) Large scene neural view synthesis
WO2023212997A1 (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN114049515A (zh) 图像分类方法、系统、电子设备和存储介质
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
DE102022113244A1 (de) Gemeinsame Form- und Erscheinungsbildoptimierung durch Topologieabtastung
KR102296220B1 (ko) 합성개구 레이다 영상의 건물 추출 방법
CN116097307A (zh) 图像的处理方法及相关设备
CN114077891A (zh) 风格转换模型的训练方法及虚拟建筑检测模型的训练方法
CN116310046A (zh) 图像处理方法、装置、计算机及存储介质
US11869173B2 (en) Image inpainting based on multiple image transformations
Qiu et al. The image stitching algorithm based on aggregated star groups
US20230040793A1 (en) Performance of Complex Optimization Tasks with Improved Efficiency Via Neural Meta-Optimization of Experts
Li et al. Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds
CN115115698A (zh) 设备的位姿估计方法及相关设备
CN117593470B (zh) 一种基于ai模型的街景重构方法及系统
Kong et al. Satellite Image Parcel Segmentation and Extraction Based on U-Net Convolution Neural Network Model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant