KR102262397B1 - Method and Apparatus for Automatically Matching between Multi-Temporal SAR Images - Google Patents
Method and Apparatus for Automatically Matching between Multi-Temporal SAR Images Download PDFInfo
- Publication number
- KR102262397B1 KR102262397B1 KR1020190168505A KR20190168505A KR102262397B1 KR 102262397 B1 KR102262397 B1 KR 102262397B1 KR 1020190168505 A KR1020190168505 A KR 1020190168505A KR 20190168505 A KR20190168505 A KR 20190168505A KR 102262397 B1 KR102262397 B1 KR 102262397B1
- Authority
- KR
- South Korea
- Prior art keywords
- satellite image
- image
- transformation
- floating
- matching
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000007667 floating Methods 0.000 claims abstract description 35
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
본 발명이 속하는 기술 분야는 위성 SAR 영상 정합 장치 및 방법에 관한 것이다. The technical field to which the present invention pertains relates to a satellite SAR image matching apparatus and method.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.
합성 개구 레이다(Synthetic Aperture Radar, SAR)는 공중에서 지상 및 해양을 관찰하는 레이다이다. 합성 개구 레이다는 지상 및 해양에 대해 공중에서 전파를 순차적으로 쏜 이후 전파가 굴곡면에 반사되어 돌아오는 미세한 시간차를 처리하여 지상 지형도를 만들거나 지표를 관측한다.Synthetic Aperture Radar (SAR) is a radar that observes land and sea from the air. Synthetic aperture radar creates a terrestrial topographic map or observes the surface by processing the minute time difference in which radio waves are sequentially emitted from the air to the land and ocean and then reflected back to the curved surface.
고해상도 SAR 영상에는 중저해상도 SAR 영상과는 다르게 영상 내에 존재하는 다양한 높이와 높이 변화를 가지는 수 많은 개체들이 존재하며, 지역적인 왜곡(Local Distortion)이나 기복 변이(Relief Displacement)를 발생시킨다. In a high-resolution SAR image, there are many objects having various heights and height changes in the image, unlike the low-medium-resolution SAR image, and local distortion or relief displacement occurs.
지역적 왜곡은 영상 내에 존재하는 개체의 특성과 분포에 따라 크기나 방향이 다르게 발생하고, 이를 제거하기 위한 접근법이 요구된다. 지역적 왜곡에서도 견고한 영상 정합이 가능한 유사도 평가 방법이 필요한 실정이다.Regional distortion occurs differently in size or direction depending on the characteristics and distribution of objects in the image, and an approach to remove it is required. There is a need for a similarity evaluation method that enables robust image registration even in regional distortion.
본 발명의 실시예들은 특징 기반 정합과 인텐시티 기반 정합을 종합적으로 적용하여 특징 기반 정합과 같은 빠른 수행시간을 보이면서 인텐시티 기반 정합의 정교한 SAR 영상 정합을 수행하는데 발명의 주된 목적이 있다.Embodiments of the present invention comprehensively apply feature-based registration and intensity-based registration to perform sophisticated SAR image registration of intensity-based registration while exhibiting a fast execution time such as feature-based registration.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
본 실시예의 일 측면에 의하면, 위성 영상 정합 장치에 의한 위성 영상 정합 방법에 있어서, 기준 위성 영상과 부유 위성 영상을 획득하는 단계, 상기 부유 위성 영상을 필터링하는 단계, 상기 필터링한 부유 위성 영상에서 특징 영역으로 분할하고 상기 특징 영역에서 복수의 특징점을 추출하는 단계, 상기 복수의 특징점으로부터 거리 지도를 생성하고 상기 거리 지도에서 쉘 볼륨을 추출하는 단계, 및 상기 쉘 볼륨을 기준으로 변환 파라미터를 설정하여 상기 기준 위성 영상과 상기 부유 위성 영상을 정합하는 단계를 포함하는 위성 영상 정합 방법을 제공한다.According to one aspect of the present embodiment, in a satellite image matching method by a satellite image matching device, the steps of obtaining a reference satellite image and a floating satellite image, filtering the floating satellite image, and features in the filtered floating satellite image dividing into regions and extracting a plurality of feature points from the feature region, generating a distance map from the plurality of feature points and extracting a shell volume from the distance map, and setting a conversion parameter based on the shell volume There is provided a satellite image matching method comprising the step of matching a reference satellite image and the floating satellite image.
본 실시예의 다른 측면에 의하면, 기준 위성 영상과 부유 위성 영상을 획득하는 영상 획득부, 및 상기 부유 위성 영상을 필터링하고, 상기 필터링한 부유 위성 영상에서 특징 영역으로 분할하고 상기 특징 영역에서 복수의 특징점을 추출하고, 상기 복수의 특징점으로부터 거리 지도를 생성하고 상기 거리 지도에서 쉘 볼륨을 추출하고, 상기 쉘 볼륨을 기준으로 변환 파라미터를 설정하여 상기 기준 위성 영상과 상기 부유 위성 영상을 정합하는 영상 처리부를 포함하는 위성 영상 정합 장치를 제공한다.According to another aspect of this embodiment, an image acquisition unit for acquiring a reference satellite image and a floating satellite image, and filtering the floating satellite image, dividing the filtered floating satellite image into feature regions, and a plurality of feature points in the feature region An image processing unit for extracting , generating a distance map from the plurality of feature points, extracting a shell volume from the distance map, and setting a conversion parameter based on the shell volume to match the reference satellite image and the floating satellite image It provides a satellite image matching device comprising a.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 쉘 볼륨을 이용한 고정밀 자동 SAR 영상 정합 방법은 특징 기반 정합과 같은 빠른 수행시간을 보이면서 인텐시티 기반 정합의 정교한 매칭이 가능하므로 사용자에게 편리성을 제공한다. 우수한 고해상도 SAR 영상 정합 결과는 지형 고도 정보 생성, 변화 및 변위 탐지, 이동 표적 탐지 기술의 최종 결과 품질을 향상시키며, 군사, 수자원 관리, 홍수 재해 지도 제작, 가뭄, 토지 분류, 농작물 현황 등의 다양한 분야에서 고품질의 SAR 영상을 활용할 수 있다.As described above, according to the embodiments of the present invention, the high-precision automatic SAR image registration method using the shell volume provides convenience to the user because it enables precise matching of intensity-based registration while showing fast execution time such as feature-based registration. do. Excellent high-resolution SAR image registration results improve the final result quality of topographic altitude information generation, change and displacement detection, and moving target detection technology, and in various fields such as military, water resource management, flood disaster mapping, drought, land classification, crop status, etc. You can utilize high-quality SAR images in
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and their potential effects are treated as if they were described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 위성 영상 정합 장치를 예시한 블록도이다.
도 2은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법을 예시한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 특징점을 추출하는 동작을 예시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 전역 변형 저감화 기법에 적용한 적응적 경사 하강 기법을 예시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 쉘 볼륨을 생성하는 동작과 어파인 변환 모델을 예시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 쉘 볼륨에 대해 정규화된 상호 정보를 이용하여 유사도를 평가하는 동작을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 변환 파라미터를 최적화하여 위치를 탐색하는 파웰 방향 기법을 예시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 영상을 리샘플링하는 동작을 예시한 도면이다.1 is a block diagram illustrating a satellite image matching apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a satellite image matching method according to another embodiment of the present invention.
3 is a diagram illustrating an operation of extracting a feature point by a satellite image matching method according to another embodiment of the present invention.
4 is a diagram illustrating an adaptive gradient descent technique applied to a global distortion reduction technique by a satellite image matching method according to another embodiment of the present invention.
5 is a diagram illustrating an operation of generating a shell volume and an affine transformation model in a satellite image matching method according to another embodiment of the present invention.
6 is a diagram illustrating an operation of evaluating a similarity using mutual information normalized with respect to a shell volume in a satellite image matching method according to another embodiment of the present invention.
7 is a diagram illustrating a Powell direction technique in which a satellite image matching method according to another embodiment of the present invention finds a position by optimizing a transformation parameter.
8 is a diagram illustrating an operation of resampling an image by a satellite image matching method according to another embodiment of the present invention.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, in the description of the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured as it is obvious to those skilled in the art with respect to related known functions, the detailed description thereof will be omitted, and some embodiments of the present invention will be described. It will be described in detail with reference to exemplary drawings.
SAR 위성은 거리에 무관하게 일정한 해상도를 가지고, 능동형 소자를 이용하여 영상을 형성하므로 밤과 낮에 구애받지 않으며 전파의 투과 특성으로 인하여 구름이 존재하는 상황에서도 영상을 형성해 기존의 광학 센서에서 얻을 수 없는 다양한 정보를 제공한다.The SAR satellite has a constant resolution regardless of the distance and forms an image using an active element, so it is not limited by day or night. Due to the transmission characteristics of radio waves, it forms an image even in the presence of clouds and can be obtained from the existing optical sensor. It provides a variety of information that is not available.
SAR 영상은 위상 획득의 기하(Geometry)로 인하여 영상에 왜곡 현상이 나타난다. 고해상도 영상에는 중저해상도 영상과는 다르게 영상 내에 존재하는 다양한 높이와 높이 변화를 가지는 수 많은 개체들이 존재한다. In the SAR image, distortion appears in the image due to the geometry of the phase acquisition. In a high-resolution image, there are numerous objects with various heights and height changes that exist in the image, unlike the low-medium-resolution image.
영상 내에 존재하는 개체의 특성과 분포에 따라 지역적 왜곡의 크기나 방향이 다르게 발생한다. 레이오버(Layover)는 수직의 건물 외곽 벽과 같은 가파른 고도 차이를 가지는 부분에서 발생하고 이는 센서 방향으로 센서와 지표 객체 사이에 동일한 거리를 가지지만 다른 위치에 존재하는 객체가 존재한다. 지붕, 건물 벽, 건물 면의 지표 등과 관련된다. 입사각에 따라 면이 짧게 보이는 전방 압축(foreshortening)이 발생할 수도 있고, 건물과 지표에서는 더블 바운스(Double-Bounce)로 인하여 방위(Azimuth) 방향으로 밝은 값을 가지는 선이 생길 수 있다. 건물의 반대편 지표에서는 신호가 돌아오지 않아 영상이 어둡게 나타나는 음영(Shadow) 지역이 존재할 수 있다.Depending on the characteristics and distribution of objects in the image, the size or direction of regional distortion occurs differently. Layover occurs in a part having a steep elevation difference, such as a vertical building outer wall, and there is an object that has the same distance between the sensor and the ground object in the direction of the sensor, but exists at a different location. It relates to the surface of the roof, the wall of the building, the surface of the building, etc. Depending on the angle of incidence, foreshortening may occur, which makes the surface appear short, and a line with a bright value in the azimuth direction may occur due to double-bounce in buildings and the ground. On the surface opposite to the building, there may be a shadow area where the image is dark because the signal does not return.
SAR 위성은 이전 궤도를 순환하며 촬영된 영상이 포괄하는 지역과 궤도를 다시 한번 순환한 다음 동일위치에서 촬영된 영상이 포괄하는 지역간 차이가 존재하고, 동일 지역일지라도 촬영된 일시나 진로 방향에 따라 전혀 다른 양상의 영상을 획득한다.The SAR satellite cycles through the previous orbit and there is a difference between the area covered by the captured image and the area covered by the image captured at the same location after circulating the orbit once again. Acquire different types of images.
왜곡을 제거하기 위한 영상 정합 기법은 크게 특징 기반 정합과 인센시티 기반 정합으로 구분된다. Image registration techniques for removing distortion are largely divided into feature-based registration and intensity-based registration.
특징 기반 정합은 두 영상에서 각각 특징 영역을 분할하고 이의 경계를 가지고 유사도 평가를 수행하기 때문에 정합 시간이 빠른 대신에 특징 영역이 얼마나 정확하게 분할되었는지가 정합 결과에 큰 영향을 준다. Since feature-based registration divides each feature region in two images and evaluates the similarity using the boundary, how accurately the feature region is segmented has a great influence on the registration result instead of the fast matching time.
인센시티 기반 정합은 전체 영역을 선처리(preprocessing) 과정없이 두 영상의 화소 간 밝기값의 상관도를 측정하여 상대적으로 정확도가 높은 대신에 모든 픽셀을 가지고 유사도 평가하므로 수행 시간이 오래 걸린다. Incense-based registration measures the correlation between the brightness values between pixels of two images without preprocessing the entire area, and instead of having relatively high accuracy, it takes a long time to perform because similarity is evaluated with all pixels.
본 실시예에 따른 위성 영상 정합 장치 및 방법은 특징 기반 영상 정합과 인센시티 기반 영상 정합을 결합하여 특징 기반 정합과 같은 빠른 수행 시간을 보이면서 인센시티 기반 정합의 정교한 영상 정합이 가능하다. The satellite image registration apparatus and method according to the present embodiment combine feature-based image registration and intensity-based image registration, thereby enabling precise image registration of intensity-based registration while exhibiting a fast execution time such as feature-based registration.
도 1은 본 발명의 일 실시예에 따른 위성 영상 정합 장치를 예시한 블록도이다.1 is a block diagram illustrating a satellite image matching apparatus according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 위성 영상 정합 장치(100)은 영상 획득부(110) 및 영상 처리부(120)를 포함한다. 위성 영상 정합 장치(100)은 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. As shown in FIG. 1 , the satellite
위성 영상 정합 장치(100)는 적어도 하나의 프로세서, 컴퓨터 판독 가능한 저장매체 및 통신 버스를 포함한다. The satellite
프로세서는 위성 영상 정합 장치(100)를 동작하도록 제어할 수 있다. 예컨대, 프로세서는 컴퓨터 판독 가능한 저장 매체에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서에 의해 실행되는 경우 위성 영상 정합 장치로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The processor may control the satellite
컴퓨터 판독 가능한 저장 매체는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램은 프로세서에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 위성 영상 정합 장치에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium is configured to store computer-executable instructions or program code, program data and/or other suitable form of information. A program stored in a computer-readable storage medium includes a set of instructions executable by a processor. In one embodiment, the computer-readable storage medium comprises memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash memory device or other types of storage media that can be accessed by the satellite image matching device and can store desired information, or a suitable combination thereof.
통신 버스는 프로세서, 컴퓨터 판독 가능한 저장 매체를 포함하여 위성 영상 정합 장치의 다른 다양한 컴포넌트들을 상호 연결한다.A communication bus interconnects the various other components of the satellite image matching device, including a processor and a computer readable storage medium.
위성 영상 정합 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스 및 하나 이상의 통신 인터페이스를 포함할 수 있다. 입출력 인터페이스 및 통신 인터페이스는 통신 버스에 연결된다. 입출력 장치는 입출력 인터페이스를 통해 위성 영상 정합 장치(100)의 다른 컴포넌트들에 연결될 수 있다.The satellite
영상 획득부(110)는 영상을 촬영하는 센서이며, 기준 위성 영상과 부유 위성 영상을 획득한다.The
영상 처리부(120)는 프로세서로 구현될 수 있다. 영상 처리부(120)는 부유 위성 영상을 필터링하고, 필터링한 부유 위성 영상에서 특징 영역으로 분할하고 특징 영역에서 복수의 특징점을 추출하고, 복수의 특징점으로부터 거리 지도를 생성하고 거리 지도에서 쉘 볼륨을 추출하고, 쉘 볼륨을 기준으로 변환 파라미터를 설정하여 기준 위성 영상과 부유 위성 영상을 정합한다.The
도 2은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법을 예시한 흐름도이다. 위성 영상 정합 방법은 위성 영상 정합 장치에 의하여 수행될 수 있다.2 is a flowchart illustrating a satellite image matching method according to another embodiment of the present invention. The satellite image matching method may be performed by a satellite image matching apparatus.
단계 S210에서 위성 영상 정합 장치는 기준 위성 영상과 부유 위성 영상을 획득한다.In step S210, the satellite image matching device acquires a reference satellite image and a floating satellite image.
단계 S220에서 위성 영상 정합 장치는 부유 위성 영상을 필터링한다.In step S220, the satellite image matching device filters the floating satellite image.
단계 S230에서 위성 영상 정합 장치는 필터링한 부유 위성 영상에서 특징 영역으로 분할하고 특징 영역에서 복수의 특징점을 추출한다.In step S230, the satellite image matching apparatus divides the filtered floating satellite image into feature regions and extracts a plurality of feature points from the feature region.
단계 S240에서 위성 영상 정합 장치는 복수의 특징점으로부터 거리 지도를 생성하고 거리 지도에서 쉘 볼륨을 추출한다. In step S240, the satellite image matching apparatus generates a distance map from a plurality of feature points and extracts a shell volume from the distance map.
단계 S250에서 위성 영상 정합 장치는 쉘 볼륨을 기준으로 변환 파라미터를 설정하여 기준 위성 영상과 부유 위성 영상을 정합한다.In step S250, the satellite image matching apparatus sets the conversion parameter based on the shell volume to match the reference satellite image and the floating satellite image.
SAR 영상 특성상 마이크로파와 관측대상과의 복잡한 상호작용으로 인해 영상에 많은 스페클 노이즈(Speckle Noise)가 포함되어 있어 경계 보존 필터링, 잡음 저감화 필터링 등의 화질 향상 필터링 기법을 적용한다.Due to the nature of the SAR image, a lot of speckle noise is included in the image due to the complex interaction between microwaves and the object to be observed. Therefore, image quality enhancement filtering techniques such as boundary preservation filtering and noise reduction filtering are applied.
부유 위성 영상을 필터링하는 단계(S220)에서 영상 처리부는 노이즈를 갖는 픽셀은 전역 변형이 높은 것을 고려하여 에지를 보존하면서 노이즈를 제거하는 전역 변형 저감화(Total Variation Denoising) 기법을 적용하여 필터링을 수행한다. 전역 변형은 2차원의 위치에서 인접 픽셀 간의 놈(Norm)으로 표현된다. 놈은 2차원 벡터의 크기로서 경사의 절대값으로 볼 수 있다.In the step of filtering the floating satellite image (S220), the image processing unit performs filtering by applying a Total Variation Denoising technique that removes noise while preserving edges in consideration of high global distortion of pixels having noise. . The global transformation is expressed as a norm between adjacent pixels in a two-dimensional position. The norm is the magnitude of a two-dimensional vector and can be viewed as the absolute value of the gradient.
영상 처리부는 가중치를 포함하는 목적 함수로 정의된 전역 변형 저감화 기법에 비국부(Non-Local) 가중치를 적용할 수 있다. 비국부 가중치는 (i) 패치를 갖는 커널 함수와 (ii) 영상 배경의 표준편차의 소정의 배수로 설정된 필터링 파라미터를 포함하는 관계로 표현될 수 있다. 커널 함수는 원점을 중심으로 대칭이면서 적분값이 1인 non-negative 함수이다. 영상 처리부는 커널 함수로 가우시안 커널 함수를 사용할 수 있다.The image processing unit may apply a non-local weight to a global strain reduction technique defined as an objective function including a weight. The non-local weight may be expressed as a relationship including (i) a kernel function having a patch and (ii) a filtering parameter set to a predetermined multiple of the standard deviation of the image background. A kernel function is a non-negative function whose integral value is 1 while being symmetric about the origin. The image processing unit may use a Gaussian kernel function as a kernel function.
비국부 가중치는 단위 분산에 따라 기 설정된 크기를 갖는 검색 영역 내에서 검색 영역의 크기보다 작게 설정된 크기를 갖는 패치 간의 유사도를 이용하여 설정된다. 비국부 영역, 패치의 인덱스, 패치의 크기, 가우시간 커널, 검색 영역은 요구되는 설계 사항에 따라 적합한 수치로 설정될 수 있다. 필터링 파라미터는 영상 배경의 표준편차의 2-3배로 설정될 수 있다.The non-local weight is set using the similarity between patches having a size set smaller than the size of the search area within the search area having a preset size according to the unit variance. The non-local area, the index of the patch, the size of the patch, the Gau time kernel, and the search area may be set to appropriate values according to the required design. The filtering parameter may be set to 2-3 times the standard deviation of the image background.
필터링을 거친 부유영상에서 이상치(Outlier)를 제외한 특징 영역으로 분할하고, 분할된 특징 영역에 경계 검출 알고리듬 또는 중심선 추출 알고리즘을 이용해 특징점을 추출한다. The filtered floating image is divided into feature regions excluding outliers, and feature points are extracted from the segmented feature region using a boundary detection algorithm or a centerline extraction algorithm.
도 3은 위성 영상 정합 방법이 특징점을 추출하는 동작을 예시한 도면이고, 도 4는 위성 영상 정합 방법이 전역 변형 저감화 기법에 적용한 적응적 경사 하강 기법을 예시한 도면이다.FIG. 3 is a diagram illustrating an operation of extracting feature points by a satellite image matching method, and FIG. 4 is a diagram illustrating an adaptive gradient descent technique applied by the satellite image matching method to a global strain reduction method.
특징점을 추출하는 단계(S230)에서, 영상 처리부는 전역 변형 저감화 기법이 적용된 가중치를 포함하는 목적 함수에 적응적 경사 하강(Steepest Gradient Descent) 기법을 적용한다. 전역 변형 저감화 기법이 적용된 목적 함수를 최소화하고, 두드러진 경계들을 유지하면서 잡음 픽셀들이 부드러워지는 최적의 경사 하강 기법의 반복 회수를 파인 튜닝(Fine Tuning)을 통하여 특징점을 결정할 수 있다. 파인 튜닝을 통하여 이미 존재하는 모델에 추가 데이터를 입력하여 파라미터를 갱신한다. 전역 변형(Total Variation)에 관한 정규 함수를 최소화한다. In the step of extracting the feature points ( S230 ), the image processing unit applies an adaptive gradient descent technique to an objective function including a weight to which the global strain reduction technique is applied. The feature point can be determined through fine tuning the number of iterations of the optimal gradient descent technique that minimizes the objective function to which the global strain reduction technique is applied, and makes noise pixels soft while maintaining prominent boundaries. Through fine tuning, the parameters are updated by inputting additional data to the already existing model. Minimize the regular function for the Total Variation.
P( x,y )는 2차원의 위치에서 픽셀을 의미한다.P ( x,y ) means a pixel in a two-dimensional position.
λ는 반복 단계가 진행됨에 따라 부드러움 정도가 감소될 수 있도록 제어하는 적응 파라미터이다. 각 경사 하강 단계에서 갱신된 값이 반복 회수가 증가함에 따라 보다 작은 값으로 지정되도록 제어한다. t는 반복 회수를 의미한다.λ is an adaptive parameter that controls the degree of softness to be reduced as the iteration step progresses. Controlled so that the updated value in each gradient descent step is designated as a smaller value as the number of iterations increases. t stands for the number of iterations.
▽R(Pj)는 각 경사 하강 단계에서 계산되는 목적 함수의 영상의 j번째 색인된 위치에서의 경사를 의미하고 모든 위치에서 계산된 경사의 제곱근의 합 |▽R(Pj)|는 정규화된 경사 계산을 위해 요구된다. ▽R(P j ) means the slope at the j indexed position of the image of the objective function computed at each gradient descent step, and the sum of the square roots of the slopes calculated at all positions |▽R(P j )| is normalized required for the calculated slope.
급격한 변화로 인하여 발생할 수 있는 국부 최소화를 피하기 위하여 스케일링 파라미터를 적용할 수 있다.A scaling parameter may be applied to avoid local minimization that may occur due to abrupt changes.
위성 영상 정합 방법은 추출된 특징점을 가지고 챔퍼(Chamfer) 거리 지도를 적용해 거리 지도를 생성한다. 생성된 거리 지도에서 일정 거리 내에 있는 픽셀들을 쉘 볼륨으로 추출하고 영상 정합을 시도한다.The satellite image registration method generates a street map by applying a Chamfer distance map with the extracted feature points. Pixels within a certain distance from the generated street map are extracted as a shell volume and image registration is attempted.
도 5는 위성 영상 정합 방법이 쉘 볼륨을 생성하는 동작과 어파인 변환 모델을 예시한 도면이고, 도 6은 위성 영상 정합 방법이 쉘 볼륨에 대해 정규화된 상호 정보를 이용하여 유사도를 평가하는 동작을 예시한 도면이고, 도 7은 위성 영상 정합 방법이 변환 파라미터를 최적화하여 위치를 탐색하는 파웰 방향 기법을 예시한 도면이다.5 is a diagram illustrating the operation of the satellite image registration method to generate a shell volume and the affine transformation model, and FIG. 6 is the operation of evaluating the similarity of the satellite image registration method using mutual information normalized for the shell volume. 7 is a diagram illustrating a Powell direction technique in which a satellite image matching method optimizes a transformation parameter to search for a position.
쉘 볼륨을 추출하는 단계(S240)에서 영상 처리부는 전파 경로에 있는 인접 픽셀로 거리를 전파하여 계산된 값을 사용하는 챔퍼 거리 변환(Chamfer Distance Transform)을 적용하여 거리 지도를 생성한다. 챔퍼 거리 변환은 유클리드 거리 변환의 근사치로 볼 수 있다.In the step of extracting the shell volume ( S240 ), the image processing unit generates a distance map by applying a chamfer distance transform using a value calculated by propagating the distance to adjacent pixels in the propagation path. The chamfer distance transform can be viewed as an approximation of the Euclidean distance transform.
영상 정합하는 단계(S250)에서 영상 처리부는 평행 이동, 회전, 크기 변환, 전단 변환, 또는 이들의 조합에 관한 변환 파라미터로 정의된 어파인(Affine) 변환 모델을 적용하며, 쉘 볼륨과 상기 기준 위성 영상의 대응 영역의 유사도를 평가한다.In the image registration step (S250), the image processing unit applies an Affine transformation model defined as transformation parameters related to translation, rotation, size transformation, shear transformation, or a combination thereof, and the shell volume and the reference satellite Evaluate the similarity of the corresponding region of the image.
영상 정합은 두 영상 간의 대응 관계를 정의하는 변환 파라미터를 찾는 것이다. 하나의 영상을 고정된 기준 영상으로 하고 기준 영상으로 변환되는 영상을 부유 영상으로 정의할 때, 변환이 평행 이동(Translation)과 회전(Rotation)으로만 정의되면 강체 변환(Rigid Transformation)이라 하고, 강체 변환에 전단(Shear) 변환이 추가되면 어파인(affine) 변환이라 한다. 하나의 선형 변환 매트릭스로 표현 가능하다. 고해상도 SAR 영상 데이터는 강체 변환의 경우 x, y축 각각에 대한 평행 이동과 회전에 대한 변환 매트릭스가 필요하므로 3개의 자유도(degree of freedom)를 갖고, 여기에 축소 확대(Scaling), 쉬어 요소가 추가되어 6개의 자유도를 갖는다.Image registration is to find a transformation parameter that defines a correspondence between two images. When one image is used as a fixed reference image and an image transformed into a reference image is defined as a floating image, if the transformation is defined only by translation and rotation, it is called rigid transformation, and When a shear transform is added to a transform, it is called an affine transform. It can be expressed as a single linear transformation matrix. High-resolution SAR image data has three degrees of freedom because it requires transformation matrices for translation and rotation about the x and y axes in the case of rigid body transformation. Added 6 degrees of freedom.
영상 정합하는 단계(S250)에서 영상 처리부는 대응 영역에서 조인트 히스토그램을 생성하고 정규화된 상호 정보(Normalized Mutual Information, NMI)를 계산하여 최적 위치를 탐색한다. In the image matching step ( S250 ), the image processing unit generates a joint histogram in the corresponding region and calculates normalized mutual information (NMI) to search for an optimal position.
부유 영상에서 추출된 특징점에 대한 쉘 볼륨을 기준 영상으로 변환하면서 유사도 평가를 위해 정규화된 상호정보량(normalized mutual information, NMI) 척도 함수를 사용한다. SAR 영상은 촬영된 일시나 진로 방향에 따라 전혀 다른 양상의 영상이 취득될 수 있으므로 대응하는 픽셀 간의 밝기값의 선형적인 관계가 아닌 엔트로피 개념을 이용하는 NMI 유사도 척도 함수를 고려한다.A normalized mutual information (NMI) scale function is used to evaluate the similarity while converting the shell volume for the feature points extracted from the floating image into a reference image. In the SAR image, an image of a completely different aspect can be acquired depending on the date and time taken or the direction of the course, so consider the NMI similarity scale function using the concept of entropy rather than a linear relationship between the brightness values between the corresponding pixels.
두 영상에서 엔트로피 및 NMI를 계산하기 위해 필요한 확률 분포는 조인트 히스토그램(Joint Histogram)을 이용한다. 조인트 히스토그램은 두 영상에서 동일한 위치에 대응하는 픽셀의 밝기값 쌍의 개수를 누적한 결과이다.A joint histogram is used for the probability distribution required to calculate entropy and NMI from two images. The joint histogram is a result of accumulating the number of pairs of brightness values of pixels corresponding to the same position in two images.
조인트 히스토그램의 각 축의 최대값은 256이 되도록 빈(Bin) 크기를 조정하고, 빈 크기에 따라 각 영상의 밝기값을 스케일링해 조인트 히스토그램을 생성한다. The bin size is adjusted so that the maximum value of each axis of the joint histogram is 256, and the joint histogram is created by scaling the brightness value of each image according to the bin size.
NMI는 매 변환시 조인트 히스토그램을 생성하여 엔트로피를 계산하기 때문에 추가적인 연산 시간이 소요된다. 본 실시예에 따른 위성 영상 정합 방법은 영상 내 모든 픽셀을 사용하지 않고 특징점 영역 인접한 쉘 볼륨만을 가지고 NMI를 수행하므로 빠르고 견고한 정합 결과를 제공할 수 있다.Since NMI calculates entropy by generating a joint histogram at every transformation, additional computation time is required. In the satellite image registration method according to the present embodiment, NMI is performed only with the shell volume adjacent to the feature point region without using all pixels in the image, so that a fast and robust registration result can be provided.
변형된 좌표값 중에 NMI 최대가 되는 좌표가 정합이 최적화된 위치이다.Among the transformed coordinate values, the coordinates that have the maximum NMI are the positions where the registration is optimized.
H(As), H(Bo)는 두 영상 각각의 엔트로피이고, H(As, Bo)는 두 영상의 조인트 엔트로피이다.H(A s ) and H(B o ) are the entropy of each of the two images, and H(A s , B o ) is the joint entropy of the two images.
엔트로피는 특징 영역의 확률 분포에서의 불확실성을 나타내며, pA, pB는 두 영상의 픽셀의 확률 분포이다. pA,B는 조인트 확률 분포이다.Entropy represents the uncertainty in the probability distribution of the feature region, and p A and p B are the probability distributions of the pixels of the two images. p A,B is the joint probability distribution.
조인트 확률 분포는 조인트 히스토그램을 생성하여 계산한다.The joint probability distribution is calculated by creating a joint histogram.
영상 정합하는 단계(S250)에서 영상 처리부는 변환 파라미터에서 현재 탐색 순서에 해당하는 현재 변환 파라미터를 변경하고 나머지 변환 파라미터를 고정하여 위치를 탐색하는 파웰 방향 기법을 적용하며, 최소 3개의 점을 기준으로 파라볼릭 보간(Parabolic Interpolation)을 통해 변환 파라미터를 최적화한다.In the image matching step (S250), the image processing unit changes the current transformation parameter corresponding to the current search order in the transformation parameter and applies the Powell direction technique of searching the position by fixing the remaining transformation parameters, based on at least three points. Optimize the transformation parameters through parabolic interpolation.
영상 처리부는 선택된 쉘 볼륨을 가지고 기준 영상에서 가장 잘 대응되는 영역을 결정한다. 이 때 사용되는 측정법은 상호정보량 기법이고 사용되는 최적화 기법은 파웰 방향 기법이다. 부유 영상에서 추출한 쉘이 다 초기 파라미터를 가지고 기준 영상으로 변환된다. 중첩된 쉘 볼륨을 이용하여 조인트 히스토그램을 생성한 후 상호정보량을 계산한다. 파웰 기법을 통하여 변환 파라미터를 갱신하고, 이러한 과정들을 반복한다. 정렬이 되지 않은 상태에서는 조인트 히스토그램이 전체적으로 분산되어 있는 것처럼 보이고 가장 유사한 위치에 도달하게 되면 조인트 히스토그램이 보다 샤프하게 나타난다.The image processing unit determines a region that best corresponds to the reference image with the selected shell volume. In this case, the measurement method used is the mutual information amount method, and the optimization method used is the Powell direction method. All shells extracted from the floating image have initial parameters and are converted into a reference image. After creating a joint histogram using the overlapped shell volume, the amount of mutual information is calculated. The transformation parameter is updated through the Powell technique, and these processes are repeated. In the unaligned state, the joint histogram appears to be distributed throughout, and when the most similar position is reached, the joint histogram appears sharper.
파웰 방향 기법은 변환 벡터들을 일정한 순서를 가지고 탐색을 시도하고 현재 탐색순서인 변환 파라미터만 변경하고 나머지 변환 파라미터는 고정한 채 최소인 위치를 탐색하는 방법입니다.The Powell direction method is a method of searching for transformation vectors in a certain order, changing only the transformation parameter, which is the current search order, and searching for the minimum position while the remaining transformation parameters are fixed.
x 위치에서의 유사도가 세 점 a, b, c에서 계산한 유사도보다 작으면 이 중 최대값을 가지는 점 대신 x위치가 포함되면서 b위치가 최소인 새로운 a, b, c로 갱신하여 탐색 공간을 조밀하게 탐색한다. 이런 과정을 반복하여 a와 c의 간격이 일정 간격 이하만큼 작아지면 현재 탐색 순서에서 최소값인 b인 위치를 현재 탐색 순서의 변환 벡터에 갱신하고 다음 탐색 순서의 변환 벡터도 같은 방법으로 최소인 위치를 탐색한다.If the similarity at the x position is smaller than the similarity calculated at the three points a, b, and c, the search space is updated by including the x position instead of the point having the maximum value and updating to a new a, b, c with the minimum b position. explore closely. By repeating this process, when the interval between a and c becomes smaller than a certain interval, the position with the minimum value b in the current search order is updated in the transformation vector of the current search order, and the position with the minimum transformation vector in the next search order is also found in the same way. Explore.
도 8은 본 발명의 다른 실시예에 따른 위성 영상 정합 방법이 영상을 리샘플링하는 동작을 예시한 도면이다.8 is a diagram illustrating an operation of resampling an image by a satellite image matching method according to another embodiment of the present invention.
영상 정합하는 단계(S250)에서 영상 처리부는 변환 파라미터에 따라 부유 위성 영상을 리샘플링하고, 상기 리샘플링한 부유 위성 영상을 기준 위성 영상에 정합한다. 영상 처리부는 공간 이동, 변환, 보간 등의 다양한 블랜딩(Blending) 효과를 적용하여 리샘플링을 수행할 수 있다.In the image matching step ( S250 ), the image processing unit resamples the floating satellite image according to the conversion parameter, and matches the resampled floating satellite image to the reference satellite image. The image processing unit may perform resampling by applying various blending effects such as spatial movement, transformation, and interpolation.
위성 영상 정합 장치에 포함된 구성요소들이 도 1에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Although components included in the satellite image matching apparatus are illustrated separately in FIG. 1 , a plurality of components may be combined with each other and implemented as at least one module. The components are connected to a communication path connecting a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.
위성 영상 정합 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.The satellite image matching apparatus may be implemented in a logic circuit by hardware, firmware, software, or a combination thereof, or may be implemented using a general-purpose or special-purpose computer. The device may be implemented using a hardwired device, a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like. In addition, the device may be implemented as a system on chip (SoC) including one or more processors and controllers.
위성 영상 정합 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 구현될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.The satellite image matching apparatus may be implemented in the form of software, hardware, or a combination thereof in a computing device provided with hardware elements. A computing device includes all or part of a communication device such as a communication modem for performing communication with various devices or a wired/wireless communication network, a memory for storing data for executing a program, and a microprocessor for executing an operation and command by executing the program. It can mean a device.
도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.Although it is described that each process is sequentially executed in FIG. 2, this is only illustratively described, and those skilled in the art change the order described in FIG. 2 within the range that does not depart from the essential characteristics of the embodiment of the present invention. Alternatively, various modifications and variations may be applied by executing one or more processes in parallel or adding other processes.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.The operations according to the present embodiments may be implemented in the form of program instructions that can be performed through various computer means and recorded in a computer-readable medium. Computer-readable media refers to any medium that participates in providing instructions to a processor for execution. Computer-readable media may include program instructions, data files, data structures, or a combination thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. A computer program may be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the technical field to which the present embodiment pertains.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The present embodiments are for explaining the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.
100: 위성 영상 정합 장치
110: 영상 획득부
120: 영상 처리부100: satellite image matching device
110: image acquisition unit
120: image processing unit
Claims (17)
기준 위성 영상과 부유 위성 영상을 획득하는 단계;
상기 부유 위성 영상을 필터링하는 단계;
상기 필터링한 부유 위성 영상에서 특징 영역으로 분할하고 상기 특징 영역에서 복수의 특징점을 추출하는 단계;
상기 복수의 특징점으로부터 거리 지도를 생성하고 상기 거리 지도에서 쉘 볼륨을 추출하는 단계; 및
상기 쉘 볼륨을 기준으로 변환 파라미터를 설정하여 상기 기준 위성 영상과 상기 부유 위성 영상을 정합하는 단계
를 포함하는 위성 영상 정합 방법.A satellite image matching method by a satellite image matching device, comprising:
acquiring a reference satellite image and a floating satellite image;
filtering the floating satellite image;
dividing the filtered floating satellite image into feature regions and extracting a plurality of feature points from the feature regions;
generating a distance map from the plurality of feature points and extracting a shell volume from the distance map; and
matching the reference satellite image and the floating satellite image by setting a conversion parameter based on the shell volume;
A satellite image registration method comprising a.
상기 필터링하는 단계는,
노이즈를 갖는 픽셀은 전역 변형이 높은 것을 고려하여 에지를 보존하면서 노이즈를 제거하는 전역 변형 저감화(Total Variation Denoising) 기법을 적용하며, 상기 전역 변형은 2차원의 위치에서 인접 픽셀 간의 경사의 절대값으로 표현되는 것을 특징으로 하는 위성 영상 정합 방법.According to claim 1,
The filtering step is
A pixel with noise applies a total variation denoising technique that removes noise while preserving edges in consideration of the high global strain, and the global variation is the absolute value of the inclination between adjacent pixels in a two-dimensional position. Satellite image registration method, characterized in that represented.
상기 전역 변형 저감화 기법은 가중치를 포함하는 목적 함수로 정의되고 비국부(Non-Local) 가중치를 적용하며, 상기 비국부 가중치는 (i) 패치를 갖는 커널 함수와 (ii) 영상 배경의 표준편차의 소정의 배수로 설정된 필터링 파라미터를 포함하는 관계로 표현되는 것을 특징으로 하는 위성 영상 정합 방법.3. The method of claim 2,
The global strain reduction technique is defined as an objective function including weights and applies non-local weights, and the non-local weights are (i) a kernel function having a patch and (ii) a standard deviation of the image background. A satellite image matching method, characterized in that it is expressed as a relationship including a filtering parameter set to a predetermined multiple.
상기 비국부 가중치는 단위 분산에 따라 기 설정된 크기를 갖는 검색 영역 내에서 상기 검색 영역의 크기보다 작게 설정된 크기를 갖는 패치 간의 유사도를 이용하여 설정되는 것을 특징으로 하는 위성 영상 정합 방법.4. The method of claim 3,
The non-local weight is set by using a similarity between patches having a size set smaller than the size of the search area within a search area having a preset size according to unit variance.
상기 특징점을 추출하는 단계는,
상기 전역 변형 저감화 기법이 적용된 목적 함수에 적응적 경사 하강(Steepest Gradient Descent) 기법을 적용하며, 상기 전역 변형 저감화 기법이 적용된 목적 함수를 최소화하는 것을 특징으로 하는 위성 영상 정합 방법.3. The method of claim 2,
The step of extracting the feature point,
An adaptive gradient descent technique is applied to the objective function to which the global strain reduction technique is applied, and the objective function to which the global strain reduction technique is applied is minimized.
상기 쉘 볼륨을 추출하는 단계는,
전파 경로에 있는 인접 픽셀로 거리를 전파하여 계산된 값을 사용하는 챔퍼 거리 변환을 적용하여 상기 거리 지도를 생성하는 것을 특징으로 하는 위성 영상 정합 방법.According to claim 1,
Extracting the shell volume comprises:
and generating the distance map by applying a chamfer distance transform using a value calculated by propagating a distance to adjacent pixels in a propagation path.
상기 정합하는 단계는,
평행 이동, 회전, 크기 변환, 전단 변환, 또는 이들의 조합에 관한 변환 파라미터로 정의된 어파인 변환 모델을 적용하며, 상기 쉘 볼륨과 상기 기준 위성 영상의 대응 영역의 유사도를 평가하는 것을 특징으로 하는 위성 영상 정합 방법.According to claim 1,
The matching step is
An affine transformation model defined by transformation parameters related to translation, rotation, size transformation, shear transformation, or a combination thereof is applied, and the similarity between the shell volume and the corresponding region of the reference satellite image is evaluated. Satellite image registration method.
상기 정합하는 단계는,
상기 대응 영역에서 조인트 히스토그램을 생성하고 정규화된 상호 정보(Normalized Mutual Information, NMI)를 계산하여 최적 위치를 탐색하는 것을 특징으로 하는 위성 영상 정합 방법.8. The method of claim 7,
The matching step is
A satellite image registration method, characterized in that a joint histogram is generated in the corresponding region and an optimal position is searched for by calculating normalized mutual information (NMI).
상기 정합하는 단계는,
상기 변환 파라미터에서 현재 탐색 순서에 해당하는 현재 변환 파라미터를 변경하고 나머지 변환 파라미터를 고정하여 위치를 탐색하는 파웰 방향 기법을 적용하며, 최소 3개의 점을 기준으로 파라볼릭 보간(Parabolic Interpolation)을 통해 상기 변환 파라미터를 최적화하는 것을 특징으로 하는 위성 영상 정합 방법.8. The method of claim 7,
The matching step is
The Powell direction technique of changing the current transformation parameter corresponding to the current search order in the transformation parameter and fixing the remaining transformation parameters to search the position is applied, and the above transformation parameter is performed through parabolic interpolation based on at least three points. A satellite image registration method comprising optimizing transformation parameters.
상기 정합하는 단계는,
상기 변환 파라미터에 따라 상기 부유 위성 영상을 리샘플링하고, 상기 리샘플링한 부유 위성 영상을 상기 기준 위성 영상에 정합하는 것을 특징으로 하는 위성 영상 정합 방법.According to claim 1,
The matching step is
and re-sampling the floating-satellite image according to the conversion parameter, and matching the resampled floating-satellite image to the reference satellite image.
상기 부유 위성 영상을 필터링하고, 상기 필터링한 부유 위성 영상에서 특징 영역으로 분할하고 상기 특징 영역에서 복수의 특징점을 추출하고, 상기 복수의 특징점으로부터 거리 지도를 생성하고 상기 거리 지도에서 쉘 볼륨을 추출하고, 상기 쉘 볼륨을 기준으로 변환 파라미터를 설정하여 상기 기준 위성 영상과 상기 부유 위성 영상을 정합하는 영상 처리부
를 포함하는 위성 영상 정합 장치.an image acquisition unit for acquiring a reference satellite image and a floating satellite image; and
filtering the floating satellite image, dividing the filtered floating satellite image into feature regions, extracting a plurality of feature points from the feature region, generating a distance map from the plurality of feature points, and extracting a shell volume from the distance map; , an image processing unit for matching the reference satellite image and the floating satellite image by setting a conversion parameter based on the shell volume
A satellite image matching device comprising a.
상기 영상 처리부는,
노이즈를 갖는 픽셀은 전역 변형이 높은 것을 고려하여 에지를 보존하면서 노이즈를 제거하는 전역 변형 저감화(Total Variation Denoising) 기법을 적용하여 필터링을 수행하며, 상기 전역 변형은 2차원의 위치에서 인접 픽셀 간의 경사의 절대값으로 표현되는 것을 특징으로 하는 위성 영상 정합 장치.12. The method of claim 11,
The image processing unit,
Filtering is performed on pixels having noise by applying a Total Variation Denoising technique that removes noise while preserving edges in consideration of the high global deformation, and the global deformation is a slope between adjacent pixels in a two-dimensional position. Satellite image matching device, characterized in that expressed as an absolute value of.
상기 영상 처리부는,
상기 전역 변형 저감화 기법이 적용된 목적 함수에 적응적 경사 하강(Steepest Gradient Descent) 기법을 적용하며, 상기 전역 변형 저감화 기법이 적용된 목적 함수를 최소화하여 특징점을 추출하는 것을 특징으로 하는 위성 영상 정합 장치.13. The method of claim 12,
The image processing unit,
An adaptive gradient descent technique is applied to the objective function to which the global strain reduction technique is applied, and the feature point is extracted by minimizing the objective function to which the global strain reduction technique is applied.
상기 영상 처리부는,
전파 경로에 있는 인접 픽셀로 거리를 전파하여 계산된 값을 사용하는 챔퍼 거리 변환을 적용하여 상기 거리 지도를 생성하는 것을 특징으로 하는 위성 영상 정합 장치.12. The method of claim 11,
The image processing unit,
and generating the distance map by applying a chamfer distance transform using a value calculated by propagating a distance to adjacent pixels in a propagation path.
상기 영상 처리부는,
평행 이동, 회전, 크기 변환, 전단 변환, 또는 이들의 조합에 관한 변환 파라미터로 정의된 어파인 변환 모델을 적용하며, 상기 쉘 볼륨과 상기 기준 위성 영상의 대응 영역의 유사도를 평가하여 정합하는 것을 특징으로 하는 위성 영상 정합 장치.12. The method of claim 11,
The image processing unit,
An affine transformation model defined by transformation parameters related to translation, rotation, size transformation, shear transformation, or a combination thereof is applied, and similarity between the shell volume and the corresponding region of the reference satellite image is evaluated and matched satellite image matching device.
상기 영상 처리부는,
상기 변환 파라미터에서 현재 탐색 순서에 해당하는 현재 변환 파라미터를 변경하고 나머지 변환 파라미터를 고정하여 위치를 탐색하는 파웰 방향 기법을 적용하며, 최소 3개의 점을 기준으로 파라볼릭 보간(Parabolic Interpolation)을 통해 상기 변환 파라미터를 최적화하는 것을 특징으로 하는 위성 영상 정합 장치.16. The method of claim 15,
The image processing unit,
The Powell direction technique of changing the current transformation parameter corresponding to the current search order in the transformation parameter and fixing the remaining transformation parameters to search the position is applied, and the above transformation parameter is performed through parabolic interpolation based on at least three points. A satellite image matching device, characterized in that it optimizes the transformation parameters.
상기 영상 처리부는,
상기 변환 파라미터에 따라 상기 부유 위성 영상을 리샘플링하고, 상기 리샘플링한 부유 위성 영상을 상기 기준 위성 영상에 정합하는 것을 특징으로 하는 위성 영상 정합 장치.12. The method of claim 11,
The image processing unit,
and resampling the floating satellite image according to the conversion parameter, and matching the resampled floating satellite image to the reference satellite image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190168505A KR102262397B1 (en) | 2019-12-17 | 2019-12-17 | Method and Apparatus for Automatically Matching between Multi-Temporal SAR Images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190168505A KR102262397B1 (en) | 2019-12-17 | 2019-12-17 | Method and Apparatus for Automatically Matching between Multi-Temporal SAR Images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102262397B1 true KR102262397B1 (en) | 2021-06-07 |
Family
ID=76374102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190168505A KR102262397B1 (en) | 2019-12-17 | 2019-12-17 | Method and Apparatus for Automatically Matching between Multi-Temporal SAR Images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102262397B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114373153A (en) * | 2022-01-12 | 2022-04-19 | 北京拙河科技有限公司 | Video imaging optimization system and method based on multi-scale array camera |
| KR102438068B1 (en) * | 2021-06-29 | 2022-08-29 | 연세대학교 산학협력단 | Method and apparatus for enhancing the image quality using non-local total variation denoiser based on mutual information |
| CN114972453A (en) * | 2022-04-12 | 2022-08-30 | 南京雷电信息技术有限公司 | Improved SAR image region registration method based on LSD and template matching |
| KR102593467B1 (en) * | 2023-02-28 | 2023-10-24 | 엘아이지넥스원 주식회사 | Method for measuring delay time generated inside synthetic aperture radar and apparatus therefor |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110138114A (en) | 2010-06-18 | 2011-12-26 | 삼성전자주식회사 | Method and apparatus for processing frames obtained by multi-exposure |
| KR20120009186A (en) | 2010-07-23 | 2012-02-01 | (주) 충청에스엔지 | method for manufacturing a digital elevation model using a SAR data |
| KR101126224B1 (en) | 2010-08-18 | 2012-06-05 | 가톨릭대학교 산학협력단 | Prostate segmentation method using dynamic mr images and system thereof |
| US20130077891A1 (en) * | 2011-09-26 | 2013-03-28 | Northrop Grumman Systems Corporation | Automated Image Registration With Varied Amounts of a Priori Information Using a Minimum Entropy Method |
| KR101404640B1 (en) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | Method and system for image registration |
| KR20140100054A (en) * | 2013-02-05 | 2014-08-14 | 광주과학기술원 | Image registration method and apparatus |
| KR101473428B1 (en) | 2012-07-03 | 2015-01-16 | 삼성테크윈 주식회사 | Image matching method |
| KR101524529B1 (en) | 2013-11-14 | 2015-06-03 | 한국항공우주연구원 | Method for sar processing |
| KR101804522B1 (en) | 2016-03-14 | 2017-12-04 | 서울시립대학교 산학협력단 | Apparatus and Method for SAR Offset Tracking using Multiple-Displacement estimated Kernel |
| KR101982755B1 (en) * | 2017-12-20 | 2019-05-27 | 고려대학교 산학협력단 | Method and apparatus for matching aviation image |
-
2019
- 2019-12-17 KR KR1020190168505A patent/KR102262397B1/en active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110138114A (en) | 2010-06-18 | 2011-12-26 | 삼성전자주식회사 | Method and apparatus for processing frames obtained by multi-exposure |
| KR20120009186A (en) | 2010-07-23 | 2012-02-01 | (주) 충청에스엔지 | method for manufacturing a digital elevation model using a SAR data |
| KR101126224B1 (en) | 2010-08-18 | 2012-06-05 | 가톨릭대학교 산학협력단 | Prostate segmentation method using dynamic mr images and system thereof |
| US20130077891A1 (en) * | 2011-09-26 | 2013-03-28 | Northrop Grumman Systems Corporation | Automated Image Registration With Varied Amounts of a Priori Information Using a Minimum Entropy Method |
| KR101473428B1 (en) | 2012-07-03 | 2015-01-16 | 삼성테크윈 주식회사 | Image matching method |
| KR101404640B1 (en) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | Method and system for image registration |
| KR20140100054A (en) * | 2013-02-05 | 2014-08-14 | 광주과학기술원 | Image registration method and apparatus |
| KR101524529B1 (en) | 2013-11-14 | 2015-06-03 | 한국항공우주연구원 | Method for sar processing |
| KR101804522B1 (en) | 2016-03-14 | 2017-12-04 | 서울시립대학교 산학협력단 | Apparatus and Method for SAR Offset Tracking using Multiple-Displacement estimated Kernel |
| KR101982755B1 (en) * | 2017-12-20 | 2019-05-27 | 고려대학교 산학협력단 | Method and apparatus for matching aviation image |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102438068B1 (en) * | 2021-06-29 | 2022-08-29 | 연세대학교 산학협력단 | Method and apparatus for enhancing the image quality using non-local total variation denoiser based on mutual information |
| CN114373153A (en) * | 2022-01-12 | 2022-04-19 | 北京拙河科技有限公司 | Video imaging optimization system and method based on multi-scale array camera |
| CN114373153B (en) * | 2022-01-12 | 2022-12-27 | 北京拙河科技有限公司 | Video imaging optimization system and method based on multi-scale array camera |
| CN114972453A (en) * | 2022-04-12 | 2022-08-30 | 南京雷电信息技术有限公司 | Improved SAR image region registration method based on LSD and template matching |
| KR102593467B1 (en) * | 2023-02-28 | 2023-10-24 | 엘아이지넥스원 주식회사 | Method for measuring delay time generated inside synthetic aperture radar and apparatus therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102262397B1 (en) | Method and Apparatus for Automatically Matching between Multi-Temporal SAR Images | |
| US10269147B2 (en) | Real-time camera position estimation with drift mitigation in incremental structure from motion | |
| US10269148B2 (en) | Real-time image undistortion for incremental 3D reconstruction | |
| US20180315232A1 (en) | Real-time incremental 3d reconstruction of sensor data | |
| US20200043186A1 (en) | Apparatus, method, and system for alignment of 3d datasets | |
| US20160117552A1 (en) | Automated metric information network | |
| CN111768337B (en) | Image processing method and device and electronic equipment | |
| US20210132214A1 (en) | Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program | |
| CN112529946A (en) | High discrete body model optimization method and system based on elevation data, electronic equipment and readable storage medium | |
| CN113689535A (en) | Building model generation method and device based on unmanned aerial vehicle image | |
| CN112200845A (en) | Image registration method and device | |
| US20140354635A1 (en) | Matching procedure and device for the digital modelling of objects by stereoscopic images | |
| CN114549779A (en) | Scene model reconstruction method and device, electronic equipment and storage medium | |
| Eftekhari et al. | 3D object coordinates extraction by radargrammetry and multi step image matching | |
| Rajabi et al. | Optimization of DTM interpolation using SFS with single satellite imagery | |
| CN113670253A (en) | Space target posture inversion method and device, computing equipment and storage medium | |
| KR101775124B1 (en) | System and method for automatic satellite image processing for improvement of location accuracy | |
| Ye et al. | Gaussian mixture model of ground filtering based on hierarchical curvature constraints for airborne lidar point clouds | |
| Solarna et al. | A tiling-based strategy for large-scale multisensor optical-SAR image registration | |
| CN116778066B (en) | Data processing method, device, equipment and medium | |
| CN116758205B (en) | Data processing method, device, equipment and medium | |
| RU2778076C1 (en) | Method for building a digital surface model based on data from space stereo imaging | |
| CN116400356B (en) | Chromatographic SAR three-dimensional imaging method based on homogeneous region combination | |
| CN116523884B (en) | Remote sensing image data intelligent interpretation method | |
| Zhang et al. | Orthophoto Shadow Detection Method Under Artificial Shadow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |