KR20140094211A - Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images - Google Patents

Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images Download PDF

Info

Publication number
KR20140094211A
KR20140094211A KR1020130006665A KR20130006665A KR20140094211A KR 20140094211 A KR20140094211 A KR 20140094211A KR 1020130006665 A KR1020130006665 A KR 1020130006665A KR 20130006665 A KR20130006665 A KR 20130006665A KR 20140094211 A KR20140094211 A KR 20140094211A
Authority
KR
South Korea
Prior art keywords
image
coordinates
stereoscopic
rpcs
reference point
Prior art date
Application number
KR1020130006665A
Other languages
Korean (ko)
Other versions
KR101439213B1 (en
Inventor
최선용
오미경
신대식
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020130006665A priority Critical patent/KR101439213B1/en
Publication of KR20140094211A publication Critical patent/KR20140094211A/en
Application granted granted Critical
Publication of KR101439213B1 publication Critical patent/KR101439213B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00Details of semiconductor or other solid state devices
    • H01L23/34Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
    • H01L23/36Selection of materials, or shaping, to facilitate cooling or heating, e.g. heatsinks
    • H01L23/367Cooling facilitated by shape of device
    • H01L23/3675Cooling facilitated by shape of device characterised by the shape of the housing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00Details of semiconductor or other solid state devices
    • H01L23/34Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
    • H01L23/40Mountings or securing means for detachable cooling or heating arrangements ; fixed by friction, plugs or springs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a method for determining the 3D location of an object identified from a single image as a method applicable to various remote sensing single images such as aerial images or satellite images, in which exterior orientation parameters exist or exterior orientation parameters do not exist or are not known. According to the present invention, rational polynomial coefficients (RPCs) of a remote sensing image can be calculated by extracting a ground reference point from a 3D satellite image based on an accurate rational polynomial camera (RPC) model, and 3D location coordinates of an object identified from the remote sensing image can be calculated by using a multiple image RPC model consisting of the remote sensing single image and the RPC model-based 3D satellite image.

Description

입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법{Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images} [0001] The present invention relates to a three-dimensional positioning method in a single image using stereoscopic satellite image RPCs information,

본 발명은 원격 탐사 영상에서 식별되는 개체의 3차원 위치를 결정하는 방법에 관한 것으로서, 더 상세하게는 기존에 촬영된 영상에서는 식별되지 않았던 시설이 신규 촬영한 영상에서 식별되었을 때, 하나의 영상을 이용하여 해당 시설의 3차원 위치를 결정하는 단영상에서의 3차원 위치결정 방법에 대한 것이다.The present invention relates to a method for determining a three-dimensional position of an object identified in a remote sensing image, and more particularly, to a method for determining a three- Dimensional positioning in a single image to determine a three-dimensional position of the facility using the three-dimensional positioning method.

또한, 본 발명은 신규 촬영된 영상의 외부표정요소 또는 RPCs(Rational Polynomial Coefficients) 계수 등이 없거나 알 수 없는 경우에도 새로운 시설의 위치를 정확하게 측정할 수 있는 단영상에서의 3차원 위치결정 방법에 대한 것이다.The present invention also relates to a three-dimensional positioning method in a single image which can accurately measure the position of a new facility even when there is no external factor or RPCs (Rational Polynomial Coefficients) will be.

또한, 본 발명은 기존에 촬영된 영상에서는 식별되지 않았던 시설이 신규 촬영한 영상에서 식별되었을 때, 하나의 영상을 이용하여 해당 시설의 3차원 위치를 결정하는 단영상에서의 3차원 위치결정 방법을 실행하는 프로그램 명령 코드를 저장하는 저장 매체에 대한 것이다. In addition, the present invention provides a three-dimensional positioning method in a single image that determines a three-dimensional position of a facility using a single image when a facility that has not been identified in a previously captured image is identified in a newly photographed image And a storage medium for storing program command codes to be executed.

일반적으로 원격탐사 영상을 이용하여 관심있는 시설의 위치를 정확하게 결정하는 방법으로는 외부표정요소를 알고 있는 하나의 영상과 DTED(Digital Terrain Elevation Data)를 이용하는 방법과 외부표정요소를 알고 있는 2장의 입체영상을 이용하는 방법 등이 있다. Generally, there are two methods to accurately determine the location of a facility using a remote sensing image. One is to use DTED (Digital Terrain Elevation Data) and the other is to recognize two facial features And a method of using images.

전자는 하나의 영상에 대한 외부표정요소와 DTED를 이용하여 광선추적(ray-tracing) 기법으로 3차원 좌표를 찾는 방법이다.The former is a method of finding a three-dimensional coordinate by a ray-tracing method using an external facial expression and DTED for one image.

이에 반해, 후자는 2장의 입체영상 각각에 대한 외부표정요소를 이용하여 공간 전방 교회법(space-intersection)으로 3차원 좌표를 찾는 방법이다. On the other hand, the latter method is a method of finding three-dimensional coordinates by space-intersection using outer facial expressions for each of two stereo images.

2장의 영상을 이용하는 경우 최근엔 외부표정요소를 활용하는 복잡한 엄밀모델링 방법을 대체할 수 있는 간단한 RPC(Rational Polynomial Camera) 모델링 방법이 사용되고 있다.In the case of using two images, a simple RPC (Rational Polynomial Camera) modeling method, which can replace the complicated strict modeling method using an external facial expression element, is recently used.

이러한 일반적인 3차원 위치를 계산하는 방법에서 외부표정요소를 알고 있는 단영상과 DTED를 이용할 경우, DTED를 사용하게 되면 부정확한 DTED로 인해 위치결정 정확도가 좋지 않다는 문제점이 있다.In the method of calculating the general three-dimensional position, when the single image and the DTED, which know the external facial expression element, are used, the positioning accuracy is not good due to the incorrect DTED if the DTED is used.

또한, 외부표정요소를 알고 있는 2장의 입체영상을 이용할 경우 하나의 영상이 추가로 필요하여 비용이 증가되고 수행과정이 더 복잡해지는 문제점이 있다.In addition, when two stereoscopic images having an external facial expression element are used, one image is additionally required, which increases the cost and complicates the process.

또한, 영상의 외부표정요소를 알 수 없는 경우엔 이러한 일반적인 3차원 위치를 계산하는 방법을 적용할 수 없다는 단점이 있다.In addition, there is a disadvantage that it is not possible to apply the method of calculating the general three-dimensional position when the external facial expression element of the image is unknown.

1. 한국공개특허번호 제10-2006-0127519호1. Korean Patent Publication No. 10-2006-0127519 2. 한국공개특허번호 제10-2011-0118914호2. Korean Patent Publication No. 10-2011-0118914

본 발명은 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 외부표정요소가 없는 경우에도 하나의 영상을 이용하여 적은 비용으로 간단하고 정확하게 개체의 3차원 위치를 추출하는 RPC(Rational Polynomial Camera) 모델 기반 입체위성영상을 이용한 단영상으로부터 개체의 3차원 위치결정방법을 제공하는 데 그 목적이 있다.A Rational Polynomial Camera (RPC) model, which extracts three-dimensional positions of an object easily and accurately at a low cost using an image even when there is no external facial expression element, has been proposed in order to solve the problem according to the background art. Dimensional positioning of an object from a single image using a three-dimensional satellite-based image.

본 발명은 위에서 제기된 과제를 달성하기 위해, 기존에 촬영된 영상에서는 식별되지 않았던 시설이 신규 촬영한 영상에서 식별되었을 때, 하나의 영상을 이용하여 해당 시설의 3차원 위치를 결정하는 입체 위성 영상 RPCs(Rational Polynomial Coefficients) 정보를 이용한 단영상에서의 3차원 위치결정 방법을 제공한다.In order to accomplish the above-mentioned object, the present invention provides a stereoscopic satellite image display method for determining a three-dimensional position of a facility using a single image when an unidentified facility is identified in a newly photographed image, It provides a method of three-dimensional positioning in a single image using RPCs (Rational Polynomial Coefficients) information.

상기 단영상에서의 3차원 위치결정 방법은, 입체 위성 영상의 RPCs(Rational Polynomial Coefficients) 계수를 갖는 상기 입체 위성 영상 RPCs 정보를 이용하여 지상 기준점에 해당하는 입체 위성 영상 좌표를 추출하는 입체 위성 영상 좌표 추출 단계; 입체 위성 영상의 RPC 모델을 이용하여 추출된 영상좌표에 상응하는 지상기준점의 지상좌표를 산출하는 지상좌표 산출 단계; 상기 지상 기준점에 해당하는 단영상 좌표를 상기 단영상으로부터 추출하는 단영상 좌표 추출 단계; 산출된 지상좌표와 단영상 좌표를 이용하여 단영상의 RPCs(Rational Polynomial Coefficients) 계수를 산출하는 RPCs 계수 산출 단계; 상기 단영상에서 3차원 좌표를 측정하기 위한 개체를 선정하고 상기 개체의 영상좌표를 추출하는 개체 추출 단계; 상기 개체에 대해 입체 위성영상에서 영상좌표를 추출하는 단계; 및 상기 개체의 단영상의 영상좌표, 상기 단영상의 RPCs 계수, 입체 위성영상의 영상좌표 및 입체 위성 영상의 RPCs 계수를 이용하여 다중 영상 RPC 블록모델 방식으로 상기 개체의 3차원 좌표를 계산하는 개체 3차원 좌표 계산 단계;를 포함하는 것을 특징으로 할 수 있다.The three-dimensional positioning method in the single image includes a step of extracting a stereoscopic satellite image coordinate corresponding to a ground reference point using the stereoscopic satellite image RPCs information having RPCs (Rational Polynomial Coefficients) Extraction step; A ground coordinate calculation step of calculating a ground coordinate of a ground reference point corresponding to an image coordinate extracted using an RPC model of a stereoscopic satellite image; A step of extracting a short image coordinate corresponding to the ground reference point from the short image; An RPCs coefficient calculation step of calculating a Rational Polynomial Coefficients (RPCs) coefficient of the single image using the calculated ground coordinates and the short axis coordinates; An object extracting step of selecting an object for measuring three-dimensional coordinates in the single image and extracting an image coordinate of the object; Extracting image coordinates from the stereoscopic image with respect to the object; Dimensional coordinates of the object using the multi-image RPC block model method using the image coordinates of the single image of the object, the RPCs coefficient of the single image, the image coordinates of the stereoscopic satellite image, and the RPCs coefficients of the stereoscopic satellite image. And a three-dimensional coordinate calculation step.

이때, 상기 입체 위성 영상 좌표 추출 단계는, 상기 지상 기준점을 선정하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In this case, the step of extracting the stereoscopic satellite image coordinate may further include the step of selecting the ground reference point.

이때, 상기 지상 기준점은 미리 설정된 값인 것을 특징으로 할 수 있다.In this case, the ground reference point may be a predetermined value.

또한, 상기 입체 위성 영상은 좌측 입체 위성 영상인 제 1 입체 위성 영상과, 우측 입체 위성 영상인 제 2 입체 위성 영상을 포함하는 것을 특징으로 할 수 있다.In addition, the stereoscopic satellite image may include a first stereoscopic satellite image, which is a left stereoscopic satellite image, and a second stereoscopic satellite image, which is a right stereoscopic satellite image.

또한, 상기 입체 위성 영상의 RPCs 계수는 상기 제 1 입체 위성 영상에 관계되는 제 1 입체 위성 영상의 RPCs 계수와, 상기 제 2 입체 위상 영상에 관계되는 제 2 입체 위상 영상의 RPCs 계수를 포함하는 것을 특징으로 할 수 있다.The RPCs coefficients of the stereoscopic satellite image include RPCs coefficients of a first stereoscopic satellite image related to the first stereoscopic satellite image and RPCs coefficients of a second stereoscopic phase image related to the second stereoscopic phase image .

또한, 상기 지상좌표 산출 단계는, 상기 지상 기준점을 입체 위성 영상에서 검색하는 단계; 및 검색된 입체 위성 영상에서 상기 지상 기준점에 해당하는 3차원 절대 좌표인 지상좌표를 산출하는 단계를 포함하는 것을 특징으로 할 수 있다.The ground coordinates calculation step may include: searching the terrestrial reference point on a stereoscopic satellite image; And calculating ground coordinates, which are three-dimensional absolute coordinates corresponding to the ground reference point, from the searched satellite image.

또한, 상기 지상좌표의 산출은, 상기 지상 기준점에 해당하는 동일한 지점의 입체 위성 영상 좌표를 추출하고 각각 입체 위성 영상의 RPCs 계수를 이용하여 산출되는 것을 특징으로 할 수 있다.The terrestrial coordinates may be calculated by extracting stereoscopic satellite image coordinates of the same point corresponding to the ground reference point and using RPCs coefficients of the stereoscopic satellite image, respectively.

또한, 상기 RPCs 계수 산출 단계는, 상기 지상기준점의 입체 위성 영상 좌표 및 단영상 좌표를 이용하여 상기 단영상을 위한 단영상의 RPC 모델을 수립하는 단계; 및 수립된 단영상 RPC 모델을 이용하여 단영상의 RPCs(Rational Polynomial Coefficients) 계수를 산출하는 단계;를 포함하는 것을 특징으로 할 수 있다.The RPCs calculating step may include: establishing a RPC model of a single image for the single image using the stereoscopic satellite image coordinates and the single image coordinates of the ground reference point; And calculating a Rational Polynomial Coefficients (RPCs) coefficient of the single image using the established single image RPC model.

또한, 상기 개체의 영상 좌표는 단영상의 영상좌표인 단영상 좌표와 입체 위성 영상의 영상좌표인 입체 위성 영상 좌표를 포함하는 것을 특징으로 할 수 있다.In addition, the image coordinates of the object may include a short-axis image, which is an image coordinate of a single image, and a stereoscopic satellite image coordinate, which is an image coordinate of the stereoscopic satellite image.

또한, 상기 개체의 영상 좌표의 추출은 선정한 개체에서 추출한 상기 개체의 단영상 좌표에 해당하는 동일지점에 대해 입체 위성 영상에서 입체 위성 영상 좌표를 추출함으로써 이루어지는 것을 특징으로 할 수 있다.The extraction of the image coordinates of the object may be performed by extracting the stereoscopic satellite image coordinates from the stereoscopic satellite image at the same point corresponding to the short image coordinates of the object extracted from the selected object.

또한, 상기 개체 3차원 좌표 계산 단계는, 상기 개체의 단영상 영상좌표, 상기 단영상의 RPCs 계수, 및 입체 위성 영상의 영상좌표 및 입체영상의 RPCs 계수를 이용하여 RPC 모델을 수립하는 단계를 포함하는 것을 특징으로 할 수 있다.The step of calculating the three-dimensional coordinates of the object includes a step of establishing an RPC model using the short-axis image coordinates of the object, the RPCs of the short-axis image, the image coordinates of the three-dimensional satellite image, and the RPCs coefficients of the three- .

또한, 상기 단영상은 외부표정요소가 있는 영상, 외부표정요소가 없는 영상, 항공영상 및 위성영상 중 적어도 어느 하나를 포함하는 원격 탐사 단영상인 것을 특징으로 할 수 있다.Also, the single image may be a remote sensing unit image including at least one of an image with an external facial expression element, an image without an external facial expression element, an aerial image, and a satellite image.

한편으로, 본 발명의 다른 일실시예는 위에서 기술된 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법을 실행하는 프로그램 명령 코드를 저장하는 저장 매체를 제공한다.Meanwhile, another embodiment of the present invention provides a storage medium for storing a program command code for executing a three-dimensional positioning method in a single image using the stereoscopic satellite image RPCs information described above.

본 발명에 따르면, 외부표정요소 또는 RPCs(Rational Polynomial Coefficients) 계수가 없는 어떠한 원격탐사 영상의 경우에도 정확한 RPC(Rational Polynomial Camera) 모델 기반 입체 위성 영상으로부터 지상 기준점을 추출하여 해당 원격탐사 영상의 RPCs(Rational Polynomial Coefficients) 계수를 계산하고, 해당 원격탐사 단영상과 RPC 모델 기반 입체 위성 영상으로 구성된 다중 영상 RPC 모델을 이용하여 해당 원격 탐사 영상에서 식별되는 개체의 3차원 위치좌표를 계산할 수 있다.According to the present invention, a ground reference point is extracted from an accurate RPC (Rational Polynomial Camera) model based on an accurate RPC (Rational Polynomial Camera) model in the case of any remote sensing image without an external facial expression element or a Rational Polynomial Coefficients Rational Polynomial Coefficients) and calculate the 3D positional coordinates of the object identified in the corresponding remote sensing image by using the multi-image RPC model composed of the corresponding remote sensing stage image and the RPC model based stereoscopic satellite image.

또한, 본 발명의 다른 효과로서는, 영상을 촬영한 센서 및 영상의 특성에 관계없이 적용할 수 있는 RPC 모델을 이용하므로 외부표정요소의 유무 및 RPCs 계수의 유무에 관계없이 모든 원격 탐사 영상에 대해서 적용할 수 있다는 점을 들 수 있다.Further, as another effect of the present invention, since the RPC model that can be applied regardless of the characteristics of the sensor and the image is used, it is applicable to all the remote sensing images regardless of the existence of the external facial expression element and the RPCs coefficient It can be said that

또한, 본 발명의 또 다른 효과로서는, 기존에 촬영된 입체 위성 영상에서는 나타나지 않는 새로운 시설에 대해 신규 촬영한 하나의 영상만으로도 3차원 좌표를 계산할 수 있다는 점을 들 수 있다.Another advantage of the present invention is that three-dimensional coordinates can be calculated using only one image newly photographed for a new facility that does not appear in the previously captured stereoscopic image.

또한, 본 발명의 또 다른 효과로서는, IR(Infrared) 영상 또는 SAR(Synthetic Aperture Radar) 영상에서만 식별되는 시설에 대해서도 추가 영상 촬영 없이 3차원 좌표 계산이 가능하다는 점을 들 수 있다.Further, another advantage of the present invention is that three-dimensional coordinates can be calculated without additional image capturing even for facilities identified only by IR (Infrared) images or SAR (Synthetic Aperture Radar) images.

또한, 본 발명의 또 다른 효과로서는, 비접근 지역에 대한 RPC 모델 기반 입체 위성 영상을 이용하면 비접근 지역을 촬영한 다양한 종류의 단영상으로부터 추가 비용 없이 3차원 좌표를 신속하고 정확하게 계산할 수 있다는 점을 들 수 있다.As another effect of the present invention, it is possible to quickly and precisely calculate three-dimensional coordinates from various types of single images photographed in a non-approach area using the RPC model based on the non-access area, at no additional cost .

도 1은 본 발명의 일실시예에 따른 RPC(Rational Polynomial Camera) 모델 기반 입체 영상을 이용한 단영상으로부터 개체의 3차원 위치결정 방법을 설명하기 위한 과정을 보여주는 순서도이다.
도 2는 본 발명의 일실시예에 따른 입체 위성 영상에서 계산한 지상 좌표를 이용하여 단영상의 RPCs(Rational Polynomial Coefficients) 계수를 산출하는 개념을 설명하는 개념도이다.
도 3은 본 발명의 일실시예에 따른 RPC 모델 기반 입체 위성 영상으로부터 개체의 3차원 절대좌표를 계산하는 개념을 설명한 개념도이다.
도 4는 본 발명의 일실시예에 따른 단영상과 입체 위성 영상으로부터 다중 영상 RPC 블록 모델링 방법을 이용하여 개체의 3차원 절대좌표를 계산하는 개념을 설명한 개념도이다.
FIG. 1 is a flowchart illustrating a method for determining a three-dimensional position of an object from a single image using a Rational Polynomial Camera (RPC) model-based stereoscopic image according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram for explaining a concept of calculating a Rational Polynomial Coefficients (RPCs) coefficient of a single image using ground coordinates calculated in a stereoscopic image according to an exemplary embodiment of the present invention.
3 is a conceptual diagram illustrating a concept of calculating three-dimensional absolute coordinates of an object from an RPC model-based stereoscopic satellite image according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a concept of calculating three-dimensional absolute coordinates of an object using a multi-image RPC block modeling method from a single image and a stereoscopic satellite image according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.Like reference numerals are used for similar elements in describing each drawing.

제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The term "and / or" includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Should not.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 입체 위성 영상 RPCs(Rational Polynomial Coefficients) 정보를 이용한 단영상에서의 3차원 위치결정 방법을 상세하게 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a three-dimensional positioning method in a single image using stereoscopic satellite image RPCs (Rational Polynomial Coefficients) information according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

특히, 외부표정요소 및 RPCs 자료가 없는 하나의 광학영상을 대상으로 하며 3차원 좌표를 계산하고자 하는 개체는 다양한 지형 및/또는 지물 등이 될 수 있으며, 본 발명의 일실시예에서는 하나의 광학영상에 포함된 건물을 개체의 예로 설명한다.
In particular, an object to be subjected to calculation of three-dimensional coordinates, which is one optical image without external facial expressions and RPCs data, may be various terrains and / or artifacts. In an embodiment of the present invention, As an example of a building.

도 1은 본 발명의 일실시예에 따른 RPC(Rational Polynomial Camera) 모델 기반 입체 영상을 이용한 단영상으로부터 개체의 3차원 위치결정 방법을 설명하기 위한 과정을 보여주는 순서도이다. FIG. 1 is a flowchart illustrating a method for determining a three-dimensional position of an object from a single image using a Rational Polynomial Camera (RPC) model-based stereoscopic image according to an embodiment of the present invention.

도 1을 설명하기에 앞서, RPC 모델과 RPCs(Rational Polynomial Coefficients) 계수에 대하여 설명하기로 한다.Before describing FIG. 1, RPC model and RPCs (Rational Polynomial Coefficients) coefficients will be described.

일반적으로 상용으로 공급되는 GeoEye-1 및 WorldView-2와 같은 고해상도 위성 영상은 RPC 모델을 적용하며, 영상과 함께 RPCs 계수를 제공하고 있다. In general, high-resolution satellite images such as GeoEye-1 and WorldView-2, which are supplied commercially, use the RPC model and provide RPCs coefficients with images.

RPC(Rational Polynomial Camera)모델은 OGC(Open GIS Consortium)에서 제안한 RFM(Rational Function Model)의 특수한 형태의 일반 센서 모델로서 엄밀 모델과 유사한 정확도를 가지며 실시간 사용에 적합한 모델이다.The RPC (Rational Polynomial Camera) model is a special type of general sensor model of RFM (Rational Function Model) proposed by OGC (Open GIS Consortium). It has accuracy similar to the rigid model and is suitable for real time use.

RPC 모델은 지상좌표(위도, 경도, 높이)와 영상좌표(라인, 샘플)의 관계로 구성된다. 이러한 RPC 모델은 지상좌표를 이용한 2개의 동일한 형태의 다항식의 비(比)로 라인과 샘플에 대해 각각 구성되며 다음의 수학식 1과 같이 구현된다. 또한, RPCs 계수는 RPC 모델에 사용되는 계수로서 수학식 1에서 를 의미한다. The RPC model consists of the relationship between ground coordinates (latitude, longitude, height) and image coordinates (lines, samples). This RPC model is constructed for each of the lines and the samples in the ratio of two identical types of polynomials using the ground coordinates, and is implemented as Equation (1). Also, the RPCs coefficient is a coefficient used in the RPC model, which means in Equation (1).

여기서, a는 라인(l)을 나타내는 분수식의 분자의 계수를, b는 라인을 나타내는 분수식의 분모의 계수를, c는 샘플(s)을 나타내는 분수식의 분자의 계수를, d는 샘플을 나타내는 분수식의 분모의 계수를 각각 나타낸다.Here, a is the coefficient of the fractional molecule, b is a measure of the fractional denominator representing the line, c is the modulus of the fractional numerator representing the sample (s), indicating the line (l) d is fractional showing a sample Respectively.

Figure pat00001
Figure pat00001

여기에서, From here,

Figure pat00002
: 라인에 대한 분자, 분모 다항식
Figure pat00002
: A molecule for a line, a denominator polynomial

Figure pat00003
: 샘플에 대한 분자, 분모 다항식
Figure pat00003
: A numerator for a sample, a denominator polynomial

Figure pat00004
Figure pat00004

여기에서 U,V,W 는 지상좌표 위도(

Figure pat00005
), 경도(λ), 높이()를 수학식 2와 같이 -1과 1 사이의 범위로 정규화된 변수이다. Where U, V, and W are the geographical coordinates latitude (
Figure pat00005
), The hardness (?), And the height ( h ) are normalized to a range between -1 and 1 as shown in Equation (2).

Figure pat00006
Figure pat00006

l,s 는 영상좌표 라인(l), 샘플(s)을 이용하여 다음식과 같이 -1과 1 사이의 범위로 정규화된 변수이다. l, s is a normalized variable in the range between -1 and 1 using the image coordinate line ( l ) and the sample ( s ) as follows.

Figure pat00007
Figure pat00007

여기에서 표기되는 각종 변수는 다음과 같으며The various variables shown here are as follows

Figure pat00008
: 위도의 오프셋,
Figure pat00009
: 위도의 스케일
Figure pat00008
: Offset of latitude,
Figure pat00009
: Scale of latitude

λ0: 경도의 오프셋, λS: 경도의 스케일λ 0 is the offset of the hardness, λ S is the scale of the hardness

h0: 타원체고의 오프셋, hS: 타원체고의 스케일 h 0 is the offset of the ellipsoid, h S is the scale of the ellipsoid

L0: 라인의 오프셋, LS: 라인의 스케일L 0 is the offset of the line, L S is the scale of the line

S0: 샘플의 오프셋, SS: 샘플의 스케일S 0 is the offset of the sample, S S is the scale of the sample

이 변수들의 값은 수학식 4와 같이 계산된다.The values of these variables are calculated as shown in Equation (4).

Figure pat00010
Figure pat00010

본 발명의 일실시예에서는 지상 기준점에 대한 단영상의 영상좌표를 추출하고 위성영상의 영상좌표와 위성영상의 RPCs 계수를 이용하여 지상기준점의 지상좌표를 최소 제곱 추정법(LSE; Least Square Estimation)을 이용하여 계산한다(단계 S101,S102,S103,S104,S105).In one embodiment of the present invention, the image coordinates of a single image are extracted from the ground reference point, and the ground coordinates of the ground reference point are calculated by Least Square Estimation (LSE) using the image coordinates of the satellite image and the RPCs coefficients of the satellite image (Steps S101, S102, S103, S104, and S105).

RPC 모델식인 수학식 1을 방정식의 형태로 변환하면 수학식 5와 같이 된다.The RPC model equation (1) is transformed into an equation form as shown in Equation (5).

Figure pat00011
Figure pat00011

수학식 5를 테일러 급수를 이용하여 선형화하면 수학식 6과 같이 변환된다.(5) is transformed as shown in Equation (6) by linearizing using the Taylor series.

Figure pat00012
Figure pat00012

수학식 6에서 수학식 1의 벡터 u를 참고하면 각 편미분 계수는 수학식 7과 같다. Referring to the vector u of Equation (1) in Equation (6), each partial differential coefficient is expressed by Equation (7).

Figure pat00013
Figure pat00013

수학식 7을 벡터 행렬로 표현하면 수학식 8과 같이 관측 방정식을 구성할 수 있다. Equation (7) can be expressed as a vector matrix, so that an observation equation can be constructed as shown in Equation (8).

Figure pat00014
Figure pat00014

수학식 8을 수학식 9와 같이 단순화할 수 있다.Equation (8) can be simplified to Equation (9).

Figure pat00015
Figure pat00015

수학식 9를 이용하여 수학식 10과 같이 반복적으로 dX를 계산하여 단영상의 RPCs 계수를 산출할 수 있다(단계 S106,S107). By using Equation (9), dX is repeatedly calculated as shown in Equation (10) to calculate the RPCs coefficient of the single image (Steps S106 and S107).

Figure pat00016
Figure pat00016

여기에서 c는 초기값 및 오차에 대한 벡터이다. Where c is a vector of initial values and errors.

이때 A 행렬이 불량 조건 문제(ill-posed problem)인 경우가 발생되면, 수학식 11과 같이 Tikhonov 일반화 방법을 적용한다. At this time, if the A matrix is an ill-posed problem, the Tikhonov generalization method is applied as shown in Equation (11).

Figure pat00017
Figure pat00017

Tikhonov 일반화 방법은 위에서 보는 바와 같이 A'A에 양의 정부호(positive definite)한 정규화 함수를 더하여 함수의 불안정성과 수렴 속도를 향상시키는 방법이다.The Tikhonov generalization method is a method to improve the instability and convergence speed of the function by adding a positive definite normalization function to A'A as shown above.

본 발명의 일실시예에서는 수학식 1에서 사용하는 지상 기준점의 지상좌표를 RPC 모델 기반 입체 위성 영상으로부터 계산한다. 일반적인 RPC 모델은 지상좌표를 이용하여 영상좌표를 계산하는 상향(upward) 방식의 다항식이므로 입체영상으로부터 추출한 영상좌표를 이용하여 지상좌표를 계산하기 위해서는 하향(downward) 방식의 다항식이 필요하다. In one embodiment of the present invention, the ground coordinates of the ground reference point used in Equation (1) are calculated from the RPC model based stereoscopic image. Since the general RPC model is an upward polynomial for calculating image coordinates using the ground coordinates, a downward polynomial is required to calculate the ground coordinates using the image coordinates extracted from the stereoscopic image.

그러나 RPC 모델은 이를 직접 지원해 주지 못하므로, 상향방식 다항식의 역함수를 이용하여 반복적인 방법으로 지상좌표를 계산하는 과정을 거쳐야 한다.However, since the RPC model does not directly support it, it is necessary to calculate the ground coordinates in an iterative manner using the inverse function of the upward polynomial.

이 과정은 상향 다항식을 테일러(Taylor's) 이론을 이용하여 지상좌표에 대해 편미분하여 선형화시킨 후 지상좌표의 초기값과 함께 반복계산을 통해 지상좌표를 계산할 수 있다. 우선 입체영상의 좌영상, 우영상에 대해 RPC 모델의 다항식을 수학식 12와 같이 선형화시킨다.This process can linearize the upward polynomial with Taylor's theorem for the terrestrial coordinates and calculate the terrestrial coordinates by iterative calculation with the initial value of the terrestrial coordinates. First, the polynomial of the RPC model is linearized with respect to the left and right images of the stereoscopic image as shown in Equation (12).

Figure pat00018
Figure pat00018

여기에서

Figure pat00019
은 하나의 지상위치에 대한 좌측 위성영상의 정규화한 영상좌표이고,
Figure pat00020
은 우측 위성영상에서의 정규화한 영상좌표이다. 수학식 12는 수학식 13과 같이 방정식 형태로 변환할 수 있다.From here
Figure pat00019
Is a normalized image coordinate of the left satellite image with respect to one ground position,
Figure pat00020
Is the normalized image coordinate in the right satellite image. Equation (12) can be transformed into an equation form as shown in Equation (13).

Figure pat00021
Figure pat00021

여기에서 RPC 모델의 라인()의 분자 다항식을 p 1 , 분모 다항식을 q 1 로, 샘플(s)의 분자 다항식을 p 2 , 분모 다항식을 q 2 로 치환하여 표기를 간단히 하고, 설계행렬을 계산하면 수학식 13은 수학식 14와 같이 변환된다.Here, the molecular polynomial of the line ( 1 ) of the RPC model is p 1 , the denominator polynomial is q 1 , The molecular polynomial of the sample ( s ) is denoted by p 2 , the denominator polynomial is denoted by q 2 to simplify the notation and calculate the design matrix, the equation (13) is transformed as shown in equation (14).

Figure pat00022
Figure pat00022

수학식 14에서 사용된 편미분 값은 수학식 15와 같다.The partial derivative used in Equation (14) is as shown in Equation (15).

Figure pat00023
Figure pat00023

여기서, 편미분

Figure pat00024
,
Figure pat00025
,
Figure pat00026
,
Figure pat00027
,
Figure pat00028
,
Figure pat00029
,
Figure pat00030
,
Figure pat00031
,
Figure pat00032
,
Figure pat00033
,
Figure pat00034
,
Figure pat00035
들은 수학식 16과 같다.Here,
Figure pat00024
,
Figure pat00025
,
Figure pat00026
,
Figure pat00027
,
Figure pat00028
,
Figure pat00029
,
Figure pat00030
,
Figure pat00031
,
Figure pat00032
,
Figure pat00033
,
Figure pat00034
,
Figure pat00035
≪ / RTI >

Figure pat00036
Figure pat00036

위의 수학식 16은 미지수 3개(

Figure pat00037
)와 관측식 4개로 구성되어 있으므로 최소 제곱 추정법을 이용하여 지상좌표를 계산할 수 있다(단계 S105). The above equation (16) represents three unknowns
Figure pat00037
) And the observation formula, so that the ground coordinates can be calculated using the least squares estimation method (step S105).

수학식 16을 다시 수학식 17과 같이 구성하여 미지수인 정규화된 3차원 지상좌표( U,V,W )를 구할 수 있다.The normalized three-dimensional ground coordinates ( U, V, W ) , which is unknown, can be obtained by constructing Equation (16) again as shown in Equation (17).

Figure pat00038
Figure pat00038

본 발명의 실시예에서는 원격탐사 단영상과 2장의 입체위성영상으로 구성된 다중영상 블록조정모델을 이용하여 단영상에서 식별되는 개체의 3차원 좌표를 계산한다(단계 S109). In the embodiment of the present invention, three-dimensional coordinates of an object identified in a single image are calculated using a multiple image block adjustment model composed of a remote sensing step image and two pieces of stereoscopic satellite images (step S109).

3차원 좌표를 계산하고자 하는 개체에 대해 각 영상의 영상좌표와 지상좌표의 관계식을 이용하여 영상 i, 기준점 j 에 대해 수학식 18과 같이 다중영상 RPC 모델식을 구성할 수 있다.The multi-view RPC model equation can be constructed for the image i and the reference point j using Equation (18) using the relational expression of the image coordinates and the ground coordinates of each image for the object to calculate the three-dimensional coordinates.

Figure pat00039
Figure pat00039

이때 모델링 정확도를 확인하기 위한 검사점에 대한 경중률은 1.0×10+5로 설정하고, 영상좌표의 경중률은 1.0×10-4, 지상 기준점에 대한 경중률은 1.0×10-5를 사용한다. At this time, the weighting factor for the checkpoint is 1.0 × 10 +5 for checking the modeling accuracy, 1.0 × 10 -4 for the image coordinates, and 1.0 × 10 -5 for the ground reference point .

수학식 1을 영상 및 기준점 번호를 제거하여 단순화한 후 테일러 시리즈를 이용하여 1차식으로 선형화하면 수학식 19와 같이 변환된다.After simplifying the equation (1) by removing the image and reference point numbers, linearizing the linear equation using Taylor series is transformed as shown in equation (19).

Figure pat00040
Figure pat00040

수학식 19를 행렬식으로 표현하면 수학식 20과 같다.The expression (19) can be expressed by a mathematical expression (20).

Figure pat00041
Figure pat00041

여기에서,

Figure pat00042
Figure pat00043
는 수학식 21과 같다.From here,
Figure pat00042
And
Figure pat00043
(21).

Figure pat00044
Figure pat00044

수학식 20을 이용하여 관측 방정식을 구성하면 수학식 22와 같다.If the observation equation is constructed using Equation (20), Equation (22) is obtained.

Figure pat00045
Figure pat00045

여기에서 W P 는 측정한 영상좌표의 관측값과 보정된 값의 차이이며, W A 는 영상좌표 조정을 위한 관측값과 보정된 값의 차이이고, W G 는 지상좌표의 관측값과 보정된 값의 차이를 나타낸다.Where W P is the difference between the observed and corrected values of the measured image coordinates, W A is the difference between the observed and corrected values for image coordinate adjustment, W G is the observed value of the ground coordinates and the corrected value .

수학식 22를 보다 자세하게 나타내면 수학식 23과 같다.Equation (22) can be expressed in more detail by Equation (23).

Figure pat00046
Figure pat00046

위 수학식 23에서는 대형 행렬식의 표현을 용이하게 하기 위하여 영상좌표 조정에 대한 보정을 (ㆍ)로, 지상 기준점에 대한 보정을 (‥)로 표현한다. 즉, A A 는 영상 i와 기준점 j의 경우에 대해

Figure pat00047
, A G 는 영상 i와 기준점 j의 경우에 대해
Figure pat00048
와 같다.In Expression (23), the correction for the image coordinate adjustment is denoted by () and the correction for the ground reference point is expressed by (...) in order to facilitate the representation of the large determinant. In other words, A A is the difference between the image i and the reference point j
Figure pat00047
, A G for the case of image i and reference point j
Figure pat00048
.

측정한 영상좌표, 영상좌표 조정 및 지상좌표에 대한 경중률 행렬을 각각 C P ,C A ,C G 라 하면 각 매개변수의 보정값은 수학식 24와 같이 구할 수 있다. 따라서 매개변수에 대한 초기값을 설정하고 수학식 24의 계산하는 과정을 반복 수행하여 다중영상의 블록조정 모델링을 수행할 수 있다(단계 S109). Assuming that the measured image coordinates, the image coordinate adjustments, and the weighted coefficient matrices for the ground coordinates are C P , C A , and C G , respectively, the correction values of the respective parameters can be obtained as shown in Equation 24. Accordingly, the block adjustment modeling of the multiple images can be performed by setting the initial value for the parameter and repeating the calculation of Equation 24 (Step S109).

Figure pat00049
Figure pat00049

여기에서 From here

Figure pat00050
Figure pat00050

이며, 자세히 표현하면 수학식 25와 같은 형태의 행렬이다.And is expressed by the following equation (25).

Figure pat00051
Figure pat00051

도 1에 도시된 순서도를 이해하기 쉽도록 설명하면 다음과 같다. 도 1을 참조하면, 신규 촬영한 단영상에서 지상 기준점에 해당하는 위치의 영상좌표를 추출한다(단계 S101,S103). 부연하면, 단영상에서 지상 기준점을 선정하고 지상 기준점의 영상좌표를 추출하는 과정이 있게 된다.The flow chart shown in FIG. 1 will be described as follows. Referring to FIG. 1, image coordinates of a position corresponding to a ground reference point in a newly shot single image are extracted (steps S101 and S103). Further, there is a process of selecting a ground reference point in a single image and extracting an image coordinate of the ground reference point.

상기 추출된 지상 기준점의 영상좌표에 상응하는 지상좌표를 RPC 모델 기반 입체 위성 영상을 이용하여 계산한다(단계 S102,S104,S105). 부연하면, 선정된 지상기준점을 RPC 모델 기반 입체 위성 영상에서 검색하고, 검색된 입체위성영상에서 지상 기준점에 해당하는 3차원 지상좌표를 계산하는 과정이 요구된다.The ground coordinates corresponding to the image coordinates of the extracted ground reference point are calculated using the RPC model based stereoscopic satellite image (steps S102, S104, and S105). In other words, it is required to search the selected ground reference point from the RPC model based 3D satellite image and to calculate the 3D ground coordinates corresponding to the ground reference point from the retrieved 3D satellite image.

이때, 3차원 지상좌표 계산은 입체 위성 영상에서 지상 기준점에 해당되는 동일한 지점의 영상좌표를 추출하고 각각의 RPCs 계수를 이용하여 산출된다.At this time, the three-dimensional ground coordinate calculation is performed by extracting the image coordinates of the same point corresponding to the ground reference point in the stereoscopic satellite image and using the respective RPCs coefficients.

지상 기준점에 해당하는 위치에 대해 단영상에서 추출한 영상좌표와 RPC 모델 기반 입체 위성 영상으로부터 계산한 지상좌표를 이용하여 단영상의 RPCs 계수를 생성한다(단계 S106,S107). 부연하면, 단영상의 영상좌표와 입체 위성 영상에서 계산된 지상좌표를 이용하여 단영상의 RPC 모델을 수립하고 모델의 계수인 RPCs 계수를 산출하는 과정이 있게 된다.The RPC coefficients of the single image are generated using the image coordinates extracted from the single image and the ground coordinates calculated from the RPC model based stereo image with respect to the ground reference point (steps S106 and S107). In addition, the RPC model of the single image is constructed using the image coordinates of the single image and the ground coordinates calculated from the stereoscopic image, and the process of calculating the RPCs coefficient, which is the coefficient of the model, becomes available.

상기 단영상에서 3차원 좌표를 측정하기 위한 개체를 선정하고 선정한 개체의 영상좌표를 추출하고, 또한, RPC 모델 기반 입체 위성 영상에서 상기 단영상에서 선정된 개체에 상응하는 개체의 영상좌표를 추출한다(단계 S108). 물론, 단영상에서 3차원 좌표를 측정하기 위한 개체를 선정하고 선정된 개체의 영상좌표를 추출하는 과정이 있게 된다.Extracts the image coordinates of the selected object and extracts the image coordinates of the object corresponding to the selected object from the single image in the RPC model based stereoscopic satellite image (Step S108). Of course, there is a process of selecting an object for measuring three-dimensional coordinates in a single image and extracting the image coordinates of the selected object.

단영상과 입체 위성 영상의 각각의 RPCs 계수와 영상좌표를 이용하여 다중영상 RPC 블록모델 조정 방법으로 3차원 좌표를 계산한다(단계 S109). 부연하면, 선정한 개체에서 추출한 영상좌표에 해당되는 동일지점에 대해 입체 위성 영상에서 영상좌표를 추출한다.The three-dimensional coordinates are calculated by the RPC block model adjustment method using the RPCs coefficients and the image coordinates of the single image and the stereoscopic satellite image (step S109). In addition, the image coordinates are extracted from the stereoscopic satellite image at the same point corresponding to the image coordinates extracted from the selected object.

도 2는 본 발명의 일실시예에 따른 입체 위성 영상에서 계산한 지상 좌표를 이용하여 단영상의 RPCs(Rational Polynomial Coefficients) 계수를 산출하는 개념을 설명하는 개념도이다. FIG. 2 is a conceptual diagram for explaining a concept of calculating a Rational Polynomial Coefficients (RPCs) coefficient of a single image using ground coordinates calculated in a stereoscopic image according to an exemplary embodiment of the present invention.

도 2를 참조하면, RPCs 계수 정보가 포함된 입체 위상 영상(202-1,202-2)으로부터 지상 기준점에 대한 지상 기준점 지상 좌표(205)를 획득한다. 물론, 지상 기준점은 미리 설정되어 저장되어 있는 값이 된다. 또한, 지상 기준점 지상 좌표(205)는 i지점의 높이값(Hi)에 상응하는 값이다.2, the ground reference point ground coordinates 205 for the ground reference point are obtained from the stereo phase images 202-1 and 202-2 including the RPCs coefficient information. Of course, the ground reference point is a previously set stored value. The ground reference point ground coordinates 205 is a value corresponding to the height value H i of the i point.

부연하면, 입체 위상 영상은 제 1 입체 위성 영상(202-1)과 제 2 입체 위성 영상(202-2)로 이루어져 있으며, 이를 용이하게 구별하면 제 1 입체 위성 영상(202-1)은 우측 입체 위성 영상(즉, 우영상)이 되고, 제 2 입체 위상 영상(202-2)은 좌측 입체 위성 영상(즉, 좌영상)이 된다. In other words, the stereoscopic phase image is composed of the first stereoscopic satellite image 202-1 and the second stereoscopic satellite image 202-2. When the first stereoscopic satellite image 202-1 is easily distinguished from the first stereoscopic satellite image 202-1, Satellite image (i.e., right image), and the second stereoscopic phase image 202-2 becomes a left stereoscopic satellite image (i.e., left image).

물론, 이들 제 1 입체 위성 영상(202-1)에는 제 1 입체 영상 좌표(204-1)가, 제 2 입체 위성 영상(202-2)에는 제 2 입체 영상 좌표(204-2) 정보가 있다.Of course, the first stereoscopic image coordinate 202-1 has the first stereoscopic image coordinate 204-1 and the second stereoscopic satellite image 202-2 has the second stereoscopic image coordinate 204-2 information .

또한, 제 1 입체 위성 영상(202-1)에는 제 1 RPCs 계수(220-1)가, 제 2 입체 위성 영상(202-2)에는 제 2 RPCs 계수(220-2) 정보가 있다. The first RPCs coefficient 220-1 is included in the first stereoscopic satellite image 202-1 and the second RPCs coefficient 220-2 is provided in the second stereoscopic satellite image 202-2.

따라서, RPCs 계수(220-1,220-2) 및 입체 위성 영상 좌표(204-1,204-2)가 추출되면 지상 기준점의 지상 좌표(205)가 산출된다.Accordingly, when the RPCs coefficients 220-1 and 220-2 and the stereoscopic satellite image coordinates 204-1 and 204-2 are extracted, the ground coordinates 205 of the ground reference point are calculated.

지상 기준점 지상 좌표(205)가 산출되면, 지상 기준점 좌표(205) 및 단영상(201)의 단영상 좌표(203)를 이용하여 단영상의 RPC 모델을 수립한다.When the ground reference point ground coordinates 205 are calculated, the RPC model of the single image is established by using the ground reference point coordinates 205 and the short image coordinates 203 of the single image 201.

수립된 RPC 모델을 단영상(201)을 위한 제 3 RPCs 계수(207)를 산출한다. The established RPC model is used to calculate the third RPCs coefficient 207 for the single image 201.

여기서, 물론 단영상 좌표(203)는 지상 기준점에 상응하는 지상 기준점 좌표(205)에 상응하는 좌표값이 된다.Here, of course, the short-axis coordinate 203 becomes a coordinate value corresponding to the ground reference point coordinate 205 corresponding to the ground reference point.

도 2에 도시된 개념을 이해하기 쉽게 도식적으로 보여주는 도면이 도 3 및 도 4이다. 이들 도 3 및 도 4에 대하여 설명하면 다음과 같다.Figures 3 and 4 show schematically the concept shown in Figure 2 for easy understanding. 3 and 4 will be described below.

도 3은 본 발명의 일실시예에 따른 RPC 모델 기반 입체 위성 영상으로부터 3차원 지상좌표를 계산하는 개념을 설명한 개념도이다. 도 3을 참조하면, 입체 위성영상(202-1, 202-2)의 영상좌표(204-1, 204-2) 및 입체 위성 영상(202-1, 202-2)의 RPCs 계수(220-1,220-2)를 이용하여 지면(320)에 대한 개체의 3차원 절대좌표(305)를 계산한다. 3 is a conceptual diagram illustrating a concept of calculating three-dimensional ground coordinates from an RPC model-based stereoscopic satellite image according to an embodiment of the present invention. 3, the image coordinates 204-1 and 204-2 of the stereoscopic satellite images 202-1 and 202-2 and the RPCs coefficients 220-1 and 220-2 of the stereoscopic satellite images 202-1 and 202-2 -2) is used to calculate the three-dimensional absolute coordinate 305 of the object with respect to the ground surface 320.

물론, 개체의 3차원 절대좌표(305)는 도 2에 도시된 지상 기준점 지상 좌표(205)와 동일한 의미를 갖는다.Of course, the three-dimensional absolute coordinate 305 of the object has the same meaning as the ground reference point ground coordinate 205 shown in Fig.

여기서, 개체의 3차원 절대좌표(305)는 U,V,W 지면(320) 상에 위치된다. Here, the three-dimensional absolute coordinate 305 of the object is located on the U, V, W ground 320. [

도 3에 도시된 바와 같이, 입체 위성 영상좌표(204-1, 204-2) 및 RPCs 계수(220-1,220-2)를 이용하여 지면(320)에 대한 개체의 3차원 절대좌표(305)가 산출되면, 이를 이용하여 단영상(도 2의 201)에 대한 RPCs 계수(도 2의 207)를 산출하는 것이 가능하다. 3, the three-dimensional absolute coordinates 305 of the object with respect to the ground surface 320 are calculated using the stereoscopic satellite image coordinates 204-1 and 204-2 and the RPCs coefficients 220-1 and 220-2. It is possible to calculate the RPCs coefficient (207 in FIG. 2) for the single image (201 in FIG. 2) by using it.

도 4는 본 발명의 일실시예에 따른 단영상과 입체 위성 영상으로부터 다중 영상 RPC 블록 모델링 방법을 이용하여 3차원 절대좌표를 계산하는 개념을 설명한 개념도이다. 도 4를 참조하면, 입체 위성 영상(202-1, 202-2)의 입체 위성 영상좌표(204-1, 204-2) 및 이 입체 위성 영상(202-1, 202-2)의 RPCs 계수(220-1,220-2)와 단영상(201)의 영상좌표(203) 및 RPCs계수(207)로부터 블록모델링 방법으로 개체의 3차원 절대좌표(305)를 산출한다.
4 is a conceptual diagram illustrating a concept of calculating three-dimensional absolute coordinates using a multi-image RPC block modeling method from a single image and a stereoscopic satellite image according to an embodiment of the present invention. 4, the stereoscopic satellite image coordinates 204-1 and 204-2 of the stereoscopic satellite images 202-1 and 202-2 and the RPCs coefficients of the stereoscopic satellite images 202-1 and 202-2 Dimensional absolute coordinates 305 of the object from the image coordinates 203 of the single image 201 and the RPCs coefficients 207 by a block modeling method.

특히, 본 발명의 일실시예에 따른 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 코드 형태로 구현되어 컴퓨터 판독 가능 저장 매체에 기록될 수 있다. In particular, the method of three-dimensional positioning in a single image using stereoscopic satellite image RPCs information according to an embodiment of the present invention is implemented in the form of a program command code that can be executed through various computer means, .

상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The computer-readable storage medium may include program instructions, data files, data structures, and the like, alone or in combination.

상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable storage media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magneto-optical media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관등의 전송 매체일 수도 있다. The medium may be a transmission medium such as an optical or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, or the like.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

또한, 본 발명의 일실시예는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다.In addition, one embodiment of the present invention may be implemented in hardware, software, or a combination thereof. (DSP), a programmable logic device (PLD), a field programmable gate array (FPGA), a processor, a controller, a microprocessor, and the like, which are designed to perform the above- , Other electronic units, or a combination thereof.

소프트웨어적인 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.In a software implementation, it may be implemented as a module that performs the functions described above. The software may be stored in a memory unit and executed by a processor. The memory unit or processor may employ various means well known to those skilled in the art.

201: 단영상
202-1,202-2: 입체 위성 영상
203: 단영상 좌표
204-1, 204-2: 입체 위성 영상좌표
220-1,220-2,207: RPCs(Rational Polynomial Coefficients) 계수
205: 지상기준점 지상좌표
305: 개체의 3차원 절대좌표
320: 지면
201: Single image
202-1, 202-2: stereoscopic satellite image
203: Single image coordinates
204-1 and 204-2: stereoscopic satellite image coordinates
220-1,220-2,207: Rational Polynomial Coefficients (RPCs)
205: ground reference point ground coordinates
305: Three-dimensional absolute coordinate of object
320: Floor

Claims (10)

입체 위성 영상 RPC(Rational Polynomial Coefficients) 정보를 이용한 단영상에서의 3차원 위치결정 방법에 있어서,
입체 위성 영상의 RPCs(Rational Polynomial Coefficients) 정보를 이용하여 지상 기준점에 해당하는 입체 위성 영상 좌표를 추출하는 입체 위성 영상 좌표 추출 단계;
입체 위성 영상의 RPC 모델을 이용하여 추출된 영상좌표에 상응하는 지상 기준점 지상좌표를 산출하는 지상좌표 산출 단계;
상기 지상 기준점에 해당하는 단영상 좌표를 상기 단영상으로부터 추출하는 단영상 좌표 추출 단계;
산출된 지상 기준점 지상좌표 및 단영상 좌표를 이용하여 단영상의 RPCs(Rational Polynomial Coefficients) 계수를 산출하는 RPCs 계수 산출 단계;
상기 단영상에서 3차원 좌표를 측정하기 위한 개체를 선정하고 상기 개체의 영상좌표를 추출하는 개체 추출 단계;
상기 개체에 대해 입체 위성영상에서 영상좌표를 추출하는 단계; 및
상기 개체의 단영상의 영상좌표, 입체 위성 영상의 영상 좌표, 단영상의 RPCs 계수, 및 입체 위성 영상의 RPCs 계수를 이용하여 다중 영상 RPC 블록 모델 방식으로 상기 개체의 3차원 좌표를 계산하는 개체 3차원 좌표 계산 단계;
를 포함하는 것을 특징으로 하는 입체 위성 영상 RPCs(Rational Polynomial Camera) 정보를 이용한 단영상에서의 3차원 위치결정 방법.
A three-dimensional positioning method in a single image using stereoscopic satellite image RPC (Rational Polynomial Coefficients) information,
A stereoscopic satellite image coordinate extraction step of extracting a stereoscopic satellite image coordinate corresponding to a ground reference point using RPCs (Rational Polynomial Coefficients) information of a stereoscopic satellite image;
A ground coordinate calculation step of calculating a ground reference point ground coordinate corresponding to the image coordinate extracted using the RPC model of the stereoscopic satellite image;
A step of extracting a short image coordinate corresponding to the ground reference point from the short image;
A RPCs coefficient calculation step of calculating a Rational Polynomial Coefficients (RPCs) of the single image using the ground reference point ground coordinates and the single image coordinates;
An object extracting step of selecting an object for measuring three-dimensional coordinates in the single image and extracting an image coordinate of the object;
Extracting image coordinates from the stereoscopic image with respect to the object; And
An object 3 for calculating the three-dimensional coordinates of the object using the multi-image RPC block model method using the image coordinates of the single image of the object, the image coordinates of the stereoscopic satellite image, the RPCs coefficients of the single image, and the RPCs coefficients of the stereoscopic satellite image Dimensional coordinate calculation step;
Dimensional positioning in a single image using stereoscopic satellite image RPC (Rational Polynomial Camera) information.
제 1 항에 있어서,
상기 입체 위성 영상 좌표 추출 단계는,
상기 지상 기준점을 선정하는 단계를 더 포함하되, 상기 지상 기준점은 미리 설정된 값인 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
In the stereoscopic satellite image coordinate extraction step,
Further comprising the step of selecting the ground reference point, wherein the ground reference point is a preset value.
제 1 항에 있어서,
상기 입체 위성 영상은 우측 입체 위성 영상인 제 1 입체 위성 영상과, 좌측 입체 위성 영상인 제 2 입체 위성 영상을 포함하는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
Wherein the stereoscopic satellite image includes a first stereoscopic satellite image, which is a right stereoscopic satellite image, and a second stereoscopic satellite image, which is a left stereoscopic satellite image. The three-dimensional positioning method in a single image using stereoscopic satellite image RPCs information .
제 1 항에 있어서,
상기 지상 기준점 지상좌표 산출 단계는,
상기 지상 기준점이 포함된 입체 위성 영상을 검색하는 단계; 및
검색된 입체 위성 영상에서 상기 지상 기준점에 해당하는 3차원 절대 좌표인 지상 기준점 지상좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
Wherein the ground reference point ground coordinates calculation step comprises:
Searching for a stereoscopic satellite image including the ground reference point; And
And calculating ground coordinates of the ground reference point, which is a three-dimensional absolute coordinate corresponding to the ground reference point, from the searched satellite image.
제 4 항에 있어서,
상기 지상 기준점 지상좌표의 산출은, 상기 지상 기준점에 해당하는 동일한 지점의 입체위성 영상 좌표를 추출하고 각각 입체 위성 영상의 RPCs 계수를 이용하여 산출되는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
5. The method of claim 4,
Wherein the ground reference point ground coordinates are calculated by extracting stereoscopic satellite image coordinates of the same point corresponding to the ground reference point and using RPCs coefficients of the stereoscopic satellite image, A method for three-dimensional positioning in a mobile terminal.
제 1 항에 있어서,
상기 RPCs 계수 산출 단계는,
산출된 지상 기준점의 지상 기준점 지상좌표 및 단영상 좌표를 이용하여 상기 단영상을 위한 단영상의 RPC 모델을 수립하는 단계; 및 수립된 단영상 RPC 모델을 이용하여 단영상의 RPCs(Rational Polynomial Coefficients) 계수를 산출하는 단계;를 포함하는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
The RPCs coefficient calculating step may include:
Establishing an RPC model of the single image for the single image using the ground reference point ground coordinates and the single image coordinates of the calculated ground reference point; And calculating RPCs (Rational Polynomial Coefficients) of the single image using the established single-image RPC model. The three-dimensional positioning method in a single image using stereoscopic satellite image RPCs information.
제 1 항에 있어서,
상기 개체의 영상 좌표는 단영상의 영상좌표인 단영상 좌표와 입체 위성 영상의 영상좌표인 입체 위성 영상 좌표를 포함하는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
Wherein the image coordinates of the object include three-dimensional satellite image coordinates, which are image coordinates of a stereoscopic satellite image and short image coordinates, which are image coordinates of a single image. .
제 7 항에 있어서,
상기 개체의 영상 좌표의 추출은 선정한 개체에서 추출한 상기 개체의 단영상 좌표에 해당하는 동일지점에 대해 입체 위성 영상에서 상기 개체의 입체 위성 영상 좌표를 추출함으로써 이루어지는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
8. The method of claim 7,
Wherein the extraction of the image coordinates of the object is performed by extracting the stereoscopic satellite image coordinates of the object from the stereoscopic satellite image at the same point corresponding to the short image coordinates of the object extracted from the selected object. Three - Dimensional Positioning Method in Single Images Using.
제 1 항에 있어서,
상기 개체 3차원 좌표 계산 단계는,
상기 개체의 단영상의 영상좌표, 입체영상의 영상좌표, 단영상의 RPCs 계수, 및 입체 위성 영상의 RPCs 계수를 이용하여 RPC 모델을 수립하는 단계를 포함하는 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
Wherein the object three-dimensional coordinate calculation step comprises:
The method comprising: establishing an RPC model using image coordinates of a single image of the object, image coordinates of a stereoscopic image, RPCs of a single image, and RPCs coefficients of a stereoscopic satellite image, Three - Dimensional Positioning Method in Single Images Using.
제 1 항에 있어서,
상기 단영상은 외부표정요소가 있는 영상, 외부표정요소가 없는 영상, 항공영상 및 위성영상 중 적어도 어느 하나를 포함하는 원격 탐사 단영상인 것을 특징으로 하는 입체 위성 영상 RPCs 정보를 이용한 단영상에서의 3차원 위치결정 방법.
The method according to claim 1,
Wherein the single image is a remote sensing unit image including at least one of an image with an external facial expression element, an image without an external facial expression element, an aerial image, and a satellite image. In the single image using the stereoscopic satellite image RPCs information, Three dimensional positioning method.
KR1020130006665A 2013-01-21 2013-01-21 Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images KR101439213B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130006665A KR101439213B1 (en) 2013-01-21 2013-01-21 Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130006665A KR101439213B1 (en) 2013-01-21 2013-01-21 Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images

Publications (2)

Publication Number Publication Date
KR20140094211A true KR20140094211A (en) 2014-07-30
KR101439213B1 KR101439213B1 (en) 2014-09-12

Family

ID=51740026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006665A KR101439213B1 (en) 2013-01-21 2013-01-21 Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images

Country Status (1)

Country Link
KR (1) KR101439213B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044806A (en) * 2014-10-16 2016-04-26 한국해양과학기술원 Method and system for detecting waste on the shore and coast
CN106157258A (en) * 2016-05-09 2016-11-23 中国人民解放军国防科学技术大学 A kind of new satellite-borne SAR image geometric correction method
CN108596153A (en) * 2018-05-10 2018-09-28 四川省冶地工程勘察设计有限公司 Remote sensing image defends piece vertical control point extraction method and data processing method
CN109118527A (en) * 2018-07-06 2019-01-01 航天星图科技(北京)有限公司 A kind of remote sensing image DSM rapid extracting method and device based on GPU
CN109975836A (en) * 2019-04-08 2019-07-05 中国科学院电子学研究所 Resolve ccd image ground location method, apparatus, electronic equipment and medium
KR102015817B1 (en) * 2018-03-06 2019-08-29 순천대학교 산학협력단 A method of automatic correction of provided rpc of stereo satellite images
CN112164118A (en) * 2020-09-30 2021-01-01 武汉大学 Geographic image processing system and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663642B1 (en) 2015-09-14 2016-10-07 국방과학연구소 Method and Apparatus for constructing Whiskbroom Sensor Model Using Direct Georeferencing and Adjustable Parameter

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044806A (en) * 2014-10-16 2016-04-26 한국해양과학기술원 Method and system for detecting waste on the shore and coast
CN106157258A (en) * 2016-05-09 2016-11-23 中国人民解放军国防科学技术大学 A kind of new satellite-borne SAR image geometric correction method
CN106157258B (en) * 2016-05-09 2018-11-30 中国人民解放军国防科学技术大学 A kind of satellite-borne SAR image geometric correction method
KR102015817B1 (en) * 2018-03-06 2019-08-29 순천대학교 산학협력단 A method of automatic correction of provided rpc of stereo satellite images
CN108596153A (en) * 2018-05-10 2018-09-28 四川省冶地工程勘察设计有限公司 Remote sensing image defends piece vertical control point extraction method and data processing method
CN109118527A (en) * 2018-07-06 2019-01-01 航天星图科技(北京)有限公司 A kind of remote sensing image DSM rapid extracting method and device based on GPU
CN109975836A (en) * 2019-04-08 2019-07-05 中国科学院电子学研究所 Resolve ccd image ground location method, apparatus, electronic equipment and medium
CN109975836B (en) * 2019-04-08 2021-03-26 中国科学院电子学研究所 Method and device for calculating ground position of CCD image, electronic equipment and medium
CN112164118A (en) * 2020-09-30 2021-01-01 武汉大学 Geographic image processing system and method

Also Published As

Publication number Publication date
KR101439213B1 (en) 2014-09-12

Similar Documents

Publication Publication Date Title
KR101439213B1 (en) Method for 3D Location determination in single image using Rational Polynomial Coefficients information of stereo satellite images
CN111199564B (en) Indoor positioning method and device of intelligent mobile terminal and electronic equipment
KR101965965B1 (en) A method of automatic geometric correction of digital elevation model made from satellite images and provided rpc
CN106960174B (en) Height control point extraction and auxiliary positioning method for high resolution image laser radar
KR101295747B1 (en) System of automatic geometric correction using rational polynomial cofficient and method thereof
CN108267141B (en) Road point cloud data processing system
CN111121754A (en) Mobile robot positioning navigation method and device, mobile robot and storage medium
US20150199556A1 (en) Method of using image warping for geo-registration feature matching in vision-aided positioning
CN109597074B (en) SAR image geometric positioning parameter correction method and system
Fraser et al. Sub-metre geopositioning with Ikonos GEO imagery
WO2023035301A1 (en) A camera calibration method
CN110363758B (en) Optical remote sensing satellite imaging quality determination method and system
CN114442133A (en) Unmanned aerial vehicle positioning method, device, equipment and storage medium
CN108090898B (en) Dictionary representation-based satellite remote sensing image typical landmark detection method
KR102015817B1 (en) A method of automatic correction of provided rpc of stereo satellite images
CN112200845A (en) Image registration method and device
CN107451992B (en) Method and device for detecting SAR image change
KR101663642B1 (en) Method and Apparatus for constructing Whiskbroom Sensor Model Using Direct Georeferencing and Adjustable Parameter
KR20190053404A (en) Method and apparatus for constructing high precision 3D GIS data using lattice type GCPs
Shen et al. An improved method for transforming GPS/INS attitude to national map projection frame
Alsubaie et al. The feasibility of 3D point cloud generation from smartphones
Kang et al. Positioning Errors of Objects Measured by Convolution Neural Network in Unmanned Aerial Vehicle Images
Zhou et al. Solving the rational polynomial coefficients based on L curve
KR102544043B1 (en) Method and system for updating aerial map using image by drone
JP6761831B2 (en) Columnar object state detection device, columnar object state detection method and columnar object state detection processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 6