KR100446195B1 - 3차원 위치 측정 장치 및 그 방법 - Google Patents

3차원 위치 측정 장치 및 그 방법 Download PDF

Info

Publication number
KR100446195B1
KR100446195B1 KR10-2001-0041187A KR20010041187A KR100446195B1 KR 100446195 B1 KR100446195 B1 KR 100446195B1 KR 20010041187 A KR20010041187 A KR 20010041187A KR 100446195 B1 KR100446195 B1 KR 100446195B1
Authority
KR
South Korea
Prior art keywords
image
matching
information
satellite
dimensional
Prior art date
Application number
KR10-2001-0041187A
Other languages
English (en)
Other versions
KR20030005749A (ko
Inventor
성천경
성천복
Original Assignee
(주)한양
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한양 filed Critical (주)한양
Priority to KR10-2001-0041187A priority Critical patent/KR100446195B1/ko
Publication of KR20030005749A publication Critical patent/KR20030005749A/ko
Application granted granted Critical
Publication of KR100446195B1 publication Critical patent/KR100446195B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은, 자동차 등과 같은 운반구(vehicle)에 설치된 인공위성-이용 위치측정 시스템, 관성항법 시스템 및 속도 센서로부터 측정되는 대상물의 3 차원 위치정보에 대해서 칼만 필터링(Kalman Filtering) 기법을 적용하여 그 대상물의 정확한 위치를 획득하고, 또, 동일 운반구에 설치된 디지털 비디오 카메라들로부터 제공되는 그 대상물의 3 차원의 실체시 영상(Stereo Image) 정보에 의해 그 대상물에 대한 3 차원 위치좌표 및 속성 정보를 획득하고, 이를 데이터베이스 화 하는 3 차원 위치 측정 장치 및 그 방법을 제시한다. 본 발명에 따라서 구축되는 데이터베이스 정보는, 지리정보 시스템(GIS), 시설물관리 시스템(FMS) 및 도시관리 시스템(UIS)의 구축에 있어 핵심이 되는 지형/지물 데이터 정보로서 실시간적으로 사용될 수 있다.

Description

3차원 위치 측정 장치 및 그 방법{APPARATUS AND METHOD OF MEASURING POSITION OF THREE DIMENSIONS}
본 발명은 인공위성 자동 위치측정 시스템(Global Positioning System, 이하 "GPS" 라 칭함)을 이용한 이동식 맵핑 시스템(Mobile Mapping System)에 관한 것으로, 더 자세하게는 지형/지물의 위치 정보를 실시간으로 데이터베이스 화 하는 3 차원 위치 측정 장치 및 방법에 관한 것이다.
인공위성 자동 위치측정 시스템(GPS)이란 범지구적 위치결정 시스템이라 할 수 있다. 상기 인공위성 자동 위치측정 시스템은 지상, 해상, 공중 등 지구상의 어느 곳에서나 시간제약 없이 인공위성에서 발신하는 정보를 수신하여 정지 또는 이동하는 물체의 위치를 측정할 수 있도록 한다.
인공위성 자동 위치측정 시스템(GPS)를 이용한 이동식 맵핑 시스템(MobileMapping System)은 토목분야의 측지, 수치사진측량, 수치지도제작, 다이내믹 비젼(Dynamic Vision) 및 지리정보 시스템(Geographic Information System, 이하 "GIS" 라 칭함) 기술 등을 통합한 최첨단 측량기술이다.
한편, 지리정보 시스템(GIS)은 최근에 여러 분야에서 활용되고 있는 지형/지물에 관한 위치정보를 담고 있는 기술로 나날이 그 효용성이 증대되고 있다. 이러한 지리정보 시스템(GIS)을 이용해 여러 자료들을 분석하고자 할 때, 위치정보는 매우 중요한 역할을 수행하고 있다. 따라서, 보다 신속한 위치정보를 수집할 수 있는 방법이 여러 각도에서 모색되고 있다.
일 예로, 정부는 1990년 초부터 국책사업의 일환으로 GIS 프로젝트를 추진해오고 있다. 이 프로젝트의 주요 내용은 국가 기간산업의 전산화, 각종 국토개발 관련 설계 및 관리 등의 분야에 주안점을 두고 매년 기하 급수적으로 정부예산을 투입하고 있다. 예컨데, GIS 시장은 '94년에는 약 400억원, '95년에는 약 600억원 정도로 '94년에 비하여 50%정도 성장하였고, '96년에는 약 1,000억원, '97년에는 약 1,700억원 (한국지리정보, 1997), '98년에는 1,000억원 그리고 '99년에는 약 1,500억원 정도로 급성장 하였다.
그러나, 이러한 GIS 구축 프로잭트는 전통적인 측량방식으로 진행되어 막대한 재원과 고급기술자들의 비효율적인 작업 분담 및 막대한 시간의 낭비를 초래하고 있다. 특히, 도로와 관련된 시설물의 경우, 데이터 구축을 위해 항공사진 측량방법을 사용하고 있으나 맨홀, 소화전 등과 같은 소형 시설물 등의 측정이 이루어지지 않아 수많은 인력을 동원하여 개략적으로 현장조사를 실시하고 있는 실정이다. 이러한 측정방법은 대상물에 대한 정확한 위치정보를 확보하지 못함으로 인해 매우 위험한 결과를 초래할 가능성이 있다.
결국, 종래의 방식으로는 외부환경에 따른 효율성과 정확성 문제로 인해 변화하는 정보에 대한 적절한 대응이 이루어질 수 없는 문제점이 있다. 실례로 1차 국책 GIS 사업의 대부분이 국가기본도의 수치지도화, 지방자치단체와 공공기업의 도로 및 지하시설물 관리시스템 구축사업이 중심이 되었다. 이 사업들은 막대한 재원을 들여 항공사진 측량방법 및 지상측량방법 등에 의하여 데이터를 구축하고 있으나 단기적으로는 1∼2년, 장기적으로는 4∼5년의 시간이 경과하면 데이터베이스를 갱신하여야 하는 문제가 발생한다. 기존의 측량방식으로는 이상에서 언급한 장애들을 효율적으로 해결할 수 없다는 것이다.
본 발명의 목적은 지리정보 시스템(GIS), 시설물관리 시스템(Facility Management System) 및 도시관리 시스템(Urban Information System)을 구축함에 있어 필수적인 지형 지물의 위치정보의 데이터베이스를 신속, 정확 및 저렴한 비용으로 구축할 수 있도록 하는 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 시설물 위치정보를 실시간적으로 3 차원으로 데이터 베이스화 할 수 있는 위치 측정 장치 및 그 방법을 제공하는 것이다.
도 1은 본 발명의 제 1 실시예에 따른 영상정보의 3 차원 지상좌표를 결정하는 순서도;
도 2는 본 발명의 제 2 실시예에 따른 영상정보의 3 차원 지상좌표를 결정하는 순서도;
도 3은 자동 위치측정 시스템의 구성 요소들을 보여주는 도면;
도 4는 자동 위치측정 시스템의 위성과 그 궤도를 보여주는 도면;
도 5는 자동 위치측정 시스템을 이용하여 대상물의 위치를 측정하는 원리를 보여주는 도면;
도 6은 자동 위치측정 시스템을 이용하여 기지점에 대한 미지점의 상대 위치를 측정하는 원리를 보여주는 도면;
도 7은 자동 위치측정 시스템을 이용하여 산출된 대상물의 지상좌표를 3 차원의 국지좌표로 변환하는 모형을 보여주는 도면;
도 8은 본 발명의 제 3 실시예에 따른 시설물 관리의 작업 진행 과정을 보여주는 순서도;
도 9는 도 8에 의해 완성된 시설물 관리 수치지도를 보여주는 도면;
도 10a는 도 9에 도시된 A 지점의 확대 도면;
도 10b는 도 9에 도시된 B 지점의 확대 도면;
도 10c는 도 9에 도시된 C 지점의 확대 도면; 및
도 10d는 도 9에 도시된 D 지점의 확대 도면이다.
* 도면의 주요 부분에 대한 부호의 설명
10: 인공위성군
12: 지상제어국
14: 사용자부문
(구성)
본 발명에 따르면, 내부표정요소 결정, 외부표정요소 결정 및 영상정합 등의알고리즘이 구축된다. 또한, 좌표변환 알고리즘에 의해 인공위성 자동 위치측정 시스템을 통해 산출되는 지상좌표가 3 차원의 국지좌표로 변환된다. 그리고, 관성항법 시스템의 결과값을 절대표정시 이용할 수 있는 알고리즘이 구축된다.
본 발명의 일 특징에 따르면, 3 차원 위치측정 시스템은 인공위성 자동 위치측정 시스템, 관성항법 시스템, 속도 센서 및 영상처리 시스템을 포함한다. 상기 3 차원 위치측정 시스템은 인공위성 자동 위치측정 시스템, 관성항법 시스템 및 속도 센서를 결합하여 일반도로, 고속도로 및 철도 등의 주변 시설물들에 대한 3 차원 위치정보를 정확하게 측정한다. 상기 3 차원 위치측정 시스템은 디지털 카메라를 이용한 사진측량기법에 의해 시설물의 정확한 위치를 측정한다. 상기 사진특량기법에 의해서는 3 차원 실체시 영상(Stereo Image)이 획득된다. 획득된 3 차원 실체시 영상의 위치정보는 실시간적으로 데이터베이스 화 된다.
(작용)
본 발명에 따르면, 내부표정요소 결정, 외부표정요소결정 및 영상정합 등의 알고리즘이 구축됨에 따라 디지털 비디오 카메라를 이용한 수치사진측량 작업이 가능하다. 또한, 좌표변환 알고리즘을 통해 인공위성 자동 위치측정 시스템을 통해 산출되는 지상좌표를 3차원의 국지좌표로 변환이 가능하다. 그리고, 관성항법 시스템의 결과값을 절대표정시 이용할 수 있는 알고리즘을 구축함에 따라 대상물에 대한 3 차원의 위치 결정과 그 정확도에 대한 비교 및 분석을 효과적으로 수행할 수 있다.
또한, 지리정보 시스템(GIS), 시설물관리 시스템 및 도시관리 시스템을 구축하는데 핵심이 되는 지형 지물 데이터베이스를 신속, 정확 및 저렴한 비용으로 구축할 수 있다. 또, 도로 및 철도 시설물에 관련된 3 차원 정보가 실시간으로 파악될 수 있다
(실시예)
이하 첨부도면을 참조하여 본 발명을 구체적으로 설명한다.
전술한 바와 같이, 본 발명은, 토목분야의 측지, 수치사진측량, 수치지도제작 및 지리정보 시스템 기술을 통합한 최첨단 측량기술로 일반도로, 고속도로, 철도 등의 주변 관련 시설물들에 대한 3 차원 위치를 인공위성 자동 위치측정 시스템, 관성항법 시스템 및 속도센서를 결합하여 정확하게 측정하고, 두 대의 디지털 비디오 카메라를 이용하여 사진측량기법에 의한 3 차원 실체시 영상을 획득한 후 실내 작업을 통해 시설물관리시스템, 지리정보시스템 구축을 위한 데이터베이스의 구축을 효율적으로 수행할 수 있도록 한다. 즉, 본 발명은 인공위성 자동 위치측정 시스템(GPS), 관성항법 시스템(INS) 및 속도 센서(Odometer)를 결합하여 대상물에 대한 정확한 3 차원 위치를 결정하고, 두 대의 디지털 비디오 카메라(CCD CAMERA)를 이용하여 측정 대상물의 3 차원 위치를 실체시 영상으로 획득하여 데이터베이스를 구축한다.
2 개의 카메라(예컨데, CCD CAMERA)가 차량 등의 운반구(예컨데, 차량의 지붕 위)에 부착된다. 두 대의 카메라는 차량의 지붕 위 등에 단단하게 고정되고, 차량 등의 운행 중에 그들의 위치의 변화가 생기지 않도록 한다. 두 대의 카메라가 차량 등에 고정되기 때문에, 차량 등이 어느 곳에 위치하더라도 카메라의 외부표정요소는 정해진 값을 이용하여 사진측량에 의한 모형좌표를 구할 수 있도록 한다. 정확한 카메라의 표정요소들을 구하기 위해 정밀하게 제작된 타겟을 이용하여 상호표정 과정을 수행한다.
수치사진측량에서 두 장 이상의 중복 촬영된 수치사진영상에서 동일한 점이 피사된 입체쌍을 찾아내는 기술, 즉, 카메라 영상의 영상정합이 사용된다. 기계적/해석적 사진측량기술에서는 이러한 작업이 도화사의 판독에 바탕을 두고 이루어지나, 수치사진측량에서는 컴퓨터에 의한 수치적인 계산으로 진행된다. 영상정합은 사진으로부터 표고를 추출하거나 등고선생성, 점이동(Point Transfer), 사진의 표정, 사진기준점측량 (Photogrammetric Triangulation)에 적용될 수 있다. 그러나, 어떠한 영상정합 알고리즘도 인간의 판단과 지적 능력에 의해서 수행되는 것만큼 만족스러운 결과를 산출하지는 못하고 있다. 이러한 이유로 영상정합에 관한 많은 연구들이 진행되고 있다.
영역기준정합(Area Based Matching)에서 정합점을 찾기 위한 요소는 밝기 값이다. 즉, 영역기준정합은 왼쪽 사진의 일정한 구역을 기준으로 설정한 후 이에 해당하는 오른쪽 사진의 동일구역을 일정한 범위 내에서 이동시키면서 밝기값 사이에 높은 상관관계를 나타나는 점들을 찾아내는 원리를 이용하는 기법이다. 영역기준정합은 상관계수정합법(Cross Correlation Method)과 최소제곱정합법(Least Square Matching)으로 이분된다.
상관계수정합은 중복 촬영된 한 쌍의 사진간에 비교가 이루어진다고 할 때, 첫 번째 사진 상에 있는 어떤 점을 중심으로 하는 기준창틀(Reference Window,Target Window)을 설정하고, 두 번째 사진 상에서 공액점이 존재한다고 가정이 되는 영역 즉, 탐색창틀(Searching Window) 또는 탐색영역을 설정한다. 탐색창틀내의 임의의 한 점(n,m)을 중심으로 하고 기준창틀과 같은 크기의 창틀 즉 비교창틀이 있다고 하면, 기준창틀의 크기를 N×M이라 할 때 두 창틀간의 상관계수 r(n,m)은 다음과 같다.
(1)
여기서,
r(n, m) : 기준창틀과 비교창틀과의 상관계수, -1≤r(n, m)≤1의 값을 가진다.
G_w (x,y) : 기준창틀의 (x, y)에서 영상의 밝기값
G_s (x,y) : 비교창틀의 (x, y)에서 영상의 밝기값
: 기준창틀 내 영상소 밝기값들의 평균
: 비교창틀 내 영상소 밝기값들의 평균
기준 영역
1 2 3
4 5 6
7 8 9
탐색 영역
1 2 3
4 5 6
7 8 9
표 1은 기준영역, 표 2는 탐색영역으로, 표 1과 표 2는 상관계수정합법에서 기준창틀과 탐색창틀을 이용하여 영상정합점을 구하기 위한 표들이다.
기준창틀은 보통 홀수의 영상소들을 갖는 정사각형 또는 직사각형을 사용한다. 기준창틀과 비교창틀간의 상관계수 r(n,~m)이 최대인 점을 찾고, 그때의 상관계수 r(n,~m)이 임계치 이상이면 그 점을 영상정합점이라고 판단한다. 이 방법은 기준창틀만큼만 비슷하면 정합점이라고 판단하기 때문에 전혀 중복되지 않은 부분에서도 임계치 이상의 상관계수를 가지는 정합쌍이 존재하는 경우가 많다. 영상정합에 영향을 미치는 요소는 기준영역의 크기와 탐색영역의 크기이고 기준영역의 크기가 작으면 상관계수에 대한 신뢰도가 떨어지게 되므로 가장 정확한 영상정합을 위하여 적절한 크기의 기준영역을 결정하는 것이 중요하다. 또한, 본 발명은 식 (1)의 상관계수법을 사용하여 영상정합을 수행할 때, 계산속도를 향상시키기 위해 다음과 같은 변형식을 이용한다.
(2)
한편, 최소제곱정합법은 두 창틀간의 화소 값들의 차이의 제곱의 합이 최소로 되는 점을 매칭점이라고 판단하는 방법이다. 상기 정합법은 Akermann 등이 제안한 것으로, 두 창틀(Window)이 올바른 매칭쌍 근처에 있다고 가정할 때, 두 창틀은 화소 값의 함수로 표현되고 두 창틀간의 영상소 밝기값의 차이는 크게 기하학적 차이와 방사량 차이(Radiometric Difference)에 기인한다. 기하학적 차이는 근본적으로 두 사진의 외부표정요소가 다르기 때문에 생기는 문제들과 사진을 디지털화하기 위해 주사할 때 주사선의 시작 위치와 주사의 방향, 주사선의 간격 등의 차이에 기인하는 것들이다. 방사량 차이는 똑같은 지역이라도 촬영, 필름의 현상 및 주사과정에서 발생하는 전체적인 또는 부분적인 밝기의 차이 그리고 사진의 디지털화 과정에서 생기는 각종 잡음들이다.
기준창틀의 크기를 N×M, 기준창틀의 밝기값을 G_w (x_w, y_w ), 탐색창틀에서 임의의 비교점을 중심으로 하고 기준창틀과 똑같은 크기를 갖는 비교창틀의 밝기값을 G_s (x_s ,y_s ) 그리고 탐색창틀에서 초기 근사치의 밝기값을 G_s^0 (x_s^0 ,y_s^0 )이라 한다면, 목표는 다음과 같은 밝기값의 차이가 최소가 되는 (x_s ,y_s )를 결정하는 것이다.
G_w (x_w ,y_w )~-~G_s (x_s ,y_s )~ =~ v(x,y) (3)
식 (3)은 다음과 같이 쓸 수 있다.
G_w (x_w ,y_w )-v(x,y)= G_s^0 (x_s^0 , y_s^0 ) + G_s_x dx_s + G_s_y dy_s (4)
여기서, G_s_x ,G_s_y는 x 및 y 방향의 밝기값의 변화량으로 다음과 같은 식으로 나타낸다.
(5)
두 창틀내의 좌표들은 피사체 공간(object space)에 있는 공통되는 표면과 투영변화의 관계에 있다. 정합이 될 매우 작은 크기의 창틀을 생각하면, 두 창틀간에 기하학적인 관계를 등각(Conformal) 사상변환, 부등각 사상변환(Affine) 등으로 근사적으로 가정할 수 있다. 두 창틀간에 다음과 같은 부등각 사상변환이 성립한다고 가정하면,
(6)
로 나타내며, 부등각 사상변환의 양변을 매개변수에 대하여 미분하고, 이것들을 상기 식(4)에 대입하면 관측방정식은 다음과 같다.
(7)
기준창틀과 탐색창틀간에 대응되는 각 화소 쌍마다 하나씩의 관측방정식이 형성되어 N×M 크기의 창틀에 대해 N×M 개의 방정식이 유도된다. 이것을 행렬을 써서 나타내면,
-v~=~Ax~ -~l (8)
여기서,
위 식의 최소제곱 해는,
x=(A^T WA )^-1 A^T W~l (9)
여기서, W는 무게행렬(weight matrix)이다.
이상과 같은 과정을 통해 얻어진 변환 매개변수를 사용하여 비교창틀에 대해 영상재배열(Image Resampling)을 하고 좌표를 갱신한다.
새로운 비교창틀의 중심은 다음과 같다.
(10)
동일한 방법으로 또 새로운 관측방정식을 만들고 해를 구한다. 이 작업을 반복하여 수렴할 때까지 계속하여 해를 구한다.
영상재배열을 하는 방법에는 입력 격자상에서 가장 가까운 점의 영상소의 밝기값을 이용하는 최근린보간법(Nearest Neighborhood Interpolation), 인접하는 4점의 영상소 밝기값을 이용하는 공일차보간법(Bilinear Interpolation), 인접하는 16점 영상소 밝기값을 이용하는 공이차보간법(Bicubic Interpolation)등이 있다. 본 발명에서는 공이차보간법을 사용한다.
최소제곱정합법의 경우, 두 창틀의 전체적인 밝기의 차이에 대한 보정을 별도로 반복 계산 전에 실시해야 한다. 보정방법으로는 두 창틀의 화소값의 평균과 분산을 같게 만들어주는 방법을 쓴다. 다음 식을 쓰면 두 창틀의 화소값의 평균과 분산이 같아진다. 기준창틀 화소의 평균을, 표준편차를 sigma_w, 비교창틀 화소의 평균을, 표준편차를 sigma_s, 비교창틀의 임의의 화소값을 G_s, 그리고 보정된 화소값을 G_s '라 하면,
(11)
상기 식으로부터 최소제곱 매칭의 위치 정밀도는 가장 높으나 초기의 근사 위치가 틀릴 경우 상당한 수렴이 되므로, 매칭점의 초기 근사 위치가 2~3 화소 내에 있어야 한다.
형상기준정합(Feature Based Matching)은 대응점을 발견하기 위한 기본자료로서 특징(점, 선, 영역 등이 될 수 있으나 일반적 경계정보를 의미함)적인 인자를 추출하는 기법이다. 상기 형상기준정합은 두 영상에서 대응하는 특징을 발견하여 대응점을 찾아내는데, 이 경우 각점에 대한 평균값이나 분산과 같은 대표값을 계산하여 두 영상의 값을 서로 비교한 후 공액점을 이용한다. 이 방법은 각각의 수치화된 영상에서 어떤 화상함수의 특성을 가지는 특징점(Interest Point)을 추출하고, 이들간에 영상정합을 실시한다. 특징점을 추출하는 방법에 관하여 Moravec, Hannah 그리고 Forstner 등이 각각 제안하였는데, 이 중에서 Forstner가 제안한 Forstner Interest Operator가 많이 쓰인다. Forstner Interest Operator는 모서리, 특징 점 그리고 원형물체의 중심을 검출하는 것으로 다음과 같은 것이 있다.
가령, 영상의 x, y 방향의 화소값의 변화량(gradient)를 g_x, ~g_y라 하자. 이것은 Robert Operator나 Sobel Operator로 컨벌루션(convolution)하여 계산한다.
Roberts Operator
0 1
-1 0
1 0
0 -1
Sobel Operator
-1 0 1
-2 0 2
-1 0 1
1 2 1
0 0 0
-1 -2 -1
이어서, 다음과 같은 정규행렬 N을 계산한다.
(12)
계속해서, 다음과 같은 특징값 w, q를 산출한다.
,(13)
여기서, detN은 N의 determinant, trN은 N의 trace를 의미한다. w는 오차타원의 크기에 관계되고 contrast에 비례한다. q는 오차타원체의 형상에 관계되는 요소로 0 에서 1 사이의 값을 갖는다. q가 1이면 완전한 원이 된다. 임계치를 넘는 q, w를 갖는 점들 중에서 해당점 근처에서 w가 최대가 아닌 점은 모두 제거하고 남는 점을 특징점으로 인식한다. q, w는 두 점간의 영상정합의 가부를 결정하는 명확한 기준은 되지 못하므로 흔히 특징점들간의 상관계수를 비교하는 방법 등과 병행해서 사용된다.
수치사진측량 시스템 소프트웨어 개발과 관련하여 본 발명은 다음과 같은 제원을 갖는 디지털 비디오 카메라를 사용한다.
제품명 color camera 15DSP
제조사 KAPPA opto-electronics GmbH(U.S.A)
Type 1/2"interline-transfer-CCD withcomplementary color filter
Area 6.45 * 4.8[mm], 768 * 494 pixel
Resolution 480 lines(horizontal)
Power supply 12V DC / 3W
Housing dimensions 73 * 50 * 148[mm], 410g
표 5의 카메라 제원으로부터, 본 발명은 최대 811 ×508 영상소를 취득할 수 있고, 유효 영상소의 크기는 768 ×494 pixel 이다. 본 발명은 640 ×480 pixel을 사용한다.
본 발명의 디지털 비디오 카메라는 실체시 영상의 수집과 3차원 위치정보 수집을 위하여 GPS 안테나와 함께 차량의 지붕에 부착된다. 또한, 상세히 후술되겠지만, 차량의 실내에는 GPS 수신기와 데이터 처리용 노트북 및 관성항법 시스템(INS)을 설치한다.
디지털 비디오 카메라를 이용한 수치사진측량 시스템을 위한 소프트웨어는 Microsoft사의 visual C++ 언어를 이용하여 Windows 환경의 컴퓨터상에서 보다 신속하고 정확한 영상처리를 수행한다.
도 1은 본 발명의 제 1 실시예에 따른 영상정보의 3 차원 지상좌표를 결정하는 순서도이다.
도 1을 참조하여, 단계 16 내지 단계 20에서는 차량 지붕에 각각 부착된 두 대의 디지털 카메라를 이용하여 대상물의 영상을 촬상한다. 단계 24에서는 카메라의 광학 조절부를 통해 촬상소자로 수집된 각각의 영상을 전기적인 신호로 처리하고 이를 메모리에 저장한다. 단계 26에서는 단계 24로부터 정지영상을 절취한다. 단계 28과 단계 30들에서는 각 프레임별로 좌측과 우측의 정지영상으로 구분한다. 단계 32에서는 단계 28과 단계 30으로부터의 각 프레임별 정지영상을 정합한다. 단계 36에서는 단계 32로부터의 영상정합을 이용하여 외부표정요소를 결정한다. 단계 38에서는 단계 36으로부터 산출된 외부표정요소를 이용하여 대상물의 3차원 지상좌표를 결정한다. 단계 44에서는 좌표변환 알고리즘을 통해 단계 38의 지상좌표를 국지좌표로 변환한다. 이때, 관성관측장치(IMU)(40)와 GPS 신호를 수신(42)하고, 이들을 매개변수로 이용된다.
카메라의 영상으로부터 3 차원의 지상좌표를 결정하기 위해, 윈도우상의 영상창에는 상하좌우로 움직이는 스크롤바(scroll bar)가 있어, 작업화면보다 큰 영상도 처리할 수 있도록 한다. 확대 대상영역은 2배, 4배 최대 7배까지 가능하다. 작업화면 맨 아래의 상태바 우측엔 마우스가 위치하여 지점의 (x,~y) 좌표와 밝기값을 RGB값으로 표시한다. 마우스의 좌측버튼을 누르면 1번부터 번호가 순차적으로 붙어 영상에서 측점을 선택하여 영상좌표를 등록할 수 있다. 측점의 번호는 변경, 삭제가 가능하고 영상에서 번호 표시를 감출 수 있도록 한다. 자료의 입력, 출력 및 수정을 위해 간단한 문서 편집기를 추가하여 문서의 저장, 출력 이외에 자르기, 복사, 붙이기 등의 편집기능을 지원한다.
이상에서 살펴본 바와 같이, 본 발명은 영상처리용 소프트웨어를 이용하여 수치사진측량공정을 원활히 수행한다.
도 2는 본 발명의 제 2 실시예에 따른 영상정보의 3 차원 위치해석과정을 보여주는 순서도이다. 도 2를 참조하여, 본 발명의 대상물에 대한 3 차원 위치해석과정은 다음과 같다.
단계 46과 단계 48에서는 차량위에 부착된 두 대의 카메라를 이용하여 각각의 우측 영상과 좌측 영상을 수집한다. 단계 50에서는 수집된 영상으로부터 좌측 영상의 특징점을 추출한다. 단계 52에서는 전술한 상관계수법을 사용하여 영상의 정합점을 구한다. 계속해서, 단계 54에서는 정합 강도에 따른 불량 정합점을 제거하는 일련의 과정을 진행한다. 단계 56에서는 상기 단계들(46 ~ 54)을 통해 얻어진 영상이 최하위 단계의 영상인가를 판단한다. 판별 결과가 최하위 영상이면 다음 단계 58으로 넘어가지만, 그렇지 않는 경우에는 다시 단계 52로 피드백되어 상관계수법을 이용한 영상정합 과정을 반복한다. 단계 58에서는 최하위 단계의 영상인 경우, 계속해서 최소제곱 영상정합을 수행한다. 단계 60에서는 전술한 공간후방교선법에 의한 외부표정요소를 결정한다. 단계 62에서는 상기 단계 60으로부터 결정된 외부표정요소를 이용하여 공간전방교선법을 수행한다. 그리고 단계 64에서는 최종적으로 대상물의 3차원 좌표를 결정한다.
도 3은 인공위성 자동 위치측정 시스템을 이용한 대상물의 위치 결정에 필요한 구성요소들을 개략적으로 보여준다. 통상, 인공위성을 이용한 대상물의 위치 결정에는 GPS 외에도 관성항법 시스템(INS)과 같은 보조 시스템들이 추가로 구비된다.
먼저, GPS를 이용한 위치결정 시스템에 관하여 살펴본다.
전술한 바와 같이, GPS란 Global Positioning System의 약자로 범지구적 위치결정 체계라 할 수 있는 인공위성 자동 위치측정 시스템이다. GPS는 지상, 해상, 공중 등 지구상의 어느 곳에서나 시간제약 없이 인공위성에서 발신하는 정보를 수신하여 정지 또는 이동하는 물체의 위치를 측정할 수 있다. 도 3을 참조하여, 여기에는 크게 우주부분(Space Segment)(10)과 제어부분(Control Segment)(12) 및 , 사용자부분(User Segment)(14) 등의 3부분으로 구성된다.
GPS에 관한 연구 개발은 1973년에 미 해군의 TIMATION 프로그램과 미 공군의 621B 프로젝트가 미국방성 프로젝트로 통합되면서 NAVSTAR (NAVigation Satellite Time And Ranging)로 명명되면서 본격적으로 추진되기 시작하였다. GPS의 위성은 1978년 2월부터 시험위성인 Block-I 위성이 발사되었고, 1989년 2월부터 실용위성인 Block-II 위성이 발사되기 시작하였다. 도 4를 참조하여, 현재 총 24개의 위성이 가동되고 있는데, 전세계적으로 항상 4 개 이상의 위성으로부터 전파를 수신하여 시간의 제약없이 3차원적인 위치를 측정할 수 있다.
도 4를 참조하여, GPS 위성군은 6 개의 궤도에 실용위성 21 개와 궤도상의 예비위성 3 개 등 총 24 개로 구성된다. 위성궤도의 반경은 약 20,183 Km의 원이다. 궤도 경사각은 적도를 기준으로 55°이다. 승교점 적경간격이 60°로 6 개의 궤도면에 4 개씩의 위성이 배치된다. 실용위성의 공전주기는 0.5일 이고 개별 수명은 7.5년으로 계획되어 있다. 각 위성은 세슘 원자시계 2 대, 루비듐 원자시계 2 대를 탑재하고 있다. 각각의 무게는 약 845kg이다.
제어부분 즉, 지상제어국(도 3의 12)에서 수행하는 업무는 위성에서 송신되는 신호의 품질 점검, 위성궤도의 추적, 위성에 탑재된 각종 기기의 동작상태 점검 및 그 밖의 각종제어 작업 등이 있다. 지상제어국(12)은 전세계적으로 5 개소가 존재한다. 4 개의 무인제어국은 대부분 적도 부근에 등간격으로 배치되어 있다. 주제어국은 Colorado Springs에 있다. 주제어국은 다른 제어국과 달리 위성의 궤도를 수정할 뿐만 아니라 사용불능 위성을 예비위성으로 교체하는 업무를 담당한다.
현재, GPS는 광범위하게 사용되고 있다. 사용자는 1개 이상의 수신기를 필수적으로 구비한다. 또한, 사용자에 따라서는 컴퓨터 시스템과 관련 소프트웨어를 보유한다.
GPS의 위치결정 원리를 간단하게 설명한다. 이것은 추적된 궤도에 의해서 정확한 위치를 알고 있는 위성에서 발신하는 전파를 수신하여 위성에서 관측점까지의 전파 도달시간을 측정하여 관측점의 공간적 위치를 알아낸다. 따라서, 위성과의 거리를 결정하는 가장 중요한 요소는 시간이다. 전술한 바와 같이, GPS 위성에는 지극히 안정도가 높은 원자시계를 탑재하고 있다. 위성에 탑재된 시계와 수신기의 시계가 정확히 일치한다면, 3개의 위성과의 거리만으로도 3차원적인 위치를 결정할 수 있다. 그러나, 위성에 탑재된 원자시계는 매우 고가인 관계로 일반인이 사용하기에는 부적합하다. 이러한 이유로, 수신기에는 저가의 비교적 정도가 낮은 시계를 사용하고 있다. 이러한 문제를 해결하기 위해, 4 개의 위성에서 전파를 수신하여 위성 시각과 수신기 시각에서 발생하는 미지의 시간차를 제거하게 된다. 해상과 같이 고도를 알고 있거나, 2차원적인 위치 결정을 위해서 적어도 3 개의 위성에서 전파를 수신할 수 있어야 한다. 3차원적인 위치를 결정하기 위해서는 위치 미지수 3 개(X,Y,Z)와 위성과 수신기의 시계오차 미지수 1개()로 이루어지는 총 4 개의 미지량을 결정해야 하는데, 이를 해결하기 위해 최소한 4개 이상의 위성을 확보하여야 한다.
이상의 위치결정 원리로부터 위성 신호(Satellite message)를 통해 얻은 지구중심으로부터 위성까지의 벡터(Ui)와, 위성 신호로부터 지상의 수신기가 받은 수신기에서 위성까지의 거리벡터(ri)로 지구중심에서 측점까지의 위치벡터(Rp)를 계산한다.
도 5는 GPS의 측위 원리를 보여준다. 도 5를 참조하여, (Xi, Yi, Zi)가 알려진 4 개의 위성 S1, S2, S3, S4에서 지표 위의 한 점 P까지의 거리가 동시에 관측되어 P점의 좌표(Xp, Yp, Zp)를 구할 수 있다.
즉, 일반식
(14)
으로부터
(15)
여기서, ri: 위성과 측점까지의 거리 (( V:전파속도,:전파도달시간))
Xi, Yi, Zi: 위성의 3차원 위치
Xp, Yp, Zp: 구하고자 하는 측점의 위치
: 위성과 수신기의 시계오차
가 얻어지고, 이것으로부터 측점 P의 좌표(X,Y,Z)를 간단히 계산할 수 있다.
한편, GPS에 의한 위치결정의 오차원인에는 위성의 원자시계의 안정도, 위성궤도의 예측치의 정확도, 전리층의 전파지연, 대류권의 전파지연, 수신장치의 잡음 그리고 수신장치의 Channel 수 등이 있다. 일반적으로 알려져 있는 정확도는 1 대의 수신기로 측정되는 절대위치의 경우에 C/A코드 사용시 100m, P코드 사용시 10m 정도이다. 반면에, 2대 이상의 수신기로 측정되는 상대 위치의 경우에는 수십 Km 이상의 거리에서 cm 단위의 오차가 발생되므로 10-6의 높은 정확도를 갖고 있다.
GPS를 이용한 위치결정에 있어서 정확도 향상을 위하여 많은 연구가 진행되고 있다. 특히, L1 과 L2의 두개의 반송파를 동시에 수신하여 도플러 관측법을 이용함으로써 전리층과 대류층에 의한 영향을 제거시키고, VLBI(Very Long BaselineInterferometry)와 GPS를 결합함으로써 정확도를 향상시킬 수 있다. 이러한 연구는 지각변동, 지질구조 등을 연구하는 지구물리학 및 측지학 분야에서 많은 발전이 기대되고 있다.
GPS를 이용한 위치 측정법에는 1점 위치 측정법과 상대 위치 측정법이 있다. 1점 위치 측정법은 절대 위치 측정법이라고도 하는데, 1대의 GPS 수신기로 위성들의 전파와 코드를 분석하여 real time으로 지구상의 위치를 나타내는 절대위치를 측정하는 방법이다. 이는 주로 자동차, 항공기 및 인공위성과 같은 고속 운동체의 위치 결정과 등산, 해상위치 등과 같이 비교적 낮은 위치 정확도를 필요로 하는 경우에 사용되고 있다.
도 6에 도시된 바와 같이, 상대 위치측정법은 위치를 알고 있는 지점으로부터 위치를 알고자 하는 지점까지의 벡터를 구하여 위치를 구하는 방법이다. 이 방법은 기지점에 수신기를 설치하고, 미지점의 수신기와 양쪽에서 받은 위성정보를 비교 분석하여 위치를 계산한다. 상대 위치 측정법의 원리는 위성에서 발신하는 반송파를 여러 개의 수신기에서 수신하여 반송파 또는 코드의 위상을 측정함으로써 전파도달 시각의 차를 측정하는 방식이다. 일반적으로 이 방법을 많이 사용하고 있으며, 근거리 측량의 오차는 수 m에서 수 mm이며, 원거리 경우에는 10-6에 이르는 정확도가 얻어진다. DGPS(Differential GPS)는 상대 위치 측정법 중 위성의 발신하는 코드만으로 위치를 측정하는 방법으로 비교적 위치 정확도가 낮아 약 5m의 오차가 발생하며, OTF (On-The-Fly)은 위성에서 발신하는 반송파의 위상으로 위치를 계산하는 방식으로 수mm 이내의 오차로 위치 측정이 가능하다.
본 발명에서는 GPS 장비로 Ashtech(Z-Surveyor)을 사용한다. 기준국은 성균관대학교 제 2 공학관에 위치한 옥상을 상시관측소로 하고, GPS 수신기와 GPS 안테나의 제원은 하기한 표들과 같다.
모델명 Z-FX
제조사 Ashtech. inc
Static 정밀도 5mm + 1 ppm(drms)
RTK 정밀도 horizontal 1cm + 2ppmvertical 1.7cm +2ppm
channel 12 channel
battery 내장/외장
weight 3.75 lbs
dimension 3" H+7.3" W*8.25"D
power 10 ∼ 28V DC, 8.0W
모델명 Choke ring antenna
제조사 Ashtech. inc
Frequency L1 1575.42 ±10.23 MHzL2 1227.60 ±10.23 MHz
Antenna gain + 5dBiC @ zenith- 4dBiC @ 5° Elevation
DC POWER 5 - 15V, 4mA Tipycal
LNA Gain L1 39dB ±3dB
LNA Gain L2 39dB ±3dB
Output 50ohm, type N
Weight 4.7kg(10.5 lbs)
계속해서, 관성항법 시스템(INS)을 이용한 대상물의 위치해석에 관해서 살펴본다.
항법을 수행한다는 것은 현재의 위치파악 뿐만 아니라, 현재의 위치로부터 목표점까지 갈 수 있는 방법을 모색하는 것이다. 항법을 수행하는 방법으로는 조정법(Piloting), 추측항법(Dead Reckoning), 천문항법(Celestial Navigation), 관성항법(Inertial Navigation) 그리고 전파항법(Radio Navigation) 등 5 가지가 있다.
조정법은 기지의 표지에 대해서 탑재기의 위치를 해석하는 것으로 간단하며 가장 오래된 항법이다. 추측항법은 관측된 일련의 속도 증가량으로부터 외삽법을 이용하여 위치를 해석하는 방법이다. 천문항법은 일정한 시간동안 천체의 위치를 관측하여 현재 위치를 파악하는 것이다. 관성항법은 평형을 유지하는 탑재기에 장착된 가속도계를 이용하여 탑재기의 위치를 해석하는 것이다. 그리고, 전파항법은 송신기로부터 발사된 전자기파가 수신기까지 도달한 후 되돌아오는 시간을 관측하여 물체의 위치를 해석하는 방법이다.
자이로스코프(Gyroscope)는 지구의 회전을 보는 물건이란 의미를 가지며 일반적으로 자이로(Gyro)라고 불린다. 자이로는 크게 세차(Precession)를 이용한 회전식 자이로와 콜리올리힘을 이용한 진동식 자이로, 새그낵(sagnac) 효과를 이용한 광학 자이로 등이 있다.
자이로는 회전축을 중심으로 고속으로 회전하고 있는 회전자(Rotor)를 안정 지지대(Gimbal)가 지지하는 구조로 이루어져 있다. 직교하는 두 개의 축 주위를 안정지지대가 지지하는 자이로를 2축 자유도 자이로라고 한다. 또한, 두 개의 축 주위에 마찰과 불균형 등으로 인한 비틀림 모멘트가 존재하지 않는 회전자를 장착한 자이로를 자유 자이로라고 한다. 1축 자유도 자이로는 회전축 이외에 한 개의 출력축과 한 개의 입력축을 가지며, 세 개의 축은 서로 직교한다.
진동 자이로에는 회전자가 존재하지 않기 때문에 수명이 길고 작동에 필요한 준비시간이 짧다는 장점이 있다. 그러나 온도에 의한 양력이 크다는 단점이 있다.
광학 자이로에서 이용하는 새그낵 효과는 원형광로가 회전할 때 분절된 광선들이 약간의 시간차를 두고 모이게 되는데 이때 발생하는 경로차를 말한다. 광로의 굴절률은 1로 가정한다. 자이로가 각속도 ω(omega)로 회전하는 경우, A 지점에서 입사한 두 개의 빛이 원형 광로를 따라서 서로 반대방향으로 한 바퀴 회전하는데 필요한 시간차는 식 (16)과 같다.
(16)
여기서, C는 광속도이고 C>> R ω 이다. 또한 S는 원형 광로가 둘러싼 면적이다. 식 (16)의를 이용한 광로차은 식 (17)과 같다.
(17)
가속도계(accelerometer)는 단위 질량을 가속하는데 필요한 힘(specific force)을 관측하는 장비로, 가속도계를 장착한 탑재기의 가속도를 관측할 때 물체의 관성을 이용한다. 가속계의 종류에는 적분 자이로가 장착된 적분 자이로 가속도계(Pendulous Integrating Gyro Accelerometer : PIGA), 마찰이 작은 상자내에 탑재된 실험용 물체를 이용한 실험 질량체 가속도계(proof mass accelerometer), 두 개의 얇은 금속테이프의 진동을 이용한 진동 현 가속도계(vibrating string accelerometer) 및 광섬유를 이용한 광섬유 가속계(fiber optic accelerometer) 등이 있다.
적분 자이로 가속도계는 자유도가 1인 자이로에서 출력축 주위의 비틀림 모멘트가 입력축 주위에 세차를 발생시키는 현상을 이용하여 제작할 수 있다. 적분 자이로 가속도계의 입력축을 따라 발생한 선형 가속도는 레이트 자이로의 출력축에 비틀림 모멘트를 발생시킨다. 이러한 과정을 통해서 자이로의 입력축에 대해서 수직인 원통에 세차운동이 일어난다.
실험 질량체 가속계는 하나의 관속에서 좌우로 자유로이 운동하는 작은 질량체이며, 운동을 제한할 수 있는 스프링과 커다란 요동을 방지하기 위한 제동장치(damping)에 연결되어있다. 가속도계의 운동방정식은 여기에 작용하는 힘의 합이 0 이라는 가정으로부터 유도할 수 있다.
진동 현 가속도계는 이동이 가능한 물체의 좌측과 우측에 현을 연결하여 가속도를 관측한다. 이때 사용되는 현은 엄밀한 의미에서 얇은 금속 테이프이다. 자석(magnet)은 테이프가 공칭 주파수(nominal frequency)를 가지고 일정한 진동을 유지하도록 하는 역할을 한다. 외부상자가 반응축(sensitive axis)을 따라서 가속되는 경우 이동물체(sliding mass)는 두 개의 테이프가 서로 다른 주파수를 가지고 진동할 수 있도록 각기 다른 장력을 발생시킨다. 가속도는 두 개의 테이프가 가지는 진동 주파수의 차이에 비례한다.
광섬유 가속도계는 물체에 가속을 일으키는 힘을 관측하기 위한 장비로서, 가속이 발생하면 미소 영역대의 주파수가 생겨서 광섬유 내에 광학력(optical power)의 강도가 변조된다. 광섬유 가속도계의 관측범위와 민감도는 광섬유의 단단함(stiffness)과 질량에 의해 영향을 받는다.
계속해서, 관성항법은 탑재기의 가속도를 관측하여 적분함으로써 기지의 출발점에 대한 탑재기의 속도 및 위치를 파악하는 과정이다. 가속도계는 가속도를 감지하는 장치이다. 가속도는 방향과 크기를 가지는 벡터량이다. 자이로는 관성계내에서 가속도계가 고정된 상태를 일정하게 유지되도록 한다. 가속도계는 중력가속도를 감지하지 않기 때문에 이러한 가속도계의 결함을 보완하기 위하여 중력모형에 기초한 중력효과를 도입할 필요가 있다. 컴퓨터와 중력모형을 이용하여 중력을 위치의 함수로 계산할 수 있으며, 위치는 관측된 가속도를 두 번 적분함으로써 얻을 수 있다.
관성항법 체계의 기본 기능은 감지(sensing), 계산(computing), 출력(outputting) 등이다. 가속도계와 자이로는 감지가능을 수행하며, 가속도와 각 회전량과 같은 관측값을 컴퓨터로 전송한다. 컴퓨터는 이 자료를 이용하여 속도와 위치, 자세, 자세 변화율, 방향, 고도 등을 계산한다. 출력기능은 사용자의 목적에 맞게 적절한 자료를 출력하는 것이다. 위치해석에 이용되는 외부 항법장비들을 관성항법체계에 결합할 수 있다. 속도관측에 이용되는 장비에는 주행거리계(odometer) 등이 있으며 위치해석에 이용되는 장비에는 GPS가 있다.
계속해서, GPS의 측량성과는 WGS-84 좌표계 상의 좌표로 얻어지며 이를 이용하기 위하여 여러 가지 좌표변환이 필요하다. 또한, 좌표변환은 실시간 사진측량 시스템의 상호표정 및 절대표정을 위한 기본적인 도구이다. 3차원 직교좌표계는 공간의 위치를 나타내는데 가장 기본적으로 사용되는 좌표계로써 평면 직교좌표계를 확장하여 생각하며, 서로 직교하는 세 축으로 이루어진다. 또한, 지구상의 절대 위치를 표시하는데 있어서 일반적으로 가장 널리 쓰이는 좌표계로 경위도 좌표계가 있으며 경도와 위도를 통해 수평위치를 표시한다.
지구좌표변환에 관하여 살펴본다.
GPS에 의한 결과값은 WGS-84 타원체 상의 값으로 나타낸다. 어느 한 점에 대한 경위도 고도 좌표는 3차원 직교 좌표계상으로 식 (18), (19), (20)과 같이 표현된다.
(18)
(19)
(20)
여기서,
e2= (a2- b2)/a2
a : 타원체의 장반경
b : 타원체의 단반경
이다.
반대로, 어느 한 점의 3차원 직교좌표는 식 (21), (22), (23)을 통해 경위도 좌표계로 바뀐다.
(21)
(22)
(23)
여기서,
(e')2= (a2- b2)/b2
WGS-84를 대한민국에서 사용하는 Bessel 타원체로 투영변환하는 것은 두 기준계 상의 위성 관측점에 대한 WGS-84 및 Bessel 좌표의 측지좌표성분의 편차량을 Molodensky 변환식으로부터 도출하고, 이를 보정하여 두 측지측량계간의 변환을 수행함을 의미한다. 서로 다른 두 타원체 간의 측지좌표성분의 편차량을 구하는 식은 식 (24), (25), (27)와 같다.
(24)
(25)
(26)
여기서, Δψ, Δλ, ΔH는 입력 타원체와 변환된 타원체 간의 측지좌표성분의 편차량으로 출력-입력으로 단위는 초이다.
ΔX, ΔY, ΔZ : 입력 타원체와 변환된 타원체의 타원체 원점 이동량
a : 입력 타원체의 장반경
f : 입력 타원체의 flattening
Δa, Δf : 입력 타원체와 변환 타원체 매개변수의 차이
e : ecentricity
e2: 2f-f2
평면 직교좌표계를 경위도 좌표계로 바꾸기 위해 평면직교좌표 원점의 경위도좌표 (λ00), 선축척계수 S0= 0.9999를 썼을 때의 평면직교좌표(XN, YE), 자오선과 묘유선의 곡률반경을 각각 R1, N1이라 하면,
구하는 점의 경도λ, 위도ψ 및 진북방위각(또는 자오선수차) γ는 식 (27), (28), (29)로 주어진다.
(27)
(28)
(29)
여기서
ρ= 206264.806247″
ψ1: 구하는 점에서 좌표원점을 지나는 자오선에 내린 수선의 발의 위도로써 식 (30)을 이용해 반복계산하여 구한다.
만일 ψ1의 추정값과 ψn이 주어지면, 이로부터 Bψ를 구한다든가, ψn+1을 계산한다.
이 계산은 ψn+1- ψn〈 2″×10-5을 만족할 때까지 반복하여 그 때의 ψn+1을 ψ1으로 한다.
(30)
Bψ= 적도로부터 ψ1까지의 자오선 호의 길이
경위도좌표(λ,ψ)인 어느 지점의 (XN, YE)좌표 및 자오선수차 γ, 축척계수 S는 다음 식 (31), (32) 들로부터 구해진다.
로 놓으면
(31)
(32)
이다.
여기서,
계속해서, 7-매개변수를 이용한 좌표변환에 대하여 살펴본다.
7-매개변수법(7-Parameters Method)은 최소제곱법을 이용하여 7 개의 변환매개변수를 산정함으로써 서로 다른 두 직교좌표계간의 변환을 수행하는 방법이다. 도 7에 도시된 바와 같이, 변환되어야 할 좌표로 나타나는 좌표계(XGP)와 변환할 좌표로 나타나는 좌표계(Xth)간의 변환방정식은 Helmert 변환을 이용하여 식 (33)과 같이 구성할 수 있다.
여기서,
α1, α2, α3는 각각 X축, Y축, Z축 방향의 회전을 나타낸다.
(33)
여기서,는 두 좌표계 원점의 평행이동량으로와 같다.
R은 두 좌표계 간의 회전행렬이다. 상기 식 (33)을 구체적으로 나타내면 식 (34)와 같다.
(34)
여기서,
XGP, YGP, ZGP: 변환된 좌표
Xth, Yth, Zth: 변환할 좌표
S : 축척계수
γ11, γ12, ··· , γ33: 회전행렬계수
ΔX, ΔY, ΔZ : 평행이동량
이다.
또한, 회전행렬 R의 구성요소는 식 (35)와 같다.
(35)
여기서,
ω, φ, x 는 X, Y, Z축에서의 회전각을 의미한다. 회전행렬은 정방행렬이므로= 1 이다.
(36)
식 (36)은 비선형 함수이므로 Taylor 급수를 이용하여 선형화하고 1차항까지 취하면 식 (37)과 같이 선형화된 방정식이 구성된다.
(37)
(38)
식 (37)에서 X0는 7-매개변수의 초기 근사값이며 dX는 X0에 대한 보정값이다. 또한 X는 7-매개변수이다. 식 (38)을 이용하여 조건방정식을 구성하고 행렬식으로 나타내면 식 (39)와 같다.
(39)
여기서,
이다.
I개 측점에 대하여, 단위경중률 (P=I)로 가정하고 식 (39)를 해석하면 7 개 변환요소의 보정량을 산출할 수 있다.
(40)
또한, 여인수 행렬(cofactor matrix) Qc는 다음과 같이 구성된다.
Qc= ATPA = ATA = (1+S0 2)I (41)
또한, autocofactor 행렬 Qdd는 여인수 행렬의 역행렬이므로 식 (42)와 같다.
(42)
따라서, 7 개의 변환 매개변수인 ΔX, ΔY, ΔZ, ω, φ, x, S를 알면 서로 다른 두 좌표계 상의 좌표를 변환할 수 있다.
본 발명에 사용된 관성항법 시스템(INS)의 제원은 다음과 같다.
모델명 ISIS-IMU
제조사 Inertial Science, Inc.
Size 3.30" * 2.5 " *1.83
Weight 250g
Power supply 4W @ 5V DC
Acceleration upto 500g
input method Analog and/or Digital
Angular ratecapability upto 3,000°/sec
도 8은 본 발명의 제 3 실시예에 따른 시설물 관리의 작업 진행 과정을 보여주는 순서도이다. 도 8을 참조하여, 본 발명의 시설물 관리의 작업 진행 과정은 다음과 같다.
단계 66에서는 관리하고자 하는 도로 시설물들의 대상을 선정한다. 단계 68에서는 대상 지역이 선정된 경우 촬영 계획을 수립한다. 단계 70에서는 GPS 상시기준점 위치를 파악한다. 단계 72에서는 실험 장비들에 대한 점검 작업으로 GPS 수신기, INS 및 CCD 카메라를 점검한다. 단계 74에서는 대상 지역에 대한 영상 정보를 수집한다. 단계 76에서는 좌표결정 자료를 수집한다. 단계 78에서는 단계 74 및 단계76으로부터 수집된 영상 및 자료들을 소프트웨어적으로 프로그램된 알고리즘을 이용하여 처리한다. 단계 80에서는 단계 78로부터 처리된 결과를 실내에서 별도의 작업을 통해 편집한다. 그리고, 단계 82에서는 단계 80으로부터 편집된 자료를 토대로 최종적인 대상 지역에 대한 결과 도면을 작성한다.
도 9는 도 8의 과정을 통해 얻어진 대상지역에 대한 시설물 관리도면이다.
도 10a 내지 10d 들은 각각 도 9에 도시된 참조문자들의 확대 도면을 나타낸다.
요약하면, 본 발명은 일반도로, 고속도로 및 철도 주변의 관련 시설물들에 대한 3 차원 위치를 지리정보 시스템(GPS), 관성항법 시스템(Strapdown INS), 거리 측정 센서(Odometer) 및 속도 측정 센서 (Speed Sensor)를 결합하여 정확하게 측정하고, 두 대 이상의 디지털 비디오 카메라(CCD CAMERA)를 이용하여 사진측량기법에 의한 3 차원의 실체시 영상(Stereo Image)을 획득한 후 실내작업을 통해 지리정보 시스템(GIS) 및 시설물관리 시스템(FMS) 등의 구축에 필수적인 지형/지물의 데이터베이스 화를 효율적으로 수행한다.
좀더 구체적으로 살펴보면, 본 발명은 디지털 카메라로부터 수집된 대상 지역에 대한 영상 정보의 수치적인 계산을 컴퓨터에 의해 자동적으로 처리할 수 있도록 수치사진측량의 자동화 프로그램을 구축하였다. 더 나아가 사용자 인터페이스를 위하여 윈도우즈 환경으로 제작하였다. 특히, 영상의 수치사진 측량을 위해서 디지털 카메라의 내부표정요소 결정, 외부표정요소 결정 및 영상 정합 등의 알고리즘을 구축하였다. 한편, 본 발명은 GPS 측량 성과를 3 차원 국지좌표로 변환하기 위해 좌표변환 알고리즘을 제시하고, 기지점의 수신기와 미지점의 수신기 사이의 위성 정보를 비교·분석하여 위치를 결정하는 상대측위 방법을 개시하였다. 또한, 본 발명은 관성항법 시스템의 결과 값을 절대표정시 이용할 수 있는 알고리즘을 구축하고, 차량에 3 가지 센서를 탑재하여 3 차원 위치결정을 실시한 후 그 정확도를 비교 분석하였다.
전술한 바와 같이, 본 발명은 대상물의 3 차원 위치 좌표 및 속성(Attribute) 정보를 획득하여 데이터베이스 화 한 것이다. 본 발명으로부터 얻어지는 데이터 정보를 근간으로 기간 시설물들에 대한 정확한 지리정보 시스템(GIS)을 구축하여 인재를 방지하고 다양한 정보화에 대한 사용자 요구에 부응하며, 신속한 정보의 획득과 제공 및 다양한 응용기술의 개발을 위한 기술정보의 축적이 가능하다.
현재 구축되고 있는 모든 공공 시설물들 즉, 도로, 상·하수도, 철도, 전기·통신 등의 데이터베이스의 영년변화로 인한 데이터 갱신 문제가 크게 대두될 전망이다. 선진국에서는 매년 주기로 소규모적으로 데이터를 갱신하다가 5년 단위로 중규모로 데이터를 갱신하고 있는 데 반하여 국내에서는 초기의 데이터를 구축하고있는 단계여서 데이터 갱신 문제에 대한 고려가 전혀 이루어지지 않고 있다. 4∼5년 후에도 현재와 같이 막대한 재정을 투입하여 데이터 갱신을 하는 것은 불가능하고 국가 재정의 낭비를 초래하게 될 것이다. 본 발명은 이와 같이 향후 야기되는 데이터 갱신에 따른 고비용의 문제를 해결하고 보다 효율적으로 데이터 갱신을 이루기위해 필수적인 기술임을 알 수 있다.
지금까지 실시예들을 통해 본 발명을 기술하고 있지만, 본 발명의 범위는 실시예들에 한정되지 않음을 잘 알 수 있다. 반대로, 당업자라면 본 발명을 통해 다양한 수정 및 변경이 가능함은 자명하다. 따라서, 본 발명의 보호범위에 대한 해석은 상기한 다양한 수정 및 변경 등의 범위까지 포함하는 최광위의 개념으로 접근해야 할 것이다.
이상에서 살펴본 바와 같이, 본 발명은 지리정보 시스템, 시설물관리 시스템 및 도시관리 시스템을 구축하는데 핵심이 되는 지형/지물 데이터베이스를 신속, 정확 및 저렴한 비용으로 구축한다. 특히, 본 발명은 도로 주변의 시설물들의 3 차원 정보를 실시간으로 구축한다. 따라서, 본 발명은 상기한 시스템들을 구축함에 있어 인력 및 시간의 낭비를 막고 자료의 갱신을 주기적으로 행할 수 있으며 갱신 비용을 최소화할 수 있다. 또한, 본 발명에 의하면 신속, 정확 및 주기적인 정보갱신이 가능해짐에 따라 기간 시설물들에 대한 설계, 시공 및 관리의 효율성 증대와 산업 전반에 걸친 지형, 지물 정보의 신속한 제공 및 선진국으로부터의 기술 도입에 따른 재원낭비 및 기술의 잠식을 방지하는 경제적인 효과가 있다.

Claims (5)

  1. 운반 수단에 부착된 복수의 디지털 카메라들 각각으로부터 대상물들 각각에 대한 광학 영상 정보들을 획득하고;
    수집된 상기 영상들 각각을 전기적인 신호로 처리하고 처리된 상기 신호들 각각을 저장하고;
    상기 저장된 상기 신호들 각각으로부터 정지영상을 절취하고;
    상기 정지영상을 각 프레임별로 좌측과 우측의 정지영상으로 세분하고;
    수치사진측량기법을 이용하여 상기 각 프레임별 좌/우측 정지영상의 특징을 추출하여 정합하고;
    상기 정합된 영상을 이용하여 상기 대상물들의 외부표정요소를 각각 결정하고;
    상기 결정된 외부표정요소를 이용하여 상기 대상물들의 3 차원 지상좌표를 각각 결정하고; 그리고
    좌표변환 알고리즘을 이용하여 상기 지상좌표를 국지좌표로 변환하되,
    상기 변환시에는 관성항법 시스템과 인공위성-이용 자동 위치 측정 시스템을 매개변수로 도입하여 상기 대상물들에 대응하는 각각의 상기 국지좌표 및 상기 영상 정보를 데이터베이스화하는 것을 특징으로 하는 3 차원 위치 측정 방법.
  2. 제 1 항에 있어서,
    상기 수치사진측량기법은 영역기준정합법으로 이용하되,
    상기 영역기준정합법은 상관계수정합법과 최소제곱정합법을 포함하는 것을 특징으로 하는 3 차원 위치 측정 방법.
  3. 운반 수단에 부착된 복수의 디지털 카메라들 각각으로부터 상기 운반 수단의 좌/우측 대상물에 대한 영상 정보를 수집하고;
    수집된 상기 영상 정보로부터 영상의 특징점을 추출하고;
    상관계수법을 이용하여 추출된 상기 영상의 정합점을 산출하고;
    상기 산출된 영상으로부터 정합 강도에 따른 불량 정합점을 제거하고;
    상기 불량 정합점이 제거된 상기 영상이 최하위 단계의 영상인가를 판단하되, 상기 영상이 최하위 단계의 영상이 아닐시 피드백시켜 상기 영상정합을 반복적으로 수행시키고;
    상기 판단 결과 상기 영상이 최하위 단계의 영상일 시 최소제곱법에 의해 영상정합을 수행하고;
    공간후방교선법을 이용하여 상기 최소제곱법에 의해 정합된 상기 영상의 외부표정요소를 결정하고;
    상기 결정된 외부표정요소를 이용하여 공간전방교선법을 수행하고; 그리고
    상기 공간전방교선법으로부터 산출된 영상으로부터 상기 대상물들의 3 차원 좌표를 각각 결정하여 상기 대상물들의 위치 및 영상 정보를 데이터베이스화하는 것을 특징으로 하는 3 차원 위치 측정 방법.
  4. 시설물에 관한 수치지도 작성 시스템의 3 차원 위치 측정 방법에 있어서,
    인공위성-이용 위치 측정 장비들을 이용하여 상기 시설물들에 대한 영상 정보를 수집하고;
    수집된 상기 영상 정보를 프로그램된 알고리즘을 이용하여, 수집된 상기 영상 정보로부터 영상의 특징점을 추출하고, 상관계수법을 이용하여 상기 추출된 영상의 정합점을 산출하고, 상기 산출된 영상으로부터 정합 강도에 따른 불량 정합점을 제거하여, 상기 불량 정합점이 제거된 영상이 최하위 단계의 영상일 때 상기 영상을 최소제곱법으로 영상정합을 수행하고, 공간후방교선법을 이용하여 상기 최소제곱법에 의해 정합된 상기 영상의 외부표정요소를 결정하며, 상기 결정된 외부표정요소를 이용하여 공간전방교선법을 수행하고, 상기 공간전방교선법으로부터 산출된 영상으로부터 대상물의 3 차원 좌표를 결정하여 상기 영상을 처리하고,
    처리된 상기 영상 정보를 편집하고; 그리고
    상기 편집된 상기 자료들을 토대로 상기 시설물들에 관한 수치지도를 작성하되;
    상기 인공위성-이용 위치 측정 장비들은 운반 수단에 구비되어, 상기 시설물들의 위치 정보와 상기 영상 정보를 데이터베이스화하는 것을 특징으로 하는 3 차원 위치 측정 방법.
  5. 삭제
KR10-2001-0041187A 2001-07-10 2001-07-10 3차원 위치 측정 장치 및 그 방법 KR100446195B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0041187A KR100446195B1 (ko) 2001-07-10 2001-07-10 3차원 위치 측정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0041187A KR100446195B1 (ko) 2001-07-10 2001-07-10 3차원 위치 측정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20030005749A KR20030005749A (ko) 2003-01-23
KR100446195B1 true KR100446195B1 (ko) 2004-08-30

Family

ID=27714217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0041187A KR100446195B1 (ko) 2001-07-10 2001-07-10 3차원 위치 측정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100446195B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100597857B1 (ko) * 2006-01-25 2006-07-06 (주)한양 Gps 위성 측량계획 시스템
KR101323262B1 (ko) 2012-07-20 2013-10-30 한국지질자원연구원 지질구조 측점의 공간데이터베이스 구축 방법 및 시스템
KR101855010B1 (ko) * 2016-12-26 2018-05-04 한국국토정보공사 군집 지역 별 세계측지계 좌표 변환 장치 및 방법
KR20220102795A (ko) 2021-01-14 2022-07-21 주식회사 브이앤지 공간 정보에 기반한 업무 관리 시스템의 구축 및 공유장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100413970B1 (ko) * 2001-11-01 2004-01-13 한국전자통신연구원 영상 매칭을 위한 파라메터 변환 장치 및 그 방법
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
KR100540194B1 (ko) 2003-09-23 2006-01-10 한국전자통신연구원 차량을 이용한 알에프아이디 태그 설치 시스템 및 그 방법
KR100797391B1 (ko) * 2004-12-21 2008-01-28 한국전자통신연구원 카메라의 위치 및 자세 정보 보정 방법 및 장치
JP5127128B2 (ja) 2004-12-21 2013-01-23 韓國電子通信研究院 カメラの位置及び姿勢情報補正方法及びその装置
KR100732915B1 (ko) * 2006-01-10 2007-06-27 (주)한성개발공사 디지털사진 측량기술 및 인공위성영상을 이용한 기본설계용도로노선의 3차원적 결정 방법
KR100930643B1 (ko) * 2009-06-29 2009-12-09 중앙항업(주) 지상기준점측량과 gps/ins를 연계한 고해상 선형방식 디지털 다중 밴드(근적외선밴드 포함)영상을 gis(uis)와 수치지도, 3차원국토공간정보로 구축하기위한 면형방식영상으로 재배열하는 기법
KR100953737B1 (ko) * 2009-08-31 2010-04-19 홍종옥 이미지 매칭을 이용한 맨홀 도화 시스템
KR101015236B1 (ko) * 2010-11-10 2011-02-18 (주)한동알앤씨 차량 기반 멀티 센서를 이용한 측량 시스템 및 그 운용 방법
KR101524529B1 (ko) * 2013-11-14 2015-06-03 한국항공우주연구원 Sar의 영상처리 방법
KR101463020B1 (ko) * 2014-09-01 2014-11-19 주식회사 고원항공정보 기준점 위치확인 및 지형정보를 응용한 공간영상도화용 보정방법이 적용된 시스템
CN106959460B (zh) * 2017-05-16 2024-05-28 广州市度量行电子设备有限公司 一种高精度定位的gis采集器的目标点计算方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255239A (ja) * 1995-03-17 1996-10-01 Hitachi Denshi Ltd 地理情報処理装置
JPH0933271A (ja) * 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
JPH09304101A (ja) * 1996-05-14 1997-11-28 Matsushita Electric Ind Co Ltd ナビゲーション装置
KR19990039447A (ko) * 1997-11-12 1999-06-05 홍종만 3차원 표시를 위한 차량 항법 장치
JP2000171249A (ja) * 1998-12-03 2000-06-23 Asia Air Survey Co Ltd 位置取得装置
JP2001099668A (ja) * 1999-09-30 2001-04-13 Sony Corp ナビゲーション装置
KR200257148Y1 (ko) * 2001-07-10 2001-12-24 (주)한양 3차원 위치 측정 장치
KR20020068151A (ko) * 2001-02-20 2002-08-27 공간정보기술 주식회사 수치사진측량 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255239A (ja) * 1995-03-17 1996-10-01 Hitachi Denshi Ltd 地理情報処理装置
JPH0933271A (ja) * 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
JPH09304101A (ja) * 1996-05-14 1997-11-28 Matsushita Electric Ind Co Ltd ナビゲーション装置
KR19990039447A (ko) * 1997-11-12 1999-06-05 홍종만 3차원 표시를 위한 차량 항법 장치
JP2000171249A (ja) * 1998-12-03 2000-06-23 Asia Air Survey Co Ltd 位置取得装置
JP2001099668A (ja) * 1999-09-30 2001-04-13 Sony Corp ナビゲーション装置
KR20020068151A (ko) * 2001-02-20 2002-08-27 공간정보기술 주식회사 수치사진측량 시스템
KR200257148Y1 (ko) * 2001-07-10 2001-12-24 (주)한양 3차원 위치 측정 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100597857B1 (ko) * 2006-01-25 2006-07-06 (주)한양 Gps 위성 측량계획 시스템
KR101323262B1 (ko) 2012-07-20 2013-10-30 한국지질자원연구원 지질구조 측점의 공간데이터베이스 구축 방법 및 시스템
KR101855010B1 (ko) * 2016-12-26 2018-05-04 한국국토정보공사 군집 지역 별 세계측지계 좌표 변환 장치 및 방법
KR20220102795A (ko) 2021-01-14 2022-07-21 주식회사 브이앤지 공간 정보에 기반한 업무 관리 시스템의 구축 및 공유장치 및 방법

Also Published As

Publication number Publication date
KR20030005749A (ko) 2003-01-23

Similar Documents

Publication Publication Date Title
US5774826A (en) Optimization of survey coordinate transformations
US9194954B2 (en) Method for geo-referencing an imaged area
El-Sheimy The development of VISAT: a mobile survey system for GIS applications
US5614913A (en) Optimization of survey coordinate transformations
KR100446195B1 (ko) 3차원 위치 측정 장치 및 그 방법
US20110153198A1 (en) Method for the display of navigation instructions using an augmented-reality concept
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
US11047683B2 (en) Method of estimating a direction of absolute orientation of an optronic system
Carvajal-Ramírez et al. Effects of image orientation and ground control points distribution on unmanned aerial vehicle photogrammetry projects on a road cut slope
KR101923463B1 (ko) 지피에스를 이용한 3차원 위치정보 측정 수치지도 제작 시스템
Haase et al. Mapping the Apollo 17 landing site area based on Lunar Reconnaissance Orbiter Camera images and Apollo surface photography
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
Grejner-Brzezinska et al. From Mobile Mapping to Telegeoinformatics
Grejner-Brzezinska Direct sensor orientation in airborne and land-based mapping applications
Ellum et al. A mobile mapping system for the survey community
KR200257148Y1 (ko) 3차원 위치 측정 장치
Hutton et al. 10 years of direct georeferencing for airborne photogrammetry
Ellum et al. Land-based integrated systems for mapping and GIS applications
Ishikawa et al. A study of precise road feature localization using mobile mapping system
Shi et al. Reference-plane-based approach for accuracy assessment of mobile mapping point clouds
Ip Analysis of integrated sensor orientation for aerial mapping
Hariz et al. High-Resolution Mobile Mapping Platform Using 15-mm Accuracy LiDAR and SPAN/TerraStar C-PRO Technologies
Reid et al. High precision pointing system for airborne sensors
JP3503384B2 (ja) 地球形状計測装置
González Horizontal accuracy assessment of the new generation of high resolution satellite imagery for mapping purposes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120816

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140819

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150818

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160819

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20190819

Year of fee payment: 16