KR100952136B1 - 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법 - Google Patents

경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법 Download PDF

Info

Publication number
KR100952136B1
KR100952136B1 KR1020090086082A KR20090086082A KR100952136B1 KR 100952136 B1 KR100952136 B1 KR 100952136B1 KR 1020090086082 A KR1020090086082 A KR 1020090086082A KR 20090086082 A KR20090086082 A KR 20090086082A KR 100952136 B1 KR100952136 B1 KR 100952136B1
Authority
KR
South Korea
Prior art keywords
camera
information
position information
ground reference
ground
Prior art date
Application number
KR1020090086082A
Other languages
English (en)
Inventor
성민규
김상성
진기호
장세진
고종식
Original Assignee
중앙항업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙항업(주) filed Critical 중앙항업(주)
Priority to KR1020090086082A priority Critical patent/KR100952136B1/ko
Application granted granted Critical
Publication of KR100952136B1 publication Critical patent/KR100952136B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 영상의 외부표정요소를 보정하는 방법과, 외부표정요소가 보정된 경사영상에서 구조물의 3차원 정보(예; 면적, 높이, 체적, 길이, 위치 등)를 측정하는 방법에 관한 것으로서, 보다 상세하게는 지상기준국을 이용하여 항공기에 탑재된 GPS장비의 위치정보를 보정하고, 보정된 GPS장비의 위치정보와 지상의 기준점의 절대 위치정보를 이용하여 카메라의 보사이트 값을 추출하여 카메라의 자세정보를 보정하여 카메라가 촬영한 영상의 각 사진에 대한 외부표정요소를 정밀하게 보정하는 방법과, 이 보정된 사진의 외부표정요소를 바탕으로 경사사진에 촬영된 구조물의 3차원 정보를 측정하는 방법에 관한 것이다.
본 발명에 따른 영상의 외부표정요소 보정방법은 본 발명에 따른 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법은 (S10) 촬영 대상 지역에 지상기준국을 설치하고, 항공기에 카메라, GPS장비, 및 INS장비 장착한 후, 비행을 하면서 이들로부터 각각 촬영 대상 지역에 대한 경사영상, 위치정보, 및 자세정보를 취득하는 단계; (S20) 상기 (S10)단계에서 취득한 경사영상을 구성하는 경사사진 중에서 지상기준점이 둘 이상 포함된 경사사진 다수를 선정하고,(S21) 지상기준점의 절대 위치정보를 기준으로 상기 지상기준국이 취득하는 위치정보와 동기화하여 상기 GPS장비가 취득한 위치정보를 보정한 후에,(S23) 선정된 경사사진 각각에 대하여 상기 지상기준점의 절대 위치정보, 지상기준점의 경사사진에서의 사진좌표, 보정된 상기 GPS장비의 위치정보를 공선조건식에 적용하여 상기 카메라의 보사이트 값(INS장비의 좌표축과 카메라 좌표축의 불일치 정도를 나타내는 값)을 취득(S25)하는 단계; (S30) 상기 지상기준국이 취득하는 위치정보와 동기화하여 보정된 상기 GPS장비의 위치정보와, 선정된 경사사진들에서 취득된 보사이트 값을 적용하여 보정된 카메라의 자세정보를 경사영상을 구성하는 경사사진 각각에 부여하는 외부표정요소 보정단계;를 포함하여 이루어지고, 외부표정요소가 보정된 경사영상에서 구조물의 3차원 정보를 측정하는 방법은 상기 (S30)단계 이후에, (S40) 상기 (S30)단계에서 취득한 외부표정요소가 보정된 경사사진을 이용하여 구조물의 3차원정보(예; 위치, 면적, 높이, 체적 등)를 측정하는 단계를 더 포함하여 이루어진다.
카메라, GPS, INS, 위치정보, 자세정보, 외부표정요소, 보사이트, 보정, 경사사진, 구조물, 3차원 정보, 측정

Description

경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법{METHOD FOR CORRECTING POSITION AND DIRCCTION ELEMENTS OF CAMERA, AND METHOD FOR 3D-STRUCTURE MEASUREMENT USING SINGLE OBLIQUE PHOTOGRAPH}
본 발명은 경사영상의 외부표정요소를 보정하는 방법과, 외부표정요소가 보정된 경사영상의 경사사진에서 구조물의 3차원 정보(예; 면적, 높이, 체적, 길이, 위치 등)를 측정하는 방법에 관한 것으로서, 보다 상세하게는 지상기준국을 이용하여 항공기에 탑재된 GPS장비의 위치정보를 보정하고, 보정된 GPS장비의 위치정보와 지상의 기준점의 절대 위치정보를 이용하여 카메라의 보사이트 값을 추출하여 카메라의 자세정보를 보정하여 카메라가 촬영한 영상의 각 사진에 대한 외부표정요소를 정밀하게 보정하는 방법과, 이 보정된 사진의 외부표정요소를 바탕으로 구조물의 3차원 정보를 측정하는 방법에 관한 것이다.
지상을 촬영하고, 촬영된 영상으로부터 정상영상을 제작하거나 수치지도를 제작하거나 촬영한 영상의 구조물의 정보를 취득하기 위하여 항공기에 카메라, GPS(위성항법장치)장비, INS(관성항법장치)장비를 장착하고, 항공기로 지상 위를 비행하면서 지상을 카메라로 촬영하고, GPS장비와 INS장비를 이용하여 촬영하는 카메라의 위치정보와 자세정보를 동시에 취득하고 있다.
GPS장비와 INS장비는 카메라가 촬영하는 영상과 연동하여 위치정보와 자세정보를 제공함으로써, 널리 사용되는 공선조건식 등을 이용하여 우리는 카메라가 촬영한 영상과 연계된 각종 정보를 추출하고, 추출된 정보를 바탕으로 영상의 기하왜곡을 보정하거나, 정사영상이나 수치지도 등을 제작하고 있다.
그런데 GPS장비나 INS장비로부터 취득하는 정보는 오차를 갖고 있어, 이를 바탕으로 얻어지는 영상의 각종 데이터도 오차가 발생한다. 그래서 보다 정밀한 영상의 후속데이터(정사영상, 수치지도, 구조물의 3차원 정보, 기하보정 등)를 얻기 위한 여러 방안이 제시되고 있다.
그 중 하나가 등록특허 제0797391호 "카메라의 위치 및 자세 정보 보정 방법 및 장치"에 관한 것이다.
상기 등록특허는 항공기에 카메라, GPS장비, INS장비 이외에 스캐너를 장착하여, GPS장비가 취득하는 위치정보와 INS장비가 취득하는 자세정보의 정밀도를 높이고 있다. 상기 등록특허의 방법 이외에 지상에 이미 알고 있는 지상기준점의 절대 지상좌표를 이용하여 위치정보의 정밀도를 높이는 방법도 있고, 그 외에 다양한 방법이 개시되고 있다.
상기 등록특허는 스캐너를 이용하여 스캔라인 영상정보를 취득하고, 스캐너에서 스캔라인이 생기는 지상점까지의 거리와 방향을 계산하여 카메라의 위치정보 와 자세정보를 보정한다.
그런데 스캐너는 고가의 장비라는 경제적인 문제점과, 스캐너로부터 취득한 정보를 바탕으로 카메라의 위치정보와 자세정보를 보정하는 과정이 복잡해지는 문제가 있다.
그리고 스캐너를 이용하는 방법 이외에 다른 여러 방법들이 있는데, 대부분 과정이 복잡하거나 보정의 정밀도가 떨어진다.
그리고 카메라의 위치정보와 자세정보는 각각 GPS의 위치정보와 INS의 자세정보로부터 얻는 것이어서, 종래의 기술들은 GPS의 위치정보와 INS의 자세정보 자체의 정밀도를 높이는데 주력하고 있다. 다시 말해, 카메라의 위치정보는 GPS의 위치정보에서 카메라와 GPS의 장착 위치 차이를 가감하면 되고, 카메라의 자세정보는 INS의 자세정보에서 카메라와 INS의 장착 자세 차이를 가감하면 되는 것이어서, GPS의 위치정보와 INS의 자세정보는 곧 카메라의 위치정보와 자세정보가 되는 것이다.
여기서, GPS의 위치정보와 INS의 자세정보는 곧 카메라의 위치정보와 자세정보가 된다는 것은 카메라, GPS장비, INS장비의 항공기에의 장착 위치와 자세가 변하지 않는다는 조건이 부과된 상태에서 인정될 수 있는 것이다.
그런데, 항공기의 이착륙시 충격이나, 운항 중 와류나 엔진에 의한 항공기의 떨림 등의 영향으로 항공기에 장착되어 있는 카메라, GPS장비, INS장비의 항공기에의 장착 위치와 자세가 수시로 변한다.
장착 위치의 변화는 수 mm에서 수백 mm 정도이므로 카메라의 위치정보에 주는 영향은 무시할 수 있는 정도이나, 장착 자세의 변화는 미세하더라도 영상에 주는 영향이 크다.
항공기는 지상에서 수 km에서 수십 km 상공에서 지상을 촬영하게 되므로 카메라 자세의 미세한 차이는 촬영되는 영상에서는 커다란 차이를 발생시킨다.
그래서 항공기의 운행 중에 발생되는 카메라와 INS장비의 장착 자세 변화를 반영하여, 카메라의 자세정보를 보다 정밀하게 취득할 필요가 있다. 그런데, 종래기술에서는 INS장비의 자세정보 자체의 정밀도를 높이고자할 뿐이고, 카메라와 INS장비의 설치 자세 변화를 반영하지 않고 있다.
그리고 종래의 항공 카메라는 대부분 수직으로 지상을 촬영하고 있다. 그리하여 촬영되는 영상은 평면도와 같은 영상을 제공하므로 영상에 포함되어 있는 구조물의 면적, 높이, 체적, 길이, 명확한 외관 등과 같은 3차원 정보를 측정하는데 한계가 있다. 그래서 항공 카메라에서 촬영한 영상의 단일 사진으로부터 구조물의 3차원 정보를 보다 정밀하고 간편하게 취득할 수 있는 방법의 필요성이 제안되고 있다.
본 발명은 위와 같은 문제점의 해결과 필요성에 의해 안출된 발명으로서, 지 상기준국과 지상기준점을 이용하여 영상을 촬영하는 카메라의 위치정보와 자세정보를 보다 정밀하게 추출하고, 정밀하게 추출된 카메라의 위치정보와 자세정보를 이용하여 카메라가 촬영한 경사영상의 경사사진으로부터 구조물의 3차원정보를 간편하고 정확하게 취득할 수 있는 영상의 외부표정요소 보정방법 및 이를 이용한 경사영상의 경사사진에서 구조물의 3차원 정보를 측정하는 방법을 제공함을 목적으로 한다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법은
(S10) 촬영 대상 지역에 지상기준국을 설치하고, 항공기에 카메라, GPS장비, 및 INS장비 장착한 후, 비행을 하면서 이들로부터 각각 촬영 대상 지역에 대한 경사영상, 위치정보, 및 자세정보를 취득하는 단계;
(S20) 상기 (S10)단계에서 취득한 경사영상을 구성하는 경사사진 중에서 지상기준점이 둘 이상 포함된 경사사진 다수를 선정하고,(S21)
지상기준점의 절대 위치정보를 기준으로 상기 지상기준국이 취득하는 위치정보와 동기화하여 상기 GPS장비가 취득한 위치정보를 보정한 후에,(S23)
선정된 경사사진 각각에 대하여 상기 지상기준점의 절대 위치정보, 지상기준점의 경사사진에서의 사진좌표, 보정된 상기 GPS장비의 위치정보를 공선조건식에 적용하여 상기 카메라의 보사이트 값(INS장비의 좌표축과 카메라 좌표축의 불일치 정도를 나타내는 값)을 취득(S25)하는 단계;
(S30) 상기 지상기준국이 취득하는 위치정보와 동기화하여 보정된 상기 GPS장비의 위치정보와, 선정된 경사사진들에서 취득된 보사이트 값을 적용하여 보정된 카메라의 자세정보를 경사영상을 구성하는 경사사진 각각에 부여하는 외부표정요소 보정단계;를 포함하여 이루어지는 것을 특징으로 한다.
그리고 상기 (S21)단계에서 선정되는 경사사진들은 외곽경계가 상호 유사한 모양이며, 서로 겹치지 아니하고,
상기 (S25)단계의 공선조건식은 아래와 같고,
-아 래-
Figure 112009056158895-pat00001
Figure 112009056158895-pat00002
상기 (S30)단계에서 카메라의 자세정보 보정시 적용되는 보사이트 값에는 항공기에 장착시의 보사이트 값이 포함되는 것을 특징으로 한다.
그리고 상기 제1항 또는 제2항에 의해 외부표정요소가 보정된 경사영상의 경사사진에서 구조물의 3차원 정보(예; 위치, 면적, 높이, 체적 등)를 측정하는 방법 에 있어서,
상기 (S30)단계 이후에,
(S40) 상기 (S30)단계에서 취득한 외부표정요소가 보정된 경사사진을 이용하여 구조물의 3차원정보(예; 위치, 면적, 높이, 체적 등)를 측정하는 단계;를 더 포함하는 것을 특징으로 하고,
(S41) 경사사진의 구조물에서 면적을 측정하고자하는 영역을 연속된 직선들로 설정하여 설정된 영역에서 직선들이 서로 만나 형성하는 꼭지점들의 사진좌표를 추출하고,(S411)
공선조건식에 추출된 사진좌표들을 적용하되, 지상좌표 Z 값을 고정(즉, 상수화)하여 사진좌표들의 평면 지상좌표 (X,Y)를 추출하고,(S413)
추출된 꼭지점들의 평면 지상좌표를 아래의 면적공식에 적용하여 구조물의 면적을 측정(S415) 하는 단계;
-아 래-
Figure 112009056158895-pat00003
여기서, k는 꼭지점들의 연속된 순서이고, n은 (평면지상좌표의 수 - 2)
(S43) 경사사진의 구조물에서 높이를 측정하고자하는 두 점(최하점과 최상점)을 선택하여 사진좌표를 추출하고,(S431)
공선조건식에 추출된 두 점의 사진좌표를 적용하되, 두 점의 평면지상좌표는 동일한 것으로 가정하여 두 점의 지상좌표 Z 값을 구하여 높이를 측정(S433)하는 높이 측정단계;
(S45) 상기 (S41)단계에서 측정한 구조물의 면적과, 사기 (S43)단계에서 측정한 구조물의 높이로부터 구조물의 체적을 구하는 단계;를 포함하는 것을 특징으로 한다.
본 발명은 지상에 지상기준국을 설치하고, 절대 지상좌표를 알고 있는 지상기준점을 활용하는 것만으로 카메라의 위치정보와 자세정보 즉, 카메라의 외부표정요소를 보다 정밀하게 추출할 수 있고, 이를 바탕으로 얻어지는 영상에 촬영된 구조물의 3차원 정보를 보다 정확하게 그리고 간편하게 측정할 수 있는 발명으로서, 산업발전에 매우 유용한 발명이다.
이하에서는 도면을 참조하여 본 발명을 보다 구체적으로 설명한다.
도1은 본 발명에 따른 영상의 외부표정요소 보정방법 및 이를 이용한 경사영상에서 구조물의 3차원 정보를 측정하는 방법의 절차를 도시한 플로우 차트로서, 도면에서 보는 바와 같이,
경사 카메라, GPS장비, INS장비로부터 영상, 위치정보, 자세정보를 취득하는 단계와,(S10)
GPS장비의 위치정보를 보정하고, 카메라와 INS장비의 보사이트 값을 취득하는 단계와,(S20)
경사영상을 구성하는 경사사진 각각의 외부표정요소를 보정하는 단계와,(S30)
경사영상에서 구조물의 3차원 정보를 취득하는 단계(S40)를 포함하여 이루어진다.
상기 (S10)단계에서는 우선, 항공기에 카메라, GPS장비, INS장비를 장착하고, 촬영할 지역에 지상기준국을 설치한다.(S11)
본 발명은 최종적으로 구조물의 3차원 정보를 측정하고자 하므로, 카메라는 경사영상이 취득되도록 지상을 향해 경사방향으로 항공기에 장착된다. 참고로, 외부표정요소를 보정하는 방법에서는 수직영상이든 경사영상이든 상관이 없다.
카메라가 지상을 경사방향으로 촬영하고, 항공기 운행에도 흔들림 없이 영상이 획득도록 도2a에서 보는 바와 같이 거치대와 박스를 이용하여 카메라를 항공기에 장착하였다.
상기 거치대는 도2b에 도시된 바와 같이 항공기에 고정되는 받침대와, 받침대에 수직으로 연결된 기둥과, 기둥 상부에서 일정 각도로 경사지고 카메라가 설치된 박스가 장착되는 지지대로 구성된다. 지지대의 경사각은 INS장비의 기준좌표계(Object Frame)와의 회전량을 결정하는 초기자료로 활용된다. 본 발명에서는 지 지대의 경사각을 40도로 설정하여 경사영상을 취득한다.
항공기에 카메라, GPS장비, INS장비를 장착(S11)한 후에는 카메라와 GPS장비 및 INS장비의 장착 위치와 자세의 차이(즉, 이격거리와 초기 보사이트)를 측정(S13)하여, GPS장비의 위치정보를 카메라의 위치정보로 활용하고, INS장비의 자세정보를 카메라의 자세정보로 활용할 수 있도록 한다.
도2b와 같이 카메라의 경사각을 40도로 한 경우에 INS장비의 기준좌표계(Object Frame)와 카메라 설치 방향별(북, 동, 남, 서) 경사에 따른 회전량은 경사각도와 카메라 방향별 X축과 Y축에 회전량(
Figure 112009056158895-pat00004
)에 영향을 미치며, 그 값은 도3a와 같다. 그리고 카메라 설치 방향에 따른 기준좌표계와 카메라 위치의 회전량은 Z축 회전에 영향을 미치며, 그 값은 도3b와 같다. 따라서 기준좌표계(Object Frame)의 XYZ축과 경사카메라의 기하구조는 아래 표과 같이 정리된다.
회전량 카메라 방향 Omega(X축) Phi(Y축) Kappa(Z축)
카메라(북쪽) +50도 0도 +180도
카메라(동쪽) 0도 +50 도 +90도
카메라(남쪽) - 50도 0도 0도
카메라(서쪽) 0도 - 50도 - 90도
그리고 카메라의 위치정보 획득을 위하여 카메라와 GPS장비 및 INS장비의 이격거리를 측정한다. 즉, 경사카메라의 위치와 INS장비의 IMU간의 거리와 GPS장비와 IMU간의 거리를 측정한다. 그리고 정밀 측정을 위해 토탈스테이션(Total-Station) 이라는 측량장비를 활용하여 카메라와 GPS장비 및 INS장비의 X, Y, Z 축간의 거리를 측정한다.
이렇게 측정한 이격거리는 경사카메라의 정밀위치를 결정시 주요한 자료로 이용된다. 아래 수식은 항공기의 GPS장비에서 나온 3차원 위치에 이격거리를 보정함으로써 경사카메라의 정밀한 위치를 보정하는 수식이다.
Figure 112009056158895-pat00005
그리고 지상기준국은 촬영 대상 지역의 중심에 설치하는 것이 바람직하고, 절대 지상좌표를 알고 있는 국가기준점 등에 설치한다. 지상기준국으로는 국토지리정보원에 설치한 GPS상시관측소가 활용될 수 있다. 지상기준국에는 GPS장비가 구비되어 지상좌표를 획득하고, 획득된 지상좌표와 지상기준국의 절대 지상좌표를 비교하여 오차를 추출할 수 있다. 그리고 지상기준국의 GPS장비와 항공기의 GPS장비를 동기화시키고, 지상기준국 GPS장비의 오차를 활용하여 항공기의 GPS장비가 획득하는 위치정보의 정밀하게 보정한다.
항공기에 카메라, GPS장비, INS장비를 장착하고, 이들의 위치와 자세 관계를 측정한 후에는 대상지역을 촬영하면서 영상과, 위치정보, 자세정보를 취득한다.(S15)
촬영 비행시 고려해야 할 주요한 사항은 시정이 양호하고, 구름의 그림자가 사진에 나타나지 않은 맑은 날씨 및 촬영고도 및 비행속도가 가급적 일정해야 한다.
상기 (S20)단계에서는 GPS장비와 INS장비로부터 얻어지는 카메라의 위치정보와 자세정보를 보정한다.
전술한 바와 같이 지상 촬영 중 항공기의 흔들림 등에 의해 카메라와 GPS장비의 위치 변화는 미세하여 카메라의 정밀한 위치정보 획득에 무시 가능한 정도이다. 따라서 카메라의 위치정보 보정은 곧 항공기에 장착된 GPS장비가 획득하는 부정확한 위치정보의 보정이다.(S23)
카메라의 위치정보 보정, 즉, GPS장비의 위치정보 보정은 지상기준국이 취득하는 위치정보와 동기화하여 보정된다. 이때 지상기준국이 획득하는 지상좌표의 오차가 활용되고, 지상에서 절대 지상좌표를 알고 있는 지상기준점들과 항공기의 GPS장비 간의 위치 관계를 3각 측량기법의 일종인 DGPS원리를 이용하여 계산한다. 상기 카메라의 위치정보 보정은 영상을 촬영하면서 실시간으로 할 수도 있고, 영상을 촬영한 후에 사후적으로 할 수도 있다. 다만, 카메라의 자세정보 즉, 카메라의 보 사이트 값 취득 전에 위치정보가 보정되어야 한다.
보사이트(Boresight)란 경사카메라와 INS장비를 설치시 카메라 좌표축과 INS 좌표축간의 불일치가 발생되는데, 이러한 카메라와 INS의 좌표축간의 불일치 정도(즉, 두 좌표축간의 회전량 차이)를 말한다.
전술한 바와 같이 카메라 자세정보의 미세한 오차는 영상에 큰 영향을 주고, 카메라 자세정보에 직접 관련된 이러한 보사이트 값은 정확하게 측정되어 반영되지 못하면 3차원 공간정보 및 구조물에 다양한 측정 정확도에 영향을 미치게 된다. 따라서 보사이트 값은 처음 장비를 장착한 직후에 정확히 측정되어야할 뿐만 아니라 영상 촬영 중에 일정한 주기로 측정되어 카메라의 자세정보에 반영되어야 한다.
보사이트 값을 추출하기 위해 우선 카메라가 촬영한 영상을 구성하는 사진 중에서 지상기준점이 둘 이상 포함된 사진을 선정한다.(S21)
도4는 사진 선정 기준을 설명하기 위한 것으로서, 선정되는 사진들은 상호 외곽경계가 일정한 모양의 것들을 선정하고, 가급적 상호 겹치지 않는 사진을 선정하고, 최소 2점 이상의 지상기준점이 포함된 사진을 선정한다. 그리고 사진은 3장 이상 선정하는 것이 바람직하다.
사진을 선정(S21)한 후에는 공선조건식을 이용하여 각 사진의 보사이트 값을 추출한다.(S25)
사진의 사진좌표()와 지상의 지상좌표()의 관계를 나타내는 공선조건식은 아래와 같다.
-아 래-
Figure 112009056158895-pat00006
여기서, (
Figure 112009056158895-pat00007
)는 주점보정량(카메라 렌즈의 중심과 사진 중심의 불일치를 보정하는 값), f는 초점거리, (
Figure 112009056158895-pat00008
)는 투영중심좌표,
Figure 112009056158895-pat00009
는 축적계수,
Figure 112009056158895-pat00010
는 회전행렬이다.
위의 공선조건식에서 투영중심좌표(
Figure 112009056158895-pat00011
)는 GPS장비와 INS장비로부터 처리되기 때문에, 미지수 항목은 회전량(
Figure 112009056158895-pat00012
)만 존재한다. 따라서 위 수식을 정리하면 다음과 같이 간략히 표현이 가능하다.
Figure 112009056158895-pat00013
Figure 112009056158895-pat00014
여기서
Figure 112009056158895-pat00015
,
Figure 112009056158895-pat00016
,
Figure 112009056158895-pat00017
,
Figure 112009056158895-pat00018
,
Figure 112009056158895-pat00019
Figure 112009056158895-pat00020
을 나타낸다.
위 수식은 비선형식으로 테일러급수에 의해 선형식으로 표현하면 아래와 같다. 이 수식은 변형된 공선조건식이다.
Figure 112009056158895-pat00021
Figure 112009056158895-pat00022
여기서,
Figure 112009056158895-pat00023
는 초기치에 대한 값,
Figure 112009056158895-pat00024
는 초기치에 대한 편미분값,
Figure 112009056158895-pat00025
는 카메라의 자세정보(즉, 3축의 회전량)의 변화량을 나타낸다.
위와 같은 공선조건식에, 절대 지상좌표를 알고 있는 지상기준점의 지상좌 표(X,Y,Z)와, 지상기준점의 사진에서의 사진좌표(x,y), 그리고 (S11)단계에서 취득한 GPS/INS장비의 보정된 위치정보로부터 얻어지는 투영중심좌표(
Figure 112009056158895-pat00026
)를 [변형 공선조건식]에 대입하고, 최소제곱법을 이용하면 카메라의 자세정보(즉, 카메라 3축의 회전량(ω,φ,κ))가 얻어진다. 이때 지상기준점은 최소 2점 이상 사용하여야 한다.
여기서 얻어진 카메라의 자세정보와 GPS/INS장비의 자세정보를 비교하면, GPS/INS장비의 좌표축에 대한 카메라 좌표축의 상대적인 회전량, 즉, 보사이트 값을 구할 수 있다.
그리고 각 사진에서 구한 보사이트 값을 초기의 보사이트 값(항공기에 장착한 직후의 보사이트 값)과 비교하면, 항공기의 이착륙시의 충격과 비행 도중 흔들림 등에 의해 카메라의 자세가 변한 정도를 INS장비의 자세에 대한 상대적인 자세 변화 값으로 얻을 수 있다. 카메라와 INS장비의 자세 변화가 아예 없었다면, 초기의 보사이트 값과 각 사진에서 구한 보사이트 값은 일치할 것이다.
이와 같이 보사이트 값을 구한(S25) 후에는 보정된 GPS장비의 위치정보와, 취득한 보사이트 값을 적용하여 보정된 카메라의 자세정보를 영상을 구성하는 사진 각각에 부여한다.(S30) 즉, 영상의 외부표정요소를 보정한다.
이때 취득한 보사이트 값을 적용하는 방법은 여러 가지 있을 수 있다.
예를 들어, 선정한 각 사진에서 취득한 보사이트 값과 초기의 보사이트 값의 평균을 구하고, 구한 보사이트 값의 평균을 영상 전체 사진의의 보사이트 값으로 취급하는 방법이 있을 수 있고,
선정된 사진 전후에 배치되는 사진들을 선정된 사진의 보사이트 값으로 취급하는 방법이 있을 수 있다. 이때에는 영상의 사진1, 선정사진1, 선정사진2, 사진n의 순서로 배열된다고 할 때, 사진1과 선정사진1의 중간에 위치되는 사진들은 보사이트 값을 초기 보사이트 값으로 적용하고, 사진1과 선정사진1이 중간부터 선정사진1과 선정사진2의 중간까지 위치한 사진들은 선정사진1에서 취득한 보사이트 값을 적용하고, 선정사진1과 선정사진2의 중간에서 사진n까지 위치한 사진들은 선정사진2에서 취득한 보사이트 값을 적용하는 것이다.
이외에도 선정사진들 사이에 위치하는 사진들의 보사이트 값은 점진적으로 변화되는 것으로 취급하는 방법도 있다. 즉, 선정사진1의 보사이트 값을 선정사진2의 보사이트 값에 일치되도록 점진적으로 변화시키고 점진적으로 변화되는 보사이트 값을 이들 사이에 위치한 사진들의 보사이트 값으로 적용하는 것이다.
이상의 과정을 통해서 카메라가 촬영한 영상의 외부표정요소는 정밀하게 보정되었다.
이후에는 외부표정요소가 정밀하게 보정된 영상의 사진에서 구조물의 3차원 정보를 측정한다.(S40)
구조물의 3차원 정보란 구조물의 위치, 면적, 높이, 체적, 길이 등을 의미한다.
구조물의 3차원 정보를 정밀하게 측정하기 위해서는 구조물이 경사진 방향에서 촬영되어야 한다. 즉, 수직사진에서는 평면도와 유사하게 구조물의 상부면 위주로 촬영되므로 구조물의 3차원 정보를 측정하기 어렵다. 따라서 구조물을 경사방향에서 촬영하여 구조물의 측면도 표시되는 경사사진에서 구조물의 3차원 정보를 측정한다.
우선, 경사사진에서 구조물의 3차원 정보를 측정하기 위해, 이전 단계에서 외부표정요소가 보정된 경사사진과 지상좌표간의 관계를 정립한다. 그 관계식은 아래와 같다. 이 관계식은 단순화하면 공선조건식이 된다.
-아 래-
Figure 112009056158895-pat00027
여기서, x,y: 사진좌표,
Figure 112009056158895-pat00028
: 주점보정량, f: 초점거리,
Figure 112009056158895-pat00029
: 축척계수
Figure 112009056158895-pat00030
: 기준좌표계와 INS의 회전량(즉, 자세),
Figure 112009056158895-pat00031
: 보사이트 회전량, X,Y,Z: 지상좌표,
Figure 112009056158895-pat00032
: GPS장비의 위치정보,
Figure 112009056158895-pat00033
: GPS장비의 GCP안테나와 INS장 비 간의 거리,
Figure 112009056158895-pat00034
: INS장비와 카메라 렌즈와의 거리를 나타낸다.
위의 수식을 이용하면, 경사 사진의 구조물에서 3차원 정보 측정에 필요한 지점들의 지상좌표(X,Y,Z)를 구할 수 있고, 구한 지상좌표들로부터 구조물의 각종 3차원 정보를 구할 수 있다.
그러나 이 방식은 구조물의 지점들에 대한 지상좌표를 구하고 난후에 필요한 3차원 정보를 구하는 방식이므로, 3차원 정보를 측정하는 과정이 많아지고, 경사사진에서 필요한 지점들을 정확하게 선택하는 것이 쉽지 않으므로, 본 발명에서는 면적공식을 이용하여 구조물의 면적을 구하고, 공선조건식에서 구조물의 높이를 직접 구하고, 구하여진 면적과 높이를 이용하여 구조물의 체적을 구하는 방안을 제시한다.
(S41)단계에서는 공선조건식과 면적공식을 이용하여 구조물의 면적을 구한다.
구조물의 면적은 2차원 평면의 면적으로서, 구조물의 높이는 관계가 없다. 즉, 지상좌표X,Y,Z에서 Z는 고정된 값(즉, 상수)으로 취급한다.
그러면 위의 관계식인 공선조건식은 아래와 같이 정리된다.
-아 래-
Figure 112009056158895-pat00035
Figure 112009056158895-pat00036
구조물의 면적을 구하기 위해 경사사진의 구조물에서 영역을 설정한다. 영역의 설정은 도5에서 보는 바와 같이 연속된 선들로 설정한다. 그리고 설정된 영역에서 직선들이 만나는 꼭지점의 사진좌표를 추출한다. 그리고 추출된 사진좌표를 위의 수식에 대입하면 꼭지점들의 평면 지상좌표(X,Y)가 추출된다.
그리고 추출된 꼭지점들의 평면 지상좌표 (
Figure 112009056158895-pat00037
)를 아래의 면적공식에 대입하면 구조물의 면적이 측정된다.
-아 래-
Figure 112009056158895-pat00038
여기서, k는 꼭지점들의 순번이고, n은 꼭지점의 총갯수에서 2를 뺀 값이다.
도6은 위의 면적공식이 도출되는 과정을 설명하기 위한 도면이다.
도6에서 각 꼭지점에서 Y축에 내린 수선을
Figure 112009056158895-pat00039
,
Figure 112009056158895-pat00040
,
Figure 112009056158895-pat00041
,
Figure 112009056158895-pat00042
라고 하면, 면적 A는 아래와 같이 계산될 수 있다.
A =(사다리꼴
Figure 112009056158895-pat00043
)+(사다리꼴
Figure 112009056158895-pat00044
)-(사다리꼴
Figure 112009056158895-pat00045
)-(사다리꼴
Figure 112009056158895-pat00046
)
이때, 각 사다리꼴의 면적은 다음과 같고,
이들 사다리꼴들의 면적의 합은 아래와 같이 된다.
Figure 112009056158895-pat00048
(S43)단계에서는 위의 관계식(즉, 공선조건식)을 이용하여 건물의 높이를 측정한다.
우선, 사진의 구조물에서 높이를 측정하고자하는 구조물의 최하점과 최상점을 선택하여 이 두 점의 사진좌표를 추출한다. 이때 구조물의 높이에서는 평면지상좌표(X,Y)는 필요가 없으므로 최하점과 최상점의 평면지상좌표는 동일하게 취급한다. 따라서 선택되는 최하점과 최상점은 실제로 평면좌표가 동일할 지점이 선택되어야 할 필요는 없다.
평면지상좌표를 동일하게 취급하면 공선조건식은 아래와 같이 정리될 수 있다.
-아 래-
Figure 112009056158895-pat00049
Figure 112009056158895-pat00050
위의 수식에서는 사진좌표 만이 변수이므로, 선택하여 추출한 최하점과 최상점의 사진좌표를 위의 수식에 적용하면 최상점과 최하점의 고도(
Figure 112009056158895-pat00051
)가 얻어진다. 따라서 최종적인 구조물의 높이는
Figure 112009056158895-pat00052
로 산출된다.
(S45)단계에서는 (S41)단계와 (S43)단계에서 측정한 구조물의 면적과 높이를 곱하여 구조물의 체적을 측정한다.
즉,
Figure 112009056158895-pat00053
(여기서,
Figure 112009056158895-pat00054
: 구조물의 체적, A: 면적,
Figure 112009056158895-pat00055
: 구조물의 높이)와 같이 구조물의 체적이 계산된다.
이상에서 본 특허를 설명함에 있어 첨부된 도면을 참조하여 특정 절차로 이루어진 영상의 외부표정요소 보정방법 및 이를 이용한 경사영상의 경사사진에서 구조물의 3차원 정보를 측정하는 방법에 대해 설명하였으나 본 특허는 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 특허의 보호범위에 속하는 것으로 해석되어야 한다.
도 1 은 본 발명에 따른 영상의 외부표정요소 보정방법 및 이를 이용한 경사영상의 경사사진에서 구조물의 3차원 정보를 측정하는 방법의 절차 흐름도.
도 2a,b 는 본 발명에 사용된 거치대와 거치대의 경사각을 도시한 도면.
도 3a,b 는 경사카메라를 사용시 설치방향별 각축에서의 회전량을 설명하기 위한 도면.
도 4 는 영상에서 사진을 선정하는 기준을 설명하기 위한 도면.
도 5 는 경사사진에서 구조물의 면적과 높이를 구하는 방법을 설명하기 위한 사진.
도 6 은 면적공식이 도출되는 과정을 설명하기 위한 도면.

Claims (4)

  1. (S10) 촬영 대상 지역에 지상기준국을 설치하고, 항공기에 카메라, GPS장비, 및 INS장비 장착한 후, 비행을 하면서 이들로부터 각각 촬영 대상 지역에 대한 경사영상, 위치정보, 및 자세정보를 취득하는 단계;
    (S20) 상기 (S10)단계에서 취득한 경사영상을 구성하는 경사사진 중에서 지상기준점이 둘 이상 포함된 경사사진 다수를 선정하고,(S21)
    지상기준점의 절대 위치정보를 기준으로 상기 지상기준국이 취득하는 위치정보와 동기화하여 상기 GPS장비가 취득한 위치정보를 보정한 후에,(S23)
    선정된 경사사진 각각에 대하여 상기 지상기준점의 절대 위치정보, 지상기준점의 경사사진에서의 사진좌표, 보정된 상기 GPS장비의 위치정보를 공선조건식에 적용하여 상기 카메라의 보사이트 값(INS장비의 좌표축과 카메라 좌표축의 불일치 정도를 나타내는 값)을 취득(S25)하는 단계;
    (S30) 상기 지상기준국이 취득하는 위치정보와 동기화하여 보정된 상기 GPS장비의 위치정보와, 선정된 경사사진들에서 취득된 보사이트 값을 적용하여 보정된 카메라의 자세정보를 경사영상을 구성하는 경사사진 각각에 부여하는 외부표정요소 보정단계;를 포함하여 이루어지는 경사영상의 외부표정요소 보정방법.
  2. 제 1 항에 있어서,
    상기 (S21)단계에서 선정되는 경사사진들은 외곽경계가 상호 유사한 모양이며, 서로 겹치지 아니하고,
    상기 (S25)단계의 공선조건식은 아래와 같고,
    -아 래-
    Figure 112010008082340-pat00056
    Figure 112010008082340-pat00057
    (여기서,
    Figure 112010008082340-pat00067
    는 초기치에 대한 값,
    Figure 112010008082340-pat00068
    는 초기치에 대한 편미분값,
    Figure 112010008082340-pat00069
    는 카메라의 자세정보(즉, 3축의 회전량)의 변화량을 나타낸다.)
    상기 (S30)단계에서 카메라의 자세정보 보정시 적용되는 보사이트 값에는 항공기에 장착시의 보사이트 값이 포함되는 것을 특징으로 하는 경사영상의 외부표정요소 보정방법.
  3. 외부표정요소가 보정된 경사영상의 경사사진에서 구조물의 3차원 정보(예; 위치, 면적, 높이, 체적)를 측정하는 방법에 있어서,
    (S10) 촬영 대상 지역에 지상기준국을 설치하고, 항공기에 카메라, GPS장비, 및 INS장비 장착한 후, 비행을 하면서 이들로부터 각각 촬영 대상 지역에 대한 경사영상, 위치정보, 및 자세정보를 취득하는 단계;
    (S20) 상기 (S10)단계에서 취득한 경사영상을 구성하는 경사사진 중에서 지상기준점이 둘 이상 포함된 경사사진 다수를 선정하고,(S21)
    지상기준점의 절대 위치정보를 기준으로 상기 지상기준국이 취득하는 위치정보와 동기화하여 상기 GPS장비가 취득한 위치정보를 보정한 후에,(S23)
    선정된 경사사진 각각에 대하여 상기 지상기준점의 절대 위치정보, 지상기준점의 경사사진에서의 사진좌표, 보정된 상기 GPS장비의 위치정보를 공선조건식에 적용하여 상기 카메라의 보사이트 값(INS장비의 좌표축과 카메라 좌표축의 불일치 정도를 나타내는 값)을 취득(S25)하는 단계;
    (S30) 상기 지상기준국이 취득하는 위치정보와 동기화하여 보정된 상기 GPS장비의 위치정보와, 선정된 경사사진들에서 취득된 보사이트 값을 적용하여 보정된 카메라의 자세정보를 경사영상을 구성하는 경사사진 각각에 부여하는 외부표정요소 보정단계;
    (S40) 상기 (S30)단계에서 취득한 외부표정요소가 보정된 경사사진을 이용하여 구조물의 3차원정보(예; 위치, 면적, 높이, 체적 등)를 측정하는 단계;를 더 포함하는 것을 특징으로 하는 외부표정이 보정된 경사영상을 이용하여 구조물의 3차원 정보를 측정하는 방법.
  4. 제 3 항에 있어서, 상기 (S40)단계는
    (S41) 경사사진의 구조물에서 면적을 측정하고자하는 영역을 연속된 직선들로 설정하여 설정된 영역에서 직선들이 서로 만나 형성하는 꼭지점들의 사진좌표를 추출하고,(S411)
    공선조건식에 추출된 사진좌표들을 적용하되, 지상좌표 Z 값을 고정(즉, 상수화)하여 사진좌표들의 평면 지상좌표 (X,Y)를 추출하고,(S413)
    추출된 꼭지점들의 평면 지상좌표를 아래의 면적공식에 적용하여 구조물의 면적을 측정(S415) 하는 단계;
    -아 래-
    Figure 112010008082340-pat00070
    (여기서, A는 면적, X와 Y는 꼭지점들의 지상좌표, k는 꼭지점들의 연속된 순서이고, n은 (평면지상좌표의 수 - 2)이다.)
    (S43) 경사사진의 구조물에서 높이를 측정하고자하는 두 점(최하점과 최상점)을 선택하여 사진좌표를 추출하고,(S431)
    공선조건식에 추출된 두 점의 사진좌표를 적용하되, 두 점의 평면지상좌표는 동일한 것으로 가정하여 두 점의 지상좌표 Z 값을 구하여 높이를 측정(S433)하는 높이 측정단계;
    (S45) 상기 (S41)단계에서 측정한 구조물의 면적과, 사기 (S43)단계에서 측정한 구조물의 높이로부터 구조물의 체적을 구하는 단계;를 포함하는 것을 특징으로 하는 외부표정이 보정된 경사영상을 이용하여 구조물의 3차원 정보를 측정하는 방법.
KR1020090086082A 2009-09-11 2009-09-11 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법 KR100952136B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090086082A KR100952136B1 (ko) 2009-09-11 2009-09-11 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090086082A KR100952136B1 (ko) 2009-09-11 2009-09-11 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법

Publications (1)

Publication Number Publication Date
KR100952136B1 true KR100952136B1 (ko) 2010-04-09

Family

ID=42219737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090086082A KR100952136B1 (ko) 2009-09-11 2009-09-11 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법

Country Status (1)

Country Link
KR (1) KR100952136B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101008395B1 (ko) 2010-10-12 2011-01-14 (주)동광지엔티 정표고 보정점 검출 장치
KR101345554B1 (ko) 2013-10-18 2014-01-02 중앙항업(주) 지상기준점측량과 gps/ins가 연계된 고해상 선형방식 디지털 다중 밴드 영상을 gis와 수치지도와 3차원국토공간정보로 구축하기위해 면형방식영상으로 재배열하는 방법
CN108007395A (zh) * 2017-10-17 2018-05-08 天津飞眼无人机科技有限公司 一种基于无人机的土地面积测量系统
KR101863188B1 (ko) * 2017-10-26 2018-06-01 (주)아세아항측 3차원 문화재 모델 구축 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004170429A (ja) 2003-12-01 2004-06-17 Asahi Koyo Kk 3次元情報生成システム及び方法
KR100571120B1 (ko) 2005-09-29 2006-04-13 한진정보통신(주) 레이저 장치를 이용한 3차원 측위 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004170429A (ja) 2003-12-01 2004-06-17 Asahi Koyo Kk 3次元情報生成システム及び方法
KR100571120B1 (ko) 2005-09-29 2006-04-13 한진정보통신(주) 레이저 장치를 이용한 3차원 측위 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101008395B1 (ko) 2010-10-12 2011-01-14 (주)동광지엔티 정표고 보정점 검출 장치
KR101345554B1 (ko) 2013-10-18 2014-01-02 중앙항업(주) 지상기준점측량과 gps/ins가 연계된 고해상 선형방식 디지털 다중 밴드 영상을 gis와 수치지도와 3차원국토공간정보로 구축하기위해 면형방식영상으로 재배열하는 방법
CN108007395A (zh) * 2017-10-17 2018-05-08 天津飞眼无人机科技有限公司 一种基于无人机的土地面积测量系统
KR101863188B1 (ko) * 2017-10-26 2018-06-01 (주)아세아항측 3차원 문화재 모델 구축 방법

Similar Documents

Publication Publication Date Title
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
EP2247094B1 (en) Orthophotographic image creating method and imaging device
US7800645B2 (en) Image display method and image display apparatus
JP6674822B2 (ja) 点群データ生成用画像の撮影方法、及び当該画像を用いた点群データ生成方法
JP5134784B2 (ja) 空中写真測量方法
Cramer et al. Ultra-high precision UAV-based LiDAR and dense image matching
Gruen et al. Sensor modeling for aerial mobile mapping with Three-Line-Scanner (TLS) imagery
KR100952136B1 (ko) 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법
JP3808833B2 (ja) 空中写真測量方法
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
Gruen et al. Sensor modeling for aerial triangulation with three-line-scanner (TLS) imagery
CN108955642B (zh) 一种大幅面等效中心投影影像无缝拼接方法
KR101124437B1 (ko) Gps/ins 및 항공경사영상 자료를 활용한 다방향 항공경사영상의 모자이크영상 제작방법
Eugster et al. Integrated georeferencing of stereo image sequences captured with a stereovision mobile mapping system–approaches and practical results
KR101346206B1 (ko) 정사영상의 정밀 처리를 위한 gps 기반 항공측량시스템
KR100956446B1 (ko) 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법
KR101124438B1 (ko) 항공영상과 gps모듈이 탑재된 스마트폰과 통신모듈을 이용한 화재지역의 수치지형도와 정사영상 및 다방향 항공경사영상 제공 시스템
Jacobsen Combined bundle block adjustment versus direct sensor orientation
JP2013061204A (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
Cannelle et al. Off-line vs. on-line calibration of a panoramic-based mobile mapping system
KR100745105B1 (ko) 촬영 영상 표시 방법 및 촬영 영상 표시 장치
Chio VBS RTK GPS-assisted self-calibration bundle adjustment for aerial triangulation of fixed-wing UAS images for updating topographic maps
Jacobsen Potential and limitation of direct sensor orientation
Leonardo Filho et al. Geometric calibration of an aerial multihead camera system for direct georeferencing applications
CN103426152A (zh) 一种改善影像测图质量的方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140403

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 10