KR100956446B1 - 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법 - Google Patents

디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법 Download PDF

Info

Publication number
KR100956446B1
KR100956446B1 KR1020090086083A KR20090086083A KR100956446B1 KR 100956446 B1 KR100956446 B1 KR 100956446B1 KR 1020090086083 A KR1020090086083 A KR 1020090086083A KR 20090086083 A KR20090086083 A KR 20090086083A KR 100956446 B1 KR100956446 B1 KR 100956446B1
Authority
KR
South Korea
Prior art keywords
aerial
appearance
image
camera
aircraft
Prior art date
Application number
KR1020090086083A
Other languages
English (en)
Inventor
신동준
김상성
김상봉
이기욱
고종식
Original Assignee
중앙항업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙항업(주) filed Critical 중앙항업(주)
Priority to KR1020090086083A priority Critical patent/KR100956446B1/ko
Application granted granted Critical
Publication of KR100956446B1 publication Critical patent/KR100956446B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

본 발명은 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법에 관한 것으로서, 보다 상세하게는 일정 중복도를 갖는 디지털 항공영상의 항공사진들 중에서 3차원 객체(즉, 대상물)의 외관이 온전하게 포함된 항공사진들을 수집하고, 수집된 항공사진들 중에서 외관 텍스쳐링(객체 가시화)에 가장 적합한 영상을 선택한 후에 해당 외관의 텍스쳐를 자동으로 추출하는 방법에 관한 것이다.
본 발명의 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법은 (S10) 항공기에 탑재된 디지털항공카메라와 GPS/INS장비부터 디지털 항공영상과 항공기의 위치정보 및 자세정보를 취득하는 단계; (S20) 텍스쳐링 대상물의 외관정보를 추출하는 외관정보를 추출하는 단계; (S30) 상기 (S20)단계에서 추출된 외관정보와 공선조건식을 이용하여 항공영상에서 외관이 촬영된 항공사진들을 수집하는 단계; (S40) 상기 (S30)단계에서 수집된 항공사진들 중에서 [스코어 모델]에 따른 스코어 값(-1<score<1)이 최상(最上)인 항공사진을 선택하는 단계; (S50) 상기 (S40)단계에서 선택된 항공시진에서 대상물 외관의 텍스쳐를 추출하는 단계;를 포함하여 이루어진다.
디지털, 항공영상, 위치정보, 자세정보, 3차원 객체, 외관, 텍스쳐, 스코어

Description

디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법{METHOD FOR AUTOMATIC EXTRACTION OF OPTIMAL 3D-OBJECT FACADE TEXTURE USING DIGITAL AERIAL IMAGES}
본 발명은 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법에 관한 것으로서, 보다 상세하게는 일정 중복도를 갖는 디지털 항공영상의 항공사진들 중에서 3차원 객체(즉, 대상물)의 외관이 온전하게 포함된 항공사진들을 수집하고, 수집된 항공사진들 중에서 외관 텍스쳐링(객체 가시화)에 가장 적합한 영상을 선택한 후에 해당 외관의 텍스쳐를 자동으로 추출하는 방법에 관한 것이다.
텍스쳐링이라 함은 3차원 객체, 즉, 대상물의 외관(표면)에 실사영상(실사사진)을 입히는 것이다.
종래의 3차원 객체, 즉, 대상물의 외관 텍스쳐링 방법은 다음과 같다. 3차원 객체가 생성되면 해당 객체의 외관에 대한 실물사진(텍스쳐)을 얻기 위하여, 현장에서 디지털카메라 등을 이용하여 직접 사진을 촬영하고, 촬영된 객체의 외관을 생 성된 3차원 객체에 입히는 방식이다.
그리고 촬영된 실물사진과 객체는 기하학적 관계가 성립하지 않으므로 수동으로 실물사진을 편집하여 외관의 텍스쳐를 수행한다. 이는 과다한 현장업무와 사진의 편집작업 등으로 인한 비용이 발생하고, 항공영상에 비해 외관 텍스쳐가 부자연스럽고 작업시간이 오래 걸린다는 단점이 있다.
현장에서 촬영한 실물사진과 3차원 객체의 기하학적 관계가 성립하지 않는 것은 현장에서의 촬영은 촬영거리에 한계가 있어 촬영한 실물사진에 원근감이 나타나기 때문이다. 그리고 현장에서는 건물 상부면의 촬영이 곤란하고, 촬영이 가능하더라도 정면으로 촬영하기 쉽지 않다.
그래서 항공영상에서 객체의 외관 텍스쳐를 추출하는 방법이 제안되고 있다.
본 발명은 상기와 같이 현장 실물사진을 이용하여 3차원 객체의 외관 텍스쳐를 추출함에 따른 문제점을 해결하기 위하여 항공사진에서 외관 텍스쳐를 추출하여, 추출된 외관 텍스쳐와 3차원 객체의 기하학적 관계의 불일치를 최소화하고, 일정 중복도를 가지며 연속하여 촬영되는 항공영상의 항공사진들 중에서 외관이 온연하게 포함된 항공사진을 자동으로 수집하고, 수집된 항공사진 중에서 외관이 최적으로 표현된 항공사진을 자동으로 선택한 후에, 선택된 영상사진으로부터 외관 텍스쳐를 자동으로 추출하는 방법으로 구성된 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법을 제공함을 목적으로 한다.
또한, 지상기준국과 지상기준점을 이용하여 항공기의 위치정보를 보정하고, 보사이트 값을 추출하여 항공기의 자세정보를 보정하여 보다 정밀하게 항공사진이 수집, 선택될 수 있도록 한 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법을 제공함을 목적으로 한다.
이와 같은 목적을 달성하기 위한 본 발명의 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법은
(S10) 항공기에 탑재된 디지털항공카메라와 GPS/INS장비부터 디지털 항공영상과 항공기의 위치정보 및 자세정보를 취득하는 단계;
(S20) 텍스쳐링 대상물의 외관정보를 추출하는 외관정보를 추출하는 단계;
(S30) 상기 (S20)단계에서 추출된 외관정보와 공선조건식을 이용하여 항공영상에서 외관이 촬영된 항공사진들을 수집하는 단계;
(S40) 상기 (S30)단계에서 수집된 항공사진들 중에서 [스코어 모델]에 따른 스코어 값(-1<score<1)이 최상(最上)인 항공사진을 선택하는 단계;
(S50) 상기 (S40)단계에서 선택된 항공시진에서 대상물 외관의 텍스쳐를 추출하는 단계;를 포함하여 이루어진다.
그리고 상기 (S40)단계에 적용되는 [스코어 모델]은 아래 수식으로 표현되는 것을 특징으로 하고,
[스코어 모델] :
Figure 112010008092835-pat00134
여기서,
Figure 112009056158930-pat00002
는 외관의 면적비로, 해당 영상에서 외관이 묘사될 수 있는 가장 큰 면적 대비 실제 묘사된 면적을 의미하고,
Figure 112009056158930-pat00003
는 주벡터(Principal Vector)로서, 카메라 노출중심으로부터 영상의 주점(Principal Point)을 연결한 벡터로 촬영 당시 카메라가 지표면을 향하는 방향을 의미하고,
Figure 112009056158930-pat00004
,
Figure 112009056158930-pat00005
는 상응벡터(Correspondence Vector)로서, 카메라 노출중심과 외관(
Figure 112009056158930-pat00006
)의 중심을 연결한 벡터로, 외관의 중심에서 카메라의 노출중심을 향하는 외관상응벡터(
Figure 112009056158930-pat00007
)와 카메라 노출중심에서 외관의 중심을 향하는 영상상응벡터(
Figure 112009056158930-pat00008
)로 구성되고, 이 두 벡터는 동일선상에 존재하며 방향이 서로 반대이고,
Figure 112010008092835-pat00135
: 외관
Figure 112010008092835-pat00010
의 법선벡터와 외관상응벡터의 내적,
Figure 112010008092835-pat00136
: 영상의 주벡터와 영상상응벡터의 내적이다.
그리고 상기 대상물의 외관정보는 대상물 꼭지점(vertex)들의 3차원 지상좌표와, 꼭지점들이 형성하는 외관평면의 중심좌표
Figure 112009056158930-pat00012
및 법선벡터(
Figure 112009056158930-pat00013
)로 구성되는 것을 특징으로 하고,
상기 (S10)단계 이후에,
(S11) 항공영상 촬영지역 내에 설치된 지상기준국과 촬영지역 내에 존재하는 지상기준점을 활용하여 GPS/INS장비가 취득한 항공기의 위치정보를 보정하는 단계;와
(S13) 취득한 항공영상을 구성하는 항공사진들 중에서 지상기준점이 둘 이상 포함되어 있는 항공사진 다수를 선정(S131)하고,
선정된 항공사진 각각에 대하여 지상기준점의 절대 지상좌표, 지상기준점의 항공사진에서의 사진좌표, 보정된 항공기의 위치정보를 이용하여 디저털항공카메라의 좌표축과 항공기의 좌표축간의 불일치 정도를 나태내는 보사이트 값을 추출(S133)하고,
추출된 항공사진별 보사이트 값을 이용하여 항공기의 자세정보를 보정(S135)하는 단계;를 더 포함하는 것을 특징으로 한다.
항공영상의 항공사진을 이용하는 본 발명은 텍스쳐링을 위하여 생성한 3차원 객체와 항공사진에서 추출한 외관 텍스쳐의 기하학적 불일치가 적어 추출한 외관 텍스쳐를 편집할 필요가 없거나 편집 작업량이 적고, 외관 텍스쳐에 적합한 항공사진을 자동으로 수집, 선택하여 텍스쳐를 수행하므로 작업시간과 작업비용이 절감된다.
또한, 외부표정요소(즉, 항공기의 위치정보와 자세정보)를 정밀하게 보정한 후에 영상사진을 수집, 선택을 하므로 그 정밀도가 높은 장점을 갖는다.
이하에서는 도면을 참조하여 본 특허를 보다 구체적으로 설명한다.
도1은 본 발명에 따른 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법의 절차 흐름을 도시한 플로우차트이다.
도면에서 보는 바와 같이 본 발명의 외관 텍스쳐 자동 추출방법은 디지털 항공영상과, 항공기의 위치정보 및 자세정보를 취득하는 단계(S10), 대상물의 외관정보를 추출하는 단계(S20), 항공영상에서 외관이 온전하게 촬영된 항공사진들을 수집하는 단계(S30), 수집된 항공사진들 중에서 텍스쳐링에 최적의 항공사진을 선택하는 단계(S40), 선택된 항공사진에서 외관의 텍스쳐를 추출하는 단계(S50)를 포함 하여 이루어진다.
상기 (S10)단계에서는 항공기가 비행하면서 촬영한 디지털항공카메라의 디지털 항공영상과, GPS/INS장비의 항공기 위치정보 및 자세정보를 취득한다.
상기 디지털항공카메라가 촬영하여 취득되는 항공영상은 촬영과 동시에 저장되고, 프레임 형식의 항공사진들로 구성된다. 그리고 항공사진들은 일정한 중복도를 갖는다.
상기 GPS/INS장비는 위성항법장치(GPS)와 관성항법장치(INS)가 조합된 장비이고, GPS로부터 항공기의 위치정보가 취득되고, INS로부터 항공기의 자세정보가 취득된다. 그리고 위치정보와 자세정보는 동시에 획득되고 항공영상의 촬영시각과 동기화하여 각 영상사진마다 카메라 노출중심의 외부표정요소, 즉, 위치정보 및 자세정보(
Figure 112009056158930-pat00014
)를 계산하는데 활용된다.
카메라 노출중심의 외부표정요소(위치정보 및 자세정보)는 GPS/INS장비가 취득하는 GPS/INS장비 자체의 위치정보와 자세정보에서 카메라와 GPS/INS장비 간의 이격거리와 카메라의 좌표축과 GPS/INS장비의 좌표축의 불일치 정도를 고려하여 결정된다.
카메라와 GPS/INS장비 간의 이격거리는 항공기의 이륙에서 착륙까지 무시 가능한 정도로 거의 변화가 없으므로 GPS/INS장비가 취득하는 자체 위치정보의 정확도에 의해 카메라 노출중심의 위치정보의 정밀도가 결정된다. 그런데, 현존하는 GPS/INS장비가 취득하는 위치정보는 부정확하다.
그리고 카메라의 좌표축과 GPS/INS장비의 좌표축의 불일치 정도는 일정하지 않다. GPS/INS장비를 항공기에 장착한 직후의 두 좌표축간의 불일치가 항공기가 이륙하고 활영하는 도중에도 그대로 유지되지 않는다. 이는 이륙시의 충격과 비행 중 와류나 엔진 구동에 따른 흔들림 등에 의해 카메라와 GPS/INS장비의 자세가 변화기 때문이다.
따라서, GPS/INS장비가 취득하는 위치정보의 정밀도를 높이고, 카메라와 GPS/INS장비의 불일치 정도(즉, 보사이트 값)를 반영하여 카메라 노출중심의 자세정보의 정밀도를 높일 필요가 있다.
이를 위하여 본 발명은 지상기준국과 지상기준점을 이용하여 GPS/INS장비의 위치정보를 보정(S11)하고, 지상기준점이 둘 이상 포함된 항공사진을 여러 개를 선정(S131)하고 선전된 항공사진들 각각에 대한 정확환 보사이트 값을 도출(S133)한 후에 이를 기준으로 항공영상 전체의 항공사진들의 자세정보를 보정(S135)하여 정밀도를 높였다.
우선, 항공기의 위치정보(즉, GPS/INS장비의 위치정보 또는 카메라 노출중심의 위치정보)를 보정하는 방법은 아래와 같다.(S11)
항공기가 촬영하는 대상지역에 설치되어 있는 지상기준국(GPS basestation)이 취득하는 위치정보와 GPS/INS장비가 취득하는 위치정보를 동기화하여 GPS/INS장비의 위치정보를 보정한다. 이때 지상기준국이 획득하는 지상좌표의 오차가 활용되 고, 지상에서 절대 지상좌표를 알고 있는 지상기준점들과 항공기의 GPS장비 간의 위치 관계를 3각 측량기법의 일종인 DGPS원리를 이용하여 계산한다.
지상기준국은 국가상시관측소를 활용하거나 직접 지상에 GPS장비를 설치할 수도 있다. 지상기준국은 그 지점의 절대 지상좌표를 알고 있으므로, 지상기준국의 GPS장비가 취득하는 위치정보를 알 수 있다. 이 지상기준국의 위치정보 오차를 이용하여 항공기에 탑재된 GPS/INS장비의 위치정보를 보정할 수 있다. 그리고 절대 지상좌표를 알고 있는 지상기준점(지상기준국 포함될 수 있음) 다수를 가지고 각 측량기법의 일종인 DGPS원리를 이용하면 GPS/INS장비의 위치정보를 보다 정확하게 보정될 수 있다.
그리고 보사이트(Boresight)란 카메라와 GPS/INS장비를 설치시 카메라 좌표축과 GPS/INS장비 좌표축간의 불일치가 발생되는데, 이러한 카메라와 GPS/INS장비의 좌표축간의 불일치 정도(즉, 두 좌표축간의 회전량 차이)를 말한다. 카메라는 항공기에 탑재되어 지상 높이에서 촬영하므로, 자세정보의 미세한 차이는 촬영되는 영상에서 커다란 차이를 발생시킨다. 따라서 보사이트 값은 처음 GPS/INS장비를 장착한 직후에 정확히 측정되어야할 뿐만 아니라 영상 촬영 중에 일정한 주기로 측정되어 카메라의 자세정보에 반영되어야 한다.
이와 같이 보사이트 값을 반영하는 항공기의 자세정보(즉, GPS/INS장비의 자세정보 또는 카메라 노출중심의 자세정보)를 보정하는 방법은 아래와 같다.(S13)
보사이트 값을 추출하기 위해 우선 카메라가 촬영한 항공영상을 구성하는 항 공사진 중에서 지상기준점이 둘 이상 포함된 항공사진을 선정한다.(S131)
이때 선정되는 항공사진들은 상호 외곽경계가 일정한 모양의 것들을 선정하고, 가급적 상호 겹치지 않는 항공사진을 선정하고, 최소 2점 이상의 지상기준점이 포함된 항공사진을 선정한다. 그리고 항공사진은 3장 이상 선정하는 것이 바람직하다.
항공사진을 선정(S131)한 후에는 [변형 공선조건식]을 이용하여 각 항공사진의 보사이트 값을 추출한다.(S133)
사진의 사진좌표(x,y)와 지상의 지상좌표(
Figure 112009056158930-pat00015
)의 관계를 나타내는 공선조건식은 아래와 같다.
-아 래-
Figure 112010008092835-pat00137
여기서, (
Figure 112009056158930-pat00017
)는 주점보정량(카메라 렌즈의 중심과 사진 중심의 불일치를 보정하는 값), f는 초점거리, (
Figure 112009056158930-pat00018
)는 투영중심좌표,
Figure 112009056158930-pat00019
는 축적계수,
Figure 112009056158930-pat00020
는 회전행렬이다.
위의 공선조건식에서 투영중심좌표(
Figure 112009056158930-pat00021
)는 GPS장비와 INS장비로부터 처리되기 때문에, 미지수 항목은 회전량(
Figure 112009056158930-pat00022
)만 존재한다. 따라서 위 수식을 정리하면 다음과 같이 간략히 표현이 가능하다.
Figure 112009056158930-pat00023
Figure 112009056158930-pat00024
여기서,
Figure 112009056158930-pat00025
,
Figure 112009056158930-pat00026
,
Figure 112009056158930-pat00027
,
Figure 112009056158930-pat00028
,
Figure 112009056158930-pat00029
Figure 112010008092835-pat00138
이다.
위 수식은 비선형식으로 테일러급수에 의해 선형식으로 표현하면 아래와 같다. 이 수식이 바로 본 발명에서 말하는 [변형 공선조건식]이다.
Figure 112009056158930-pat00031
Figure 112009056158930-pat00032
여기서,
Figure 112009056158930-pat00033
는 초기치에 대한 값,
Figure 112009056158930-pat00034
는 초기치에 대한 편미분값,
Figure 112009056158930-pat00035
는 카메라의 자세정보(즉, 3축의 회전량)의 변화량을 나타낸다.
위와 같은 [변형 공선조건식]에, 절대 지상좌표를 알고 있는 지상기준점의 지상좌표(X,Y,Z)와, 지상기준점의 사진에서의 사진좌표(x,y), 그리고 (S11)단계에서 취득한 GPS/INS장비의 보정된 위치정보로부터 얻어지는 투영중심좌표(
Figure 112009056158930-pat00036
)를 [변형 공선조건식]에 대입하고, 최소제곱법을 이용하면 카메라의 자세정보(즉, 카메라 3축의 회전량(ω,φ,κ))가 얻어진다. 이때 지상기준점은 최소 2점 이상 사용하여야 한다.
여기서 얻어진 카메라의 자세정보와 GPS/INS장비의 자세정보를 비교하면, GPS/INS장비의 좌표축에 대한 카메라 좌표축의 상대적인 회전량, 즉, 보사이트 값을 구할 수 있다.
그리고 각 항공사진에서 구한 보사이트 값을 초기의 보사이트 값(항공기에 장착한 직후의 보사이트 값)과 비교하면, 항공기의 이착륙시의 충격과 비행 도중 흔들림 등에 의해 카메라의 자세가 변한 정도를 GPS/INS장비의 자세에 대한 상대적인 자세 변화 값으로 얻을 수 있다. 카메라와 GPS/INS장비의 자세 변화가 아예 없었다면, 초기의 보사이트 값과 선정된 각 항공사진에서 구한 보사이트 값은 일치할 것이다.
이와 같이 보사이트 값을 구한(S133) 후에는 보정된 GPS/INS장비의 위치정보와, 취득한 보사이트 값을 적용하여 보정된 카메라의 자세정보를 항공영상을 구성하는 항공사진 각각에 부여한다.(S135) 즉, 영상의 외부표정요소를 보정한다.
이때 취득한 보사이트 값을 적용하는 방법은 여러 가지 있을 수 있다.
예를 들어, 선정한 각 항공사진에서 취득한 보사이트 값과 초기의 보사이트 값의 평균을 구하고, 구한 보사이트 값의 평균을 항공영상 전체 항공사진에의 보사이트 값으로 취급하는 방법이 있을 수 있고,
선정된 항공사진 전후에 배치되는 항공사진들을 선정된 항공사진의 보사이트 값으로 취급하는 방법이 있을 수 있다. 이때에는 영상의 사진1, 선정사진1, 선정사진2, 사진n의 순서로 배열된다고 할 때, 사진1과 선정사진1의 중간에 위치되는 사진들은 보사이트 값을 초기 보사이트 값으로 적용하고, 사진1과 선정사진1이 중간부터 선정사진1과 선정사진2의 중간까지 위치한 사진들은 선정사진1에서 취득한 보사이트 값을 적용하고, 선정사진1과 선정사진2의 중간에서 사진n까지 위치한 사진 들은 선정사진2에서 취득한 보사이트 값을 적용하는 것이다.
이외에도 선정사진들 사이에 위치하는 사진들의 보사이트 값은 점진적으로 변화되는 것으로 취급하는 방법도 있다. 즉, 선정사진1의 보사이트 값을 선정사진2의 보사이트 값에 일치되도록 점진적으로 변화시키고 점진적으로 변화되는 보사이트 값을 이들 사이에 위치한 사진들의 보사이트 값으로 적용하는 것이다.
이상을 과정을 통해 외관 텍스쳐링을 수행할 항공영상과 이에 대한 외부표정요소가 준비되었다.
그 다음에는 텍스쳐링을 수행할 대상물(즉, 3차원 객체)의 외관정보를 추출한다.(S20)
대상물의 외관정보 추출(S20)과, 대상물에 대한 항공영상과 외부표정요소(위치정보 및 자세정보)를 추출(S10)에 우선순위는 없다. 어느 것을 먼저 추출하더라도 무방하다. 다만, 본 발명은 이를 설명하기 위해 S10단계와 S20단계로 구분하였을 뿐이다.
대상물(3차원 객체)의 외관정보는 위치(position)정보와 방향(orientation)정보로 구성된다.
도2에서 보는 바와 같이 외관의 위치정보(왼쪽 도면 참조)는 객체 외관의 위치를 의미하고, 외관을 구성하는 꼭지점(버텍스(vertex))의 3차원 좌표의 집합으로 표현하고, 외관의 방향정보(오른쪽 도면 참조)는 객체의 외관이 향하고 있는 방향(혹은 자세)을 의미하며, 외관 중심(centroid)에서의 법선벡터(Normal Vector)로 표현한다.
도2에서 보는 바와 같이 대상물이 직육면체의 형상일 때, 외관은 5개(전후좌우면과 상부면, 하부면은 항공영상에 나타나지 않으므로 제외)가 있고, 각 외관의 꼭지점은 4개씩이되 두 꼭지점은 인접하는 외관과 공유된다.
외관의 위치정보는 꼭지점(버텍스(vertex))의 3차원 좌표의 집합이므로 쉽게 추출되지만, 외관의 빙향정보는 아래와 같은 과정을 거쳐 추출(S21)된다.
외관 의 방향정보를 계산하기 위해 먼저 아래 수식과 같은 외관 평면의 방정식을 구한다. 이는 버텍스의 3차원 좌표를 대입하여 계산한다.(S211)
Figure 112009056158930-pat00037
외관
Figure 112009056158930-pat00038
의 법선벡터(
Figure 112009056158930-pat00039
)는 아래 수식과 같이 외관 평면방정식으로부터 구할 수 있다. 벡터의 크기는 단위벡터와 동일하다.
Figure 112010008092835-pat00139
여기서,
Figure 112010008092835-pat00140
: 기준좌표계 3축의 단위벡터
도3은 지상좌표축과 외관 평면축 간의 관계를 도시한 것으로서, 이를 참조하면,
외관
Figure 112009056158930-pat00042
의 중심(
Figure 112009056158930-pat00043
: centroid) 좌표를 구하기 위하여 외관 평면을 기준으로 하는
Figure 112009056158930-pat00044
축을 설정한다. 여기서
Figure 112009056158930-pat00045
축은 외관의 법선벡터와 평행하게 설정하고, 외관 버텍스 중 하나를 원점으로 설정한다. 원점에서 임의의 두 번째 버텍스를 연결한 직선을
Figure 112009056158930-pat00046
축으로 설정하면,
Figure 112009056158930-pat00047
축은 자동으로 설정된다. 외관 평면축의 설정이 완료되면, 지상좌표축(X,Y,Z) 기준의 외관 버텍스 좌표를 외관 평면축(
Figure 112009056158930-pat00048
) 기준의 좌표로의 변환을 수행하게 되는데, 변환 파라미터는 원점 이동량(
Figure 112009056158930-pat00049
) 및 각 축의 회전량(
Figure 112009056158930-pat00050
)을 이용한다.
지상좌표축(X,Y,Z)기준의 외관 버텍스 좌표(
Figure 112009056158930-pat00051
)를 외관 평면 좌표축(
Figure 112009056158930-pat00052
)으로 변환(
Figure 112009056158930-pat00053
)한 후 외관의 중심좌표(
Figure 112009056158930-pat00054
)를 계산한다. 계산된 외관 중심좌표(
Figure 112009056158930-pat00055
)는 다시 지상좌표축 기준으로 역변환하여 외관 중심의 최종 좌표값(
Figure 112009056158930-pat00056
)을 계산한다.
- 외관 버텍스좌표의 축변환(
Figure 112009056158930-pat00057
→
Figure 112009056158930-pat00058
)
Figure 112010008092835-pat00141
삭제
- 외관의 중심좌표 계산(
Figure 112009056158930-pat00061
:
Figure 112009056158930-pat00062
)
Figure 112010008092835-pat00142
삭제
삭제
여기서, 외관의 실제면적
Figure 112010008092835-pat00143
이다.
- 외관의 중심좌표 역변환
Figure 112009056158930-pat00067
Figure 112010008092835-pat00144
따라서 외관
Figure 112009056158930-pat00069
의 방향정보는 외관의 중심좌표
Figure 112009056158930-pat00070
와 법선벡터(
Figure 112009056158930-pat00071
)로 구성된다.
이상의 과정(S10, S20)을 통해 3차원 객체(즉, 대상물)의 텍스쳐링에 필요한 항공영상과 항공영사에 대한정보, 그리고 대상물의 외관정보가 모두 취득되었다.
이제는 항공영상을 구성하는 항공사진에서 텍스쳐링에 적합한 항공사진들을 수집(S30)하고, 수집된 항공사진들 중에서 외관 텍스쳐링에 최적의 항공사진을 선택(S40)한 후에, 선택된 항공사진에서 외관 텍스쳐를 추출(S50)하면 된다.
상기 S30단계에서는 항공영상을 구성하는 항공사진들 중에서 외관 텍스쳐가 가능한 항공사진들을 수집한다. 즉, 항공사진에 추출하고자하는 텍스쳐 외관이 온전하게 촬영된 하공사진만을 선별하여 수집한다. 항공사진의 수집에는 외관의 위치정보와 공선조건식이 이용된다.
도4에서 보는 바와 같이 외관 버텍스의 3차원 지상좌표(
Figure 112009056158930-pat00072
)를 각 항공사진의 공선조건식에 대입하여 대응하는 사진좌표(
Figure 112009056158930-pat00073
)를 계산하고, 계산된 사진좌표가 상,하한 범위 내에 존재한다면 해당 항공사진을 수집한다.
외관
Figure 112009056158930-pat00074
과 항공사진 j에 대한 사진좌표 계산시 이용되는 공선조건식은 다음과 같다.
Figure 112010008092835-pat00145

여기서,
삭제
삭제
삭제
Figure 112009056158930-pat00078
: 영상 에서 외관의 버텍스에 대한 사진좌표,
Figure 112009056158930-pat00079
: 외관의 버텍스에 대한 지상좌표,
Figure 112009056158930-pat00080
: 주점보정량,
f: 카메라 초점거리,
Figure 112009056158930-pat00081
: 영상 j의 외부표정요소
그리고 사진좌표의 상하한은 최대, 최소값으로 구성된 고정 값으로 영상의 크기에 의존한다. 외관 버텍스의 사진좌표가 모두 상하한 범위 내에 존재하는지의 여부를 파악한 후, 버텍스 사진좌표가 모두 범위 내에 존재하는 영상만을 수집한다. 도5를 참조하여, 영상 j에서 계산된 해당 외관
Figure 112009056158930-pat00082
의 사진좌표(
Figure 112009056158930-pat00083
)가 상하한 범위 내 포함 여부에 관한 수식은 다음과 같다.
Figure 112010008092835-pat00146
여기서,
Figure 112009056158930-pat00085
: 사진좌표의 하한,
Figure 112009056158930-pat00086
: 사진좌표의 상한
외관 텍스쳐 추출이 가능한 항공사진들을 수집한 후에는 [스코어 모델]을 이용하여 최적의 항공사진을 선택한다.(S40)
항공사진 선택 단계는 수집된 항공사진의 주벡터, 상응벡터를 이용하여 Score를 결정함으로써 구할 수 있다. 주벡터와 상응벡터 및 Score의 의미는 도6을 참조하여 설명하면 다음과 같다.
주벡터(Principal Vector)란, 카메라 노출중심으로부터 항공사진의 주점(Principal Point)을 연결한 벡터로 촬영 당시 카메라가 지표면을 향하는 방향을 의미한다.
상응벡터(Correspondence Vector)란, 카메라 노출중심과 외관의 중심을 연결 한 벡터로 카메라의 노출중심과 외관 중심이 서로 대응하는 관계를 나타낸다. 상응벡터는 외관의 중심에서 카메라의 노출중심을 향하는 외관상응벡터와 카메라 노출중심에서 외관의 중심을 향하는 영상상응벡터로 구성된다. 이 두 벡터는 동일선상에 존재하며 방향이 서로 반대이다.
Score는 외관과 항공사진이 공간상에서 이루는 기하에 따른 텍스쳐링 최적도를 나타내는 일종의 점수라 할 수 있으며, [스코어 모델]로 결정된다.
주벡터(Principal Vector :
Figure 112010008092835-pat00087
)의 기본형은 카메라 노출중심에서 지표면을 수직으로 향하는 벡터이다. 이는
Figure 112010008092835-pat00147
로 표현할 수 있으며, 영상의 주벡터는 촬영당시 항공기의 회전량에 따라 다음과 같은 식으로 계산한다. 벡터의 크기는 단위벡터와 동일하다.
Figure 112010008092835-pat00148
여기서,
Figure 112009056158930-pat00090
: 항공사진의 기준좌표계로부터의 회전량 (외부표정요 소 중 3축 회전각)
상응벡터(Correspondence Vector :
Figure 112010008092835-pat00091
,
Figure 112010008092835-pat00092
)는 항공사진의 카메라 노출중심
Figure 112010008092835-pat00093
과 외관
Figure 112010008092835-pat00094
의 중심
Figure 112010008092835-pat00149
의 3차원 좌표를 이용하여 계산하며 다음 식과 같다. 벡터의 크기는 단위벡터와 동일하다.
* 외관상응벡터 :
Figure 112010008092835-pat00150
* 영상상응벡터 :
Figure 112010008092835-pat00151
해당 외관의 텍스쳐링에 가장 적합한 항공사진을 선택하기 위한 방법은 다음과 같다. 해당 외관과 수집된 항공사진에 대하여 Score를 계산하고, 가장 높은 Score를 획득한 항공사진을 선택하여 텍스쳐 추출에 이용 한다. 외관
Figure 112009056158930-pat00097
에 대한 항공사진 j의 Score를 계산하는 [스코어 모델] 수식은 다음과 같으며, 항공사진 상에서의 외관의 면적비와 주벡터, 상응벡터의 내적을 이용한다.
Figure 112010008092835-pat00152
여기서,
Figure 112009056158930-pat00099
: 외관의 면적비
Figure 112010008092835-pat00153
: 외관
Figure 112010008092835-pat00101
의 법선벡터와 외관상응벡터의 내적,
Figure 112010008092835-pat00154
: 항공사진 j의 주벡터와 영상상응벡터의 내적
위 식에서
Figure 112009056158930-pat00103
는 외관의 면적비로, 해당 항공에서 외관이 묘사될 수 있는 가장 큰 면적 대비 실제 묘사된 면적을 의미한다. 다음 식으로 표현한다.
Figure 112009056158930-pat00104
Figure 112010008092835-pat00155
Figure 112009056158930-pat00106
여기서,
Figure 112009056158930-pat00107
은 항공사진 j에서 외관
Figure 112009056158930-pat00108
의 면적이고,
Figure 112009056158930-pat00109
은 항공사진 j에서 외관
Figure 112009056158930-pat00110
의 가능 최대면적을 의미한다. 가능 최대면적이란 외관이 항공사진에 상이 가장 크게 맺힐 경우의 면적을 말하며, 항공사진을 기준으로 외관이 주벡터와 수직을 이룰 경우에 해당한다. f는 초점거리,
Figure 112009056158930-pat00111
는 해당 항공사진이 촬영될 당시 비행고도,
Figure 112009056158930-pat00112
은 외관정보추출 단계(S20)의 외관 방향정보에서 설명한 외관의 실제 면적을 의미한다.
Score는 무차원의 실수로 -1 ~ 1의 값을 가지며, 음수일 경우 해당 외관의 위치는 항공사진 내에 포함되지만, 외관의 방향이 카메라의 노출중심을 향하고 있지 않기 때문에 영상에 묘사되지 않았음(상이 맺히지 않았음)을 뜻한다. 따라서 음수를 제외하고 Score는 0 ~ 1의 범위를 가지며, 가장 높은 Score를 기록한 항공사진을 선택하여 텍스쳐 추출에 이용한다.
상기 S40단계를 거쳐 텍스쳐링에 최적의 항공사진이 선택되면, S30단계에서 획득한 해당 항공사진의 사진좌표를 이용하여 해당 외관의 텍스쳐를 추출하고, 이를 객체 가시화(즉, 대상물의 텍스쳐링)에 이용한다.
도7에는 대상물의 텍스쳐링 과정에 대한 일례를 보여주는 도면대용 사진이 도시되어 있다.
대상물의 각면(즉, 각 외관)마다 이와 같은 과정을 통해 외관 텍스쳐를 추출하여 텍스쳐링을 함으로써 대상물 전체의 객체가시화가 수행된다.
이상에서 본 특허를 설명함에 있어 첨부된 도면을 참조하여 특정 절차를 갖는 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법에 대해 설명하였으나 본 특허는 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 특허의 보호범위에 속하는 것으로 해석되어야 한다.
도 1 은 본 발명에 따른 디지털 항공영상을 이용하여 대상물의 외관 텍스쳐 자동 추출방법의 절차도.
도 2 는 대상물의 외관정보 추출방법을 설명하기 위한 도면.
도 3 은 대상물의 외과 방향정보 추출방법을 설명하기 위한 도면.
도 4, 도5 는 텍스쳐의 대상이 될 수 있는 항공사진을 수집하는 방법을 설명하기 위한 도면.
도 6 는 텍스쳐에 최적의 항공사진을 선택하는 방법을 설명하기 위한 도면.
도 7 은 항공영상에서 항공사진을 수집,선택하여 외관 텍스쳐를 추출하고, 이를 객체가시화를 하는 일례를 도시한 사진.

Claims (4)

  1. (S10) 항공기에 탑재된 디지털항공카메라로부터 디지털 항공영상을 취득하고, GPS/INS장비로부터 항공기의 위치정보 및 자세정보를 취득하는 단계;
    (S20) 3차원 객체인 텍스쳐링 대상물 꼭지점들의 3차원 좌표를 이용하여 대상물의 외관정보를 추출하는 단계;
    (S30) 상기 (S10)단계에서 취득한 항공기의 위치정보 및 자세정보와 상기 (S20)단계에서 추출된 외관정보를 공선조건식에 적용하여 항공영상에서 외관이 촬영된 항공사진들을 수집하는 단계;
    (S40) 상기 (S30)단계에서 수집된 항공사진들 중에서 대상물의 외관방향과 카메라 노출중심의 일치하는 정도를 나타내는 [스코어 모델]에 따른 스코어 값(-1<score<1)이 최상(最上)인 항공사진을 선택하는 단계;
    (S50) 상기 (S40)단계에서 선택된 항공사진에서 대상물 외관의 텍스쳐를 추출하는 단계;를 포함하여 이루어지는 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법.
  2. 제 1 항에 있어서,
    상기 (S40)단계에 적용되는 [스코어 모델]은 아래 수식으로 표현되는 것을 특징으로 하는 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법.
    [스코어 모델] :
    Figure 112010019365829-pat00156
    여기서,
    Figure 112010019365829-pat00114
    는 외관의 면적비로, 해당 영상에서 외관이 묘사될 수 있는 가장 큰 면적 대비 실제 묘사된 면적을 의미하고,
    Figure 112010019365829-pat00115
    는 주벡터(Principal Vector)로서, 카메라 노출중심으로부터 영상의 주점(Principal Point)을 연결한 벡터로 촬영 당시 카메라가 지표면을 향하는 방향을 의미하고,
    Figure 112010019365829-pat00116
    ,
    Figure 112010019365829-pat00159
    는 상응벡터(Correspondence Vector)로서, 카메라 노출중심과 외관(
    Figure 112010019365829-pat00118
    )의 중심을 연결한 벡터로, 외관의 중심에서 카메라의 노출중심을 향하는 외관상응벡터(
    Figure 112010019365829-pat00119
    )와 카메라 노출중심에서 외관의 중심을 향하는 영상상응벡터(
    Figure 112010019365829-pat00120
    )로 구성되고, 이 두 벡터는 동일선상에 존재하며 방향이 서로 반대이고,
    Figure 112010019365829-pat00157
    : 외관
    Figure 112010019365829-pat00122
    의 법선벡터와 외관상응벡터의 내적,
    Figure 112010019365829-pat00158
    : 영상의 주벡터와 영상상응벡터의 내적이다.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 대상물의 외관정보는 대상물 꼭지점(vertex)들의 3차원 지상좌표와, 꼭지점들이 형성하는 외관평면의 중심좌표(
    Figure 112009056158930-pat00124
    :
    Figure 112009056158930-pat00125
    ) 및 법선벡터(
    Figure 112009056158930-pat00126
    )로 구성되는 것을 특징으로 하는 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법.
  4. 제 3 항에 있어서,
    상기 (S10)단계 이후에,
    (S11) 항공영상 촬영지역 내에 설치된 지상기준국과 촬영지역 내에 존재하는 지상기준점을 활용하여 GPS/INS장비가 취득한 항공기의 위치정보를 보정하는 단계;와
    (S13) 취득한 항공영상을 구성하는 항공사진들 중에서 지상기준점이 둘 이상 포함되어 있는 항공사진들 중 임의로 다수개를 선정(S131)하고,
    선정된 항공사진 각각에 대하여 지상기준점의 절대 지상좌표, 지상기준점의 항공사진에서의 사진좌표, 보정된 항공기의 위치정보를 이용하여 디지털항공카메라의 좌표축과 항공기의 좌표축간의 불일치 정도를 나타내는 보사이트 값을 추출(S133)하고,
    추출된 항공사진별 보사이트 값을 이용하여 항공기의 자세정보를 보정(S135)하는 단계;를 더 포함하는 것을 특징으로 하는 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법.
KR1020090086083A 2009-09-11 2009-09-11 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법 KR100956446B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090086083A KR100956446B1 (ko) 2009-09-11 2009-09-11 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090086083A KR100956446B1 (ko) 2009-09-11 2009-09-11 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법

Publications (1)

Publication Number Publication Date
KR100956446B1 true KR100956446B1 (ko) 2010-05-06

Family

ID=42281475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090086083A KR100956446B1 (ko) 2009-09-11 2009-09-11 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법

Country Status (1)

Country Link
KR (1) KR100956446B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087359A (zh) * 2018-08-30 2018-12-25 网易（杭州）网络有限公司 位姿确定方法、位姿确定装置、介质和计算设备
KR20200106680A (ko) * 2019-03-05 2020-09-15 경북대학교 산학협력단 항공사진을 이용한 정사영상 구축방법
KR102296220B1 (ko) 2021-03-16 2021-08-31 국방과학연구소 합성개구 레이다 영상의 건물 추출 방법
KR20210131121A (ko) * 2020-04-23 2021-11-02 주식회사 키센스 인공지능을 이용한 사용자 참여형 인식 플랫폼에서 건물 용도 파악 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220516A (ja) * 2003-01-17 2004-08-05 Pasuko:Kk ３次元地理形状モデルのテクスチャ画像取得方法
JP2007048068A (ja) * 2005-08-10 2007-02-22 Canon Inc 情報処理方法および装置
KR100898797B1 (ko) * 2009-01-06 2009-05-21 중앙항업(주) 항공라이다자료를 이용한 지형기복 정사영상의 제작방법
KR100903629B1 (ko) * 2007-07-03 2009-06-18 주식회사 에이알맥스 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220516A (ja) * 2003-01-17 2004-08-05 Pasuko:Kk ３次元地理形状モデルのテクスチャ画像取得方法
JP2007048068A (ja) * 2005-08-10 2007-02-22 Canon Inc 情報処理方法および装置
KR100903629B1 (ko) * 2007-07-03 2009-06-18 주식회사 에이알맥스 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템
KR100898797B1 (ko) * 2009-01-06 2009-05-21 중앙항업(주) 항공라이다자료를 이용한 지형기복 정사영상의 제작방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087359A (zh) * 2018-08-30 2018-12-25 网易（杭州）网络有限公司 位姿确定方法、位姿确定装置、介质和计算设备
CN109087359B (zh) * 2018-08-30 2020-12-08 杭州易现先进科技有限公司 位姿确定方法、位姿确定装置、介质和计算设备
KR20200106680A (ko) * 2019-03-05 2020-09-15 경북대학교 산학협력단 항공사진을 이용한 정사영상 구축방법
KR102195179B1 (ko) * 2019-03-05 2020-12-24 경북대학교 산학협력단 항공사진을 이용한 정사영상 구축방법
KR20210131121A (ko) * 2020-04-23 2021-11-02 주식회사 키센스 인공지능을 이용한 사용자 참여형 인식 플랫폼에서 건물 용도 파악 방법 및 그 장치
KR102361663B1 (ko) * 2020-04-23 2022-02-11 주식회사 키센스 인공지능을 이용한 사용자 참여형 인식 플랫폼에서 건물 용도 파악 방법 및 그 장치
KR102296220B1 (ko) 2021-03-16 2021-08-31 국방과학연구소 합성개구 레이다 영상의 건물 추출 방법

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
JP5134784B2 (ja) 空中写真測量方法
JP5100360B2 (ja) 画像処理装置
US7800645B2 (en) Image display method and image display apparatus
JP3776787B2 (ja) 三次元データベース生成システム
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
KR20200064542A (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
JP2013186816A (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
JP2009177251A (ja) オルソフォト画像の生成方法、および撮影装置
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
JP6877293B2 (ja) 位置情報記録方法および装置
JP6238101B2 (ja) 数値表層モデル作成方法、及び数値表層モデル作成装置
JP2017026552A (ja) ３次元計測装置、３次元計測方法、及びプログラム
KR100956446B1 (ko) 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법
JP3808833B2 (ja) 空中写真測量方法
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
KR101006728B1 (ko) 중심 투영과 영상 매칭을 이용한 자동 3 차원 좌표 측정 방법
CN111105467A (zh) 一种图像标定方法、装置及电子设备
JP5991821B2 (ja) 写真測量装置
KR100952136B1 (ko) 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법
Abdullah et al. Camera calibration performance on different non-metric cameras.
JP5885974B2 (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
CN111412898B (zh) 基于地空耦合的大区域变形摄影测量方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140403

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150427

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 10