KR100904078B1 - 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법 - Google Patents

항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법 Download PDF

Info

Publication number
KR100904078B1
KR100904078B1 KR1020080137134A KR20080137134A KR100904078B1 KR 100904078 B1 KR100904078 B1 KR 100904078B1 KR 1020080137134 A KR1020080137134 A KR 1020080137134A KR 20080137134 A KR20080137134 A KR 20080137134A KR 100904078 B1 KR100904078 B1 KR 100904078B1
Authority
KR
South Korea
Prior art keywords
image
spatial information
information
data
window
Prior art date
Application number
KR1020080137134A
Other languages
English (en)
Inventor
이우호
Original Assignee
(주)대한지적기술단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)대한지적기술단 filed Critical (주)대한지적기술단
Priority to KR1020080137134A priority Critical patent/KR100904078B1/ko
Application granted granted Critical
Publication of KR100904078B1 publication Critical patent/KR100904078B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 수신하는 단계, 상기 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 이용하여 편위 보정된 정사 영상을 생성하는 단계, 상기 생성된 정사 영상에 기초하여, 영상 정합을 수행하는 단계 및 상기 영상 정합 과정으로부터 산출된 기준 영상과 인접 영상 간의 상호관계 계수를 이용하여 상기 기준 영상의 3차원 공간 정보를 생성하는 단계를 포함하되, 상기 영상 정합을 수행하는 단계는, 상기 기준 영상의 타겟 윈도우와 상기 인접 영상의 탐색 윈도우를 설정하는 단계와, 상기 타겟 윈도우와 동일한 크기이고 상기 탐색 윈도우 내에 존재하는 비교 윈도우를 설정하는 단계 및 상기 타겟 윈도우 내의 픽셀값과 상기 비교 윈도우 내의 픽셀값을 이용하여 상기 상호관계 계수를 산출하는 단계를 포함하는 것을 특징으로 하는 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 방법을 제공한다.
항공 사진, 3차원, 공간 정보

Description

항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법{A SYSTEM AND A METHOD FOR GENERATING 3-DIMENSIONAL SPATIAL INFORMATION USING AERIAL PHOTOGRAPHS OF IMAGE MATCHING}
본 발명은 항공 사진의 영상정합을 이용하여 3차원 공간 정보를 생성하는 기술에 관한 것이다.
현대 사회가 복잡화, 고도화됨에 따라 다양한 지식 정보들 중 지형 공간 정보는 국토 공간의 효율적인 활용 및 관리를 위하여 그 중요성이 날로 증대되고 있다. 이러한 지형 공간 정보의 기초 자료로서 항공 사진, 위성 영상 및 LiDAR(Light Detection And Ranging) 자료 등이 다양한 분야에서 활용되고 있고, 보다 실감있는 지형 공간 정보를 생성하기 위하여 3차원 도시 모형의 생성에 대한 연구가 증가하고 있는 실정이다. 항공 사진, 위성 영상 및 LiDAR 자료를 이용하여 3차원 공간 모형을 생성할 경우, 영상자료로부터 건물 객체를 자동으로 검출하는 것은 쉽지가 않으므로 자동 3차원 도시 생성에는 많은 어려움이 있다.
항공사진은 현재까지 상용화된 위성영사에 비해 고해상도이기 때문에 지형공간 정보에 대한 인식이 용이하고 높은 정확도를 지니고 있으나, 고해상 항공사진의 기하학적 왜곡으로 인해 항공사진에서 여러종류의 정보들 중에서 건물 객체의 위치를 인식하고, 고도값을 추출하는 데는 많은 어려움이 있다. 또한, 수치지형도는 도심지의 인공 구조물에 대한 정보가 2차원 형태로 되어 있어 각종 응용분야에서 3차원 분석에는 활용되지 못하고 있다.
이에 본 발명자들은 항공사진으로부터 정확한 3차원 공간정보를 획득하고자 예의 노력한 결과, 항공사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 바탕으로 정사영상을 편위보정시키고, 편위보정된 정사영상에 기초하여 특징기반의 영상정합 또는 밝기값 기반의 영상정합을 수행할 경우, 3차원 공간정보를 획득할 수 있음을 확인하고 본 발명을 완성하게 되었다.
기존의 2차원 데이터로부터 3차원 정보를 추출하기 위해서는 상기 2차원 데이터를 보다 효율적으로 활용할 필요가 있다.
본 발명은, 항공 사진을 이용하여 3차원 공간 정보를 생성하기 위한 시스템 및 그 방법을 제공한다.
또한, 본 발명은 3차원 공간 정보 구축을 위한 효율적인 영상 정합 방법을 제공한다.
본 발명은, 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 수신하는 단계, 상기 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 이용하여 편위 보정된 정사 영상을 생성하는 단계, 상기 생성된 정사 영상에 기초하여, 영상 정합을 수행하는 단계 및 상기 영상 정합 과정으로부터 산출된 기준 영상과 인접 영상 간의 상호관계 계수를 이용하여 상기 기준 영상의 3차원 공간 정보를 생성하는 단계를 포함하되, 상기 영상 정합을 수행하는 단계는, 상기 기준 영상의 타겟 윈도우와 상기 인접 영상의 탐색 윈도우를 설정하는 단계와, 상기 타겟 윈도우와 동일한 크기이고 상기 탐색 윈도우 내에 존재하는 비교 윈도우를 설정하는 단계 및 상기 타겟 윈도우 내의 픽셀값과 상기 비교 윈도우 내의 픽셀값을 이용하여 상기 상호관계 계수를 산출하는 단계를 포함하는 것을 특징으로 하는 항공 사진을 이용한 3차원 공간 정보 생성 방법을 제공한다.
본 발명에서, 상기 탐색 윈도우 내의 한 점(n,m)을 중심으로 하고, 상기 타겟 윈도우의 크기를 NxM 이라 할 때, 상기 상호관계 계수 r(n,m)은,
Figure 112008090633946-pat00001
에 의해 산출되는 것을 특징으로 한다.
본 발명에서, 상기 영상 정합을 수행하는 단계는, 영상 정합 대상점의 기준 모서리를 중심으로 인접한 선분을 검색하는 단계, 인접한 두 선분 중 긴 선분을 기준으로, 그 크기가 템플릿의 크기와 동일하고 기울기도 동일한 제 1 선분을 생성하 는 단계, 상기 제 1 선분과 직교하고 상기 기준 모서리의 점을 지나면서 그 크기가 상기 템플릿의 크기와 동일한 제 2 선분을 생성하는 단계, 상기 제 1,2 선분과 각각 평행하고, 그 크기가 템플릿의 크기와 동일한 제 3 선분을 생성하는 단계 및 상기 제 1 내지 제 3 선분에 의해 생성된 템플릿이 건물 폴리곤의 내부에 놓이도록 회전하는 단계로 구성되는 것을 특징으로 한다.
본 발명에서, 영상 정합을 수행하는 단계는, 외부 표정 요소를 이용하여 에피폴라 라인 영상을 생성하는 단계와 상기 정사 영상과 상기 에피폴라 라인 영상에 기초하여 특징점을 추출하는 단계를 포함하되, 상기 기준 영상의 3차원 공간 정보는 상기 추출된 특징점에 기초하여 생성되는 것을 특징으로 한다.
본 발명에서, 특징점을 추출하는 단계는, KLT(Kanade-Lucas-Tomasi) 연산자, Harris 연산자 또는 Forstner 연산자 중 적어도 하나를 이용하는 것을 특징으로 한다.
본 발명에서, 특징점은 기준 영상의 경계 내에 존재하며, 상기 기준 영상의 기준 영역과 탐색 영역 사이의 밝기 값의 차이는 설정된 최대 오차보다 작은 것을 특징으로 한다.
본 발명은, 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 수신하는 데이터 수신부와 상기 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 이용하여 편위 보정된 정사 영상을 생성하고, 상기 생성된 정사 영상에 기초하여 영상 정합을 수행하고, 상기 영상 정합 과정으로부터 산출된 기준 영상과 인접 영상 간의 상호관계 계수를 이용하여 상기 기준 영상의 3차원 공 간 정보를 생성하는 3차원 공간 정보 생성부와 상기 수신된 데이터와 생성된 3차원 공간 정보를 저장하는 공간 정보 저장부 및 상기 3차원 공간 정보를 영상 및/또는 텍스트로 출력하는 출력부를 포함하되, 상기 3차원 공간 정보 생성부는, 상기 기준 영상의 타겟 윈도우와 상기 인접 영상의 탐색 윈도우를 설정하고, 상기 타겟 윈도우와 동일한 크기이고 상기 탐색 윈도우 내에 존재하는 비교 윈도우를 설정하고, 상기 타겟 윈도우 내의 픽셀값과 상기 비교 윈도우 내의 픽셀값을 이용하여 상기 상호관계 계수를 산출하는 것을 특징으로 하는 항공 사진을 이용한 3차원 공간 정보 생성 시스템을 제공한다.
본 발명에서, 영상 정합 수행부는, 외부 표정 요소를 이용하여 에피폴라 라인 영상을 생성하고, 상기 정사 영상과 상기 에피폴라 라인 영상에 기초하여 특징점을 추출하는 특징점 추출부를 포함하되, 기준 영상의 3차원 공간 정보는 상기 추출된 특징점에 기초하여 생성되는 것을 특징으로 한다.
본 발명에서, 특징점 추출부는, KLT(Kanade-Lucas-Tomasi) 연산자, Harris 연산자 또는 Forstner 연산자 중 적어도 하나를 이용하는 것을 특징으로 한다.
본 발명의 실시예들을 통하여 3차원 공간 정보를 구축하게 될 경우, 더욱 현실감있는 가상 환경을 제공함으로써 향상된 직관력과 의사 결정을 지원할 수 있게 된다. 그리고, 기존의 2차원 데이터를 이용함으로써 기존의 2차원 기반의 지리 정보 시스템(GIS)를 대체할 수 있으며, 민간 및 공공 기관의 의사 결정 등에 효율적 인 지원이 가능할 수 있다. 또한, 3차원 공간 정보를 이용하여 3차원 도시 모형을 모델링할 경우, 다양한 각도에서의 공간 정보 분석이 가능하게 되므로 가시권 분석이나 다양한 공공 서비스 분야에서 유용한 자료로 활용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다. 특히, 본 명세서에서 정보(information)란, 값(values), 파라미터(parameters), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 그 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.
지리 정보 시스템(Geographic Information System, GIS)은 공간상 위치를 점유하는 지리 자료와 이에 관련된 속성 자료를 통합하여 처리하는 정보 시스템으로서 다양한 형태의 지리 정보를 효율적으로 수집, 저장, 갱신, 처리, 분석, 출력하 기 위해 이용되는 하드웨어, 소프트웨어, 지리자료, 인적자원의 총체적 조직체라고 정의할 수 있다. 상기 지리 정보 시스템의 이용에 따라 공간 정보의 다양한 활용이 용이해졌다. 따라서, 기존에 구축된 일정 수준의 시설물에 대한 정보와 항공 사진, 그리고 수치 지형도를 이용하여 대상 지역에 대한 3차원 정보 자료를 생성할 수 있게 되었고, 기존의 평면적인 분석에서 3차원적 분석이 가능하게 되었다. 이하에서는 3차원 정보 자료 생성을 위해 항공 사진과 수치 지형도를 활용하는 실시예들을 살펴보도록 한다.
도 1은 본 발명이 적용되는 실시예로서, 항공 사진을 이용하여 정사 영상을 생성하는 방법을 나타낸 것이다.
항공 사진을 영상화하는 연속 함수는 하기 수학식 1과 같이 나타낼 수 있다.
g = F(x,y)
여기서, x,y는 공간 변수(좌표)를 나타내고, 함수값은 밀도를 나타낸다. 상기 연속 함수는 공간 좌표와 함수값으로 이산화되며, 그 결과인 이산화함수 F(x,y)를 수치 영상(digital image)이라고 한다.
이산화된 요소 △x, △y 를 영상 화소(pixel)라 할 때, 상기 수치 영상은 다음 수학식 2와 같이 나타낼 수 있다.
F(x,y) = f(△x*i, △y*j) (i=0,1,…,N-1, j=0,1,…,M-1)
여기서, i,j는 영상 화소의 위치(pixel address)를 나타내고, N은 행의 수, M은 열의 수를 나타낸다.
본 발명의 실시예로서, 정사 영상을 생성하기 위해 인공 위성이나 항공 사진에서 수집된 영상 자료와 수치 표고 모델 자료를 이용할 수 있다. 예를 들어, 상기 정사 영상을 생성하기 위한 방법으로 수치편위를 수정하는 방법을 들 수 있다. 여기서, 정사 영상이란, 촬영 경사에 의한 왜곡과 지형의 기복에 의한 왜곡 및 중심 투영에 의한 영상의 왜곡을 보정한 정사 투영 영상을 의미하고, 수치 표고 모델이란, 실제 지형, 즉 인공 지물을 제외하고 공간상의 연속적인 기복 변화를 수치적으로 모형화한 것을 의미한다. 이때, 상기 왜곡들을 편위라 하고, 이러한 편위들을 보정하여 정사 영상을 생성하는 과정을 수치편위 수정이라 한다. 상기 정사 영상을 생성하기 위한 입력 정보로는, 항공 사진 영상, 사진 기준점 측량 데이터, 수치 표고 데이터 등을 예시할 수 있다.
또한, 상기 수치편위 수정 방법으로는 직접법(direct rectification)과 간접법(indirect rectification)을 들 수 있다. 상기 직접법은 주로 인공 위성 영상을 기하 보정할 때 사용되는 방법으로 지상 좌표를 알고 있는 대상물의 영상 좌표를 관측하여 각각의 출력 영상 화소의 위치를 결정하는 방법이다. 반면, 상기 간접법은 수치고도모형 자료에 의해 출력 영상 화소의 위치가 이미 결정되어 있으므로 각각의 위치에 해당하는 밝기값을 입력 영상에서 찾아 그 위치에 할당하는 방법이다.
이러한 수치편위 수정 방법에 기초하여 항공 사진으로부터 정사 영상을 생성할 수 있게 된다.
도 2는 본 발명이 적용되는 실시예로서, 정사 영상을 생성하는데 필요한 수치표고 모델을 설명하기 위해 나타낸 것이다.
수치 표고 모델(Digital Elevation Model, DEM)은 지표면에서 관측된 불연속점의 정보를 자료 처리 과정을 거쳐 기하학적으로 재현하고 수치적으로 해석하는 수치 지형 모형 중 표고만을 취급하는 좁은 의미의 모형을 의미하며, 수치 표고 모형, 수치 고도 모형, 또는 수치 고도 데이터 등으로 불릴 수 있다.
상기 수치 표고 모델은 일정한 격자 상에서 높이값으로 지구 표면의 3차원 모형이라 할 수 있고, 규칙적인 격자나 삼각형으로 연결된 임의의 표고점을 이용하여 표면의 표고를 표현할 수 있다. 상기 수치 표고 모델의 자료 구조 형태로는, 불규칙 삼각망(Triangulated Irregular Network, TIN) 모델과 정규 격자망(Regular grid) 모델이 있다. 도 2는 서로 중첩되지 않는 연속된 삼각형 면을 구성하는 불규칙하게 배열된 표고점에 기초한 지형 모델인 상기 불규칙 삼각망(TIN) 모델을 나타낸다. 상기 불규칙 삼각망(TIN) 모델은 지표면의 점, 선, 면형 지형을 수집하고 표현하는데 적합할 수 있다. 상기 도 2에서, 상기 불규칙 삼각망(TIN) 모델을 구성하는 점들은 지형과 무관하게 선택된 점들 또는 선형 지형의 모서리 점들일 수 있다. 전자의 경우, 집단점(mass points)이라 하고, 후자의 경우, 불연속선(break line) 또는 불연속점이라 한다. 예를 들어, 상기 점들은 정점, 저점, 능선, 곡선, 고개 등과 같은 불연속을 나타내는 임계점일 수 있다.
이하에서는, 항공 사진을 이용하여 생성된 정사 영상을 활용하여 3차원 공간 정보를 생성할 수 있는 다양한 실시예들을 살펴보도록 한다.
도 3은 본 발명이 적용되는 실시예로서, 항공 사진으로부터 3차원 공간 정보를 추출하는 방법을 설명하기 위해 나타낸 흐름도이다.
항공 사진은 지형 공간에 대한 인식이 용이하고 높은 정확도를 지니고 있다. 상기 항공 사진으로부터 건물의 3차원 정보, 예를 들어, 고도(height) 정보를 추출하기 위해서는 상기 항공 사진에서 건물의 위치를 자동으로 인식하는 과정이 필요하다. 이때, 상기 항공 사진을 수치 영상화하고 수치편위 수정을 함으로써 상기 건물의 고도 정보를 보다 정확하게 추출할 수 있다. 그리고, 영상 정합 과정을 통해 건물의 고도 정보를 획득할 수 있게 된다.
먼저, 3차원 정보 생성 시스템에서는 항공 사진에 대한 정보를 입력받을 수 있다(S310). 상기 항공 사진에 대한 정보를 상기 수학식 1 및 수학식 2를 이용하여 수치 영상화할 수 있다(S320). 상기 수치 영상화된 항공 사진 정보에 대해, 다양한 왜곡을 보정하기 위한 정사 영상을 생성할 수 있다. 상기 정사 영상을 생성하기 위한 입력 정보로는, 항공 사진 영상, 사진 기준점 측량 결과, 수치 표고 자료 등이 있을 수 있다. 이때, 상기 정사 영상을 생성하기 위한 방법으로 수치편위를 수정하는 방법을 이용할 수 있다(S330). 이에 대해서는 상기 도 1에서 상세히 설명한 바 있다. 이러한 과정을 통해서 건물의 객체 정보를 추출할 수 있다(S340). 여기서, 객체 정보라 함은, 건물의 위치에 대한 정보, 건물의 형태 정보, 건물의 윤곽에 대한 정보, 경계선 정보 등을 의미할 수 있으며, 상기 건물의 객체 정보는 수치지형도를 통해서도 추출할 수 있다.
한편, 항공 사진을 이용하여 객체의 3차원 정보를 생성하는데 있어서, 영상 정합은 중요한 부분을 차지한다. 영상 정합이란, 서로 다른 위치에서 얻은 두 영상을 같은 위치로 대응시키기 위한 과정을 의미할 수 있다. 이때, 기준 영상과 인접 영상과의 기하학적 관계를 수립하고, 상기 인접 영상의 좌표 정보를 상기 기준 영상에 맞도록 기하 보정을 하는 과정이 필요하다. 이와 같은 영상 정합을 통해 항공 사진으로부터 공액점을 추출할 수 있는데, 이러한 과정에서의 오정합을 줄이기 위한 방법으로 외부표정 요소를 이용하여 에피폴라 라인을 생성할 수 있다(S350). 그리고, 기준 영상과 인접 영상 간의 영상 정합을 위한 특징점 추출이 필요할 수 있다(S360).
특징점 추출 연산자는 영상에서의 특징점 추출이 가능하고, 기하학적, 방사학적 왜곡과 잡음에 영향을 적게 받으면서 모서리 점이나 경계선 등을 효과적으로 추출할 수 있어야 한다. 예를 들어, 상기 특징점 추출 연산자로서, KLT(Kanade-Lucas-Tomasi) 연산자, Harris 연산자, Forstner 연산자 등이 있을 수 있다. 이 중, 상기 KLT(Kanade-Lucas-Tomasi) 연산자는 모서리 점, 특징점 등을 추출할 수 있는 연산자이면서, 인접 영상 간의 추출된 특징점에 대해 동일점을 추적할 수 있는 기능을 가지고 있다. 예를 들어, 두 장의 연속된 영상이 존재할 때, 좌측 영상에서 KLT 연산자를 이용하여 특징점을 추출하고, 상기 좌측 영상과 우측 영상에서 영상 피라미드를 구축하여 상위 레벨에서 하위 레벨로 영상 정합을 수행하여 특징점을 추적할 수 있다. 상기 좌측 영상에서 추출한 특징점에 대한 공액점은 인접한 우측 영상에서 추적하게 되며, 이때 다음과 같은 조건들이 고려될 수 있다. 예를 들어, 상기 특징점은 설정된 최소 간격만큼만 이동할 수 있다. 그리고, 최소 제곱 적용을 위한 반복회수는 설정된 최대 반복수를 초과할 수 없다. 또한, 상기 특징점은 영상의 경계 내에 존재할 수 있으며, 기준 영역과 탐색 영역 사이의 밝기값의 차이가 최대 오차보다 작아야 한다.
이렇게 추출된 특징점을 이용하여 영상 정합을 수행할 수 있다(S370). 영상 정합으로 크게 2가지가 있을 수 있다. 예를 들어, 서로 다른 정보를 제거하며 공통의 정보만을 표현할 수 있도록 영상의 특징을 추출하는 특징 기반의 영상 정합 기법, 또는 영상의 전체 영역에서의 밝기 값을 이용하는 밝기 값 기반의 영상 정합 기법이 있다. 상기 특징 기반 영상 정합은, 영상의 밝기 값의 특성이 다르기 때문에 공통적 특성을 제공하는 특징을 찾고 그 정보를 이용하여 영상 정합을 수행하는 방법이다. 예를 들어, 특징점(feature point), 외곽선 특징(contour feature), 에지(edge), 방향성 에지 벡터 및 경사(gradient) 등의 정보를 이용할 수 있다.
그리고, 상기 밝기 값 기반 영상 정합은, 서로 다른 특성의 센서로부터 얻은 영상의 경우에는 밝기 값의 관계가 매우 복잡한 관계를 가지기 때문에 상기 밝기 값의 통계적 정보를 이용하게 된다. 이때, 상호관계 계수, 상호 정보, 정규 상호 정보 등을 이용할 수 있다. 예를 들어, 제 1 사진에 있는 임의의 점을 중심으로 하는 타겟 윈도우를 설정하고, 제 2 사진에서 특징점이 존재할 것으로 가정되는 영역을 탐색 윈도우로 설정할 수 있다. 그리고, 상기 탐색 윈도우 내의 임의의 한 점 (n,m)을 중심으로 하고, 상기 타겟 윈도우와 동일한 크기의 윈도우를 비교 윈도우, 상기 타겟 윈도우의 크기를 NxM 이라 할 때, 상기 타겟 윈도우와 상기 비교 윈도우 와의 상호관계 계수 r(n,m)은 다음 수학식 3과 같다.
Figure 112008090633946-pat00002
여기서, GW(x,y)는 타겟 윈도우의 (x,y)에서의 픽셀값을 나타내고, GS(x,y)는 비교 윈도우의 (x,y)에서의 픽셀값을 나타낸다. 그리고,
Figure 112008090633946-pat00003
는 타겟 윈도우 내의 평균 픽셀값을 나타내고,
Figure 112008090633946-pat00004
는 비교 윈도우 내의 평균 픽셀값을 나타낸다.
이와 같은 영상 정합 방법을 이용하여 3차원 공간 정보를 생성할 수 있게 된다(S380).
이하, 도 4에서는 상기 영상 정합 방법에 대하여 보다 상세하게 살펴보도록 한다.
도 4는 본 발명이 적용되는 일 실시예로서, 가변 템플릿 기법을 적용한 특징 기반의 영상 정합 과정을 이용하여 3차원 공간 정보를 획득하는 방법을 설명하기 위해 나타낸 것이다.
상기 도 3에서 설명한 특징 기반의 영상 정합 과정에서 가변 템플릿 기법을 이용할 수 있다. 템플릿 기법을 적용함에 있어서, 항공 사진의 좌우 영상에서 건물 의 기복 변위로 인하여 실질적으로 동일점임에도 불구하고 템플릿 영상은 서로 다르게 나타날 수 있다. 따라서, 건물의 형태 및 건물의 방향을 고려하여 템플릿을 회전시켜 적용할 경우, 동일점 검출이 보다 정확하고 용이할 수 있다. 먼저, 수치지형도의 건물 객체 폴리곤에서 영상 정합 대상점의 기준 모서리를 중심으로 인접 선분을 검색한다. 두 선분 중 길이가 긴 선분을 기반으로 설정한 후, 기울기가 동일하고 길이가 템플릿의 크기와 동일한 제 1 선분을 생성한다. 상기 생성된 제 1 선분과 직교하고 해당 모서리 점을 지나면서 템플릿의 크기와 동일한 제 2 선분을 생성한다. 그리고, 상기 제 1 선분, 상기 제 2 선분과 각각 평행하고 길이가 상기 템플릿의 크기와 동일한 제 3 선분을 생성한다. 마지막으로 생성된 템플릿이 건물 폴리곤의 내부에 놓이도록 회전한다.
이렇게 각각의 모서리에서 추출된 모든 영상 정합 점에 대해 3차원의 위치 좌표를 계산한 후 대상 객체의 고도 값을 평균하여 최종적으로 상기 대상 객체의 3차원 위치 정보를 획득할 수 있다.
도 5는 본 발명이 적용되는 실시예로서, 항공 사진을 이용하여 3차원 공간 정보를 생성하기 위한 시스템의 개략적인 블록도이다.
본 발명이 적용되는 3차원 공간 정보를 생성하기 위한 시스템은 크게 데이터 수신부(100), 3차원 공간 정보 생성부(200), 공간 정보 저장부(300) 및 출력부(400)를 포함할 수 있다. 그리고, 상기 3차원 공간 정보 생성부(200)는 정사 영상 생성부(210), 영상 정합 수행부(220) 및 공간 정보 생성부(230)를 포함할 수 있 다.
먼저, 데이터 수신부(100)에서는 비행기, 인공 위성 등으로부터 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터 등을 수신할 수 있다. 이때, 상기 데이터들은 웹 서버나 이동통신망을 통하여 전송될 수 있다. 상기 수신된 데이터들은 3차원 공간 정보 생성부(200)에서 3차원 공간 정보를 생성하기 위해 이용될 수 있다. 정사 영상 생성부(210)에서는 상기 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 이용하여 편위 보정된 정사 영상을 생성할 수 있다. 이렇게 생성된 정사 영상은 영상 정합 수행부(220)에서 영상 정합을 수행하기 위해 이용될 수 있다. 상기 영상 정합 수행부(220)에서는 가변적인 템플릿 기법을 이용하여 3차원 공간 정보를 획득할 수 있다.
그리고, 공간 정보 생성부(230)에서는 상기 영상 정합 과정으로부터 산출된 기준 영상과 인접 영상 간의 상호관계 계수를 이용하여 상기 기준 영상의 3차원 공간 정보를 생성할 수 있다. 이 때, 공간 정보 저장부(300)에서는 상기 데이터 수신부(100)에서 전송받은 2차원 지리 정보 데이터를 저장할 수 있고, 또한 상기 3차원 공간 정보 생성부(200)에서 이용된 데이터들을 셀 단위로 각각 나누어서 저장할 수 있다. 예를 들어, 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터뿐만 아니라, 편위 보정된 정사 영상, 상호관계 계수 등을 저장할 수 있다.
그리고, 상기 3차원 공간 정보 생성부(200)에서 생성된 3차원 공간 정보는 출력부(400)를 통해 사용자가 원하는 지도 영상으로 표시될 수 있다. 이때, 상기 3차원 공간 정보를 지도 영상으로 표시하기 위해 다양한 프로그램이 응용될 수 있 다. 또한, 상기 출력부(400)에서는 사용자에게 다양한 영상 및 텍스트를 화면으로 출력해줄 수 있다.
도 6은 본 발명이 적용되는 실시예로서, 영상 정합을 수행하는 구체적인 방법을 설명하기 위한 흐름도이다.
항공 사진을 이용하여 건물 등의 3차원 정보를 생성하기 위해서는 영상 정합 과정이 필요하다. 이러한 영상 정합 과정에 있어서, 기준 영상과 인접 영상과의 기하학적 관계를 수립하고, 상기 인접 영상의 좌표 정보를 상기 기준 영상에 맞도록 기하 보정을 하는 과정이 필요하다.
먼저, 영상 정합을 수행하기 위하여 항공 사진 영상, 위성 영상, LiDAR(Light Detection And Ranging) 데이터, 사진 기준점 측량 데이터 및 수치 표고 데이터를 수신할 수 있다(S610). 그리고, 상기 여러 가지 데이터들을 이용하여 편위 보정된 정사 영상을 생성할 수 있다(S620). 예를 들어, 지상 좌표를 알고 있는 대상물의 영상 좌표를 관측하여 출력되는 영상 화소의 위치를 결정함으로써 정사 영상을 생성할 수 있다. 또는, 수치 표고 모델에 의해 이미 결정되어 있는 영상 화소의 위치에 해당하는 밝기 값을 입력된 영상으로부터 찾아서 그 위치에 할당함으로써 정사 영상을 생성할 수 있다.
상기 생성된 정사 영상에 기초하여, 영상 정합을 수행할 수 있다. 예를 들어, 먼저 수치지형도의 건물 객체 폴리곤에서 영상 정합 대상점의 기준 모서리를 중심으로 인접한 선분을 검색할 수 있다(S630). 인접한 두 선분 중 긴 선분을 기준 으로, 그 크기가 템플릿의 크기와 동일하고 기울기도 동일한 제 1 선분을 생성할 수 있다(S640). 상기 제 1 선분과 직교하고 상기 기준 모서리의 점을 지나면서 그 크기가 상기 템플릿의 크기와 동일한 제 2 선분을 생성할 수 있다(S650). 상기 제 1,2 선분과 각각 평행하고, 그 크기가 템플릿의 크기와 동일한 제 3 선분을 생성할 수 있다(S660). 상기 제 1 내지 제 3 선분에 의해 생성된 템플릿이 건물 폴리곤의 내부에 놓이도록 회전시킬 수 있다(S670). 그리고, 상기 영상 정합 과정으로부터 산출된 기준 영상과 인접 영상 간의 상호관계 계수를 이용하여, 건물 폴리곤 각각의 모서리로부터 추출된 영상 정합점에 대해 3차원 공간 정보를 생성할 수 있다(S680).
상기에서 설명한 실시예들은, 다양한 분야에서 활용될 수 있다. 예를 들어, 각종 토지 이용 계획의 수립 및 관리 등을 위한 지역 정보 시스템(Regional Information System), 도시 현황 파악 및 도시 계획, 정비 등을 위한 도시 정보 시스템(Urban Information System), 다목적 국토 정보 및 지적 정보 구축을 위한 토지 정보 시스템(Land Information System), 항공 교통 관리 및 육,해상 교통 계획 등을 위한 교통 정보 시스템(Transportation Information System), 중소 축척 지도 제작 등을 위한 수치 지도 제작 및 지도 정보 시스템(Digital Mapping/Map System), 대기, 수질, 폐기물 관련 정보 관리를 위한 환경 정보 시스템(Environmental Information System), 각종 자연 재해 방재, 대기 오염 경보 등을 위한 재해 정보 시스템(Disaster Information System), 해저 지형 정보 및 해저 지질 정보를 위한 해양 정보 시스템(Marine Information System), 기상 변동 추적 및 일기 예보 등을 위한 기상 정보 시스템(Meteorological Information System), 국방 정보 자료 기반 및 작전 정보 구축을 위한 국방 정보 시스템(National Information System) 등에 이용될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
도 1은 본 발명이 적용되는 실시예로서, 항공 사진을 이용하여 정사 영상을 생성하는 방법을 나타낸 것이다.
도 2는 본 발명이 적용되는 실시예로서, 정사 영상을 생성하는데 필요한 수치표고 모델을 설명하기 위해 나타낸 것이다.
도 3은 본 발명이 적용되는 실시예로서, 항공 사진으로부터 3차원 공간 정보를 추출하는 방법을 설명하기 위해 나타낸 흐름도이다.
도 4는 본 발명이 적용되는 실시예로서, 가변 템플릿 기법을 적용한 특징 기반의 영상 정합 과정을 이용하여 3차원 공간 정보를 획득하는 방법을 설명하기 위해 나타낸 것이다.
도 5는 본 발명이 적용되는 실시예로서, 항공 사진을 이용하여 3차원 공간 정보를 생성하기 위한 시스템의 개략적인 블록도이다.
도 6은 본 발명이 적용되는 실시예로서, 영상 정합을 수행하는 구체적인 방법을 설명하기 위한 흐름도이다.

Claims (2)

  1. 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 수신하는 단계;
    상기 항공 사진 영상, 사진 기준점 측량 데이터 및 수치 표고 데이터를 이용하여 편위 보정된 정사 영상을 생성하는 단계;
    상기 생성된 정사 영상에 기초하여, 영상 정합을 수행하는 단계; 및
    상기 영상 정합 과정으로부터 산출된 기준 영상과 인접 영상 간의 상호관계 계수를 이용하여 상기 기준 영상의 3차원 공간 정보를 생성하는 단계를 포함하되,
    상기 영상 정합을 수행하는 단계는,
    상기 기준 영상의 타겟 윈도우와 상기 인접 영상의 탐색 윈도우를 설정하는 단계와, 상기 타겟 윈도우와 동일한 크기이고 상기 탐색 윈도우 내에 존재하는 비교 윈도우를 설정하는 단계 및 상기 타겟 윈도우 내의 픽셀값과 상기 비교 윈도우 내의 픽셀값을 이용하여 상기 상호관계 계수를 산출하는 단계를 포함하는 것을 특징으로 하며,
    상기 탐색 윈도우 내의 한 점(n,m)을 중심으로 하고, 상기 타겟 윈도우의 크기를 NxM 이라 할 때, 상기 상호관계 계수 r(n,m)은,
    Figure 112008090633946-pat00005
    에 의해 산출되는 것을 특징으로 하는 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 방법:
    (GW(x,y)는 타겟 윈도우의 (x,y)에서의 픽셀값, GS(x,y)는 비교 윈도우의 (x,y)에서의 픽셀값,
    Figure 112008090633946-pat00006
    는 타겟 윈도우 내의 평균 픽셀값,
    Figure 112008090633946-pat00007
    는 비교 윈도우 내의 평균 픽셀값).
  2. 삭제
KR1020080137134A 2008-12-30 2008-12-30 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법 KR100904078B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080137134A KR100904078B1 (ko) 2008-12-30 2008-12-30 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080137134A KR100904078B1 (ko) 2008-12-30 2008-12-30 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR100904078B1 true KR100904078B1 (ko) 2009-06-23

Family

ID=40983048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080137134A KR100904078B1 (ko) 2008-12-30 2008-12-30 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100904078B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083902B1 (ko) 2011-06-14 2011-11-15 (주)태일아이엔지 항공 레이저 측량 데이터의 필터링을 이용한 3차원 공간정보 구축 시스템
WO2012134236A2 (ko) * 2011-04-01 2012-10-04 에스케이씨앤씨 주식회사 병렬 처리 기반의 디지털 표면 모델 생성 방법과 그 시스템
CN103177650A (zh) * 2013-04-12 2013-06-26 江苏大学 一种基于航拍图的简易数字地图制作方法
WO2013162207A1 (ko) * 2012-04-25 2013-10-31 서울시립대학교 산학협력단 Ｒｐｃ를 이용한 자동 기하 보정 시스템 및 방법
WO2020101156A1 (ko) * 2018-11-15 2020-05-22 주식회사 스트리스 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR20200082611A (ko) * 2018-12-31 2020-07-08 한국전자통신연구원 수치표고모델을 이용한 3차원 가상 환경 저작 시스템 및 그것의 동작 방법
KR20210065284A (ko) 2019-11-26 2021-06-04 주식회사 이노팸 GeoAI를 이용한 공간 정보 생성 방법 및 공간 정보 생성 장치
KR20220084790A (ko) 2020-12-14 2022-06-21 건국대학교 산학협력단 3차원 공간정보 생성을 위한 병렬처리 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058437A (ko) * 2000-05-23 2000-10-05 박용선 인공위성의 영상데이터를 이용한 지도 제작방법
KR100653627B1 (ko) 2006-01-27 2006-12-05 (자)한진개발공사 3차원 지형공간정보처리기술과 항공사진을 이용한기본설계용 도로노선 결정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058437A (ko) * 2000-05-23 2000-10-05 박용선 인공위성의 영상데이터를 이용한 지도 제작방법
KR100653627B1 (ko) 2006-01-27 2006-12-05 (자)한진개발공사 3차원 지형공간정보처리기술과 항공사진을 이용한기본설계용 도로노선 결정 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134236A2 (ko) * 2011-04-01 2012-10-04 에스케이씨앤씨 주식회사 병렬 처리 기반의 디지털 표면 모델 생성 방법과 그 시스템
WO2012134236A3 (ko) * 2011-04-01 2013-01-03 에스케이씨앤씨 주식회사 병렬 처리 기반의 디지털 표면 모델 생성 방법과 그 시스템
KR101083902B1 (ko) 2011-06-14 2011-11-15 (주)태일아이엔지 항공 레이저 측량 데이터의 필터링을 이용한 3차원 공간정보 구축 시스템
WO2013162207A1 (ko) * 2012-04-25 2013-10-31 서울시립대학교 산학협력단 Ｒｐｃ를 이용한 자동 기하 보정 시스템 및 방법
US9378585B2 (en) 2012-04-25 2016-06-28 University Of Seoul Industry Cooperation Foundation System and method for automatic geometric correction using RPC
CN103177650A (zh) * 2013-04-12 2013-06-26 江苏大学 一种基于航拍图的简易数字地图制作方法
WO2020101156A1 (ko) * 2018-11-15 2020-05-22 주식회사 스트리스 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR20200056613A (ko) * 2018-11-15 2020-05-25 주식회사 스트리스 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR102127679B1 (ko) * 2018-11-15 2020-06-29 주식회사 스트리스 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR20200082611A (ko) * 2018-12-31 2020-07-08 한국전자통신연구원 수치표고모델을 이용한 3차원 가상 환경 저작 시스템 및 그것의 동작 방법
KR102318522B1 (ko) * 2018-12-31 2021-10-29 한국전자통신연구원 수치표고모델을 이용한 3차원 가상 환경 저작 시스템 및 그것의 동작 방법
KR20210065284A (ko) 2019-11-26 2021-06-04 주식회사 이노팸 GeoAI를 이용한 공간 정보 생성 방법 및 공간 정보 생성 장치
KR20220084790A (ko) 2020-12-14 2022-06-21 건국대학교 산학협력단 3차원 공간정보 생성을 위한 병렬처리 장치 및 방법

Similar Documents

Publication Publication Date Title
Balsa-Barreiro et al. Generation of visually aesthetic and detailed 3D models of historical cities by using laser scanning and digital photogrammetry
US7983474B2 (en) Geospatial modeling system and related method using multiple sources of geographic information
KR100904078B1 (ko) 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법
James et al. Straightforward reconstruction of 3D surfaces and topography with a camera: Accuracy and geoscience application
US7944547B2 (en) Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
US8427505B2 (en) Geospatial modeling system for images and related methods
US20090208095A1 (en) Site modeling using image data fusion
Maurer et al. Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection
Pepe et al. Use of SfM-MVS approach to nadir and oblique images generated throught aerial cameras to build 2.5 D map and 3D models in urban areas
Sheng et al. Automated georeferencing and orthorectification of Amazon basin-wide SAR mosaics using SRTM DEM data
Javadnejad et al. Dense point cloud quality factor as proxy for accuracy assessment of image-based 3D reconstruction
Zhou Urban High-Resolution Remote Sensing: Algorithms and Modeling
Yang et al. Improving accuracy of automated 3-D building models for smart cities
Karan et al. Digital modeling of construction site terrain using remotely sensed data and geographic information systems analyses
AGUILAR et al. 3D coastal monitoring from very dense UAV-Based photogrammetric point clouds
Hu et al. Building modeling from LiDAR and aerial imagery
Yoo et al. True orthoimage generation by mutual recovery of occlusion areas
KR20060127519A (ko) 이미지 기반의 공간 정보 구축 방법 및 시스템
Ariff et al. Exploratory study of 3D point cloud triangulation for smart city modelling and visualization
Pepe et al. Cultural Heritage Documentation in Sis Environment: an application for" Porta Sirena" in the archaeological site of Paestum
Chen et al. Rapid 3d modeling using photogrammetry applied to google earth
Rumpler et al. Rapid 3d city model approximation from publicly available geographic data sources and georeferenced aerial images
CN114758087A (zh) 一种城市信息模型的构建方法及装置
Zawieska et al. Development of true orthophotomaps of the fortified settlement at Biskupin, Site 4, based on archival data
Zhu A pipeline of 3D scene reconstruction from point clouds

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee