KR20120067757A - 항공 영상 간 대응 관계 추출 장치 및 그 방법 - Google Patents

항공 영상 간 대응 관계 추출 장치 및 그 방법 Download PDF

Info

Publication number
KR20120067757A
KR20120067757A KR1020100129322A KR20100129322A KR20120067757A KR 20120067757 A KR20120067757 A KR 20120067757A KR 1020100129322 A KR1020100129322 A KR 1020100129322A KR 20100129322 A KR20100129322 A KR 20100129322A KR 20120067757 A KR20120067757 A KR 20120067757A
Authority
KR
South Korea
Prior art keywords
axis
lines
extracting
building
aerial images
Prior art date
Application number
KR1020100129322A
Other languages
English (en)
Inventor
박일규
추창우
차영미
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100129322A priority Critical patent/KR20120067757A/ko
Priority to US13/325,957 priority patent/US9390330B2/en
Publication of KR20120067757A publication Critical patent/KR20120067757A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

본 발명은 항공 영상 간 대응 관계 추출 장치 및 그 방법에 관한 것으로, 둘 이상의 항공 영상들로부터 건물에 해당되는 선들을 추출하는 선 추출부, 2차원 영상의 좌표계를 기준으로 선들의 방향을 각각 x축, y축, z축 방향으로 정의하는 선 방향 결정부, 선들의 방향 중 x축 방향에 해당되는 선들을 2차원 영상의 수평 방향, y축 방향에 해당되는 선들을 2차원 영상의 수직 방향과 평행하도록 회전시켜 형성된 사각형으로부터 건물 상부 영역을 추출하는 건물 상부 영역 추출부, 및 항공 영상들에서 추출된 건물 상부 영역의 위치를 각각 비교하여, 항공 영상들 사이의 대응 관계를 추출하는 대응 관계 추출부를 포함한다.

Description

항공 영상 간 대응 관계 추출 장치 및 그 방법{Apparatus for matching correspondence between aerial images and method thereof}
본 발명은 항공 영상 간 대응 관계 추출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 건물이 많은 부분을 차지하는 도시 지역의 항공 영상 사진들로부터 건물들의 직선적인 특징을 이용하여 항공 영상 간 대응 관계를 자동으로 계산하도록 하는 항공 영상 간 대응 관계 추출 장치 및 그 방법에 관한 것이다.
영상 간의 대응 관계를 알아내기 위해서는 사람이 직접 개입하여 수작업으로 대응점을 표시하는 방법을 사용하거나, 자동으로 대응점들을 계산하는 방법을 사용하고 있다.
자동으로 대응점을 계산하는 방법은 영상 간에 화소들을 비교하는 방법에서 출발하여, 영상의 각 부분별로 특성 서술자(feature descriptor)를 계산하여 이를 다른 영상에서 추출된 특성 서술자들과 비교함으로써 동일한 부분을 찾는 방법으로 발전하여 왔다.
특성 서술자는 영상의 화소값들을 이용하는 간단한 방법으로부터, 영상의 gradient의 방향을 부분별로 계산하는 방법까지 다양한 방법들이 고안되어왔으며, 최근의 방법들은 영상의 촬영 조건이 상당히 다른 경우에도 대응점을 높은 정확도로 찾아내고 있다.
그러나, 특성 서술자를 비교하는 방법은 일반적인 사진에서는 좋은 성과를 보이고 있으나, 건물들이 많은 도시의 영상에 이를 적용하면 건물 간의 유사성 및 건물 내의 부분별 유사성에 의해 동일한 특성 서술자들이 많이 계산되게 되고, 이로 인해 특성 서술자를 이용한 대응점 계산은 낮은 효율을 보이고 있다.
본 발명의 목적은, 특성 서술자만을 이용하여 대응점을 자동으로 계산하기 힘든, 건물이 많은 부분을 차지하는 도시의 영상(항공사진) 간의 대응 관계를 찾아내도록 하는 항공 영상 간 대응 관계 추출 장치 및 그 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 건물과 같은 경우에 모호성이 발생하는 국부적(local)인 특징들을 사용하지 않고, 여러 건물들 간의 관계를 파악하여 국부적인 특징으로는 계산하기 힘든 대응 관계 계산을 자동으로 수행할 수 있도록 하는 항공 영상 간 대응 관계 추출 장치 및 그 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 항공 영상 간 대응관계 추출 장치는, 둘 이상의 항공 영상들로부터 건물에 해당되는 선들을 추출하는 선 추출부, 2차원 영상의 좌표계를 기준으로 상기 선들의 방향을 각각 x축, y축, z축 방향으로 정의하는 선 방향 결정부, 상기 선들의 방향 중 상기 x축 방향에 해당되는 선들을 상기 2차원 영상의 수평 방향, 상기 y축 방향에 해당되는 선들을 상기 2차원 영상의 수직 방향과 평행하도록 회전시켜 형성된 사각형으로부터 건물 상부 영역을 추출하는 건물 상부 영역 추출부, 및 상기 항공 영상들에서 추출된 상기 건물 상부 영역의 위치를 각각 비교하여, 상기 항공 영상들 사이의 대응 관계를 추출하는 대응 관계 추출부를 포함하는 것을 특징으로 한다.
상기 선 추출부는 상기 항공 영상 내의 선들 중 기 설정된 기준 범위 내의 선들로부터 건물의 모서리와 경계선에 해당되는 선을 추출하는 것을 특징으로 한다.
상기 선 방향 결정부는 상기 선들의 방향 분포 히스토그램을 생성하여, 상기 방향 분포 히스토그램으로부터 가장 큰 세 개의 극대값(peak)을 갖는 방향을 각각 x축, y축, z축 방향으로 정의하는 것을 특징으로 한다.
상기 선 방향 결정부는 상기 세 개의 극대값을 갖는 방향 중 수직 방향에 가장 가까운 선들을 상기 z축으로 정의하고, 상기 z축을 제외한 나머지 두 방향의 선들을 x축 및 y축으로 각각 정의하는 것을 특징으로 한다.
상기 선 방향 결정부는 상기 나머지 두 방향의 선들 중 임의로 선택된 어느 하나를 x축으로 정의하고, 나머지 다른 하나를 y축으로 정의하는 것을 특징으로 한다.
상기 건물 상부 영역 추출부는 상기 건물 상부 영역이 사각형이 아닌 경우, 상기 x축 방향 및 상기 y축 방향의 선들을 연장시켜 임의의 사각형을 생성하는 것을 특징으로 한다.
상기 대응 관계 추출부는 상기 건물 상부 영역의 중심점을 특징점으로 정의하고, 상기 특징점과 상기 건물 상부 영역의 모서리의 위치에 근거하여 상기 항공 영상들 간 대응 관계를 추출하는 것을 특징으로 한다.
한편, 본 발명에 따른 항공 영상 간 대응관계 추출 장치는, 상기 항공 영상들 간 상기 특징점의 좌표들 사이의 거리 제곱합으로부터 상기 항공 영상들 간 상기 건물들의 회전 및 평행 변환에 따른 변환 행렬을 계산하는 변환 행렬 계산부를 더 포함하는 것을 특징으로 한다.
상기 대응 관계 추출부는 상기 변환 행렬을 이용하여 상기 특징점에 대한 다른 항공 영상의 대응점을 추출하고, 상기 다른 항공 영상의 상기 특징점과 상기 대응점의 위치를 비교하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 항공 영상 간 대응관계 추출 방법은, 둘 이상의 항공 영상들로부터 건물에 해당되는 선들을 추출하는 단계, 2차원 영상의 좌표계를 기준으로 상기 선들의 방향을 각각 x축, y축, z축 방향으로 정의하는 단계, 상기 선들의 방향 중 상기 x축 방향에 해당되는 선들을 상기 2차원 영상의 수평 방향, 상기 y축 방향에 해당되는 선들을 상기 2차원 영상의 수직 방향과 평행하도록 회전시켜 형성된 사각형으로부터 건물 상부 영역을 추출하는 단계, 및 상기 항공 영상들에서 추출된 상기 건물 상부 영역의 위치를 각각 비교하여, 상기 항공 영상들 사이의 대응 관계를 추출하는 단계를 포함하는 것을 특징으로 한다.
상기 선들을 추출하는 단계는 상기 항공 영상 내의 선들 중 기 설정된 기준 범위 내의 선들로부터 건물의 모서리와 경계선에 해당되는 선을 추출하는 것을 특징으로 한다.
상기 정의하는 단계는, 상기 선들의 방향 분포 히스토그램을 생성하는 단계를 포함하고, 상기 방향 분포 히스토그램으로부터 가장 큰 세 개의 극대값(peak)을 갖는 방향을 각각 x축, y축, z축 방향으로 정의하는 것을 특징으로 한다.
상기 정의하는 단계는 상기 세 개의 극대값을 갖는 방향 중 수직 방향에 가장 가까운 선들을 상기 z축으로 정의하고, 상기 z축을 제외한 나머지 두 방향의 선들을 x축 및 y축으로 각각 정의하는 것을 특징으로 한다.
상기 정의하는 단계는 상기 나머지 두 방향의 선들 중 임의로 선택된 어느 하나를 x축으로 정의하고, 나머지 다른 하나를 y축으로 정의하는 것을 특징으로 한다.
상기 건물 상부 영역을 추출하는 단계는, 상기 건물 상부 영역이 사각형이 아닌 경우, 상기 x축 방향 및 상기 y축 방향의 선들을 연장시켜 임의의 사각형을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 대응 관계를 추출하는 단계는, 상기 건물 상부 영역의 중심점을 특징점으로 정의하는 단계를 포함하고, 상기 특징점과 상기 건물 상부 영역의 모서리의 위치에 근거하여 상기 항공 영상들 간 대응 관계를 추출하는 것을 특징으로 한다.
한편, 본 발명에 따른 항공 영상 간 대응관계 추출 방법은, 상기 항공 영상들 간 상기 특징점의 좌표들 사이의 거리 제곱합으로부터 상기 항공 영상들 간 상기 건물들의 회전 및 평행 변환에 따른 변환 행렬을 계산하는 단계를 더 포함하는 것을 특징으로 한다.
상기 대응 관계를 추출하는 단계는, 상기 변환 행렬을 이용하여 상기 특징점에 대한 다른 항공 영상의 대응점을 추출하는 단계, 및 상기 다른 항공 영상의 상기 특징점과 상기 대응점의 위치를 비교하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 기존의 특성 서술자 비교 방법으로는 만들기 힘들었던 도시 지역의 항공 영상 간의 대응 관계를 자동으로 계산해낼 수 있는 이점이 있다.
또한, 본 발명은, 도시 지역의 항공 영상에서 건물들의 국지적인 특징이 아닌 거시적인 관계를 이용하기 때문에, 국지적인 특징이 없는 곳에도 영상 간 대응 관계를 만드는 것이 가능한 이점이 있다.
도 1 은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2 는 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 선 추출 동작을 설명하는데 참조되는 예시도이다.
도 3 은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 선 방향 결정 동작을 설명하는데 참조되는 예시도이다.
도 4 는 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 수직 방향 결정 동작을 설명하는데 참조되는 예시도이다.
도 5 는 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 영상 변환 동작을 설명하는데 참조되는 예시도이다.
도 6 은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 건물 상부 영역 추출 동작을 설명하는데 참조되는 예시도이다.
도 7 및 도 8 은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 건물 상부 영역 간 대응 관계 추출 동작을 설명하는데 참조되는 예시도이다.
도 9 는 본 발명에 따른 항공 영상 간 대응 관계 추출 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 구성을 설명하는데 참조되는 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 항공 영상 간 대응 관계 추출 장치(이하, '대응 관계 추출 장치'라 칭함)는 입출력부(10), 제어부(20), 영상 취득부(30), 영상 정보 취득부(40), 저장부(50), 통신부(60), 선 추출부(70), 선 방향 결정부(80), 건물 상부 영역 추출부(90), 비교부(100), 변환 행렬 계산부(110), 및 대응 관계 추출부(120)를 포함한다. 여기서, 제어부(20)는 항공 영상 간 대응 관계 추출 장치의 각 부 동작을 제어한다.
입출력부(10)는 사용자로부터의 제어 명령을 입력 받고, 항공 영상 간 대응 관계 추출 장치의 동작 상태 및 결과를 출력한다.
영상 취득부(30)는 항공 상에서 촬영된 둘 이상의 항공 영상들을 취득한다.
영상 정보 취득부(40)는 영상 취득부(30)에서 취득한 항공 영상들에 대한 정보를 취득한다. 일 예로서, 영상 정보 취득부(40)는 해당 항공 영상들을 촬영 시점의 카메라 위치 정보(GPS 좌표 등), 방향 정보(촬영 방향의 3차원 벡터 등), 및 자세 정보 등을 취득한다.
선 추출부(70)는 항공 영상에서 건물의 모서리와 경계선에 생기는 선을 추출한다. 이때, 선 추출부(70)는 영상처리 알고리즘을 이용하여 항공 영상으로부터 선을 추출한다. 선 추출은 2차원 영상 정보만으로 수행되며, 짧은 선들을 먼저 추출한 후 이웃한 선을 연결하여 긴 선을 만든다.
선을 추출한 후에는 추출된 선 중에서 건물이 아닌 부분에서 발생하는 선을 제거한다. 이때, 선 추출부(70)는 선들의 길이가 기 설정된 기준 범위 내인 선들만 남기고, 상위 p%인 선과, 하위 q%인 선을 제거한다. 여기서, p, q 값은 실험에 의하여 건물의 선을 가장 잘 추출할 수 있는 값으로 결정한다.
선 방향 결정부(80)는 선 추출부(70)에 의해 추출된 선들의 방향을 결정한다. 이때, 선 방향 결정부(80)는 선들의 방향 분포 히스토그램을 생성한다. 여기서, 선들의 방향은 2차원의 영상 좌표계를 기준으로 정의한다. 이때, 선들의 방향 성분은 0 내지 π 사이의 값으로 정의한다.
선 방향 결정부(80)는 방향 히스토그램으로부터 극대값(peak)을 갖는 방향 성분들을 계산한다. 이때, 계산된 극대값 중 가장 큰 3개의 값을 뽑아 4번째 극대값과 비교하여 비교율이 지정한 비율보다 높지 않으면 영상을 더 작은 영상으로 분할한다. 만일, 비율이 지정한 비율을 넘었다면 3개의 극대값을 세 축(x축, y축, z축)의 방향으로 정의한다.
선 방향 결정부(80)는 세 축의 방향 중 수직 방향을 선택한다. 수직 방향의 선택은 카메라의 자세 정보에 의해 수행된다. 카메라의 자세 정보를 적용하여, 3차원 상의 수직방향을 카메라로 찍은 영상의 수직 방향으로 변환하여 세 축의 방향과 비교한다. 세 축의 방향 중, 카메라의 자세 정보에 의해 계산된 수직 방향과 가장 근접한 방향을 수직 방향으로 기록한다.
건물 상부 영역 추출부(90)는 수직방향을 제외한 나머지 두 방향을 영상의 x축과 y축 (수평, 수직 방향)과 일치되도록 영상을 변환(transform)한다. 이때, 건물 상부 영역 추출부(90)는 나머지 두 방향 중 하나의 방향을 임의로 선택하고, 임의 선택된 방향이 수평 방향이 되도록 회전 변환한다. 따라서, 임의 선택된 방향이 x축 방향과 평행이 되게 된다.
또한, 건물 상부 영역 추출부(90)는 두 방향 중 다른 하나의 방향을 선택하고, 선택된 방향이 수직 방향이 되도록 회전 변환한다. 따라서, 선택된 방향이 y축 방향과 평행이 되게 한다.
따라서, 건물 상부 영역 추출부(90)는 x축 방향 및 y축 방향과 평행하게 회전된 선들에 의해 형성된 사각형으로부터 건물의 상부 영역을 추출한다. 만일, 다른 건물에 가려져 해당 건물의 상부 영역이 사각형이 아닌 경우, 건물 상부 영역 추출부(90)는 두 방향의 선을 연장하여 임의로 사각형을 만들 수 있다. 이때, 사각형의 측면으로 형성되는 평행사변형은 건물의 측면이 된다. 건물 상부 영역 추출부(90)는 건물의 상부 영역 및 건물의 경계선을 저장부(50)에 저장한다.
비교부(100)는 각각의 항공 영상들로부터 추출된 건물 상부 영역의 상대적인 위치를 비교한다. 이때, 비교부(100)는 영상 정보 취득부(40)에서 취득된 영상 정보를 이용하여 건물 상부 영역의 위치를 파악한다.
대응 관계 추출부(120)는 비교부(100)의 비교 결과에 근거하여 각 영상 간의 대응 관계를 추출한다.
대응 관계 추출부(120)는 각 영상 간 대응 관계를 이용하여 어느 한 영상의 특징점을 다른 영상에 대응시킨다. 이때, 대응 관계 추출부(120)는 한 영상의 특징점과 다른 영상에 대응시킨 특징점을 비교하여 서로 일치하면 대응 관계 정보를 저장한다.
이때, 대응 관계 추출부(120)는 영상 정보, 예를 들어, 촬영방향 및 촬영 거리 등을 이용하여 해당 영상의 스케일을 결정한다. 한편, 대응 관계 추출부(120)는 영상 정보를 알지 못하는 경우에는 영상 간의 스케일 차이를 보정하기 위하여, 건물 상부 영역의 평균적인 값을 이용하여 해당 영상을 노멀라이즈(normalize)하면 스케일 차이를 보정할 수 있다.
한편, 변환 행렬 계산부(110)는 영상 간 대응 관계 정보에 근거하여 변환 행렬을 계산한다. 이때, 변환 행렬 계산부(110)는 건물 상부영역의 중심점의 좌표들 간의 거리 제곱합이 최소가 되는 영상 간 회전(0도, 90도, 180도, 270도) 및 평행이동 변환을 계산한다. 따라서, 변환 행렬 계산부(110)는 영상 간 회전 및 평행이동 변환에 따른 변환 행렬을 획득한다.
따라서, 대응 관계 추출부(120)는 변환 행렬 계산부(110)의 변환 행렬을 이용하여 다른 영상에서 한 영상의 특징점에 대한 대응점의 위치를 확인할 수 있다. 이때, 대응 관계 추출부(120)는 변환 행렬을 이용하여 한 영상의 특징점과 다른 영상에 대응시킨 특징점이 서로 일치하지 않으면, 대응 관계를 다시 추출하거나 기 추출된 대응 관계 정보를 보정하도록 한다.
도 2는 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 선 추출 동작을 나타낸 것으로, 특히 선 추출부의 동작 설명에 참조되는 도이다.
도 2에 도시된 바와 같이, 선 추출부(70)는 항공 영상을 분석하여, 항공 영상 내의 선들을 추출한다. 이때, 선 추출부(70)는 건물이 아닌 부분에서 발생하는 선들을 제거하고, 건물의 모서리와 경계선에 생기는 선만을 추출한다.
일 예로서, 선 추출부(70)는 항공 영상으로부터 추출된 선들의 길이를 비교하여 일정 범위 이내의 선들을 남겨두고, 기준 범위를 초과하거나 또는 기준 범위 미만인 선들을 제거한다. 이때, 기준 범위는 사전 실험을 통해 건물로부터 추출되는 선의 길이로 결정한다.
도 3 및 도 4는 선 방향 결정부의 동작 설명에 참조되는 예시도이다.
먼저, 도 3은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 선 방향 결정 동작을 나타낸 것이고, 도 4는 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 수직 방향 결정 동작을 나타낸 것이다.
도 3에 도시된 바와 같이, 선 방향 결정부(80)는 도 2에서 추출된 선들의 방향을 결정한다. 이때, 선 방향 결정부(80)는 2차원의 영상 좌표계를 기준으로 추출된 선들의 방향을 정의한다. 여기서, 추출된 선들의 방향 성분은 0 내지 π 사이의 값으로 정의한다.
한편, 선 방향 결정부(80)는 추출된 선들의 방향 분포 히스토그램을 생성한다. 이때, 선 방향 결정부(80)는 방향 히스토그램으로부터 극대값(peak)을 갖는 방향 성분들을 계산하여, 계산된 극대값 중 가장 큰 3개의 값을 세 축(x축, y축, z축)의 방향으로 정의한다.
이때, 선 방향 결정부(80)는 도 4에 도시된 바와 같이, 세 축(x축, y축, z축)의 방향 중 수직 성분의 선들(40)을 선택하여 z축, 즉, 건물의 측면 모서리 방향으로 정의한다. 여기서, 선 방향 결정부(80)는 세 축(x축, y축, z축)의 방향 중 수직 방향의 선(40)이 없는 경우, 수직 방향에 가장 가까운 선을 수직 성분, 즉, z축으로 결정한다.
한편, 선 방향 결정부(80)는 수직 성분을 제외한 두 방향의 수평 성분에 해당되는 선들(50, 60) 중 어느 하나를 x축으로 정의하고, 다른 하나를 y축으로 정의한다.
도 5 및 도 6은 건물 상부 영역 추출부의 동작 설명에 참조되는 도이다.
먼저, 도 5는 건물 상부 영역 추출부의 영상 변환 동작을 나타낸 것이다.
도 5에 도시된 바와 같이, 건물 상부 영역 추출부(90)는 수직방향(z축)을 제외한 나머지 두 방향(x축과 y축) 성분의 선들(50, 60)이 영상의 수평, 수직 방향과 일치되도록 영상을 변환(transform)한다.
다시 말해, 건물 상부 영역 추출부(90)는 수평 성분의 두 방향 중 하나의 방향(x축)을 선택하여, 해당 선들(50)이 영상의 수평 방향과 평행하도록 회전 변환한다. 또한, 건물 상부 영역 추출부(90)는 수평 성분의 두 방향 중 다른 하나의 방향(y축)을 선택하여, 해당 선들(60)이 영상의 수직 방향과 평행하도록 회전 변환한다.
건물 상부 영역 추출부(90)에 의해 최종 변환된 영상은 도 6과 같다.
따라서, 건물 상부 영역 추출부(90)는 도 6에 도시된 바와 같이, 영상의 x축 방향 및 y축 방향과 평행하게 회전된 선들(50, 60)에 의해 형성된 사각형으로부터 건물의 상부 영역(A)을 추출한다. 만일, 다른 건물에 가려져 해당 건물의 상부 영역이 사각형이 아닌 경우, 건물 상부 영역 추출부(90)는 두 방향의 선을 연장하여 임의로 사각형을 만들 수도 있다.
도 7 및 도 8은 본 발명에 따른 항공 영상 간 대응 관계 추출 장치의 건물 상부 영역 간 대응 관계 추출 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 7은 항공 영상으로부터 추출된 건물 상부 영역의 특징점을 추출하는 동작을 나타낸 것이다. 도 7에 도시된 바와 같이, 대응 관계 추출부(120)는 건물 상부 영역의 중심점을 특징점(P)으로 정의하고, 특징점(P)과 건물 상부 영역의 모서리(Q)에 근거하여 각 항공 영상 간 대응 관계를 추출한다.
또한, 대응 관계 추출부(120)는 영상 정보, 예를 들어, 촬영방향 및 촬영 거리 등을 이용하여 해당 영상의 스케일을 결정한다. 이후, 대응 관계 추출부(120)는 추출된 특징점(P)과 모서리(Q)를 다른 영상에 대응시켜, 다른 영상의 대응점과 비교한다.
이때, 변환 행렬 계산부(110)는 건물 상부 영역의 특징점(P)의 좌표들 간의 거리 제곱합이 최소가 되는 영상 간 회전(0도, 90도, 180도, 270도) 및 평행이동 변환을 계산한다. 따라서, 대응 관계 추출부(120)는 변환 행렬 계산부(110)의 변환 행렬을 이용하여 다른 영상에서 한 영상의 특징점에 대한 대응점의 위치를 확인한다. 여기서, 대응 관계 추출부(120)는 대응점 검색 시, 기존의 특성 서술자(feature descriptor)를 사용하여 비교하거나, 항공 영상 간 상호 상관관계(cross correlation)를 적용하여 확인할 수 있다.
항공 영상1(I1)의 특징점에 대한 항공 영상2(I2)의 대응점의 위치는 도 8과 같다. 다시 말해, 항공 영상1(I1)에서 건물 상부 영역의 모서리에 의해 형성된 꼭지점들 V1, V2, V3, V4는 항공 영상2(I2)에서 V5, V6, V7, V8에 각각 대응됨을 확인할 수 있다.
이때, 대응 관계 추출부(120)는 변환 행렬을 이용하여 한 영상의 특징점과 다른 영상에 대응시킨 특징점이 서로 일치하지 않으면, 대응 관계를 다시 추출하거나 기 추출된 대응 관계 정보를 보정할 수도 있다.
도 9는 본 발명에 따른 항공 영상 간 대응 관계 추출 방법에 대한 동작 흐름을 도시한 순서도이다.
도 9에 도시된 바와 같이, 본 발명에 따른 대응 관계 추출 장치는 복수의 항공 영상을 취득하고(S100), 각 항공 영상에 대한 영상 정보를 함께 취득한다(S110).
이후, 대응 관계 추출 장치는 'S100' 과정에서 취득된 항공 영상으로부터 건물에 해당하는 선들을 추출하고(S120), 추출된 선들에 대한 선 방향을 결정한다(S130). 이때, 대응 관계 추출 장치는 2차원의 영상 좌표계를 기준으로 추출된 선들의 방향을 결정한다.
또한, 대응 관계 추출 장치는 'S120' 과정에서 추출된 선들 중 방향 히스토그램으로부터 가장 큰 극대값(peak)을 갖는 3개의 방향 성분들을 선택한다. 대응 관계 추출장치는 3개의 방향 성분들 중 수직 방향을 결정한다(S140). 이때, 대응 관계 추출 장치는 수직 방향의 선을 z축으로 정의한다.
한편, 대응 관계 추출 장치는 3개의 방향 성분들 중 수평 방향의 선들 중 하나를 x축, 다른 하나를 y축으로 정의하고, 각각의 선들을 영상의 x축 및 y축 방향과 각각 평행하도록 변환한다(S150). 이때, 대응 관계 추출 장치는 x축 및 y축 성분의 선들에 의해 형성된 사각형을 건물 상부 영역으로 추출한다(S160).
이후, 대응 관계 추출 장치는 각각의 항공 영상들에서 추출된 건물 상부 영역을 비교하여(S170), 각 항공 영상 간 변환 행렬을 계산한다(S180). 이때, 대응 관계 추출 장치는 'S180' 과정에서 계산된 변환 행렬을 이용하여 각 항공 영상들 간 대응 관계를 추출한다(S190). 만일, 'S180' 과정에서 추출된 대응 관계가 맞지 않는 경우, 대응 관계 추출 장치는 대응 관계 정보를 보정한다(S200).
이상과 같이 본 발명에 의한 항공 영상 간 대응 관계 추출 장치 및 그 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 입출력부 20: 제어부
30: 영상 취득부 40: 영상 정보 취득부
50: 저장부 60: 통신부
70: 선 추출부 80: 선 방향 결정부
90: 건물 상부 영역 추출부 100: 비교부
110: 변환 행렬 계산부 120: 대응 관계 추출부

Claims (18)

  1. 둘 이상의 항공 영상들로부터 건물에 해당되는 선들을 추출하는 선 추출부;
    2차원 영상의 좌표계를 기준으로 상기 선들의 방향을 각각 x축, y축, z축 방향으로 정의하는 선 방향 결정부;
    상기 선들의 방향 중 상기 x축 방향에 해당되는 선들을 상기 2차원 영상의 수평 방향, 상기 y축 방향에 해당되는 선들을 상기 2차원 영상의 수직 방향과 평행하도록 회전시켜 형성된 사각형으로부터 건물 상부 영역을 추출하는 건물 상부 영역 추출부; 및
    상기 항공 영상들에서 추출된 상기 건물 상부 영역의 위치를 각각 비교하여, 상기 항공 영상들 사이의 대응 관계를 추출하는 대응 관계 추출부;를 포함하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  2. 청구항 1에 있어서,
    상기 선 추출부는,
    상기 항공 영상 내의 선들 중 기 설정된 기준 범위 내의 선들로부터 건물의 모서리와 경계선에 해당되는 선을 추출하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  3. 청구항 1에 있어서,
    상기 선 방향 결정부는,
    상기 선들의 방향 분포 히스토그램을 생성하여, 상기 방향 분포 히스토그램으로부터 가장 큰 세 개의 극대값(peak)을 갖는 방향을 각각 x축, y축, z축 방향으로 정의하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  4. 청구항 3에 있어서,
    상기 선 방향 결정부는,
    상기 세 개의 극대값을 갖는 방향 중 수직 방향에 가장 가까운 선들을 상기 z축으로 정의하고, 상기 z축을 제외한 나머지 두 방향의 선들을 x축 및 y축으로 각각 정의하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  5. 청구항 4에 있어서,
    상기 선 방향 결정부는,
    상기 나머지 두 방향의 선들 중 임의로 선택된 어느 하나를 x축으로 정의하고, 나머지 다른 하나를 y축으로 정의하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  6. 청구항 1에 있어서,
    상기 건물 상부 영역 추출부는,
    상기 건물 상부 영역이 사각형이 아닌 경우, 상기 x축 방향 및 상기 y축 방향의 선들을 연장시켜 임의의 사각형을 생성하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  7. 청구항 1에 있어서,
    상기 대응 관계 추출부는,
    상기 건물 상부 영역의 중심점을 특징점으로 정의하고, 상기 특징점과 상기 건물 상부 영역의 모서리의 위치에 근거하여 상기 항공 영상들 간 대응 관계를 추출하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  8. 청구항 7에 있어서,
    상기 항공 영상들 간 상기 특징점의 좌표들 사이의 거리 제곱합으로부터 상기 항공 영상들 간 상기 건물들의 회전 및 평행 변환에 따른 변환 행렬을 계산하는 변환 행렬 계산부;를 더 포함하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  9. 청구항 8에 있어서,
    상기 대응 관계 추출부는,
    상기 변환 행렬을 이용하여 상기 특징점에 대한 다른 항공 영상의 대응점을 추출하고, 상기 다른 항공 영상의 상기 특징점과 상기 대응점의 위치를 비교하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 장치.
  10. 둘 이상의 항공 영상들로부터 건물에 해당되는 선들을 추출하는 단계;
    2차원 영상의 좌표계를 기준으로 상기 선들의 방향을 각각 x축, y축, z축 방향으로 정의하는 단계;
    상기 선들의 방향 중 상기 x축 방향에 해당되는 선들을 상기 2차원 영상의 수평 방향, 상기 y축 방향에 해당되는 선들을 상기 2차원 영상의 수직 방향과 평행하도록 회전시켜 형성된 사각형으로부터 건물 상부 영역을 추출하는 단계; 및
    상기 항공 영상들에서 추출된 상기 건물 상부 영역의 위치를 각각 비교하여, 상기 항공 영상들 사이의 대응 관계를 추출하는 단계;를 포함하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  11. 청구항 10에 있어서,
    상기 선들을 추출하는 단계는,
    상기 항공 영상 내의 선들 중 기 설정된 기준 범위 내의 선들로부터 건물의 모서리와 경계선에 해당되는 선을 추출하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  12. 청구항 10에 있어서,
    상기 정의하는 단계는,
    상기 선들의 방향 분포 히스토그램을 생성하는 단계;를 포함하고,
    상기 방향 분포 히스토그램으로부터 가장 큰 세 개의 극대값(peak)을 갖는 방향을 각각 x축, y축, z축 방향으로 정의하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  13. 청구항 12에 있어서,
    상기 정의하는 단계는,
    상기 세 개의 극대값을 갖는 방향 중 수직 방향에 가장 가까운 선들을 상기 z축으로 정의하고, 상기 z축을 제외한 나머지 두 방향의 선들을 x축 및 y축으로 각각 정의하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  14. 청구항 13에 있어서,
    상기 정의하는 단계는,
    상기 나머지 두 방향의 선들 중 임의로 선택된 어느 하나를 x축으로 정의하고, 나머지 다른 하나를 y축으로 정의하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  15. 청구항 10에 있어서,
    상기 건물 상부 영역을 추출하는 단계는,
    상기 건물 상부 영역이 사각형이 아닌 경우, 상기 x축 방향 및 상기 y축 방향의 선들을 연장시켜 임의의 사각형을 생성하는 단계;를 포함하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  16. 청구항 10에 있어서,
    상기 대응 관계를 추출하는 단계는,
    상기 건물 상부 영역의 중심점을 특징점으로 정의하는 단계;를 포함하고,
    상기 특징점과 상기 건물 상부 영역의 모서리의 위치에 근거하여 상기 항공 영상들 간 대응 관계를 추출하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  17. 청구항 16에 있어서,
    상기 항공 영상들 간 상기 특징점의 좌표들 사이의 거리 제곱합으로부터 상기 항공 영상들 간 상기 건물들의 회전 및 평행 변환에 따른 변환 행렬을 계산하는 단계;를 더 포함하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
  18. 청구항 17에 있어서,
    상기 대응 관계를 추출하는 단계는,
    상기 변환 행렬을 이용하여 상기 특징점에 대한 다른 항공 영상의 대응점을 추출하는 단계; 및
    상기 다른 항공 영상의 상기 특징점과 상기 대응점의 위치를 비교하는 단계;를 더 포함하는 것을 특징으로 하는 항공 영상 간 대응관계 추출 방법.
KR1020100129322A 2010-12-16 2010-12-16 항공 영상 간 대응 관계 추출 장치 및 그 방법 KR20120067757A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100129322A KR20120067757A (ko) 2010-12-16 2010-12-16 항공 영상 간 대응 관계 추출 장치 및 그 방법
US13/325,957 US9390330B2 (en) 2010-12-16 2011-12-14 Apparatus and method for extracting correspondences between aerial images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100129322A KR20120067757A (ko) 2010-12-16 2010-12-16 항공 영상 간 대응 관계 추출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120067757A true KR20120067757A (ko) 2012-06-26

Family

ID=46234497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100129322A KR20120067757A (ko) 2010-12-16 2010-12-16 항공 영상 간 대응 관계 추출 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9390330B2 (ko)
KR (1) KR20120067757A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002554A1 (ja) * 2012-06-29 2014-01-03 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
US9349189B2 (en) * 2013-07-01 2016-05-24 Here Global B.V. Occlusion resistant image template matching using distance transform
KR20150010070A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 휴대단말기에서 이미지를 표시하는 방법 및 장치
CN103914830B (zh) 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
US10395133B1 (en) * 2015-05-08 2019-08-27 Open Text Corporation Image box filtering for optical character recognition
KR102275572B1 (ko) 2018-12-21 2021-07-09 한국전자통신연구원 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
KR102454180B1 (ko) * 2018-12-31 2022-10-14 한국전자통신연구원 3차원 지형 데이터를 생성 장치 및 방법
US11170230B2 (en) 2019-02-26 2021-11-09 Tusimple, Inc. Method and system for map construction
US10803635B2 (en) * 2019-02-26 2020-10-13 Tusimple, Inc. Method and system for map construction
US10909698B2 (en) * 2019-05-03 2021-02-02 Procore Technologies, Inc. Pattern matching tool
KR102275621B1 (ko) * 2019-08-22 2021-07-09 서울시립대학교 산학협력단 통합 장치 및 통합 방법
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术（北京）有限公司 地图生成方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
KR20000064227A (ko) 2000-08-31 2000-11-06 천병년 지리정보 시스템을 이용한 3차원 가상공간 검색 시스템 및방법
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
US20110292208A1 (en) * 2009-11-24 2011-12-01 Old Dominion University Research Foundation High-resolution urban true orthoimage creation

Also Published As

Publication number Publication date
US9390330B2 (en) 2016-07-12
US20120155745A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
KR20120067757A (ko) 항공 영상 간 대응 관계 추출 장치 및 그 방법
CN107273846B (zh) 一种人体体型参数确定方法及装置
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
CN106023303B (zh) 一种基于轮廓有效性提高三维重建点云稠密程度的方法
CN112381919A (zh) 信息处理方法、定位方法及装置、电子设备和存储介质
WO2012077287A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
JP4521235B2 (ja) 撮影画像の変化抽出装置及び方法
CN104766309A (zh) 一种平面特征点导航定位方法与装置
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
CN111383270A (zh) 物体定位方法、装置、计算机设备及存储介质
KR101716973B1 (ko) 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
WO2020133080A1 (zh) 物体定位方法、装置、计算机设备及存储介质
CN110599407B (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
Barranco-Gutiérrez et al. An approach for utility pole recognition in real conditions
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
KR20220088289A (ko) 객체 포즈 추정 장치 및 방법
JP2003281503A (ja) 立体物の画像認識装置
CN115731256A (zh) 一种顶点坐标的检测方法、装置、设备及存储介质
Lee et al. 3D interaction in Augmented Reality with stereo-vision technique
Zhao et al. Calculating vanishing points in dual space
KR101156547B1 (ko) 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법
Abdelhamid et al. Extracting depth information using a correlation matching algorithm
JP5425045B2 (ja) オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム
JP2005173128A (ja) 輪郭形状抽出装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right