KR20070054593A

KR20070054593A - 단일한 이미지로부터 3차원 물체를 측량, 모델링 및맵핑하기 위한 시스템, 컴퓨터 프로그램 및 방법

Info

Publication number: KR20070054593A
Application number: KR1020067016429A
Authority: KR
Inventors: 빈센트 씨. 타오; 용 후; 피터 렌슨; 아리에 크로이토루; 완소우 지앙
Original assignee: 마이크로소프트 아말가매티드 컴퍼니 이
Priority date: 2004-01-16
Filing date: 2005-01-14
Publication date: 2007-05-29
Also published as: CN1918451B; US20080310756A1; JP4773973B2; EP1709396A1; US7995862B2; JP2007522443A; CA2455359C; WO2005068936A1; KR101159379B1; CN1918451A; EP1709396A4; US7376284B2; US20080089610A1; CA2455359A1; EP1709396B1

Abstract

적어도 하나의 3차원 물체의 단일 이미지로부터, 3차원 측량 정보를 도출하고 및/또는 3차원 모델 및 지도를 생성하기 위한 방법이 제공된다. 상기 방법은 (a) 상기 물체의 적어도 하나의 2차원 단일 이미지를 얻는 단계 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(image geometry model; IGM)과 연관됨 -, (b) 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키는 단계, (c) (i) 상기 물체에 포함되는 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하고; 및/또는 (ⅱ) 상기 물체에 포함되는 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하도록 상기 이미지 데이터를 분석하는 단계, 및 (d) 상기 물체의 상기 투영도 및/또는 그림자에 기초하여 3차원 측량 결과를 얻는 단계를 포함한다. 본 발명의 방법을 연산하기 위한 일련의 알고리즘도 제공된다. 개시된 방법에 기초하여 적어도 하나의 3차원 물체의 단일 이미지로부터, 3차원 측량 정보를 도출하고 및/또는 3차원 모델 및 지도를 생성하기 위한 컴퓨터 시스템 및 관련 컴퓨터 프로그램도 제공된다.

측량, 3차원 물체, 3차원 모델

Description

단일한 이미지로부터 3차원 물체를 측량, 모델링 및 맵핑하기 위한 시스템, 컴퓨터 프로그램 및 방법{SYSTEM, COMPUTER PROGRAM AND METHOD FOR 3D OBJECT MEASUREMENT, MODELING AND MAPPING FROM SINGLE IMAGERY}

본 발명은 맵핑, 측량, 사진 측량, 원격 탐사(remote sensing), 시각화(visualization) 및 시뮬레이션, 게이밍(gaming), 플래닝(planning), 측량학, 도시 공학, 지리학에 관한 것이며, 더욱 상세하게는, 단일 이미지로부터 물체들의 또는 물체들 간의 측량 및 크기(dimension) 정보의 수집, 및 3차원 모델 및 지도, 그리고 분석, 모델링, 맵핑 및 시각화에 있어서 상기 정보의 순차적인 사용에 관한 것이다.

3차원 물체를 측량하는 종래의 방법은, 동일한 물체에서 찍은 쌍으로된 스테레오 이미지(stereo image)들을 획득하는 스테레오-비젼(stereo-vision)이라 불린다. 각각의 이미지의 이미지 기하 모델(image geometry model; 이하 IGM)이 부여되면, 물체의 3차원 좌표 정보가 결정될 수 있다. 사진 측량 방법은 대응점(conjugate point)를 선택함으로써 물체를 측량하며, 그에 따라 상기 점들에 기초한 IGM을 사용하여 임의의 크기를 측정한다. 그러면, 스테레오-비젼 접근법에 의해 3차원 모델 및 지도가 생성된다.

특히 공중 또는 위성 센서로부터 스테레오 이미지를 얻는 것은, 단일 이미지를 얻는 것에 비해 비용이 더 비싸며 전달 시간이 더 오래 걸린다. 또한 이미지 벤더(vendor)에 의해 유지되는 데이터베이스에 저장된 이미지들 대부분은 단일 이미지이다. 따라서, 비상 맵핑, 방어, 지능, 전기 통신 및 공학 등의 응용 사례에서는 단일 이미지를 사용하는 것이 유리하다.

단일 이미지로부터 3차원 측량, 모델링 및 맵핑을 수행하도록 개발된 시스템은 알려져 있지 않다. 본 발명은 효과적으로 3차원 측량을 하고 3차원 물체의 모델 및 지도를 생성할 수 있는 조작 방법, 컴퓨터 프로그램 및 시스템을 이루어냈다. 상기 시스템은 물체 투영, 그림자, 물체 기하학, 및 IGM을 사용하도록 설계된 고유한 유틸리티 및 새로운 알고리즘으로 구성된다.

IGM은 물체의 공간과 이미지 공간 간의 기하학적 관계를 기술한다. 널리 사용되는 두 가지 IGM에는 물리 센서 모델과 일반화된 센서 모델이 포함된다. 유리 함수 모델(rational funtion model; RFM)은 일종의 일반화된 센서 모델이다.

다음의 관련 선행 기술들이 확인되었다:

Jiang, W. , Tao, C. V. , Hu, Y. , Xu, Z. , 2003.3-D measurement from single and stereo high-resolution satellite imagery based on the RFM, ASPRSAraiaatal Conference, 5-9 May, Anchorage, AK, 7 p(이 참조 문헌은 위성 이미지로부터 RFM 기반 방법을 사용하여 얻은 몇가지 실험적인 결과를 설명한다).

OpenGIS Consortium, 1999. TheOpenGISAbstract Specification-Topic 7 : TlaeEart7z Inzagery Case(이 참조 문헌은 맵핑, 원격 탐사 및 지리 산업에 사용되 는 IGM의 개요를 제공한다).

Tao, C. V. , Hu, Y. , 2001. A comprehensive study of the rational function model forphotogrammetric processing,Photogramnaetric Engineering & Remote S'ensiyag, 67 (12): 1347-1357. (이 참고 문헌은 RFM 센서 모델의 상세한 수학 공식과 그 정확도에 대한 실험적인 연구 결과를 제공한다).

본 발명의 일 태양에 따르면, 적어도 하나의 3차원 물체의 단일 이미지로부터, 3차원 측량 정보 도출 및/또는 3차원 모델 및 지도 생성을 위한 방법이 제공되며, 상기 방법은, 상기 물체의 적어도 하나의 2차원 단일 이미지를 얻는 단계 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(image geometry model; IGM)과 연관됨 -, 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키는 단계, 상기 물체에 포함되는 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하고, 및/또는 상기 물체에 포함되는 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하도록 상기 이미지 데이터를 분석하는 단계, 및 상기 물체의 상기 투영도 및/또는 그림자에 기초하여 3차원 측량 결과를 얻는 단계를 포함한다.

본 발명의 다른 태양에 따르면, 적어도 하나의 3차원 물체의 단일 이미지로부터, 3차원 측량 정보를 도출하고 및/또는 3차원 모델 및 지도를 생성하기 위한 시스템이 제공되며, 상기 시스템은, 적어도 하나의 컴퓨터, 및 상기 컴퓨터가, 상기 물체의 적어도 하나의 2차원 단일 이미지를 얻으며 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(IGM)과 연관됨 -, 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키며, 상기 물체에 포함되는 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하고, 및/또는 상기 물체에 포함되는 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하도록 상기 이미지 데이터를 분석하며, 및 상기 물체의 상기 투영도 및/또는 그림자에 기초하여 3차원 측량 결과를 얻는 동작을 수행할 수 있도록 하기 위해, 상기 컴퓨터에 동작가능하게 연결된 컴퓨터 프로그램.

본 발명의 또다른 태양에 따르면, 컴퓨터 사용가능 매체가 제공되며, 상기 컴퓨터 사용가능 매체는, 컴퓨터 상에서 측량 유틸리티를 정의하기 위한 명령을 포함하며, 상기 측량 유틸리티는, 상기 측량 유틸리티는, 물체의 적어도 하나의 2차원 단일 이미지를 얻으며 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(IGM)과 연관됨 -, 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키며, 상기 물체에 포함되는 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하고, 및/또는 상기 물체에 포함되는 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하도록 상기 이미지 데이터를 분석하며, 및 상기 물체의 상기 투영도 및/또는 그림자에 기초하여 3차원 측량 결과를 얻는 동작을 수행할 수 있다.

본 발명은 RFM 센서 모델을 포함하는 IGM의 지원하에 단일 이미지로부터 3차원 측량 정보를 도출하고 3차원 모델 및 지도를 생성하기 위한 방법을 제공하며, 이때 (ⅰ) 단일 이미지가 사용가능하거나, (ⅱ) 정적인 물체와 동적인 물체 모두 측량될 수 있거나, (ⅲ) 어떠한 스테레오 뷰잉(stereo viewing) 장치도 사용불가능하거나, 또는 (ⅳ) 스테레오 이미지 쌍으로부터 대응점(conjugate point)이 확인될 수 없다.

본 발명은, 본 발명의 방법에 따라 측량 정보가 용이하게 액세스될 수 있고, 이미지로부터 사용될 수 있도록 하는 시스템을 포함한다. 상기 시스템은 단일 이미지로부터 3차원 측정 결과를 얻고 3차원 모델 및 3차원 지도를 생성하는 유틸리티들로 구성된다. 일반적으로, 시스템은 본 발명의 컴퓨터 프로그램에 의해 제공되는 명령을 처리하도록 고안된 컴퓨터 시스템으로 구성된다.

본 발명의 컴퓨터 프로그램은 IGM을 지원하는 2차원 이미지로부터 측량 결과가 나올 수 있도록 하는 (1)측량 유틸리티를 포함하며, 측량 유틸리티는 투영도 측량 유틸리티 및 그림자 측량 유틸리티를 포함하는 컴퓨터 어플리케이션으로 구성된다. 투영도 측량 유틸리티와 그림자 측량 유틸리티는, IGM의 지원으로 투영도 측량 유틸리티, 그림자 측량 유틸리티, 또는 양자 모두의 작동에 의해 점대점 측량이 가능하도록 같이 작동하며, (2)모델 생성 유틸리티는 본 발명의 측량 유틸리티에 의해 나오는 측량 결과에 기초하여 효과적으로 3차원 모델 및 지도를 생성한다. RFM을 통해, 애플리케이션은 RFM 등을 지원하는 임의의 이미지(예컨대, 위성 또는 항공기)에 사용될 수 있다. 본 발명은 단일 이미지로부터 3차원 측량, 모델 및 지도를 이룰 수 있도록 한다.

본 발명의 또다른 태양은, 측량 정보, 즉 단일 이미지로부터 3차원 상의 임의의 두 점 간의 거리를 얻고, 측정 결과로부터 3차원 모델을 생성하며, 이어서 단일 이미지로부터 3차원 지도를 생성하기 위한 방법으로 구성된다. 특히, 본 발명은 다음 사항들을 위한 방법을 제공한다.

1. IGM을 사용하는 투영도 측량 유틸리티의 작동에 의해 물체(들)의 투영도를 측량하여 물체 등의 높이, 점대점 거리를 도출.

2. IGM을 사용하는 그림자 측량 유틸리티의 작동에 의해 물체(들)의 그림자를 측량하여 정적인 물체(빌딩, 도로, 다리 등을 포함)와 동적인 물체(공중의 비행기를 포함) 모두의 높이, 점대점 거리를 도출.

3. IGM으로 투영도 및/또는 그림자 데이터의 조합을 사용하여 3차원 측량 결과를 얻음.

4. 하나 이상의 알고리즘을 구현하는 모델 생성 유틸리티를 사용하여 3차원 모델 및 지도를 생성.

본 발명의 방법의 또다른 태양은 측정 결과를 설명하기 위한 본 발명의 특정 알고리즘의 어플리케이션이다.

본 발명은 RFM 지원을 포함하는 모든 이미지에 적용될 수 있다. 이는 RFM은 센서 독립적이며 광범위하게 다수의 센서에 적용될 수 있다는 사실때문이다. 따라서 본 발명에 기인한 컴퓨터 프로그램은 그 하부 센서 모델을 바꿀 필요 없이 모든 이미지에 대해 사용될 수 있다.

여기에는 다음의 도면들을 참조하고 예시들을 사용하여 본 발명의 몇몇 실시예의 상세한 설명이 제공된다.

도 1a는 본 발명의 컴퓨터 프로그램 제품의 기능을 액세스하기 위한 대표적인 그래픽 사용자 인터페이스의 개념도. 도시된 툴바 버튼은 본 발명의 유틸리티의 기능에 액세스할 수 있도록 한다.

도 1b는 본 발명의 컴퓨터 프로그램의 리소스를 도시한 프로그램 리소스도.

도 2a는 이미지 표시창 내에 표시된 측량 유틸리티(8)의 개념도.

도 2b는 지면이 평탄하다는 가정하에, 이미지, IGM, 물체, 및 태양각에서 이루어진 투영도 및 그림자 간의 관계를 도시한 개요도.

도 3은 단일 이미지 내에 고도(Z)를 갖는 평면을 가로지름으로써 수평 위치(X,Y)를 결정하는 도면. 고도(Z)는 점진적인 변화에 따라 조절된다.

도 4a는 IGM에 기초하여 투영도 측량 유틸리티를 사용하여 빌딩의 높이를 측량하는 개요도.

도 4b는 IGM에 기초하여 본 발명의 투영도 측량 유틸리티를 사용하여 빌딩의 높이를 측량하는 도면.

도 5는 태양의 위치와 물체의 그림자의 변위 간의 관계를 도시한 도면.

도 6은 본 발명의 방법을 도시한 개념도이며, 더 상세하게는 지면이 평탄하지 않다는 가정하에, 물체의 투영도 및 그림자를 그리는 방법을 도시한 도면.

도 7a는 이미지 내에 측정가능한 그림자에 대해서, 그림자 정보를 사용한 물체 높이의 측량을 나타내며, 본 발명을 도시한 블록도.

도 7b는 이미지 내에 측정가능하지 않은 그림자에 대해서, 그림자 정보를 사용한 물체 높이의 측량을 나타내며, 본 발명을 도시한 블록도.

도 8a는 빌딩인 물체에 대해서 그림자 측량 유틸리티를 사용하여, 물체의 기준점에서 시작하여 높이를 측량하는 것을 도시한 개요도.

도 8b는 빌딩인 물체에 대해서 그림자 측량 유틸리티를 사용하여, 물체의 기준점에서 시작하여 높이를 측량하는 것을 도시한 본 발명의 도면.

도 9a 내지 9d는 a) 도 9a의 비행기, b) 도 9b의 도로, c) 도 9c의 나무, d) 도 9d의 경우에 굴뚝에 대해서, 그림자 측량 유틸리티를 사용하여, 상기 물체들의 기준점에서 시작하여 본 발명에 따른 높이 측량을 도시한 도면들.

도 10a는 본 발명의 그림자 측량 유틸리티를 사용하여 기준점을 결정하는 도면(비생기의 높이는 57.1m로 도시됨).

도 10b는 본 발명에 따른 선 표시를 도시한 도면(선은 기준점을 활주로의 착륙 지점과 연결하며, 수평 거리는 158.1m로 도시됨).

도 10c는 비행기의 고도가지 선 표시의 기준점을 상승시키는 본 발명의 도면(경사 거리는 165.8m로 도시됨).

도 11a는 두 물체의 기준점을 연결하는 선 표시를 그리는 본 발명의 동작을 도시한 도면.

도 11b는 선 표시의 두 말단에 있는 기준점들을 두 물체 각각의 지붕의 높이까지 올리는 동작을 도시한 본 발명의 도면.

도 12a는 본 발명의 상세한 일 태양을 도시한 도면(두 기준점인 비행기의 머리 지점과 꼬리 지점이 결정됨).

도 12b는 도 12a에 도시된 본 발명의 상세한 태양의 추가적인 도면(두 기준점을 연결하는 선이 도시됨).

도 13a 및 13b는 복수의 층으로 된 빌딩의 높이가 측량되는 본 발명의 추가적인 도면들(도 13a에서 지붕의 제1층의 높이가 측량 및 고정되며, 상기 높이는 31m이고, 도 13b에서 상기 고정된 높이에서 시작하여 제1층에 대한 지붕의 제2층의 높이가 측정됨).

도 14는 디지털 지형 모델(digital terrain model; DTM)을 사용하지 않고 측정된 물체 크기의 계통적인 바이어스들(biases)을 보정하는 개요도.

도 15a 내지 15e는 본 발명에 따라 3차원 맵핑을 하기 위한 기준점 선택 방법의 도면들(도 15a에서 기준점이 선택되며, 도 15b 및 15c에서 고도(Z)는 사용자의 동적인 주석과 현재의 고도(Z)(실제로는 노란색 선으로 주어짐)를 업데이트 함으로써 변경되고, 도 15d에서, 빌딩의 꼭대기는 3차원 맵핑 툴(폴리곤)을 사용하여 윤곽이 그려지며, 도 15e에서, 빌딩의 풋프린트(footprint)가 활성화 및 표시됨).

도 16a내지 16c는 본 발명에 따라 평탄한 지붕의 빌딩을 3차원 모델링하기 위한 지붕-면적 범위 변위 방법이 도면들(도 16a에서, 3차원 폴리곤 맵핑 툴을 사 용하여 지붕의 윤곽을 맵핑하는 것이 도시되며, 도 16b에서, 빌딩의 밑바닥과 일치하는 지붕 윤곽의 수평 변위가 도시되고, 도 16c에서, 3차원 모델링이 구성된 것을 도시함).

도 17은 박공(gable), 반박공(clipped gable), 너새(hip) 및 경사(shed) 지붕 형태로 된 빌딩을 모델링할 때 지원되는 지붕 형태의 개요도.

도 18a 및 18b는 본 발명에 따라 2차원 벡터 지도로부터 3차원 벡터 지도를 생성하는 도면들{도 18a에서, 컴퓨터 프로그램으로 임포트(import)된 후에 2차원으로 맵핑된 벡터를 선택하는 것이 도시되며, 도 18b에서, 2차원 맵핑된 벡터를 IGM을 사용하여 빌딩의 꼭대기까지 올림으로써 3차원 벡터로 맵핑하는 것이 도시됨}.

도 19는 웹 및 네트워크 환경을 위한 본 발명의 전개 상태를 전체적으로 도시한 시스템도.

도면에서, 본 발명의 바람직한 실시예들이 예로써 설명된다. 상세한 설명과 도면은 오직 설명과 이해를 위한 것일 뿐이며, 본 발명의 한정 사항들을 정의하려는 것이 아님은 명백하게 이해될 수 있다.

1. 본 발명의 전체적인 설명

본 발명의 일 태양에서, 측량 유틸리티를 사용하여 단일 이미지로부터 단일, 복합, 복수의 물체 및 물체대 물체(object-to-object) 관계의 측량 결과를 얻으며 이어서 모델 생성 유틸리티를 사용하여 3차원 모델 및 지도를 생성하기 위해서 컴퓨터 프로그램이 제공된다. 3차원 모델 및 지도는 종래의 방식대로 스테리오 이미 지 쌍(본 명세서에서 "스테레오 쌍"이라 함)을 사용하여 실시된다. 본 발명은, 단일 이미지로부터 3차원 측량 결과를 얻고 3차원 모델 및 지도를 생성할 수 있는 소프트웨어 제품으로서, 그에 관련한 일실시예에서 가장 잘 이해된다.

컴퓨터 프로그램의 인터페이스는 도 1a를 참조함으로써 가장 잘 이해된다. 본 발명의 컴퓨터 프로그램의 구성요소들은 도 1b를 참조하여 가장 잘 이해된다. 본 발명에서 파생된 유틸리티들은 단일 이미지로부터 얻은 측량 결과를 사용하여 3차원 모델 및 지도를 개발할 수 있도록 한다.

본 발명의 방법은 도 2 내지 17을 참조함으로써 가장 잘 이해되며, 아래에 더 상세하게 설명된다. 본 발명의 컴퓨터 프로그램은 컴퓨터가 본 발명의 방법을 구현하도록 명령어를 보내게끔 개조된 컴퓨터 어플리케이션으로 구성된다. 본 발명의 시스템은 도 1b를 참조함으로써 가장 잘 이해된다.

본 발명의 일 측면에 따르면, 본 발명은 투영도나 그림자 뿐만 아니라 그 조합을 사용함으로써 단일 이미지로부터 물체들의 3차원 측량 결과 및 물체들 간의 3차원 측량 결과를 얻도록 설계된 측량 유틸리티(8)(도 1a 및 1b에 도시됨)와, 3차원 모델 및 지도를 생성하도록 설계된 모델 생성 유틸리티(9)를 제공한다.

● 본 발명은 넓은 범위의 측량 결과 및 그에 파생되는 결과(예컨대 부피)를 집대성할 수 있도록 한다.

● 본 발명은 단일 이미지로부터 복잡한 지붕 구조를 포함하는 3차원 모델(예컨대 빌딩)과 그에 수반하는 3차원 생성물(3차원 사이트(site) 지도 및 3차원 도시 또는 자연 광경) 모두를 신속하고 효과적으로 구성하는 모델 생성 유틸리 티(9)를 사용한다.

● 전술한 바와 같이, 종래의 방식으로 스테레오 이미지 쌍을 사용하여 3차원 모델이 추출된다. 추출 작업을 실시하기 위해서는 종종 특수한 뷰잉(viewing) 장치가 필요하다. 본 발명에서는, 스테레오 이미지나 특수 뷰잉 장치를 사용하지 않고 3차원 측량 결과 및 3차원 모델을 얻을 수 있다.

● 하부 IGM으로서 RFM을 사용함으로써, 본 발명은 RFM의 지원하에 어떠한 프로그램 구성도 변경시키지 않고 임의의 센서 이미지(위성 및 항공 등)에 사용될 수 있다. 본 발명은 어떤 센서 이미지에 대해서도 측정 가능하며, 다루기 용이하고 공통으로 사용할 수 있게 된다. 즉, 하나의 프로그램은 복수의 센서 이미지를 지원할 수 있다.

● 또한, 본 발명에 따르면, 움직이는 특성을 갖는 차량, 비행기, 구름 등과 같은 많은 동적 물체들의 측량 결과 - 예컨대 비행기의 고도 및 움직임 - 를 얻을 수 있다. 대부분의 공중 또는 위성 기반의 스테레오쌍은 동시에 포착되지 않는다. 따라서 스테레오 쌍을 사용해서는 움직이는 물체의 크기가 쉽게 측정되지 않는다.

본 발명에 의해 가능한 측량 결과는, 3차원 범위에서의 고도, 거리, 가시거리의 선(예컨대 두 빌딩 지붕 상부 사이의 거리, 기지국과 수신기 사이의 거리), 부피, 3차원 움직임 및 그에 파생되는 결과를 포함한다. 모델 생성 유틸리티의 사용에 의한 측량 정보를 사용하여 3차원 모델 및 지도가 생성될 수 있다. 3차원 모델은 복잡한 지붕 구조를 가진 빌딩, 콘테이너, 탱크, 타워 등일 수 있다.

본 발명에 따르면 다음의 물체들이 측량될 수 있다.

● 지면상의 단일 물체, 예컨대 빌딩, 타워, 나무 등 또는 지면보다 '위에' 있는 단일 물체, 예컨대 비행기, 다리 등.

● 복합 물체: 다중층인 복잡한 빌딩 지붕, 복잡한 구조물, 등.

● 복수의 물체: 일 군(群)의 물체, 예컨대 주거용 빌딩 블록의 용적 평가, 삼림 지역의 훼손도 평가.

● 물체대물체 관계: 물체대물체 공간 관계, 예컨대 통화 기지국과 지상의 움직이는 차량에 위치한 수신기간 3차원 거리.

물체는 고정되어 있거나(예컨대, 빌딩, 나무 등) 또는 동적일 수 있다(예컨대, 비행기, 이동 차량 등). 실제 물체와 가상 물체(즉, 컴퓨터로 생성된)도 포함한다.

본 발명은 다양한 수준의 세부요소 또는 지면 샘플링 거리에서 물체를 측량, 모델링 및 맵핑할 수 있다. 본 명세서에서 언급된 단일 이미지는 다음을 포함할 수 있다:

● 위성 이미지

● 공중 이미지

● 지면 이미지, 및

● RFM과 같이 적절하게 조정된 이미지 기하 모델이 있는 센서에 의해 얻은 기타 이미지들. 상기 이미지들의 지면 샘플링 거리는 몇 인치 내지 몇 미터의 범위일 수 있다.

2. 인터페이스 설명

도 1a는 측량 유틸리티(8)와 모델 생성 유틸리티(9)의 기능에 액세스하기 위한 대표적인 사용자 인터페이스의 개념도를 제공한다. 사용자 인터페이스는 공지된 방법으로 제공된다.

● 버튼 1은 이미지 평면 내에 있는 마우스의 이미지 좌표를 표시한다.

● 버튼 2는 이미지 지점에 대응하는 물체 지점의 지면 좌표를 표시하고, 지면 좌표는 도 3에 도시된 바와 같이 공식 1을 사용하여 계산된다. 바람직하게는 데이터와 지도 투영도가 다이얼로그 박스(dialog box) 내에 정렬된다.

● 버튼 3은 이미지, IGM 및 DTM 데이터(선택적임)를 프로그램에 입력할 수 있도록 한다.

● 버튼 4는 크기, 모델 및 지도를 포함하는 3차원 정보를 출력할 수 있도록 한다.

● 버튼 5는 측량 유틸리티(8)를 켜고 끈다. 시스템 내의 다이얼로그 박스는, 투영도 측량 유틸리티(12)(또는 투영도 눈금자) 또는 그림자 측량 유틸리티(14)(또는 그림자 눈금자)(상기 유틸리티들은 도 1b에 도시되어 있음) 중 어느 하나를 선택하기 위한 두개의 라디오 버튼을 부여한다. 버튼 6은 모델 생성 유틸리티(9)를 켜고 끈다. 컴퓨터 프로그램은, 하나의 특정 측면에 있어서, 아래에 상세화할 바와 같이, 3차원 모델 및 지도를 생성하기 위한 일련의 신규한 알고리즘을 구현한다.

● 버튼 7은 드로잉(drawing) 결과 및 관련 정보를 표시한다.

본 발명은 오퍼레이터가 측량 유틸리티(8) 및 모델 생성 유틸리티(9)의 기능 에 접근할 수 있도록 하는 대안적인 사용자 인터페이스의 사용을 고려한다는 점이 이해되어야 한다.

3. 측량 유틸리티

전술한 바와 같이, 본 발명은 IGM이 있는 단일 이미지로부터 물체들의 크기 및 물체들 간의 크기를 측량하는 측량 유틸리티(8)를 제공한다. 측량 유틸리티(8)는 본 발명의 프로세스를 가능하게 하고, 그에 의해 투영도 또는 그림자 정보 또는 그들의 조합을 사용하여 3차원 측량을 가능하게 한다. 측량 유틸리티(8)는, 그 이미지 기하에 따른 (전술한) 단일 이미지를 표시할 수 있게 하고 본 발명의 방법에 따라 상기 단일 이미지를 처리할 수 있게 하는 윈도우즈^TM 프로그램에 의해 가장 잘 이해된다. 특히, 측량 유틸리티(8)는, 오퍼레이터가 이미지 내의 선택된 지점을 포인팅 및 클릭하고 그에 의해 아래에서 상세화 할 측량 결과를 얻기 위해 마우스 또는 기타 적절한 인터페이스 장치를 사용할 수 있도록 한다.

측량 유틸리티(8)는 공지된 방법으로 프로그래밍된다. 본 명세서에서는 본 발명의 측량 유틸리티(8)의 대표적인 컴퓨터 어플리케이션 실시예를 설명한다. 도 1b에 도시된 바와 같이, 측량 유틸리티(8)는 이미지를 표시하기 위한 디스플레이 설비(10)에 연결된다. 측량 유틸리티(8)는 데이터 입력 소스(11)에도 연결된다. 상기 데이터 입력 소스(11)는 이미지 데이터, IGM 및 DTM(선택적임)을 포함하는 물체의 3차원 측량을 위해 필요한 모든 데이터를 저장한다. 측량 유틸리티(8)를 작동시키기 위한 데이터 입력은 데이터베이스(또는 파일)(도시되지 않음)에 저장되거 나 또는 다른 실시예에서는 작동 중에 분석된다. 계산기(13)는 투영도 측량 유틸리티(12)와 그림자 측량 유틸리티(14)의 기능을 보조한다. 계산기(13)는 본 명세서에 설명된 방법 및 공식에 따라 입력 데이터를 처리하는 유틸리티로서 가장 잘 이해된다. 계산기는 또한 모델 데이터(예컨대, IGM 또는 DTM)에 기초하여 입력 데이터를 분석하며, 따라서 모델러(modeler) 및/또는 분석기로도 가장 잘 이해된다. 모델 생성 유틸리티(9)는 측량 유틸리티(8)에 연결된다. 이는 3차원 모델의 효율적인 재구성을 가능하게 하는 알고리즘을 구현한다.

● 일 실시예에서 본 발명은 적용가능한 IGM에 의해 결정된 특정의 이미징 프로세스(imaging process)를 따른다. 일반적으로 이미징 프로세스는 이미지의 방위(orientation) 정보를 제공한다. 본 발명의 특정 실시예에서는, 사용되는 IGM은 유리 함수 모델(rational funtion model), 즉, 복수 센서(센서 독립)을 지원할 수 있는 센서 모델(OGC, 1999; Tao and Hu, 2001)이다. 사용되는 IGM은 또한 공선조건식(collinearity equation), 직접 선형 변환(direct linear transformation) 등에 기초한 것과 같은 잘 알려진 모델들도 포함할 수 있다.

● 사용되는 이미지는, 프레임, 푸시브룸(pushbroom) 또는 SAR 등과 같은 다양한 이미징 센서를 사용하는 지면, 공중 또는 위성 플랫폼에 의해 얻을 수 있다.

● 측량 유틸리티(8)는 바람직하게는 물체를 측량하기 위해 물체의 투영도 및 그림자를 조합할 수 있도록 프로그래밍된다(이하에서 상술함).

● 측량 유틸리티(8)는 또한 바람직하게는 비행기와 같은 동적 물체를 측량하기 위해 아래에 상세화된 프로세스를 구현하도록 (전술한 바와 같이) 프로그래밍 된다.

● 측량 유틸리티(8)는 고가 도로, 다리, 고가교 등과 같이 지면 상에 또는 지표면보다 위에 있는 물체를 측량할 수 있다. 지면보다 위에 있는 물체는 지면 상에 물리적인 기준점을 갖지 않는다.

측량 유틸리티는 물체의 투영도나 그림자 또는 양자 모두에 기초하는 알고리즘을 구현한다.

측량가능한 투영도 및 그림자{기준점(15), 꼭대기점(16) 및 그림자 끝점(17)을 포함함}의 구성요소들 간의 관계의 개념적인 설명은, 도 2a를 참조함으로써 가장 잘 이해된다. 도 2b는 물체, IGM 및 태양 각도 사이의 관계에 관한 본 발명의 개요도를 도시한다. 물체가 지면 상에 수직으로 튀어나와있으며, 그 높이는 h이다. 기준점의 3차원 좌표가 (X₀, Y₀, Z₀)이라면, 물체의 실제 꼭대기는 (X₀, Y₀, Z₂)에 있다. Z₀는 물체의 바닥의 고도이며, 이는 디지털 지형 모델(DTM) 또는 상수 평면, 또는 값 세트(value set)로부터 얻을 수 있다. Z₂는 물체의 꼭대기의 고도이다.

도 3에 도시된 바와 같이, (X, Y)를 구하기 위해 다음의 공식이 사용된다.

(공식 1)

r 및 c는 이미지 내의 선택된 점의 행과 열 좌표이며,

및

는 측정된 값이고, ΔX 및 ΔY는 보정값이다.

3.1 투영도 기반 측량 알고리즘

오퍼레이터는 고도(Z)를 조정함으로써 높이 측량 결과를 얻을 수 있다.

예시 1 - 전체 투영도를 볼 수 있는 경우 측량

투영도 기반 측량에 대한 본 발명의 장점을 증명하기 위해 실험이 수행되었다. 투영도 눈금자는, 눈금자 선이 물체의 실제 꼭대기에 도달할 때까지 반복적으로 조정된 높이 정보를 시각화하여 그려질 수 있다. 도 4a에서, 선(1001)은 빌딩의 외형선을 나타낸다. 오퍼레이터는 빌딩의 기저(base)(굵은 검은색 원(1002))를 가리키는 것으로부터 시작하여, 그 다음에 유동적인 커서의 높이(굵은 검은색 선(1003))을 상승시킨다. 커서가 반복적으로 상승하기 때문에, 이미지 내에서의 그 위치는 실시간으로 IGM에 의해 계산되며, 커서는 그래픽 사용자 인터페이스 내에서 연속적으로 그려진다. 일단 커서가 이미지 내의 지붕 모서리(굵은 검은색 원(1004))와 접촉하면, 상기와 같은 상호 과정은 정지한다. 본 발명의 대표적인 실시예로서 실제 인터페이스에서는 선(1003)은 녹색으로 나타날 것이다. 도 4b에 도시된 바와 같이, 지붕의 높이는 48.6m이다. 이와 같은 동작은 물체의 자취(footprint)의 경계선에서 이루어질 수 있다.

3.2 그림자 기반 측량 알고리즘

평탄한 지표면 상의 측량

도 2b에 도시된 바와 같이, 그림자 끝점의 3차원 좌표는 (X₁, Y₁, Z₁)이며, 평탄한 지표면에 대해서 Z₁은 Z₀와 같다. 그림자 길이(l)은 태양의 고도에 의해 결정된다. 평탄한 지표면 상에서, 길이(l), 물체 높이(h) 및 태양 고도 간의 관계는 다음의 공식에 의해 결정된다:

(공식 2)

h는 물체의 높이이고, θ는 태양 고도이다.

도 2b에서, 지형은 평탄하다고 가정하면, 도 5에 도시된 바와 같이 지면 상의 물체의 위치에 대한 그림자 끝점의 좌표 오프셋(offset)은 다음에 의해 얻어진다:

(공식 3)

비평탄 지표면 상의 측정

도 6에 도시된 비평탄 지표면 상에서, 평탄한 지면 상의 그림자 길이(l)와 각도(Ψ)인 경사면 상의 그림자 길이(s), 물체 높이(h) 및 태양 고도 간의 관계는 다음의 공식에 의해 결정된다.

(공식 4)

(공식 5)

(공식 6)

(공식 7)

지형 지세에 대한 다양한 사례들이 설명된다.

그림자 기반 측량의 단계

도 7a는 물체의 측량가능한 그림자에 대한 본 발명의 방법의 응용예를 도시한다. 상기 프로세스는 일반적으로 5개의 단계를 포함한다. 오퍼레이터는 이미지 내에 기준점을 선택하며, 상기 기준점의 지면 좌표는 공식 1을 사용하여 계산된다. 그 다음에, 오퍼레이터는 변화량(incremental change)(ΔZ)에 의해 Z의 값을 조정한다. 그림자 끝점의 지면 좌표 오프셋은, 물체의 근처에서 평탄한 지면에 대한 수식 3, 또는 비평탄 지면에 대한 수식 4를 사용하여 얻는다. 그림자 끝점은 IGM의 지면대이미지(ground-to-image) 변형을 사용하여 이미지 내에 포함(cast in)되고, 그림자 눈금자가 기재된다. 그림자 눈금자가 이미지 선과 잘 들어맞으면 프로 세스가 종료된다.

도 7b는 물체의 측량불가능한 그림자에 대한 프로세스를 도시한다. 상기 작업흐름은 일반적으로 6개의 단계를 포함한다. 오퍼레이터는 이미지 내에 그림자 끝점을 선택해야 하며, 상기 끝점의 지면 좌표도 공식 1을 사용하여 계산된다. 그 다음에, 오퍼레이터는 ΔZ에 의해 고도(Z)를 조정한다. 기준점의 지면 좌표를 측정하기 위해, 계산된 오프셋은 끝점으로부터 제외된다. 투영도 눈금자 및 그림자 눈금자 모두 기재된다. 투영도 눈금자는 상기 눈금자가 물체의 실제 정상에 도달하는지를 판단하기 위해 사용된다. 두 눈금자가 이미지 내의 투영도 및 그림자 중 육안으로 보이는 부분에 잘 맞으면 프로세스가 종료된다.

예시 2 - 전체 그림자를 볼 수 있는 경우 측량

그림자 기반 측량의 용도에 있어서, 본 발명의 장점을 입증하기 위해 실험이 수행되었다. 그림자 눈금자(본 발명의 대표적인 실시예로서, 실제 인터페이스에서는 선이 청색으로 나타날 것이다)는, 본 명세서에서 설명하는 그래픽 유저 인터페이스 내의 이미지 상에 그려진다. 높이 정보는 눈금자 선이 이미지 내의 전체 그림자와 맞을 때까지 반복적으로 조정된다. 도 8a에 도시된 바와 같이, 오퍼레이터는 이미지 내에 물체의 그림자의 끝점(원(1005))을 위치시키는 것으로 시작하여, 그 다음에 유동적인 커서의 높이를 상승시킨다. 도 7b에 도시된 바와 같이 커서가 상승함에 따라, 기준점의 위치도 업데이트되며, 이미지 내에서의 기준점 위치는 IGM에 의해 계산된다. 기준점과 그림자 끝점을 연결하는 선(점선(1006))과, 기준점과 상승한 커서를 연결하는 제2 선(1007)이 그래픽 사용자 인터페이스 내에 그려 진다. 커서가 이미지 내의 물체의 상부 모서리(원(1007))에 도달하면, 상기 상호 과정이 정지한다. 도 8b에 도시된 바와 같이 지붕의 높이는 48.4m이며, 이는 예시 1에서 투영도 유틸리티를 사용하여 측량된 높이값과 비슷하다.

예시 3 - 투영도와 그림자가 부분적으로 보이는 경우 측량

측량불가능한 투영도 및 그림자에 있어서, 본 발명의 그림자 기반 측량의 장점을 증명하기 위해 몇가지 사례가 실시된다. 후술할 사례들에서, 물체의 기준점은 신뢰성 있게 위치할 수 없거나, 존재하지 않지만, 그림자 눈금자는 정확하게 기준점을 위치시킬 수 있다. 도 9에서, 그림자(1009)는 점선에 의해 측량되며, 투영도(1010)는 굵은선에 의해 측량된다. 두 선의 교차점은 위치되는 기준점이다.

도 9a는 공중의 비행기의 측량을 도시한다. 공중의 비행기는 지면 상에 물리적인 기준점을 갖지 않는다. 측량된 높이는 57.1m이다. 도 9b에서, 고가 도로가 측량되고, 점선(1011)은 측량된 그림자 길이이며, 굵은선(1012)는 측량된 투영 높이(13.8m)이다. 도 9c에서, 나무가 측량되며, 점선(1013)은 측량된 그림자 길이이고, 굵은선(1014)은 측량된 투영 높이(29.4m)이다. 도 9d는 기준점이 정확하게 위치할 수 있는 굴뚝의 측량을 도시하며, 높이는 100.7m이다. 점선(1015)은 측량된 그림자 길이이고, 굵은선(1016)은 측량된 투영 높이이다. 도 9a 내지 9d에 도시된 바와 같이, IGM 및 태양의 위치에 대한 정보를 사용하면, 상기 물체들의 기준점은 그림자 끝점으로부터 추측가능하며, 실제 사례에서, 측량된 그림자에 대한 본 발명의 대표적인 실시예는 청색선으로 나타날 것이고 측량된 투영도는 녹색선으로 나타날 것이다.

예시 4 - 물체대물체 ( object - to - object ) 관계의 측량

두 물체의 임의의 두 지점간의 크기 측량에 있어서 본 발명의 장점을 증명하기 위해 실험이 수행되었다.

도 10a에 도시된 바와 같이, 지면 상의 비행기의 기준점은 그림자 눈금자를 사용하여 결정되며, 비행기의 높이는 57.1m(굵은선(1017))이다. 그 다음에 기준점과 공항의 활주로 중 착륙 지점을 연결하기 위해 선 표시(쇄선(1018))가 그려지고, 지면 상의 상기 거리는 158.1m이다. 마지막으로 도 10c에서, 선 표시의 기준점은 비행기의 높이까지 상승하며, 경사 거리(쇄선(1019))는 165.8m가 된다.

도 11a에 도시된 바와 같이, 두 빌딩의 두 기준점을 연결하면 경사 거리(쇄선(1019))는 193.1m이다. 도 11b에서, 투영도 눈금자를 사용하여 양 지점이 그에 대응하는 지붕 높이까지 상승하며, 경사 거리(쇄선(1020))는 193.3m가 된다.

예시 5 - 물체의 움직임 측량

임의의 물체의 움직임을 측량함에 있어서 본 발명의 장점을 입증하기 위해 실험이 수행되었다. 도 12a에 도시된 바와 같이, 비행기의 머리점의 기준점(1021에 있음)과 꼬리점의 기준점(1022에 있음)은 그림자 눈금자를 사용하여 결정된다. 그 다음에 도 12b에 도시된 바와 같이 상기 두 기준점을 연결시키기도록 동선 표시(점선(1023))가 그려지며, UTM 지도 투영 하에서 각도는 285.2°이다.

예시 6 - 복합 물체 측량

복잡한 구조로 된 빌딩의 높이 측량에 있어서 본 발명의 장점을 입증하기 위해 실험이 수행되었다. 도 13a 및 13b에 도시된 바와 같이, 다양한 레벨의 다중층 으로 된 빌딩 지붕은 투영도 및/또는 그림자 눈금자를 사용하여 단일 이미지로부터 측량될 수 있다. 도 13a에서, 지붕의 제1 층의 높이(선(1024))는 투영도 눈금자를 사용하여 측량되며, 그 다음에 시스템 내에서 높이가 고정되고, 상기 높이는 31m이다. 도 13b에 도시된 바와 같이, 제1 층에 대한 지붕의 제2 층의 높이(선(1025))는 고정된 높이로부터 시작하여 측량되며, 상기 높이는 5.5m이다. 이는 지표면에 대한 제2 층의 높이가 36.5m임을 나타낸다.

3.3 계통 바이어스( systematic bias )의 보정

DTM 및/또는 GCP 없이 측량이 수행되면, 몇몇 계통 바이어스가 수직 및 수평 방향 모두에서 발생한다. 이는 그 크기에 있어서 변화를 초래하며 또한 측량된 물체의 위치가 이동하도록 한다.

도 14에 도시된 바와 같이, 물체 높이의 측량 오차(Δh)는 다음에 주어진 비행 높이(H), 물체 높이(h), 및 지형 유효성(availability)으로 인한 수직 변화량(ΔH)에 의해 결정된다.

(공식 8a)

h'는 측량 유틸리티를 사용하여 측량된 물체 높이이다. 나중에 DTM이 사용가능해지면, 공식 8a를 사용하여, 수직 이동으로 인한 물체 높이 계통상의 오차는 상기 물체에 대해 자동으로 보정될 수 있다. 보통 각각의 물체는 상이한 기본 높이를 갖기 때문에, 각각의 물체의 높이는 개별적으로 정정된다.

유사하게, 물체의 수평 크기의 오차는 다음에 의해 결정된다.

(공식 8b)

l'와 l은 각각 측량된 물체 크기와 실제 물체 크기이다. 나중에 DTM이 사용가능해지면, 공식 8b를 사용하여, 수직 이동으로 인한 계통상의 오차가 3차원으로 측량된 상기 물체 크기에 대해 전술한 바와 같은 방법으로 자동으로 보정될 수 있다.

DTM이 없음으로 인한 물체의 이동의 정정은, 물체의 임의의 지점에 대해 이동거리를 계산함으로써 이루어질 수 있다. 상기 프로세스는 몇개의 단계를 포함한다. 첫번째로, 비가공된 이미지와 DRM이 컴퓨터 시스템 내로 로딩된다. 두번째로, 측량된 3차원 물체 모델이 로딩된다. 상세한 일실시예에서는, 바이어스 보정이 필요한지를 가리키는 메시지가 팝업(popup)된다. 바이어스 보정이 필요하다면, IGM을 사용하여 3차원 모델에 속하는 한 점(예컨대 제1 점)이 이미지 평면에 투영된다. 그 다음에 공식 1을 사용하여 투영된 이미지 점이 DTM과 교차한다. 세번째로, 상기 점의 최초 위치와 상기 점이 DTM과 교차하는 위치 간에 X, Y, 및 Z 좌표 상의 차이가 계산된다. 네번째로, 3차원 모델에 속하는 모든 점이 동일한 차이만큼 변경된다. 업데이트된 3차원 모델은 바람직하게는 디스크 파일에 세이브(save)된다.

GCP가 없음으로 인한 물체의 이동에 대한 정정은 4단계 과정을 수행함으로써 이루어질 수도 있다. 첫번째로, 비가공된 이미지, GCP 및 선택적으로 DTM이 컴퓨터 시스템 내에 로딩되며, IGM은 GCP를 사용함으로써 개선된다. 두번째로, 최초의 IGM을 사용하여 3차원 모델에 속하는 한 점(예컨대 제1 점)이 이미지 평면에 투영된다. 그 다음에 공식 1과 개선된 IGM을 사용하여 투영된 이미지 점은 DTM과 교차한다. 세번째로, 상기 점의 최초의 위치와 다시 교차된 위치 간에 X, Y, 및 Z 좌표에 있어서의 차이가 계산된다. 네번째로, 3차원 모델에 속하는 모든 점이 동일한 차이만큼 변경된다. 업데이트된 3차원 모델은 디스크 파일에 세이브된다.

4. 측량 결과 및 그 파생 결과의 수집

따라서, 전술한 바와 같이 본 발명의 컴퓨터 프로그램은 넓은 범위의 물체의 3차원 측량 결과 및 물체들 간의 3차원 측량 결과를 수집하도록 동작할 수 있다. 상기 프로그램은 앞에서 상세화한 측량 유틸리티(8)를 사용함으로써 물체의 투영도, 그림자 및 그 조합을 이용한다.

공지된 방법으로 측량 결과를 얻은 후에, 측량 결과에 의한 많은 파생 결과들이 발생할 수 있다. 상기 파생 결과들에는 부피, 움직임, 넓이, 높이차, 시선(line of sight) 등을 포함하지만 이에 제한되는 것은 아니다. 측정 결과 및 그 파생 결과는 도시 계획, 조경 분석, 운송 및 수문 분수(hydrologic watershed) 분석, 비상시 대응, 재난 감소 등을 위해 많은 3차원 생성물을 생성하기 위해 사용될 수 있다.

5. 3차원 모델 및 지도의 생성

본 발명의 컴퓨터 프로그램은 모델 생성 유틸리티를 사용함으로써 3차원 모 델 및 지도를 생성한다.

예시 7 - 기저 선택 방법을 통한 3차원 모델 생성

3차원 구조를 맵핑하는 상기 접근법에서, 마우스 또는 유사한 포인팅 장치를 사용하여 구조의 기저를 표시한 다음에, Z 수준 조정 모드가 가능해진다(도 15a). 또한, 커서의 고정/비고정을 조절하기 위해 다양한 키 조합이 사용될 수 있다. 그 다음에, Z 수준은 예컨대 페이지업/페이지다운(page up/page down) 키를 사용하여 조절되며, Z 수준의 변화(굵은선(1027))가 사용자에게 시각화된다(실제로는 황색선)(도 15b). 원하는 수준에 도달하면(도 15c) 사용자는 3차원 맵핑 툴, 주로 폴리곤 툴을 선택하고, 도 15d에 도시된 바와 같이 구조의 꼭대기(굵은선(1028), 실제로는 선 색깔이 기정의됨) 외형을 그린다. Z 수준 조정 모드는 디스에이블(disable)될 수 있으며, 그 다음에 디스플레이 풋프린트 모드(display footpring mode)를 사용가능하게 함으로써 투영된 구조의 기준점이 확인될 수 있다. 도 15e에 도시된 바와 같이, 풋프린트 모드는 투영된 풋프린트(점선(1029), 실제로는 검은색의 기정의된 외형선)를 그리기 위해 IGM을 사용한다. 그 다음에 보존 저장이 필요하다면 원하는 3차원 모델은 데이터베이스 또는 파일 구조(도시되지 않음) 내에 세이브될 수 있다. 또한 3차원 모델은, 빌딩의 보이는 면들을 캡쳐하고 이를 3차원 시각 모델에서 텍스추어(texture)로 사용함으로써(도시되지 않음) 3차원 가상 씬(scene)을 생성하기 위해 사용될 수도 있다.

예시 8 - 지붕- 풋프린트 이동 방법을 통한 3차원 모델 생성

3차원 빌딩 모델링을 실시하는 프로세스는, 지붕과 풋프린트 간의 상대적인 이동 또는 움직임을 수행함으로써 이루어질 수 있다. 3차원 구조를 맵핑하는 이와 같은 접근법은, 이미지 평면 내에 투영된 바와 같이 먼저 지붕 외형선(도 16a에 도시된 바와 같은 굵은선(1030))을 디지털화함으로써 그 경계를 캡쳐한다. 그 다음에 상기 외형선은, IGM을 사용하여 구조의 기저에 정렬되기 위해 이미지 평면 내에서 이동한다(도 16b). 제공된 예에서는, 상기 이동은 페이지업/페이지다운 키를 누름으로써 이루어진다(도 16b). 이와 같은 알고리즘은 모델 풋프린트의 일부가 보이지 않는 경우에 3차원 모델을 생성할 수 있다(도 16c).

본 컴퓨터화된 시스템에서는 다양한 유형의 빌딩 지붕 형태가 지원된다. 도 17에 도시된 바와 같이, 몇개의 전형적인 지붕 유형은, 평탄형, 박공형(gable), 반박공형(clipped gable), 모임형(hipped) 및 경사형(shed) 지붕이다. 컴퓨터 프로그램은 기본 지붕 형태들을 조합함으로써, 임의의 복잡한 지붕 유형에 대해 3차원 빌딩 모델을 생성할 수 있다.

예시 9 - 2차원 벡터로부터 3차원 맵 생성

컴퓨터 어플리케이션 내에 2차원 벡터 좌표(r,c)가 로딩되며, 맵핑된 지형의 기저 수준과 일치하도록 각각의 2차원 위치에 대해서 Z 수준 좌표가 할당된다(도 3). 그 다음에 각각의 지형이 다음의 동작들을 통해 제3 방향으로 맵핑된다.

사용자는 제3 방향으로 맵핑되는 지형(굵은선(1031), 일반적으로 8개의 원으로 표시됨)을 선택하며(도 18a), 그 다음에 페이지업 키를 눌러서 지형 내의 모든 노드(node)의 Z 수준 좌표를 변경한다. Z 수준의 변경에 시각적인 피드백을 제공하는 IGM을 통해 Z 수준의 변화가 이미지 평면 내에 투영된다. 원하는 수준에 도 달하면(도 18b), 사용자는 Z 수준 변경을 멈추고 지형을 데이터베이스에 세이브하도록 선택할 수 있다(도시되지 않음).

6. 정확성 평가

측량 정확성이 광범위하게 시험 및 평가되어왔다. 요약하면, 상기 시험 결과는 서브 미터(sub-meter)급 정확성이 달성될 수 있으며, 따라서 폭넓은 범위의 상업적인 응용에 적용될 수 있음을 암시하고 있다. 상기 정확성은 비행 높이, 물체 높이, 지형 유효성, 이미지 분해, 이미지 픽셀 측량, 및 IGM 정확성에 따른다.

본 발명은 또한 본 발명의 동작을 강화하기 위해 추가적인 특징의 통합을 고려한다. 예컨대, 프로세스는 소정의 변수에 기초하여 더 효과적인 집중을 가능하게 하는 측량 유틸리티의 기능들로 이루어질 수 있다.

7. 컴퓨터 플랫폼

측량 유틸리티와 모델 생성 유틸리티는 사용의 단순성, 낮은 연산 비용, IGM에 대한 적은 제한(즉, RFM), 스테레오 뷰잉 장치의 불필요함으로 인해, PC, 워크스테이션, 서버, PDA 등과 같은 가장 대중적인 컴퓨터화된 플랫폼에서 사용될 수 있다.

8. 웹 또는 네트워크가 가능한 환경

측량 유틸리티(8) 및 모델 생성 유틸리티(9)는, 사용이 단순하며, 연산 비용이 낮고, 이미지 기하 모델에 대한 제한이 적으며, 스테레오 뷰잉 장치가 불필요하다는 점에서, 무선 네트워크 뿐만 아니라 웹, 인터넷과 같은 네트워크 기반 어플리케이션에 있어서도 이상적이다.

도 19는 본 발명이 웹이 가능한 환경의 다양한 형태(어두운 부분)에서 적용될 수 있음을 도시한다. 본 발명은 클라이언트 어플리케이션(20), 웹브라우저 기반 플러그인(액티브 X 컨트롤) 또는 자바 애플릿(22), 어플리케이션 서버(24) 및 포탈 기반 웹 서비스(26)로서 적용될 수 있다. 본 발명은 또한 무선 포탈, PDA 또는 휴대폰 등의 변형이 적은 컴퓨터화된 플랫폼에 공지된 방법으로 내장될 수 있다.

9. 상업적 응용

본 발명은 다음을 포함하는 광범위한 응용예에 대해 이미지의 장점을 개발할 수 있도록 한다:

● 빌딩 높이, 다리의 클리어런스(bridge clearance), 도로의 폭, 활주로 길이, 또는 삼림 컷(cut)과 같은 중요 시설 및 목표 정보를 얻음.

● 원자력 발전소, 공항, 도시, 공공의 안전 및 국제적인 정보를 위한 중요 기본 시설과 같은 주요 시설의 3차원 사이트(site) 지도를 생성.

● 보험 심사 및 비상시 대응을 위해 재난(산불, 홍수, 지진 등)으로 야기된 손상의 범위 측량.

● 도시 개발, 시각화 및 시뮬레이션, 오락(gaming), 정부, 이주, 도시 공학 등을 위한 모델링 및 계획.

다음과 같이 응용예가 확장된다:

● 방어

● 환경

● 국토 안보(Homeland Security)

● 전기 통신

● 시각화 및 시뮬레이션

● 농업

● 지방 정부

● 지질학

● 맵핑

● 삼림업

● 유틸리티

● 부동산

● 이주 계획

● 보험

● 미디어

● 엔터테인먼트 및 오락

본 발명의 다른 변형 및 변경이 가능하다. 예컨대, 단일 이미지에 기초한 평방 킬로미터당 밀도, 도시 그림자 평가 등 제공하기 위해 본 명세서에 제공되는 기본 3차원 측량 및 모델 데이터를 구축하는 본 발명의 컴퓨터 프로그램 제품에 추가적인 특징이 구축될 수 있다. 본 발명의 컴퓨터 프로그램은 다른 어플리케이션과 통합될 수 있다. 상기 모든 변형 및 변경은 본 명세서에 첨부된 특허청구범위에 의해 정의되는 본 발명의 영역 및 범위 내에 있는 것으로 간주된다.

Claims

적어도 하나의 3차원 물체의 단일 이미지로부터 3차원 측량 정보를 도출 및/또는 3차원 모델 및 지도를 생성하기 위한 방법으로서,

(a) 상기 물체의 적어도 하나의 2차원 단일 이미지를 얻는 단계 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(image geometry model; IGM)과 연관됨 -;

(b) 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키는 단계;

(c) 상기 이미지 데이터를 분석하여, (i) 상기 물체에 관계된는 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하거나; 및/또는 (ⅱ) 상기 물체에 관계된 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하는 단계; 및

(d) 상기 물체의 상기 투영도 및/또는 그림자 측량에 기초하여 3차원 측량 결과를 얻는 단계

를 포함하는 방법.
제1항에 있어서, 상기 이미지 데이터는 측량 유틸리티의 동작에 의해 분석되는 방법.
제1항에 있어서,

상기 투영도 및/또는 그림자 측량 결과에 기초하여 3차원 모델 또는 지도를 생성하는 단계

를 더 포함하는 방법.
제1항에 있어서,

3차원 모델 또는 지도를 생성하는 상기 측량 유틸리티에 의해 제공된 데이터를 이용할 수 있는 모델 생성 유틸리티의 동작에 의해 3차원 모델 또는 지도를 생성하는 단계

를 더 포함하는 방법.
제1항에 있어서, 유리 함수 모델(rational funtion model; RFM)이 상기 IGM으로서 사용되는 방법.
제1항에 있어서, 상기 물체의 상기 투영도는 투영도 눈금자를 사용하여 측량되며, 상기 물체의 상기 그림자는 그림자 눈금자를 사용하여 측량되고, 상기 투영도 눈금자 및 그림자 눈금자 각각은 상기 측량 유틸리티에 연결된 그래픽 사용자 인터페이스를 통해 액세스가능한 방법.
제6항에 있어서,

오퍼레이터가 상기 투영도 눈금자를 사용하는 단계

를 더 포함하며, 상기 투영도 눈금자는 상기 이미지 내의 상기 물체의 투영도와 들어맞고,

(a) 상기 투영도가 측량가능한 경우, 상기 투영도는 기준점으로부터 상기 물체의 실제 꼭대기까지 상기 이미지 내에 완전히 캐스트인 되고; 및

(b) 상기 투영도가 측량불가능한 경우, 상기 방법은 상기 측량불가능한 투영도를 캐스팅(casting)하는 단계를 더 포함하는 방법.
제6항에 있어서,

오퍼레이터가 상기 그림자 눈금자를 사용하는 단계

를 더 포함하며, 상기 그림자 눈금자는 상기 이미지 내의 상기 물체의 그림자와 들어맞고,

(a) 상기 그림자가 측량가능한 경우, 상기 그림자는 기준점으로부터 상기 그림자의 끝점까지 상기 이미지 내에 완전히 캐스트인 되고; 및

(b) 상기 그림자가 측량불가능한 경우, 상기 방법은 상기 측량불가능한 그림자를 캐스팅하는 단계를 더 포함하는 방법.
제8항에 있어서, 상기 물체의 그림자가 측량가능한 경우 상기 물체의 그림자를 측량하기 위해서,

(a) 상기 이미지와 연관된 그래픽 사용자 인터페이스의 동작에 의해 사용자가 상기 이미지 내에 기준점을 선택하는 단계;

(b) 측량 유틸리티의 동작에 의해 상기 IGM을 사용하여 상기 기준점의 지면 좌표를 계산하는 단계;

(c) 상기 그래픽 사용자 인터페이스의 동작에 의해 상기 물체의 높이를 선택 및 조정함으로써 상기 물체의 상기 높이를 조정하는 단계;

(d) 상기 측량 유틸리티가 상기 기준점에 대한 상기 측정된 그림자 끝점의 오프셋(offset)을 계산하는 단계; 및

(e) 상기 IGM을 사용하는 상기 측량 유틸리티의 동작에 의해, 사용자가 상기 물체의 그림자 끝점을 상기 이미지에 캐스팅하는 단계

를 더 포함하는 방법.
제8항에 있어서, 상기 물체의 그림자가 측량불가능한 경우, 상기 물체의 그림자를 측량하기 위해서,

(a) 상기 이미지와 연관된 그래픽 사용자 인터페이스의 동작에 의해 사용자가 상기 이미지 내에 그림자 끝점을 선택하는 단계;

(b) 측량 유틸리티의 동작에 의해 상기 IGM을 사용하여 상기 그림자 끝점의 지면 좌표를 계산하는 단계;

(c) 상기 그래픽 사용자 인터페이스의 동작에 의해 상기 물체의 높이를 선택 및 조정함으로써 상기 물체의 상기 높이를 조정하는 단계;

(d) 상기 측량 유틸리티가 상기 기준점에 대한 상기 측정된 그림자 끝점의 오프셋(offset)을 계산하는 단계;

(e) 상기 측량 유틸리티가 대응하는 투영도 눈금자의 위치를 계산하는 단계; 및

(e) 상기 투영도 눈금자가 상기 물체의 실제 꼭대기에 도달하면, 상기 IGM을 사용하는 상기 측량 유틸리티의 동작에 의해 사용자가 상기 물체의 기준점을 상기 이미지에 캐스팅하는 단계

를 더 포함하는 방법.
제9항에 있어서, 상기 측량 유틸리티는 다음의 공식

을 연산함으로써 상기 기준점의 상기 지면 좌표 (X, Y)를 계산하며,

r 및 c는 상기 이미지 내의 선택된 점의 행과 열 좌표이며,
및
는 X, Y, 및 Z의 근사값을 상기 IGM 내에 치환함으로써 측정된 값이고, ΔX 및 ΔY는 초기값에 대한 보정값이며,
,
,
, 및
는 편도함수인 방법.
제9항에 있어서, 다음의 공식을 연산함으로써 상기 물체 근처의 평탄한 지면 에 대해 상기 그림자의 오프셋이 계산되며,

h는 상기 물체의 높이이고, θ는 상기 이미지를 취했을 때의 태양 고도이며, l은 상기 그림자의 길이인 방법.
제9항에 있어서, 다음의 공식을 연산함으로써 상기 물체 근처의 비평탄 지면에 대해 상기 그림자의 오프셋이 계산되며,

이고,

l은 평탄한 지면에서의 상기 그림자의 길이이며, s는 각도(Ψ)인 경사 상에서의 상기 그림자의 길이이고, h는 상기 물체의 높이이며, θ는 태양 고도인 방법.
제9항에 있어서, 상기 물체가 평탄한 표면 상에 위치하고, 상기 그림자 끝점 의 좌표가 (X₁, Y₁, Z₁)이며, Z₁이 상기 평탄한 표면에 대해서의 Z₀와 동일한 경우, 상기 물체의 상기 그림자의 길이는 다음의 공식을 연산함으로써 계산되며,

h는 상기 물체의 높이이고, θ는 상기 이미지를 취했을 때의 태양 고도인 방법.
제1항에 있어서, 상기 3차원 측량 결과는, (a) 높이, (b) 3차원 상의 거리, (c) 시선 거리(line of sight distance), (d) 부피, 또는 (e) 3차원 상의 움직임 중 하나 이상을 포함하는 방법.
제1항에 있어서,

적어도 하나의 3차원 물체의 단일 이미지로부터 측량 정보를 도출하기 위한 단계들을 더 포함하는 방법으로서, 상기 방법은,

상기 물체의 전체 투영도가 상기 이미지 내에 보이는 경우,

(a) 상기 이미지와 연관된 그래픽 사용자 인터페이스의 동작에 의해 사용자가 상기 이미지 내에 기준점을 선택하는 단계;

(b) 측량 유틸리티의 동작에 의해 상기 IGM을 사용하여 상기 기준점의 지면 좌표를 계산하는 단계;

(c) 상기 그래픽 사용자 인터페이스의 동작에 의해 상기 물체의 선택된 길이 를 선택 및 조정함으로써 상기 물체의 상기 선택된 길이를 조정하는 단계; 및

(d) 상기 측량 유틸리티가 상기 물체의 상기 선택된 길이를 계산하는 단계

를 더 포함하는 방법.
제1항에 있어서, 적어도 하나의 3차원 물체의 단일 이미지로부터 측량 정보를 도출하기 위한 단계들을 더 포함하는 방법으로서, 상기 방법은,

상기 3차원 물체의 전체 그림자가 상기 이미지 내에 보이는 경우,

(a) 상기 이미지와 연관된 그래픽 사용자 인터페이스의 동작에 의해 사용자가 상기 이미지 상에 그림자 눈금자를 그리는 단계;

(b) 상기 측량 유틸리티가 상기 IGM을 사용하여 상기 그림자의 끝점 및 상기 기준점의 좌표를 계산하는 단계;

(c) 상기 측량 유틸리티가 또한 상기 IGM을 사용하여 대응하는 투영도 눈금자의 끝점 및 기준점의 좌표를 계산하는 단계;

(d) 상기 그림자 눈금자가 실질적으로 상기 물체의 전체 그림자와 실질적으로 들어맞고 및/또는 상기 투영도 눈금자가 상기 물체의 실제 꼭대기에 도달할 때까지, 상기 그래픽 사용자 인터페이스의 동작에 의해, 사용자가 상기 물체와 연관된 높이 정보를 반복적으로 조정하는 단계; 및

(e) 상기 측량 유틸리티가 상기 IGM을 사용하여 상기 물체의 상기 높이를 계산하는 단계

를 더 포함하는 방법.
제1항에 있어서, 기준점이 보이지 않거나 존재하지 않는 3차원 물체의 단일 이미지로부터 측량 정보를 도출하기 위한 단계들을 더 포함하는 방법으로서, 상기 방법은,

(a) 상기 이미지와 연관된 그래픽 사용자 인터페이스의 동작에 의해, 사용자가 상기 이미지 상에 그림자 눈금자를 그리는 단계;

(b) 상기 측량 유틸리티가 상기 IGM을 사용하여 그림자 끝점과 기준점의 좌표를 계산하는 단계;

(c) 상기 측량 유틸리티가 또한 상기 IGM을 사용하여 대응하는 투영도 눈금자의 끝점 및 기준점의 좌표를 계산하는 단계;

(d) 상기 투영도 눈금자가 상기 물체의 실제 꼭대기에 도달할 때까지, 상기 그래픽 사용자 인터페이스의 동작에 의해, 사용자가 상기 물체와 연관된 높이 정보를 반복적으로 조정하는 단계; 및

(e) 상기 측량 유틸리티가 상기 IGM을 사용하여 상기 물체의 상기 높이를 계산하는 단계

를 더 포함하는 방법.
제1항에 있어서,

상기 단일 이미지를 캡처링(capturing)할 때 수평 및 수직 방향으로 발생하는 계통상의 바이어스(systemic bias)를 보정하는 단계

를 더 포함하는 방법.
제3항에 있어서,

상기 물체에 대한 형태 기하구조(shape geometry)를 구축하고, 상기 3차원 모델 및/또는 지도를 생성하기 위해서 상기 물체의 형태 기하구조를 사용하는 단계

를 더 포함하는 방법.
제3항에 있어서,

모델 생성 유틸리티의 동작에 의해 다양한 형태의 3차원 모델을 생성하는 단계

를 더 포함하는 방법.
제3항에 있어서,

모델 생성 유틸리티의 동작에 의해 다양한 지붕 구조의 3차원 모델을 생성하는 단계

를 더 포함하는 방법.
적어도 하나의 3차원 물체의 단일 이미지로부터 3차원 측량 정보를 도출하고 및/또는 3차원 모델 및 지도를 생성하기 위한 시스템으로서,

(a) 적어도 하나의 컴퓨터; 및

(b) 상기 컴퓨터로 하여금,

(i) 상기 물체의 적어도 하나의 2차원 단일 이미지를 얻는 동작 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(IGM)과 연관됨 -;

(ⅱ) 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키는 동작;

(ⅲ) 상기 이미지 데이터를 분석하여, (A) 상기 물체에 관계된 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하거나; 및/또는 (B) 상기 물체에 포함되는 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하는; 및

(ⅳ) 상기 물체의 상기 투영도 및/또는 그림자 측량에 기초하여 3차원 측량 결과를 얻는 동작을 수행할 수 있도록 하기 위해, 상기 컴퓨터에 동작가능하게 연결된 컴퓨터 프로그램을 포함하는 시스템.
제23항에 있어서, 상기 컴퓨터 프로그램은, 3차원 모델 또는 지도를 생성하는 상기 측량 유틸리티에 의해 제공되는 데이터를 사용할 수 있는 모델 생성 유틸리티를 정의하도록 상기 컴퓨터에 동작 가능하게 더 연결되는 시스템.
제21항에 있어서, 상기 시스템은,

서버 컴퓨터

를 더 포함하며,

상기 컴퓨터 프로그램은 서버 컴퓨터 상에 로딩되고, 상기 서버 컴퓨터는 네트워크를 통해 상기 컴퓨터에 의해 액세스할 수 있으며, 상기 서버 컴퓨터는 상기 컴퓨터에서 상기 네트워크를 통해 상기 측량 유틸리티의 기능에 대한 액세스를 제공하는 시스템.
컴퓨터 상에 측량 유틸리티를 정의하기 위한 명령을 포함하는 컴퓨터 사용가능한 매체로서,

상기 측량 유틸리티는,

(i) 물체의 적어도 하나의 2차원 단일 이미지를 얻으며 - 상기 이미지는 이미지 데이터로 구성되며 이미지 기하 모델(IGM)과 연관됨 -;

(ⅱ) 상기 IGM에 기초하여, 상기 이미지와 연관된 3차원 좌표 정보를 도출하고, 상기 3차원 좌표 정보를 상기 이미지 데이터와 연관시키며;

(ⅲ) (A) 상기 물체에 포함되는 점대점(point-to-point) 거리 및/또는 높이를 포함하는 측량 데이터를 도출하기 위해, 상기 IGM을 사용하여 상기 물체의 투영도를 측량하고; 및/또는 (B) 상기 물체에 포함되는 점대점 거리 및/또는 상기 높이를 포함하는 측량 데이터를 도출하기 위해 상기 물체의 그림자를 측량하도록 상기 이미지 데이터를 분석하며; 및

(ⅳ) 상기 물체의 상기 투영도 및/또는 그림자에 기초하여 3차원 측량 결과를 얻는 동작을 수행할 수 있는 매체.