KR20090042249A - 매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(dsm) 텍스처링 및 모델링을 위한 방법 - Google Patents

매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(dsm) 텍스처링 및 모델링을 위한 방법 Download PDF

Info

Publication number
KR20090042249A
KR20090042249A KR1020097002691A KR20097002691A KR20090042249A KR 20090042249 A KR20090042249 A KR 20090042249A KR 1020097002691 A KR1020097002691 A KR 1020097002691A KR 20097002691 A KR20097002691 A KR 20097002691A KR 20090042249 A KR20090042249 A KR 20090042249A
Authority
KR
South Korea
Prior art keywords
image
image capture
modeling
texturing
images
Prior art date
Application number
KR1020097002691A
Other languages
English (en)
Inventor
이얄 오펙
거 김치
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20090042249A publication Critical patent/KR20090042249A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

지표면 상의 다양한 물체의 수치 표면 모델(DSM) 텍스처링 및 모델링은 매핑 애플리케이션에서 구현을 위해 제공된다. 광각 렌즈를 갖는 하나 이상의 이미지 캡처 장치는 연직 사진과 경사 사진을 얻기 위해 다양한 구성으로 배치될 수 있다. 이러한 구성은 단일 렌즈, 단일 센서; 단일 렌즈, 다수의 센서; 다수의 렌즈, 다수의 센서; 및 다수의 렌즈, 다수의 센서 및 반사 표면을 포함한다. 위치, 거리 및 면적은 이미지로부터 측정될 수 있다. 또한, 공중 파노라마와 지상 이미지 사이의 연속적인 변화 형태가 제공된다.
Figure P1020097002691
DSM, 텍스처링, 모델링, 연직 사진, 경사 사진, 이미지 캡처 장치, 광각 렌즈, 공중 이미지

Description

매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(DSM) 텍스처링 및 모델링을 위한 방법{MODELING AND TEXTURING DIGITAL SURFACE MODELS IN A MAPPING APPLICATION}
본 발명은 매핑 애플리케이션에서의 수치 표면 모델(Digital Surface Model: DSM)의 모델링 및 텍스처링에 관한 것이다.
대규모 매핑 애플리케이션은 지표면 상에 존재하는 건물 및 기타 물체의 모델뿐만 아니라 지형의 모델링의 중요성과 양을 증가시켰다. 이러한 물체에 대한 일반적인 이름은 수치 표면 모델(Digital Surface Model: DSM)이다. 건물과 기타 구조물 없이 단순히 지형에 대한 이름은 수치 표고 모델(Digital Elevation Model: DEM)이다. 건물, 구조물 및 다양한 다른 물체(예를 들어, 산, 나무 등)는 그러한 매핑 프로젝트에서 여러 네비게이션 각도(예를 들어, 경사 뷰(oblique-view), 조감(bird's eye) 각도, 투시 각도, 위에서 바라본 각도, 앞에서 바라본 각도, 하향 궤도, 상승 궤도 등)에서 관찰될 수 있다. 그러한 네비게이션 각도가 몇몇 위치에는 이용가능하지만, 다수의 다른 위치에 대한 정보가 없다. 그러므로, 그러한 매핑 애플리케이션은 대다수의 위치에 대한 상세 및 모델링 양상이 없다.
상기 단점 및 그외 다른 단점을 극복하기 위해, 매핑 애플리케이션에서 DSM 을 모델링하고 텍스처링하여 그러한 정보를 적용하는 수단을 제공하는 실시예가 제공된다.
다음은 개시된 실시예의 몇몇 실시양상의 기본적인 이해를 제공하기 위해 단순화된 요약을 나타낸 것이다. 이 요약은 광범위한 개요가 아니고, 핵심적인 또는 중요한 요소를 식별하고자 하는 것도 아니고 그러한 실시예의 범위를 나타내고자 하는 것도 아니다. 그 목적은 나중에 설명되는 더욱 상세한 설명에 대한 서론으로서 단순화된 형태로 설명된 실시예의 몇몇 개념을 나타내기 위한 것이다.
하나 이상의 실시예 및 그 대응하는 명세서에 따르면, 다양한 실시양상은 매핑 애플리케이션을 위한 DSM 텍스처링 및 모델링과 관련하여 설명된다. 몇몇 실시예에 따르면, 모델링 및 텍스처링을 위한 연직 사진과 경사 사진의 장점을 결합하는 이미지 캡처 기술이 설명된다. 위치, 거리 및 면적은 이미지로부터 측정될 수 있다. 몇몇 실시예에 따르면, 공중 파노라마와 지상 이미지 사이의 연속적인 변화 형태가 있다.
상기 및 관련 목적을 달성하기 위해, 하나 이상의 실시예는 아래에서 충분히 설명되고 특히 청구범위에서 지적된 특징을 포함한다. 다음 설명 및 첨부 도면은 소정의 예시적인 실시양상을 상세하게 설명하고, 실시예의 원리가 이용될 수 있는 다양한 방식 중의 일부만을 나타낸 것이다. 그 밖의 다른 장점 및 새로운 특징은 도면과 함께 고려할 때 다음의 상세한 설명으로부터 명백해질 것이고, 개시된 실시예는 모든 그러한 실시양상 및 그 등가물을 포함하고자 하는 것이다.
도 1은 공중 DSM 이미지를 캡처하여 이러한 공중 이미지를 다수의 사진측량 산출물에 적용하는 예시적인 시스템을 도시한 도면.
도 2는 이미지를 텍스처링하고 모델링하는 다른 예시적인 시스템을 도시한 도면.
도 3은 개시된 실시예에서 이용될 수 있는 예시적인 이미지 캡처 장치를 도시한 도면.
도 4는 개시된 실시예에서 이용될 수 있는 다른 예시적인 이미지 캡처 장치를 도시한 도면.
도 5는 여기에 개시된 다양한 실시예에서 이용될 수 있는 다수의 이미지 캡처 장치의 예시적인 구성을 도시한 도면.
도 6은 여기에 개시된 다양한 실시예에서 이용될 수 있는 다수의 이미지 캡처 장치의 다른 예시적인 구성을 도시한 도면.
도 7은 하나 이상의 실시예에서 이용될 수 있는 경사 이미지를 도시한 도면.
도 8은 경사 이미지의 평평한 평면과 울트라 와이드 이미지의 반구 이미지 평면 사이의 대표적인 차이를 도시한 도면.
도 9는 수퍼 와이드 이미지로부터의 가상 경사 이미지의 생성을 도시한 도면.
도 10은 DSM 모델링 및 텍스처링을 위한 방법을 도시한 도면.
도 11은 DSM 모델링 및 텍스처링을 위한 다른 방법을 도시한 도면.
다양한 실시예는 이제 첨부 도면과 관련하여 설명되는데, 동일한 참조번호는 도면 전반을 통해 동일한 요소를 나타내기 위해 사용된다. 다음 설명에서, 설명의 목적을 위해, 다양한 특정 상세는 하나 이상의 실시양상의 철저한 이해를 제공하기 위해 설명된다. 그러나, 다양한 실시예는 이들 특정 상세 없이도 실시될 수 있다는 것이 명백하다. 그외 다른 경우에, 잘 알려진 구조 및 장치는 이들 실시예의 설명을 용이하게 하기 위해 블록도 형태로 도시된다.
이 명세서에서 사용된 바와 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 나타내고자 한 것이다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 프로세스, 프로세서, 개체, 실행 파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이에 제한되는 것은 아니다. 예시적으로, 서버상에서 실행되는 애플리케이션과 서버는 둘 다 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세스 및/또는 실행 스레드 내에 존재할 수 있고, 한 컴포넌트는 하나의 컴퓨터상에 국한될 수 있고 및/또는 2개 이상의 컴퓨터 사이에 분산될 수 있다.
"예시적"이라는 단어는 예, 사례 또는 예시로서 쓰인다는 것을 의미하는 것으로 여기에서 사용된다. "예시적"으로 여기에서 설명된 임의의 양상 또는 디자인은 반드시 그외 다른 양상 또는 디자인보다 양호하거나 유리한 것으로 구성되는 것은 아니다.
다양한 실시예는 다수의 컴포넌트, 모듈 등을 포함할 수 있는 시스템과 관련 하여 나타내질 것이다. 다양한 시스템은 추가 컴포넌트, 모듈 등을 포함할 수도 있고 및/또는 도면과 관련하여 설명된 컴포넌트, 모듈 등의 전부를 포함하지 않을 수도 있다는 것을 이해하고 알 수 있을 것이다. 이들 방법의 조합이 또한 사용될 수 있다.
도 1은 DSM 공중 이미지를 캡처하여 이러한 공중 이미지를 다수의 사진측량 산출물에 적용하는 예시적인 시스템(100)을 도시한 도면이다. 시스템(100)은 연직 사진과 경사 사진의 장점을 결합한다.
개시된 실시예를 충분히 이해하기 위해, 수치 표면 모델(DSM)의 생성을 위한 일반적인 프로세스가 설명될 것이다. DSM 이미지는 지상 및 다른 구조물의 몇몇 연직(예를 들어, 카메라가 똑바로 아래로 지상을 가리키는 방향) 사진의 캡처를 수반한다. 카메라의 위치는 이미지가 캡처되는 때와 거의 동시에, 또는 후처리에서와 같이 이미지가 캡처된 후에 계산된다. 위치는 각 이미지와 공지된 지상 점들 사이 및 (번들(bundle) 조정으로 알려져 있는) 이미지들 사이의 대응하는 점들을 식별함으로써 결정될 수 있다. 지상, 건물 및 기타 물체의 모델링은 2개 이상의 이미지에서 보이는 바와 같은, 물체 상의 대응하는 점들을 매칭함으로써 실행된다. 예를 들어, 건물의 코너는 최소한 2개의 이미지에서 식별된다. 모델링은 지상에 평행한 이미지가 거의 일정한 축척을 나타내기 때문에 연직 이미지를 이용하여 실행될 수 있다. 모델링은 또한 경사 이미지 또는 광각 센서와 같은 센서에서 실행될 수 있다. 예를 들어, 프레임의 가장자리에 나타나는 건물은 프레임의 중심에 있는 다른 건물과 유사한 축척으로 나타내진다. 카메라 내부 파라미터뿐만 아니라 각 이미지가 찍혔을 때의 카메라의 위치가 주어지면, 각 이미지 점은 공간 내의 뷰 광선(view ray)으로 변환될 수 있다. 이들 광선의 교차는 건물 코너의 공간 위치를 생성한다. 대응하는 점들의 식별 및 3차원 점들의 복원은 다양한 기술을 이용하여 수동으로 또는 자동으로 실행될 수 있다.
복원된 3차원 점들을 이용함으로써, 각 건물의 모델이 구성된다. 건물 모델이 텍스처링될 수 있다. 각 모델은 평면 패싯(facet) 또는 기타 표면 프리미티브(primitive)(예를 들어, 모델링에서 사용된 표면 요소의 수학적 정의인 넙스(NURBS: Non-Uniform Rational B-Spline)로 구성된다. 각 프리미티브는 그것이 보이는 이미지 위로 투영된다. 이미지 데이터는 프리미티브 텍스처로서 사용된다.
모델링 및 텍스처링은 연직 사진과 경사 사진의 결합을 이용한다. 경사 사진으로부터 건물을 모델링하는 옵션이 있지만, 이와 관련하여 몇 가지 어려움이 있다. 첫째, 경사 이미지의 지상 축척은 프레임을 따라 변한다. 건물이 수평에 가까워짐에 따라, 그것의 재구성 정확도는 1/Z의 비율로 저하되는데, Z는 카메라에서 지상 점까지의 거리이다. 또한, 경사 이미지는 그 방향을 향하는 물체의 패싯, 예를 들어 건물의 북쪽 패싯만을 캡처한다. 건물의 완전한 모델(및 텍스처 커버리지)를 얻기 위해, 몇 개의 이미지가 필요한데, 각 이미지는 상이한 방향에서 얻어진다. 가시도(visibility)는 건물이 건물과 카메라 사이에 있는 물체(예를 들어, 건물, 구조물, 나무 등등)에 의해 안보일 수 있기 때문에 화각(view angle)이 수평 방향에 가까워질 때 더욱 복잡하다. 복잡한 가시도 하에서, 예를 들어, 북쪽을 향하는 경사 이미지는 프레임 내의 모든 건물의 전체 남쪽 패싯을 캡처할 수 없다. 그러므로, 더 많은 이미지가 필요하다.
그러므로, 시스템(100)은 연직 사진과 경사 사진의 장점을 결합하도록 구성될 수 있다. 시스템(100)은 이미지 캡처 컴포넌트(102), 물체 식별 컴포넌트(104) 및 프레젠테이션 컴포넌트(106)를 포함한다. 다수의 이미지 캡처 컴포넌트(들)(102) 및 물체 식별 컴포넌트(들)(104)가 시스템(100)에 포함될 수 있지만, 알게 되는 바와 같이, 단순화를 위해 단일 식별 컴포넌트(104)와 접속하는 단일 이미지 캡처 컴포넌트(102)가 도시된다.
이미지 캡처 컴포넌트(102)는 광각으로부터 렌즈에 접근하는 광을 캡처하도록 설계된 렌즈를 포함한다. 이미지 캡처 컴포넌트(102)는 연직 위치와 경사 위치 중의 최소한 한 위치에서 이미지를 캡처하도록 구성될 수 있다. 이미지 캡처 컴포넌트(102)와 관련된 다양한 실시양상은 카메라와 관련하여 여기에서 설명될 수 있다. 지표면 및 지표면을 따르는 물체의 사진을 찍거나 캡처하는 임의의 기술은 하나 이상의 개시된 실시예에서 이용될 수 있다는 것을 알 수 있을 것이다. 이미지 캡처 컴포넌트(102)의 다양한 구성은 아래에 제공될 것이다.
시스템(100)은 곧바로 아래로 향한 이미지 캡처 컴포넌트(102)와 관련된 극도의 광각 렌즈(120도 이상)를 이용할 수 있다. 시야각의 중심 부분은 연직 사진에 대등할 수 있는 반면, 이미지의 가장자리는 360도 방향(방위각 방향)으로의 경사 사진에 대등할 수 있다. 시스템(100)이 지상을 스캔할 때, 높은 정확도의 중심 이미지는 모델링을 위한 기초로서 이용될 수 있는 반면, 이미지의 가장자리는 각 방향으로부터의 건물 측면의 조밀한 커버리지를 생성한다.
물체 식별 컴포넌트(104)는 다양한 이미지를 받아들이고 그러한 이미지 내의 유사한 물체 또는 위치를 식별하도록 구성될 수 있다. 그러한 물체 또는 위치의 식별은 수동 기능일 수 있고, 이로 인해, 물체 식별 컴포넌트(104)는 사용자 및/또는 엔티티(예를 들어, 인터넷, 다른 시스템, 컴퓨터,...)로부터 입력을 수신하고, 특정 이미지 또는 이미지의 서브세트를 물체 또는 위치와 관련시킨다. 몇몇 실시예에 따르면, 물체 식별 컴포넌트(104)는 자체적으로 다수의 이미지 사이에서 유사한 물체 또는 위치를 식별하고, 자동으로 이미지 또는 이미지의 일부를 물체 또는 위치와 관련시킨다. 이미지와 물체 또는 위치의 관련성은 지표면 상에 위치한 다양한 물체뿐만 아니라 지면의 모델을 나타내기 위해 다수의 이미지를 이용하는 매핑 애플리케이션에 적용될 수 있다.
프레젠테이션 컴포넌트(106)는 이렇게 얻은 이미지를 표시 화면에 나타내거나 표시하도록 구성될 수 있다. 그러한 프레젠테이션은 사용자가 다수의 네비게이션 각도에서 특정 위치의 표시를 요청하는 매핑 애플리케이션에서 이루어질 수 있다. 이러한 방식으로, 사용자에게는 현실 세계 이미지의 모델링 및 텍스처링을 제공하는 풍부한 표시가 제공된다.
도 2는 이미지의 텍스처링 및 모델링을 위한 다른 예시적인 시스템(200)을 도시한 것이다. 시스템(200)은 여러 가지 산출물을 생성하기 위해 이미지 처리 절차를 이용할 수 있다. 예를 들어, 시스템(200)은 이미지 데이터로부터 위치, 거리 및 면적의 직접 측정치를 얻도록 구성될 수 있다. 시스템(200)은 지상 표면의 정사사진(orthophoto) 이미지 및/또는 지상 표면의 경사 뷰를 얻을 수 있다. 3차원 DSM의 모델링은 시스템(200) 및/또는 모델의 텍스처링에 의해 제공될 수 있다. 대안적으로 또는 추가로, 시스템(200)은 공중 360도 뷰에서 지상 360도 파노라마 뷰 사이의 연속적인 변화 형태 또는 변형을 제공할 수 있다.
공중 파노라마는 장면의 전체 360도 뷰를 보여주는 이미지이다. 그러한 뷰는 지상에 대체로 평행한 원통형 스트립이거나, 또는 카메라의 뷰 방향 주위의 반구의 일부일 수 있다. 지상 파노라마는 캡처 점 주위의 환경을 나타내는 스트립, 또는 시점 주위의 반구이다.
지상 DEM 및 복원된 DSM을 사용하여, 공중 파노라마와 지상에 기초한 파노라마 사이의 궤도에 걸치는 중간 파노라마가 생성될 수 있다. 예를 들어, 이미지는 텍스처 기하형태의 재투영에 의해 생성되거나, 또는 원래의 이미지를 투영된 기하형태의 위치로 변형함으로써 생성될 수 있다. 이것은 공중 이미지에서 지상 레벨 이미지 사이, 2개의 공중 이미지 사이, 또는 2개의 지상 이미지 사이의 매끄러운 전환을 제공할 수 있다.
시스템(200)은 다수의 이미지를 다양한 각도에서 캡처하도록 구성될 수 있는 이미지 캡처 컴포넌트(202)를 포함한다. 또한 시스템(200)에 포함될 수 있는 것은 뷰잉 지역 내의 물체를 식별하도록 구성될 수 있는 물체 식별 컴포넌트(204), 및 예를 들어 매핑 애플리케이션 표시 화면에서 사용자에게 캡처된 이미지를 표시하도록 구성될 수 있는 프레젠테이션 컴포넌트(206)이다.
이미지 캡처 컴포넌트(202)는 다양한 구성을 포함할 수 있다. 예를 들어, 이미지 캡처 컴포넌트(202)는 단일 렌즈 및 단일 센서; 단일 렌즈 및 다수의 센서; 다수의 렌즈 및 다수의 센서; 다수의 렌즈, 다수의 센서 및 반사 표면, 또는 기타 구성을 포함할 수 있다. 이미지 캡처 컴포넌트(202)는 예를 들어, 매우 넓은 각도(예를 들어, 최소한 120도) 및 높은 해상도 센서를 포함하는 공중 카메라일 수 있다.
몇몇 실시예에 따르면, 동기화 모듈(208)이 이미지 캡처 컴포넌트(202)와 관련될 수 있다. 동기화 모듈(208)은 유사한 장면의 공통 캡처를 용이하게 하기 위해 최소한 하나의 다른 이미지 캡처 컴포넌트와 이미지 캡처 시간 또는 기타 파라미터를 동기화하도록 구성될 수 있다. 동기화 모듈(208)이 이미지 캡처 컴포넌트(202) 내에 포함되는 것으로 도시되지만, 몇몇 실시예에 따르면, 동기화 모듈(208)은 분리된 컴포넌트이거나, 그외 다른 시스템(200) 컴포넌트와 관련될 수 있다는 것을 이해할 것이다.
결합기 모듈(210)은 물체 식별 컴포넌트(204) 내에 포함될 수 있고, 또는 몇몇 실시예에 따르면 분리된 컴포넌트일 수 있다. 결합기 모듈(210)은 다수의 이미지 캡처 컴포넌트로부터 수신된 다수의 이미지를 얻어서 그 이미지들을 결합하도록 구성될 수 있다. 그러므로, 결합기 모듈(210)은 다양한 네비게이션 각도로부터 더욱 상세한 이미지뿐만 아니라 더 큰 이미지를 나타낼 수 있다.
예를 들어, 제1 이미지 캡처 장치는 제1 및 제2 이미지를 캡처할 수 있고, 제2 이미지 캡처 장치는 제3 및 제4 이미지를 캡처할 수 있다. 동기화 모듈(208)은 4개의(또는 그보다 많은 이미지)의 캡처링을 동기화할 수 있고, 결합기 모듈은 이미지 내에 위치한 최소한 하나의 식별된 물체에 부분적으로 기초하여 이미지를 결합할 수 있다.
시스템(200)은 또한 이미지 캡처 컴포넌트(202), 물체 식별 컴포넌트(204) 또는 이 두 개의 컴포넌트(202, 204)와 접속할 수 있는 물체 위치 컴포넌트(212)를 포함할 수 있다. 위치 컴포넌트(212)는 이미지 캡처 컴포넌트(202)의 이미지 평면상의 임의의 위치를 공간 내의 광선으로 변환하도록 구성될 수 있다. 이러한 구성은 이미지 캡처 컴포넌트(202)의 내부 파라미터를 고려할 수 있다. 이미지 캡처 컴포넌트(202)의 위치와 방향이 주어지면, 위치 컴포넌트(212)는 광선을 지상 모델과 교차시키고, 이미지 내의 점에 대응하는 공간 내의 위치를 결정하도록 구성될 수 있다. 위치와 방향은 관성 측정 유닛(Inertial Measurement Unit: IMU)을 이용하여 결정될 수 있고, 또는 지상 기준점을 식별함으로써 이미지로부터 복원될 수 있다.
몇몇 실시예에서, 위치 컴포넌트(212)는 2개 이상의 광선을 교차시키도록 구성될 수 있는데, 각 광선은 이미지 캡처 장치(202)의 상이한 위치에서 시작된다. 각각의 광선은 이미지 캡처 장치(202)의 각 이미지 평면 내의 유사한 세계 점의 상이한 이미지에 대응할 수 있다.
위치 컴포넌트(212)는 또한, 2개의 점들 사이의 직선 거리일 수 있는 거리, 또는 일련의 점들에 의해 정의될 수 있는 하나 이상의 선분에 의해 이루어진 연속적인 선인 폴리라인(polyline)을 따른 길이일 수 있는 거리를 측정하도록 구성될 수 있다. 이미지 점은 거리 계산을 위해 대응하는 지상 점에 위치 컴포넌트(212)에 의해 매핑될 수 있다. 이와 유사한 방식으로, 위치 컴포넌트(212)는 이미지 내 의 지역 다각형 경계를 정의함으로써 지상 또는 지표면 상의 면적을 측정할 수 있다. 이러한 지역은 이미지 내의 다각형 정점에 대응하는 점들의 지상 위치를 사용하여 결정될 수 있다.
사용자가 매핑 애플리케이션에서 특정 위치 또는 물체를 보기를 원할 때, 사용자는 고정형 또는 이동형의 컴퓨터 또는 기타 컴퓨팅 장치와 관련될 수 있는 프레젠테이션 컴포넌트(206)와 인터페이스로 접속한다. 이러한 인터페이스는 사용자가 정확한 위치(예를 들어, 경도, 위도)를 입력하거나, 주소, 도시, 주 또는 기타 식별 수단을 입력하는 것을 포함할 수 있다. 프레젠테이션 컴포넌트(206)는 다양한 유형의 사용자 인터페이스를 제공할 수 있다. 예를 들어, 프레젠테이션 컴포넌트(206)는 그래픽 사용자 인터페이스(GUI), 명령 줄 인터페이스, 음성 인터페이스, 자연 언어 텍스트 인터페이스 등을 제공할 수 있다. 예를 들어, GUI가 렌더링될 수 있는데, 이것은 원하는 위치를 로드하고, 가져오며, 선택하고, 판독하는 등등을 하기 위한 영역 또는 수단을 사용자에게 제공하고, 그러한 결과를 나타내기 위한 영역을 포함할 수 있다. 이들 영역은 대화 상자, 고정 컨트롤, 드롭다운 메뉴, 목록 상자, 편집 컨트롤과 같은 팝 업 메뉴, 콤보 상자, 무선 단추, 확인란, 누름 단추 및 그래픽 상자를 포함하는 공지된 텍스트 및/또는 그래픽 영역을 포함할 수 있다. 게다가, 탐색을 위한 수직 및/또는 수평 스크롤 바 및 영역이 보일 것인지 판정하는 도구 모음 단추와 같은 정보 전달을 용이하게 하는 유틸리티가 이용될 수 있다.
사용자는 또한, 예를 들어 마우스, 롤러 볼, 키패드, 키보드, 펜, 카메라로 캡처된 제스처 및/또는 음성 구동과 같은 다양한 장치를 통해 정보를 선택하고 제공하기 위해 이들 영역과 상호작용할 수 있다. 통상적으로, 누름 단추 또는 키보드 상의 엔터 키와 같은 메커니즘은 정보 전달을 시작하기 위해 정보를 입력한 다음에 이용될 수 있다. 그러나, 개시된 실시예는 이에 제한되는 것은 아니라는 것을 알 수 있을 것이다. 예를 들어, 단지 확인란을 강조표시하는 것만으로 정보 전달을 시작할 수 있다. 다른 예에서, 명령 줄 인터페이스가 이용될 수 있다. 예를 들어, 명령 줄 인터페이스는 텍스트 메시지를 제공하거나 오디오 톤을 생성하거나 등등을 함으로써 정보를 위해 사용자를 재촉할 수 있다. 그 다음, 사용자는 인터페이스 프롬프트에 제공된 옵션에 대응하는 영숫자 입력 또는 프롬프트에 제기된 질문에 대한 응답과 같은 적합한 정보를 제공할 수 있다. 명령 줄 인터페이스는 GUI 및/또는 API와 관련하여 이용될 수 있다는 것을 알 수 있을 것이다. 또한, 명령 줄 인터페이스는 저대역폭 통신 채널, 및/또는 제한된 그래픽 지원을 갖는 하드웨어(예를 들어, 비디오 카드) 및/또는 디스플레이(예를 들어, 흑백 및 EGA)와 관련하여 이용될 수 있다.
획득한 이미지는 저장 매체(214) 내에 검색가능한 포맷으로 유지 관리될 수 있다. 저장 매체(214)는 프레젠테이션 컴포넌트(206) 또는 다른 시스템(200) 컴포넌트와 관련될 수 있다. 저장 매체(214)는 메모리, 및/또는 정보를 저장할 수 있는 소정의 다른 매체일 수 있다. 예로서, 저장 매체(214)는 비휘발성 및/또는 휘발성 메모리를 포함할 수 있는데, 이에 제한되는 것은 아니다. 적합한 비휘발성 메모리는 판독 전용 메모리(ROM), 프로그램가능 ROM(PROM), 전기적으로 프로그램가 능한 ROM(EPROM), 전기적으로 소거가능하고 프로그램가능한 ROM(EEPROM) 또는 플래시 메모리를 포함할 수 있다. 휘발성 메모리는 외부 캐시 메모리로서 작용하는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 예로서, RAM은 정적 RAM(SRAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 2배속 SDRAM(DDR SDRAM), 개선된 SDRAM(ESDRAM), 싱크링크 DRAM(SLDRAM), 램버스 다이렉트 RAM(RDRAM), 다이렉트 램버스 동적 RAM(DRDRAM) 및 램버스 동적 RAM(RDRAM)과 같은 여러 형태로 이용가능한데, 이에 제한되는 것은 아니다.
도 3은 개시된 실시예에서 이용될 수 있는 예시적인 이미지 캡처 장치(300)를 도시한 도면이다. 이미지 캡처 장치(300)는 단일 렌즈(302) 및 단일 센서(304)를 포함한다. 이미지 캡처 장치(300)는 수퍼-와이드 렌즈(302)를 사용하는 고선명 카메라(304)일 수 있다. 카메라(304)는 곧바로 아래로 지상(306) 또는 다른 지형을 가리키게 항공기에 장착될 수 있다. 이렇게 얻은 이미지는 그 중심 근처에서 더 높고, 이미지가 수평에 가까워짐에 따라 감소하는 가변적인 지상 축척을 갖는다.
도 4는 개시된 실시예에서 이용될 수 있는 다른 예시적인 이미지 캡처 장치(400)를 도시한 도면이다. 이미지 캡처 장치는 단일 렌즈(402) 및 다수의 센서(404)를 포함한다. 4개의 센서(404)가 도시되었지만, 이미지 캡처 장치(400)는 임의 수의 센서를 포함할 수 있다. 다수의 센서(404)의 이용은 도 3에 도시된 이미지 캡처 장치(300)와 관련된 비용을 줄일 수 있다. 이웃하는 센서들(408, 410) 사이에, 센서 어레이(404)에 의해 가려지지 않는 이음매(406)(하나만 표시됨)가 있 다. 광각 렌즈 카메라일 수 있는 이미지 캡처 장치(400)는 똑바로 아래로 지상 또는 다른 지형(412)을 가리키고 있다. 지형(412)의 여러 지역의 이미지는 이웃하는 센서들(408, 410) 사이의 이음매(406)로 인해 캡처되지 않거나 사진이 찍히지 않을 수 있다. 지형(412)의 이들 지역은 다음 노출에 의해 포함되거나, 또는 제1 이미지 캡처 장치(400)와 거의 동시에 지형(412)의 유사한 지역을 캡처하는 제2 이미지 캡처 장치(도시 생략)에 의해 포함될 수 있다. 이러한 방식으로, 전체 지형은 다수의 이미지 캡처 장치의 이미지의 상호작용을 통해 캡처될 수 있다.
도 5는 여기에 개시된 다양한 실시예에서 이용될 수 있는 다수의 이미지 캡처 장치의 예시적인 구성(500)을 도시한 도면이다. 다수의 이미지 캡처 장치(502, 504, 506, 508, 510)는 결합된 화각(512, 514, 516, 518, 520)이 소정의 최소 거리에 대해 연직 방향 주위의 약 120도 또는 전체 반구를 포함하도록, 바깥쪽을 향하는 구성으로 항공기 또는 다른 차량 아래에 장착될 수 있다. 이미지 캡처 장치(502, 504, 506, 508, 510)는 유사한 장면 또는 지형(522)의 공통 캡처를 용이하게 하기 위해 동기화될 수 있다. 이 구성(500)은 다수의 이미지 캡처 장치(502, 504, 506, 508, 510)로 인해 다수의 렌즈 및 다수의 센서를 제공한다. 5개의 이미지 캡처 장치가 도시되었지만, 시스템(500) 내에 더 많거나 적은 캡처 장치가 있을 수 있다는 것을 알 수 있을 것이다.
도 6은 여기에 개시된 다양한 실시예에서 이용될 수 있는 다수의 이미지 캡처 장치의 다른 예시적인 구성(600)을 도시한 도면이다. 다수의 이미지 캡처 장치(602, 604, 606, 608, 610)의 이 구성(600)은 다수의 렌즈, 다수의 센서 및 반사 표면(612)을 제공한다. 반사 표면(612)은 광선을 항공기 주위의 반구에서 이미지 캡처 장치(602, 604, 606, 608, 610)로 반사시키는 미러링된 표면일 수 있는데, 여기에서 이들 이미지 캡처 장치는 안쪽을 향하는 구성으로 배치된다. 더 많거나 적은 이미지 캡처 장치가 시스템(600)에 포함될 수 있다는 것을 알 수 있을 것이다.
이 구성(600)은 옴니 뷰(omni-view) 카메라에서 공지되어 있다. 그러나, 단일 카메라의 사용은 몇 가지 제한이 문제된다. 첫째, 반사 표면 또는 미러(612)는 반구의 광선을 카메라 센서 상의 원형 이미지에 매핑한다. 많은 상황에서, 카메라 방향에서 먼 각도의 해상도는 저하되거나, 낮은 해상도이다. 다음에, 이미지의 전체 해상도는 센서의 해상도에 의해 제한된다. 마지막으로, 이미지의 중심은 반사 표면 또는 미러 내에 카메라 자체의 반사를 나타낸다. 그러므로, 카메라 자체는 특정 지역의 광선을 장면 또는 결과적인 이미지에서 차단한다.
단일 이미지 캡처 장치와 관련된 문제를 완화하기 위해, 다수의 이미지 캡처 장치(602, 604, 606, 608, 610)는 몇몇 방향에서 반사 표면 또는 미러(612)의 이미지를 캡처하기 위해 이용된다. 최종 생성된 이미지는 각 이미지 캡처 장치(602, 604, 606, 608, 610)의 이미지의 융합이고, 장치(602, 604, 606, 608, 610)의 반사 이미지가 제거된다.
정사사진(orthophoto)은 지상 축척이 일정하고, 상공에서 정사영으로 찍힌, 지면의 사진 커버리지이다. 일반적으로, 정사사진은 (예를 들어, 똑바로 아래를 보고 있는 카메라 또는 장치에 의해 찍힌) 연직 이미지, 및 DSM을 이용하여 생성된다. DSM은 2.5-차원 표면일 수 있고, (지상 위의 건물 및 다른 물체를 포함하여) 각각의 지상 점에서 높이를 측정한다. DSM은 LIDAR(Light Detecting and Ranging) 센서, IFSAR(InterFerometric Synthetic Aperture Radar) 또는 기타 센서와 같은 일련의 센서에 의해 캡처될 수 있다. DSM은 스테레오 프로세스와 같은 프로세스에 의해 동일한 지상 지역 또는 영역을 포함하는 연직 이미지의 더 큰 그룹의 쌍으로부터 생성될 수 있다.
정사사진은 정의된 지상 해상도를 갖는 이미지를 정의함으로써 생성될 수 있다. 그 이미지의 각 픽셀은 카메라 위치 방향 및 내부 파라미터(예를 들어, 초점 거리,...)를 고려하여 원래의 이미지상에 투영되는 지상 점을 나타낼 수 있다. 지상 점은 DSM으로부터 얻은 경도-위도(X-Y) 위치 및 그 높이에 의해 정의될 수 있다. 투영 점에서의 이미지의 색은 정사사진 이미지를 채색하기 위해 이용될 수 있다.
정사사진의 생성에 사용되는 연직 이미지는 약 40도 이하의 화각을 가질 수 있다. 개시된 실시예를 이용하는 공중 이미지 캡처 컴포넌트는 연직 이미지에 의해 캡처된 것들과 유사한 그 이미지의 중심 부분에서의 뷰 광선의 번들을 캡처할 수 있다. 예를 들어, 이미지의 중심 40도 지역은 표준 40도 공중 카메라의 뷰와 거의 동일할 수 있다.
정사사진은 여기에 도시되고 설명된 실시예를 이용하여 생성될 수 있다. 예를 들어, 하나의 센서 및 광각 렌즈와 같은 하나의 렌즈를 포함하는 구성에서, 렌즈는 핀홀 카메라로서 작용할 수 있다. 이러한 방식으로, (동일한 비행 높이 및 120도의 화각을 가정하여) 동일한 풋 프린트(foot print)를 바라보는 센서의 지역 은 센서 지역의 약 16 퍼센트이다. 유사한 해상도 정사사진을 얻기 위해, 60MPixel 센서와 같은 센서가 이용될 수 있다. 다른 실시예에서, 동일한 각도를 이미지 평면상의 동일한 거리에 매핑하는 렌즈가 이용되는 경우, 약 90 MPixel의 센서가 이용될 수 있다. 그러나, 그외 다른 렌즈 및 센서가, 여기에 개시된 하나 이상의 실시예에서 이용될 수 있다.
다수의 센서 및 하나의 렌즈 구성에서, 센서의 3x3 어레이와 같은 센서 어레이는 이미지를 생성하기 위해 이용될 수 있다. 각 센서는 정사사진 사진촬영에 이용된 센서와 유사할 수 있다. 3x3 어레이 내의 중간 센서는 정규 정사사진과 대등한 이미지를 생성할 수 있다.
다수의 렌즈 및 다수의 센서 구성에서, 연직 방향으로 향하는 카메라는 유사한 정사사진 이미지를 생성하기 위해 이용될 수 있다. 다수의 렌즈, 다수의 센서 및 반사 표면을 포함하는 구성에서, 이미지 캡처 컴포넌트의 반사는 이미지에서 제거되어야 한다. 다른 이미지 캡처 장치에 의해 얻은 이미지는 융합 기술과 같은 기술에 의해 반사 없는 이미지를 재구성하기 위해 이용될 수 있다.
경사 뷰는 연직 방향에 관해 기울어진 이미지 캡처 컴포넌트 또는 카메라에 의해 얻은 이미지이다. 경사 뷰는 건물 측면의 상세와 같은, 연직 이미지에서 알기 어려운 상세를 보여준다. 경사 이미지는 사용자에게 더욱 친숙할 수 있는 지상 레벨에 더 가까운 각도에서의 장면 물체를 나타내기 때문에 사용자가 재구성하기가 더욱 용이할 수 있다.
연직 이미지와 대조적으로, 경사 이미지는 방향이 있다. 즉, 남쪽에서의 한 점의 경사 이미지는 북쪽에서의 동일한 점의 경사 이미지와 다르다. 결과적으로, 장면의 모든 가능한 경사 이미지가 매핑 애플리케이션에서 보여질 경우에, 각 점에서 장면의 뷰를 캡처하기에는 충분하지 않지만, 장면은 각 점에서 모든 상이한 방향으로부터 캡처되어야 한다.
이제, 도 7을 참조하면, 경사 이미지를 위한 예시적인 뷰 방향이 도시된다. 경사 이미지는 수직의 연직 방향으로부터의 각도에 의해 측정된 뷰 방향을 가질 수 있다. 전형적인 값은 예를 들어, 경사각에 대해 40도 및 화각에 대해 약 40도일 수 있다.
참조번호(702)에는 위에서 바라본 경사 이미지가 도시되고, 참조번호(704)에는 개시된 실시예를 이용한 수퍼 와이드 이미지가 도시된다. 제1 뷰(702)는 카메라 위치(706) 및 하나의 표시된 광선(708)을 보여준다. 카메라(706)는 이미지 평면에 의해 정의된 절두체(frustum) 내의 모든 뷰 광선(708)의 색을 캡처할 수 있다. 수퍼 와이드 이미지(704)는 카메라 위치(710)를 갖고, 모든 광선을 캡처하는데, 그 중의 한 광선이 참조번호(712)로 표시되고, 화각 주위의 링(714)을 통과한다. 링의 표시 영역(716)은 참조번호(702)의 경사 이미지와 동등한 광선들이다.
도 8을 참조하면, 경사 이미지의 평평한 평면과 울트라 와이드 이미지의 반구 이미지 평면 사이의 대표적인 차이가 도시된다. 경사 이미지의 생성은 경사 이미지 평면을 정의하고 평면상의 각 픽셀을 이미지 캡처 컴포넌트의 중심과 연결함으로써 실행된다. 경사 이미지 평면상의 픽셀과 중심을 연결한 광선과 수퍼 와이드 이미지 평면의 교차는 경사 픽셀의 색을 정의했다.
카메라 초점(802)은 똑바로 아래로 연직 방향(804)을 향한다. 이미지를 캡처하기 위해 수퍼 와이드 렌즈를 이용하지만, 경사 뷰 방향(806)일 수 있는, 연직 방향(804)으로부터 약 20도에서 연직 방향(804)으로부터 약 60도까지의 광선의 링은 경사 이미지 평면(808)을 생성한다. 개시된 실시예를 이용하여 얻어질 수 있는 대응하는 울트라 와이드 이미지 평면은 참조번호(810)로 도시된다.
도 9는 수퍼 와이드 이미지로부터의 가상 경사 이미지의 생성을 도시한 도면이다. 카메라 초점(902)은 연직 방향(904)으로 아래로 향한다. 새로운 경사 이미지 평면상의 각 픽셀에 대해, 픽셀의 중심과 카메라 중심을 연결하는 광선이 정의된다. 경사 뷰 방향은 참조번호(906)로 도시되고, 경사 이미지 평면상의 점은 참조번호(908)로 도시된다. 울트라 와이드 이미지 평면상의 대응하는 투영은 참조번호(910)로 도시된다. 이미지 평면과의 광선의 교차점에서의 수퍼 와이드 이미지의 샘플리은 새로운 경사 픽셀에 대한 색을 생성했다.
설명된 바와 같이, DSM은 지면 상에 위치한 임의의 물체(예를 들어, 나무, 집 등)를 포함하는 지면의 3차원 모델이다. DSM은 정사사진의 생성과 같은 다양한 애플리케이션에 이용될 수 있고, 또는 특정 장면의 새로운 가상 뷰의 생성에 이용될 수 있다. 고품질 DSM은 값비싼 수동 측량으로부터 얻어질 수 있다. 대안적으로, DSM은 상이한 시점에서 찍은 장면의 다수의 뷰를 분석함으로써 생성될 수 있다. DSM을 생성하는 프로세스는 그러한 이미지들 사이의 대응하는 특징의 매칭을 포함한다. 각 특징은 카메라 위치로부터의 뷰 광선을 정의하고, 그러한 뷰 광선의 교차부는 특징의 공간 위치를 정의한다. 그러나, 자동 매칭은 어렵고 에러가 생기 기 쉽다.
개시된 기술은 모든 장면 점의 커버리지를 증가시킬 수 있다. (40도와 대조적으로) 약 120도를 갖는 화각을 사용하면, 동일한 지상점을 바라보는 이미지의 수가 6배 이상 증가한다. 예를 들어, 2개의 이웃하는 40도 연직 이미지 사이의 공통 영역이 66%이면, 9개의 이미지가 특정 지상 점을 볼 수 있지만, 대체로 동일한 간격에서 찍은 56개 이상의 120도 이미지가 대체로 동일한 점을 볼 수 있다. 그러므로, 복원된 DSM의 신뢰성이 향상된다.
게다가, 수퍼 와이드 이미지는 정규 연직 이미지에서 일반적으로 볼 수 없는 장면(예를 들어, 건물의 수직 벽, 나무 아래의 지역)의 가시 범위가 더 크다. 그러므로, 모든 뷰로부터의 커버리지의 결합은 향상된 DSM 모델을 생성할 수 있다.
텍스처는 모델의 시각적 내용과 사실성을 증가시킨다. 공중 뷰는 종종 지형, 건물 및 지면 상의 기타 물체를 텍스처링하기 위해 이용된다. 기본 텍스처링은 색을 생성하기 위해 물체 점을 획득하여 그것이 보이는 하나 이상의 이미지상으로 그 물체 점을 투영함으로써 만들어질 수 있다. 그러나, 복잡한 기하형태가 복잡한 가시도를 갖기 때문에, 물체 내의 상이한 공동(cavity)은 제한된 뷰 방향에 대해서만 보일 수 있다. 예를 들어, 건물의 벽은 보인다 하더라도, 평면도 또는 지상 아래에서 적절하게 보일 수 없고, 나무는 뷰에서 완전히 보이지 않게 될 수 있다.
게다가, 반사 물체 또는 반(semi)-반사 물체와 같은 상이한 물질은 상이한 뷰 방향에서 상이한 반사 속성을 갖는다. 그러므로, 단일 시점에서의 이들 물체의 텍스처링은 그러한 물체가 상이한 방향에서 관측될 때 비사실적인 텍스처를 생성할 수 있다. 다른 문제점은 텍스처가 방향 성분을 포함할 때 상이한 방향에서 찍은 다수의 이미지로부터의 텍스처의 스티칭과 관련될 수 있다.
개시된 실시예의 이용은 경사 및 연직 이미지의 제한된 캡처링에 의해 포함되지 않을 수 있는 영역의 텍스처링을 가능하게 하는 개선된 커버리지를 제공한다. 이들 이미지에서 보이지 않는 표면(예를 들어, 나무 아래의 땅)은 더욱 극단적인 각도에서의 새로운 뷰 방향에 의해 포함될 수 있다. 개시된 실시예는 또한 더 많은 이미지 및 더 많은 뷰 방향에 의해 관측된 각각의 장면 점을 제공한다. 이것은 방향성 반사 속성의 향상된 모델링을 제공한다. 예를 들어, 건물 창의 반사 속성은 상이한 방향에서의 창의 몇 개의 이미지를 분석함으로써 제거될 수 있다.
위에서 도시되고 설명된 예시적인 시스템과 관련하여, 개시된 주제에 따라 구현될 수 있는 방법은 도 10 및 11의 순서도를 참조하면 더욱 잘 이해될 것이다. 설명의 단순화를 위해, 방법은 일련의 블록으로 도시되고 설명되지만, 청구된 주제는 몇몇 블록이 여기에 도시되고 설명된 그외 다른 블록과 동시에 및/또는 상이한 순서로 발생할 수 있으므로, 블록의 수 또는 순서에 의해 제한되지 않는다는 것을 이해하고 알 수 있을 것이다. 더욱이, 도시된 모든 블록이 아래에 설명된 방법을 구현하기 위해 요구되는 것은 아니다. 블록과 관련된 기능은 소프트웨어, 하드웨어, 그 조합 또는 임의의 다른 적합한 수단(예를 들어, 장치, 시스템, 프로세스, 컴포넌트)에 의해 구현될 수 있다는 것을 알 수 있을 것이다. 게다가, 아래에 개시되고 이 명세서 전반에 걸쳐 개시된 방법은 이러한 방법을 다양한 장치로 전달하 고 전송하는 것을 용이하게 하기 위해 제조품 상에 저장될 수 있다는 것을 또한 알 수 있을 것이다. 본 분야에 숙련된 기술자들은 방법이 대안적으로 상태도에서와 같이 일련의 서로 관련된 상태 또는 이벤트로서 나타내질 수 있다는 것을 이해하고 알 수 있을 것이다.
도 10은 DSM 모델링 및 텍스처링을 위한 방법(1000)을 도시한 도면이다. 방법(1000)은 하나 이상의 이미지 캡처 장치가 공중 이미지를 캡처하기 위해 위치 설정되는 단계(1002)에서 시작된다. 이미지 캡처 장치는 광각 렌즈를 포함한다. 이러한 위치 설정은 지표면 상의 다양한 물체뿐만 아니라 지형의 연직 이미지를 얻기 위해 항공기 아래에 하나 이상의 이미지 캡처 장치를 장착하는 것을 포함할 수 있다. 이미지 캡처 장치는 예를 들어, 광각 렌즈를 갖는 카메라일 수 있다.
단계(1004)에서, 하나 이상의 공중 이미지는 하나 이상의 이미지 캡처 장치에 의해 캡처된다. 공중 이미지는 지표면 상에 위치한 최소한 하나의 물체를 포함한다. 이미지는 연직 사진, 경사 사진 또는 그 조합을 사용하여 캡처될 수 있다. 2개 이상의 장치로부터 캡처된 이미지는 단일 이미지보다 더욱 높은 정밀도의 상세를 포함하는 단일의 완전한 이미지를 렌더링하기 위해 결합될 수 있다.
단계(1006)에서, 하나 이상의 이미지에 의해 캡처된 지역을 뷰잉하라는 요청이 수신된다. 이러한 요청은 매핑 애플리케이션에서 특정 지역을 보기를 원하는 사용자로부터 수신될 수 있다. 단계(1008)에서, 캡처된 이미지가 표시될 수 있다. 표시된 이미지는 동적일 수 있고, 이로 인해, 사용자가 표시 화면 주위를 움직이면, 이러한 사용자 요청에 응답하여 이미지가 변한다. 예를 들어, 표시 화면은 뷰 잉 공중 파노라마 이미지와 지상의 시점 또는 다른 네비게이션 각도에서의 이미지 사이에서 변할 수 있다.
도 11은 DSM 모델링 및 텍스처링을 위한 다른 방법(1100)을 도시한 도면이다. 단계(1102)에서, 하나 이상의 이미지 캡처 장치의 구성이 결정된다. 이러한 구성은 단일 렌즈, 단일 센서; 단일 렌즈, 다수의 센서; 다수의 렌즈, 다수의 센서; 및 다수의 렌즈, 다수의 센서 및 반사 표면을 포함할 수 있다. 렌즈는 예를 들어, 광각 렌즈 또는 초광각 렌즈일 수 있다.
단계(1104)에서, 이미지 데이터는 지표면 상의 다수의 위치 및 물체에 대해 얻어진다. 이러한 이미지 데이터는 연직 이미지, 경사 이미지 또는 그외 다른 네비게이션 각도의 형태로 될 수 있다. 이미지 데이터는 또한 뷰잉 지역에서의 물체의 식별 및/또는 다수의 이미지 내의 유사한 물체 또는 위치의 식별을 포함할 수 있다. 이미지와 물체 또는 위치의 관련성은 지표면 상에 위치한 다양한 물체뿐만 아니라 지면의 모델을 나타내기 위해 다수의 이미지를 이용하는 매핑 애플리케이션에 적용될 수 있다.
단계(1106)에서, 이미지의 위치, 거리 및 면적의 측정치가 결정된다. 2개의 점 사이의 직선 거리, 또는 폴리라인을 따른 길이일 수 있는 거리가 측정될 수 있다. 이미지 점은 거리 계산을 위해 대응하는 지상 점에 매핑될 수 있다. 이와 유사한 방식으로, 지상 또는 지표면 상의 면적은 이미지 내의 지역 다각형 경계를 정의함으로써 측정될 수 있다. 이러한 지역은 이미지 내의 다각형 정점에 대응하는 점들의 지상 위치를 사용하여 결정될 수 있다. 단계(1108)에서, 결과적으로 얻은 이미지가 사용자 요청시에 표시될 수 있다.
특히, 상기 설명된 컴포넌트, 장치, 회로, 시스템 등에 의해 실행된 여러 기능과 관련하여, 이러한 컴포넌트를 설명하기 위해 사용된 용어("수단"에 대한 참조를 포함)는 달리 나타내지 않는 한, 여기에 도시된 예시적인 실시양상에서의 기능을 실행하는 개시된 구조와 구조적으로 대등하지 않을지라도, 개시된 컴포넌트(예를 들어, 기능적 등가물)의 지정된 기능을 실행하는 임의의 컴포넌트를 가리키고자 한 것이다. 이와 관련하여, 다양한 실시양상은 다양한 방법의 액트 및/또는 이벤트를 실행하는 컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 매체뿐만 아니라 시스템을 포함한다는 것을 또한 인식할 것이다.
게다가, 특별한 특징이 몇 가지 구현 중의 단 하나의 구현과 관련하여 개시되었지만, 이러한 특징은 임의의 주어진 또는 특정의 애플리케이션에 요구될 수 있고 유리할 수 있는 다른 구현의 하나 이상의 다른 특징과 결합될 수 있다. 더구나, 용어 "포함하다(includes)", "포함하는(including)" 및 그 변형이 상세한 설명 또는 청구범위에서 사용되는 한도까지, 이러한 용어는 "포함하는(comprising)"이라는 용어와 유사한 방식으로 포괄적인 의미로 사용하고자 하는 것이다.

Claims (20)

  1. 매핑 애플리케이션을 위한 모델링(modeling) 및 텍스처링(texturing)을 용이하게 하는 시스템(100, 200)에 있어서,
    다수의 각도에서 이미지를 캡처하는 제1 이미지 캡처 컴포넌트(102, 202);
    상기 캡처된 이미지 내에서 최소한 하나의 물체를 식별하는 물체 식별 컴포넌트(104, 204); 및
    매핑 애플리케이션에서 상기 식별된 캡처 이미지를 표시하는 프레젠테이션 컴포넌트(106, 206)
    를 포함하는 모델링 및 텍스처링 시스템.
  2. 제1항에 있어서, 상기 제1 이미지 캡처 컴포넌트는 광각 렌즈를 포함하는 카메라인 모델링 및 텍스처링 시스템.
  3. 제1항에 있어서, 상기 제1 이미지 캡처 컴포넌트는 단일 렌즈, 단일 센서의 카메라인 모델링 및 텍스처링 시스템.
  4. 제1항에 있어서, 상기 제1 이미지 캡처 컴포넌트는 단일 렌즈, 다수의 센서의 카메라인 모델링 및 텍스처링 시스템.
  5. 제1항에 있어서, 최소한 제2 이미지 캡처 컴포넌트 및 반사 미러를 더 포함하고, 상기 제1 및 최소한 제2 이미지 캡처 컴포넌트는 안쪽을 향하는 구성으로 되어 있는 모델링 및 텍스처링 시스템.
  6. 제1항에 있어서, 최소한 제2 이미지 캡처 컴포넌트를 더 포함하고, 상기 제1 및 최소한 제2 이미지 캡처 컴포넌트는 바깥쪽을 향하는 구성으로 되어 있는 모델링 및 텍스처링 시스템.
  7. 제6항에 있어서, 유사한 장면의 공통 캡처를 용이하게 하기 위해 상기 제1 이미지 캡처 장치와 최소한 제2 이미지 캡처 장치 사이의 이미지 캡처 시간을 동기화하는 동기화 모듈을 더 포함하는 모델링 및 텍스처링 시스템.
  8. 제6항에 있어서, 상기 제1 및 최소한 제2 이미지 캡처 장치에 의해 캡처된 이미지들을 결합하는 결합기 모듈을 더 포함하는 모델링 및 텍스처링 시스템.
  9. 제1항에 있어서, 상기 캡처된 이미지를 검색가능 포맷으로 보유하는 저장 매체를 더 포함하는 모델링 및 텍스처링 시스템.
  10. 제1항에 있어서, 상기 제1 이미지 캡처 컴포넌트는 연직(nadir) 위치와 경사(oblique) 위치 중의 최소한 한 위치에서 이미지를 캡처하는 모델링 및 텍스처링 시스템.
  11. 수치 표면 모델(digital surface model: DSM) 텍스처링 및 모델링을 위한 방법에 있어서,
    공중 이미지들을 얻기 위해 제1 이미지 캡처 장치(102, 202, 300, 400, 502, 602)를 위치 설정하는 단계(1002, 1102) - 상기 이미지 캡처 장치(102, 202, 300, 400, 502, 602)는 광각 렌즈(302, 402)를 포함함-;
    지표면 상에 위치한 최소한 하나의 물체를 포함하는 공중 이미지를 캡처하는 단계(1004);
    상기 캡처된 공중 이미지를 뷰잉하라는 요청을 수신하는 단계(1006); 및
    매핑 애플리케이션에서 상기 요청된 공중 이미지를 표시하는 단계(1008, 1108)
    를 포함하는 DSM 텍스처링 및 모델링 방법.
  12. 제11항에 있어서, 상기 제1 이미지 캡처 장치를 위치 설정하는 단계 이전에, 상기 제1 이미지 캡처 장치 및 최소한 제2 이미지 캡처 장치를 위한 구성을 결정하는 단계를 더 포함하는 DSM 텍스처링 및 모델링 방법.
  13. 제12항에 있어서, 상기 구성은 안쪽을 향하는 구성과 바깥쪽을 향하는 구성 중의 하나인 DSM 텍스처링 및 모델링 방법.
  14. 제12항에 있어서,
    반사 표면 쪽으로 안쪽을 향하는 구성으로 상기 제1 이미지 캡처 장치 및 최소한 제2 이미지 캡처 장치를 배치하는 단계; 및
    상기 반사 표면으로부터 상기 지표면 상에 위치한 최소한 하나의 물체를 포함하는 공중 이미지를 캡처하는 단계
    를 더 포함하는 DSM 텍스처링 및 모델링 방법.
  15. 제11항에 있어서, 상기 지표면 상에 위치한 최소한 하나의 물체를 포함하는 공중 이미지를 캡처하는 단계는 연직 위치와 경사 위치 중의 최소한 한 위치를 포함하는 DSM 텍스처링 및 모델링 방법.
  16. 제11항에 있어서, 상기 공중 이미지의 위치 측정치, 거리 측정치 및 면적 측정치 중의 최소한 하나를 결정하는 단계를 더 포함하는 DSM 텍스처링 및 모델링 방법.
  17. 제11항에 있어서, 상기 공중 이미지를 검색가능 포맷으로 보유하는 단계를 더 포함하는 DSM 텍스처링 및 모델링 방법.
  18. DSM 이미지들의 텍스처링 및 모델링을 제공하는 시스템에 있어서,
    광각 렌즈(302, 402)로 제1 및 제2 공중 이미지를 캡처하는 수단(102, 202, 300, 400, 502, 602) - 상기 공중 이미지는 최소한 하나의 물체를 포함함-;
    상기 최소한 하나의 물체를 식별하는 수단(104, 204);
    최소한 하나의 식별된 물체에 기초하여 상기 제1 및 제2 공중 이미지들을 결합하는 수단(210); 및
    맵 애플리케이션에서 상기 결합된 공중 이미지들을 표시하는 수단(106, 206)
    을 포함하는 DSM 이미지 텍스처링 및 모델링 제공 시스템.
  19. 제18항에 있어서,
    광각 렌즈로 제3 및 제4 공중 이미지를 캡처하는 수단; 및
    상기 제1 및 제2 공중 이미지를 캡처하는 수단과 상기 제3 및 제4 공중 이미지를 캡처하는 수단을 동기화하는 수단
    을 더 포함하는 DSM 이미지 텍스처링 및 모델링 제공 시스템.
  20. 제19항에 있어서, 상기 제3 및 제4 공중 이미지를 상기 제1 및 제2 공중 이미지와 결합하는 수단을 더 포함하는 DSM 이미지 텍스처링 및 모델링 제공 시스템.
KR1020097002691A 2006-08-24 2007-08-03 매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(dsm) 텍스처링 및 모델링을 위한 방법 KR20090042249A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/466,952 US7831089B2 (en) 2006-08-24 2006-08-24 Modeling and texturing digital surface models in a mapping application
US11/466,952 2006-08-24

Publications (1)

Publication Number Publication Date
KR20090042249A true KR20090042249A (ko) 2009-04-29

Family

ID=39107104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097002691A KR20090042249A (ko) 2006-08-24 2007-08-03 매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(dsm) 텍스처링 및 모델링을 위한 방법

Country Status (9)

Country Link
US (1) US7831089B2 (ko)
EP (1) EP2074594A1 (ko)
JP (1) JP2010501932A (ko)
KR (1) KR20090042249A (ko)
CN (1) CN101506850A (ko)
CA (1) CA2658513A1 (ko)
RU (1) RU2009106052A (ko)
TW (1) TW200825984A (ko)
WO (1) WO2008024189A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101229297B1 (ko) * 2011-04-29 2013-02-08 주식회사 영국전자 지리정보 구축시스템

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873238B2 (en) * 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
WO2008133790A1 (en) * 2007-04-27 2008-11-06 Lpa Systems, Inc. System and method for analysis and display of geo-referenced imagery
EP2076055B1 (en) * 2007-12-27 2012-10-24 Saab AB Method for displaying a virtual image
US8284190B2 (en) * 2008-06-25 2012-10-09 Microsoft Corporation Registration of street-level imagery to 3D building models
TWI419551B (zh) * 2008-08-22 2013-12-11 固態全景影像擷取裝置
IL193906A (en) * 2008-09-04 2012-06-28 Pro Track Ltd Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
US20100085350A1 (en) * 2008-10-02 2010-04-08 Microsoft Corporation Oblique display with additional detail
US9091755B2 (en) * 2009-01-19 2015-07-28 Microsoft Technology Licensing, Llc Three dimensional image capture system for imaging building facades using a digital camera, near-infrared camera, and laser range finder
CN101702245B (zh) * 2009-11-03 2012-09-19 北京大学 一种可扩展通用三维地景仿真系统
FR2954520B1 (fr) * 2009-12-18 2012-09-21 Thales Sa Procede de designation d'une cible pour un armement a guidage terminal par imagerie
EP2529357A4 (en) * 2010-01-26 2017-05-17 Saab AB A three dimensional model method based on combination of ground based images and images taken from above
CN102117009A (zh) * 2011-01-14 2011-07-06 重庆市电力公司沙坪坝供电局 变电站设施全景可视化处理系统及处理方法
US8811720B2 (en) 2011-07-12 2014-08-19 Raytheon Company 3D visualization of light detection and ranging data
US9019279B1 (en) * 2011-10-04 2015-04-28 Google Inc. Systems and method for navigating between a nadir view and an oblique view of a map
US8994738B1 (en) * 2011-10-04 2015-03-31 Google Inc. Systems and method for navigating between oblique views of a map
CN102509354B (zh) * 2011-11-10 2013-12-18 武汉大学 一种与影像同步变化的投影数字高程模型制作方法
CN103377469B (zh) * 2012-04-23 2016-05-04 宇龙计算机通信科技(深圳)有限公司 终端和图像处理方法
CN103149788A (zh) * 2013-03-22 2013-06-12 天津曙光敬业科技有限公司 空中360°全景照片拍摄装置及方法
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration
US9483703B2 (en) * 2013-05-14 2016-11-01 University Of Southern California Online coupled camera pose estimation and dense reconstruction from video
HUP1300328A3 (en) * 2013-05-23 2017-03-28 Mta Szamitastechnika Es Automatizalasi Ki Method and system for integrated three dimensional modelling
CN103559617A (zh) * 2013-11-05 2014-02-05 范贤 多维角度观看物品及缩放、平移和语音导购的方法及系统
US9547935B2 (en) * 2014-02-24 2017-01-17 Vricon Systems Ab Method and a system for building a three-dimensional model from satellite images
US20150243073A1 (en) * 2014-02-27 2015-08-27 Here Global B.V. Systems and Methods for Refining an Aerial Image
CN104463969B (zh) * 2014-12-09 2017-09-26 广西界围信息科技有限公司 一种对航空倾斜拍摄的地理照片的模型的建立方法
US9978176B2 (en) * 2015-06-26 2018-05-22 Electronic Arts Inc. Simplifying small mesh components with redundant backs
US9870514B2 (en) * 2015-07-02 2018-01-16 Qualcomm Incorporated Hypotheses line mapping and verification for 3D maps
CN105391950B (zh) * 2015-12-23 2019-02-19 北京观著信息技术有限公司 微型倾斜摄影相机系统
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
CN108038900A (zh) * 2017-12-06 2018-05-15 浙江科澜信息技术有限公司 倾斜摄影模型单体化方法、系统及计算机可读存储介质
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
CN109492606A (zh) * 2018-11-26 2019-03-19 上海同繁勘测工程科技有限公司 多光谱矢量图获取方法及系统、三维单体化方法及系统
CN109598793B (zh) * 2018-11-27 2022-04-12 武大吉奥信息技术有限公司 基于倾斜摄影测量快速修改植被和水体的制作方法及装置
CN111310320B (zh) * 2020-02-07 2021-02-12 北京科技大学 一种基于倾斜摄影和体素的建筑群火灾模拟建模方法
CN111583404B (zh) * 2020-05-08 2021-08-31 广西壮族自治区自然资源遥感院 海量倾斜摄影三维模型数据调度方法及系统
SE544823C2 (en) * 2021-04-15 2022-12-06 Saab Ab A method, software product, and system for determining a position and orientation in a 3D reconstruction of the Earth´s surface
CN113223149A (zh) * 2021-05-08 2021-08-06 中煤(西安)航测遥感研究院有限公司 三维模型纹理生成方法、装置、设备及存储介质
CN114387416B (zh) * 2022-03-24 2022-05-27 北京飞渡科技有限公司 针对倾斜摄影三维重建的纹理自动生成和修复方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4157218A (en) 1977-04-14 1979-06-05 The Perkin-Elmer Corporation Wide angle scan camera
US4489322A (en) 1983-01-27 1984-12-18 The United States Of America As Represented By The Secretary Of The Air Force Radar calibration using direct measurement equipment and oblique photometry
US4890314A (en) * 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
DD282302A5 (de) 1989-04-03 1990-09-05 Zeiss Jena Veb Carl Weitwinkelobjektiv
AU679601B2 (en) 1993-11-30 1997-07-03 Arch Development Corporation Automated method and system for the alignment and correlation of images from two different modalities
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
DE19714396A1 (de) 1997-04-08 1998-10-15 Zeiss Carl Fa Photogrammetrische Kamera
EP0910833A1 (en) 1997-05-05 1999-04-28 Shell Oil Company Visual recognition method
US6999073B1 (en) 1998-07-20 2006-02-14 Geometrix, Inc. Method and system for generating fully-textured 3D
US6661913B1 (en) 1999-05-05 2003-12-09 Microsoft Corporation System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
US6477326B1 (en) 2000-08-31 2002-11-05 Recon/Optical, Inc. Dual band framing reconnaissance camera
US7057663B1 (en) * 2001-05-17 2006-06-06 Be Here Corporation Audio synchronization pulse for multi-camera capture systems
US6864889B2 (en) 2001-10-31 2005-03-08 Hewlett-Packard Development Company, L.P. System for previewing a photorealistic rendering of a synthetic scene in real-time
US6672535B2 (en) 2002-04-22 2004-01-06 Aerial View Systems, Inc. Camera systems for tracking objects from an aircraft
US7127348B2 (en) * 2002-09-20 2006-10-24 M7 Visual Intelligence, Lp Vehicle based data collection and processing system
US20050128212A1 (en) * 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US7526718B2 (en) * 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia
US7630724B2 (en) * 2004-09-21 2009-12-08 Advanced Ground Information Systems, Inc. Method of providing a cellular phone/PDA communication system
US7274868B2 (en) 2004-10-18 2007-09-25 Mark Segal Method and apparatus for creating aerial panoramic photography
US7130745B2 (en) * 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101229297B1 (ko) * 2011-04-29 2013-02-08 주식회사 영국전자 지리정보 구축시스템

Also Published As

Publication number Publication date
CN101506850A (zh) 2009-08-12
US7831089B2 (en) 2010-11-09
WO2008024189A1 (en) 2008-02-28
US20080050011A1 (en) 2008-02-28
CA2658513A1 (en) 2008-02-28
TW200825984A (en) 2008-06-16
EP2074594A1 (en) 2009-07-01
RU2009106052A (ru) 2010-08-27
JP2010501932A (ja) 2010-01-21

Similar Documents

Publication Publication Date Title
US7831089B2 (en) Modeling and texturing digital surface models in a mapping application
US9542770B1 (en) Automatic method for photo texturing geolocated 3D models from geolocated imagery
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US11887273B2 (en) Post capture imagery processing and deployment systems
KR20190020758A (ko) 복합 현실 환경을 작성하기 위한 시스템 등
EP2806645B1 (en) Image enhancement using a multi-dimensional model
Höhle Photogrammetric measurements in oblique aerial images
US20110216962A1 (en) Method of extracting three-dimensional objects information from a single image without meta information
Huang et al. Panoramic imaging: sensor-line cameras and laser range-finders
Georgopoulos et al. Data acquisition for 3D geometric recording: state of the art and recent innovations
GB2553363B (en) Method and system for recording spatial information
Peña-Villasenín et al. 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center
KR102317182B1 (ko) 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
Dall’Asta et al. Photogrammetric techniques for promotion of archaeological heritage: The archaeological museum of parma (Italy)
Koeva 3D modelling and interactive web-based visualization of cultural heritage objects
Stal et al. Digital representation of historical globes: methods to make 3D and pseudo-3D models of sixteenth century Mercator globes
Alshawabkeh et al. A new true ortho‐photo methodology for complex archaeological application
CN113168712A (zh) 从多个图像中选择互补图像以用于3d几何提取的系统和方法
US11172125B2 (en) Method and a system to provide aerial visualization of large landscape area
MX2009001951A (en) Modeling and texturing digital surface models in a mapping application
Scheibe Design and test of algorithms for the evaluation of modern sensors in close-range photogrammetry
Murtiyoso Geospatial recording and point cloud classification of heritage buildings
Pop et al. Combining modern techniques for urban 3D modelling
Mispelhorn et al. Real-time texturing and visualization of a 2.5 D terrain model from live LiDAR and RGB data streaming in a remote sensing workflow

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid