KR20110030641A - 거리 레벨 화상의 3ｄ 건물 모델에의 맞춤 - Google Patents

거리 레벨 화상의 3ｄ 건물 모델에의 맞춤 Download PDF

Info

Publication number
KR20110030641A
KR20110030641A KR1020117001897A KR20117001897A KR20110030641A KR 20110030641 A KR20110030641 A KR 20110030641A KR 1020117001897 A KR1020117001897 A KR 1020117001897A KR 20117001897 A KR20117001897 A KR 20117001897A KR 20110030641 A KR20110030641 A KR 20110030641A
Authority
KR
South Korea
Prior art keywords
building
distance
model
image
information
Prior art date
Application number
KR1020117001897A
Other languages
English (en)
Other versions
KR101629042B1 (ko
Inventor
카르틱 찬드라 무크티누탈라파티
마크 데이비드 타브
페트 나기
자오쿠이앙 비
구르 킴치
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41445164&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20110030641(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20110030641A publication Critical patent/KR20110030641A/ko
Application granted granted Critical
Publication of KR101629042B1 publication Critical patent/KR101629042B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이미지 데이터에 대한 원점 정보는 지리적 위치의 절대값에 대하여 부정확하게 맞춰질 수 있다. 이미지와 고도로 정밀한 모델 데이터를 정렬하기 위한 프로세스는 이미지 내의 요소들을 모델의 대응 요소들에 일치시킴으로써, 이미지 데이터의 원점을 조정한다. 거리 레벨 이미지에서, 건물 스카이라인이 추출될 수 있고, 건물 모델로부터의 대응 스카이라인이 이미지 기반 스카이라인 위에 놓여질 수 있다. 이미지의 원점을 조정함으로써, 개별 스카이라인들이 정렬될 수 있다. 건물 에지 및 정면 깊이 정보는 이미지의 이미지 원점을 조정함으로써 마찬가지로 일치될 수 있다. 그 다음, 이미지의 조정된 원점은 이미지들의 긴 런에 대하여 모델들 상에 이미지들을 자동으로 위치시키기 위해 이용될 수 있다.

Description

거리 레벨 화상의 3Ｄ 건물 모델에의 맞춤{REGISTRATION OF STREET-LEVEL IMAGERY TO 3D BUILDING MODELS}
많은 경우들에서, 차량의 정밀한 위치는 GPS(global positioning system) 수신기와 IMU(inertial measurement unit)의 조합을 이용하여 결정될 수 있다. 그러한 위치 시스템들을 이용하여 차량으로부터 취해진 이미지들은 GPS 및 IMU에 의해 제공되는 위치 측정값들을 이용하여 한 위치에 맞춰질(registered) 수 있다.
그러나, 도시 가로(urban canyons)에서의 신호 왜곡, 기계적 허용오차, 마모(wear) 등은 하나 이상의 이미지 센서의 보고된 위치가 그 센서의 실제 위치로부터 예측할 수 없는 방식으로 달라지게 할 수 있다.
그러한 불일치의 예는, 종래 기술에서 건물 이미지 데이터(예를 들어, 사진 데이터)(50)를 동일 건물의 기존 3차원(3D) 모델(52)에 정렬하려는 시도의 결과를 도시한 도 1에 예시되어 있다. 볼 수 있는 바와 같이, 이미지 소스 위치를 3D 모델의 지리적 기준(geographic reference)에 정확하게 맞추지 못하는 것이, 이미지(50)와 모델(52) 간에 오정렬을 유발한다.
시스템 및 방법은, 이미지와 건물 모델 간의 최상의 일치가 이루어질 때까지 이미지 데이터의 원점(origin point)을 체계적으로 조정함으로써 거리 레벨 이미지를 3D 건물 모델에 정렬하기 위해 이미지와 고해상도 스캐닝의 결합을 이용한다. 이미지들의 집합에 대해 원점 조정(예를 들어, 카메라 위치)을 수행함으로써, 그들이 만족스럽게 정렬될 수 있다. 거리의 대향측들(opposite sides)에 대해 이미지들이 선택될 때 추가의 정확성이 제공될 수 있어, 정렬 프로세스를 위한 데이터의 더 큰 다이버시티(diversity)를 제공한다.
이미지들은 공중의 레이저 레인징(airborne laser ranging)(LIDAR)과 같은 다른 기법을 이용하여 생성될 수 있는 건물들의 3D 모델에 정렬된다. 건물 특색 식별(building feature identification)을 위해, 거리 레벨(즉, 땅 위의 20피트 미만) 이미지가 거리 레벨 LIDAR 데이터에 의해 보충될 수 있다.
이미지들 및 거리 레벨 LIDAR는 3D 모델에 대해 투영되는 건물 에지 및 스카이라인을 추출하기 위해 처리된다. 비용 또는 성능 지수(figure of merit)는 추출된 이미지 에지 및 스카이라인, 거리 레벨 에지 및 정면 깊이(facade depths)와, 3D 모델의 대응하는 특색 간의 거리에 기초하여 생성된다. 그 다음, 카메라 위치는 그것의 계산된 위치와 재계산된 비용에 관하여 반복적으로 변위(displace)된다. 그 다음, 추출된 특색들과 모델링된 특색들 간의 최상의 일치에 대응하는 최저의 비용이 선택되고, 대응하는 카메라 위치가 저장될 수 있다. 프로세스는 대향측들, 예를 들어 거리의 양측으로부터의 이미지들을 포함하는 이미지들의 런(run)을 따른 이미지들을 통합할 수 있다. 소스 위치가 변위되므로, 고려되는 모든 이미지들에 대한 최저의 총 비용은 카메라에 대한 보다 더 정확한 절대적 위치를 나타낸다. 도 2는 이러한 기법의 결과로서 이미지(54)와 3D 모델(56)의 정렬을 도시한다.
도 1은 종래 기술의 이미지와 모델 정렬에서의 부정확한 원점 위치 정보의 결과를 도시한 것이다.
도 2는 정확한 원점 정보의 결과로서의 이미지와 모델 데이터의 정렬을 도시한 것이다.
도 3은 이미지 맞춤에 사용하기에 적합한 범용 컴퓨팅 장치의 블록도이다.
도 4는 이미지 런 내의 한 점에서의 스카이라인 식별을 설명하는 블록도이다.
도 5는 이미지 런 내의 다른 점에서의 스카이라인 식별을 설명하는 블록도이다.
도 6은 거리 레벨 이미지 내의 스카이라인 식별의 설명이다.
도 7은 스카이라인 데이터를 이용한 원점 위치 정보를 도시하는 블록도이다.
도 8은 거리 레벨 이미지 내의 스카이라인 일치의 도면이다.
도 9는 LIDAR 정면 및 건물 에지 식별을 도시한 블록도이다.
도 10은 이미지 맞춤을 위한 이미지 원점 조정 방법의 흐름도이다.
이하의 글이 다수의 상이한 실시예들의 상세한 설명을 제시하긴 하지만, 그러한 설명의 법적 범위는 본 개시물의 마지막에 제시된 청구항들의 문언에 의해 정의된다는 점을 이해해야 한다. 상세한 설명은 예시적인 것으로만 해석되어야 하며, 가능한 모든 실시예를 설명하는 것은 불가능하지는 않더라도 비현실적이므로, 가능한 모든 실시예를 설명하지는 않는다. 현재의 기술이나 본 특허의 출원일 이후에 개발된 기술을 이용하여 다수의 다른 실시예들이 구현될 수 있으며, 그들도 여전히 청구항들의 범위 내에 든다.
또한, "여기에서 사용될 때, '...'라는 용어는 ....를 의미하도록 정의된다"라는 문장이나 그에 유사한 문장을 이용하여 본 특허에서 명시적으로 용어가 정의되지 않는 한, 그 용어의 의미를 그것의 평범하거나 일상적인 의미를 넘어서 명시적으로나 암시에 의해 제한하려는 의도는 없으며, 그러한 용어는 (청구항들의 문언 이외의) 본 특허의 임의의 부분에서 이루어진 어떠한 진술에 기초하여 범위가 제한되는 것으로 해석되어서는 안 된다. 본 특허의 끝부분에 있는 청구항들에 인용된 임의의 용어가 본 특허에서 단일의 의미로 일관되는 방식으로 지칭되는 한, 그것은 독자를 혼동시키지 않도록 명료함을 위해서만 행해진 것이며, 그러한 청구항의 용어를 암시에 의해서나 다르게 그 단일의 의미로 제한하려는 의도는 없다. 마지막으로, 청구항의 요소가 임의의 구조에 대한 상세한 설명없이 "수단" 및 기능을 인용하는 것에 의해 정의되지 않는 한, 임의의 청구항의 요소의 범위는 35 U.S.C. §112의 여섯번째 단락의 적용에 기초하여 해석되도록 의도되지 않는다.
본 발명의 기능성의 많은 부분 및 본 발명의 원리의 많은 부분은 소프트웨어 프로그램 또는 명령어 및 ASIC(application specific IC)과 같은 집적 회로(IC)를 이용하여, 또는 그러한 소프트웨어 프로그램 또는 명령어 및 집적 회로 내에서 최상으로 구현된다. 통상적인 지식을 가진 자라면, 비록 예를 들어 이용가능한 시간, 현재의 기술 및 경제적 고려사항에 의해 동기가 부여되는 아마도 상당한 노력 및 많은 설계상의 선택에도 불구하고, 여기에 개시된 개념 및 원리에 의해 안내될 때, 최소한의 과정으로 그러한 소프트웨어 명령어 및 프로그램과 IC를 쉽게 생성할 수 있을 것이다. 따라서, 본 발명의 따른 원리 및 개념을 불분명하게 할 임의의 위험을 최소화하고 또한 간단히 하기 위해, 그러한 소프트웨어 및 IC에 대한 더 이상의 논의가 있다면, 그러한 논의는 바람직한 실시예의 원리 및 개념에 대한 요점으로 제한될 것이다.
도 3을 참조하면, 청구되는 방법 및 장치를 구현하기 위한 예시적인 시스템은 컴퓨터(110)의 형태로 된 범용 컴퓨팅 장치를 포함한다. 점선 안에 보여진 컴포넌트들은 엄밀히 따지면 컴퓨터(110)의 일부가 아니지만, 도 3의 실시예를 설명하기 위해 이용된다. 컴퓨터(110)의 컴포넌트들은 프로세서(120), 시스템 메모리(130), 노스브리지 칩이라고도 알려진 메모리/그래픽 인터페이스(121), 및 사우스브리지 칩이라고도 알려진 I/O 인터페이스(122)를 포함할 수 있지만, 이에 한정되지 않는다. 시스템 메모리(130) 및 그래픽 프로세서(190)는 메모리/그래픽 인터페이스(121)에 연결될 수 있다. 모니터(191) 또는 다른 그래픽 출력 장치가 그래픽 프로세서(190)에 연결될 수 있다.
프로세서(120), 메모리/그래픽 인터페이스(121) 및 I/O 인터페이스(122) 간의 고속 시스템 버스(123), 메모리/그래픽 인터페이스(121)와 시스템 메모리(130) 간의 프론트사이드 버스(124), 및 메모리/그래픽 인터페이스(121)와 그래픽 프로세서(190) 간의 AGP(advanced graphics processing) 버스(125)를 포함하는 일련의 시스템 버스들이 다양한 시스템 컴포넌트들을 연결할 수 있다. 시스템 버스(123)는 몇가지 유형의 버스 구조 중 임의의 것을 포함할 수 있는데, 제한이 아닌 예를 들면, 그러한 아키텍쳐들은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스 및 EISA(Enhanced ISA) 버스를 포함한다. 시스템 아키텍쳐가 진화함에 따라, 다른 버스 아키텍쳐 및 칩셋들이 사용될 수 있지만 일반적으로는 주로 이러한 패턴을 따른다. 예를 들어, Intel 및 AMD와 같은 기업들은 각각 IHA(Intel Hub Architecture) 및 Hypertransport™ 아키텍처를 지원한다.
전형적으로, 컴퓨터(110)는 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체를 모두 포함한다. 제한이 아닌 예를 들면, 컴퓨터 판독가능 매체는 컴퓨터 기억 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 기억 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의 이동식 및 비이동식 매체를 포함한다. 컴퓨터 기억 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 기타 광 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하기 위해 이용될 수 있고 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지는 않는다.
시스템 메모리(130)는 판독 전용 메모리(ROM)(131) 및 랜덤 액세스 메모리(RAM)(132)와 같은 휘발성 및/또는 비휘발성 메모리의 형태로 된 컴퓨터 기억 매체를 포함한다. 시스템 ROM(131)은 정보를 식별하고 만들어내는 것과 같은 영구적인 시스템 데이터(143)를 포함할 수 있다. 일부 실시예들에서, 기본 입출력 시스템(BIOS)도 시스템 ROM(131) 내에 저장될 수 있다. 전형적으로, RAM(132)은 프로세서(120)가 즉시 액세스할 수 있고/거나 프로세서에 의해 현재 운영되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 제한이 아닌 예로서, 도 3은 운영 체제(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)를 도시하고 있다.
I/O 인터페이스(122)는 다양한 내부 및 외부 장치들을 컴퓨터(110)에 연결시키는 다수의 다른 버스들(126, 127 및 128)에 시스템 버스(123)를 연결할 수 있다. SPI(serial peripheral interface) 버스(126)는 기동 시 등에서 컴퓨터(110) 내의 요소들 간의 정보의 전송을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS) 메모리(133)에 접속할 수 있다.
예시로서 플로피 디스크(152), 키보드/마우스(162) 및 프린터(196)와 같은 다수의 "레거시(legacy)" 주변장치들에 접속하기 위해, 수퍼 입력/출력 칩(160)이 이용될 수 있다. 일부 실시예들에서, 수퍼 I/O 칩(160)은 LPC(low pin count) 버스와 같은 버스(127)로 I/O 인터페이스(122)에 접속될 수 있다. 수퍼 I/O 칩(160)의 다양한 실시예들은 상업적 시장에서 널리 입수가능하다.
일 실시예에서, 버스(128)는 PCI(Peripheral Component Interconnect) 버스 또는 그것의 변형일 수 있고, 더 고속인 주변장치를 I/O 인터페이스(122)에 접속하기 위해 이용될 수 있다. PCI 버스는 메자닌 버스로도 알려져 있다. PCI 버스의 변형은 PCI-E(Peripheral Component Interconnect-Express) 및 PCI-X(Peripheral Component Interconnect - Extended) 버스를 포함하는데, 전자는 직렬 인터페이스를 갖고, 후자는 역방향 호환가능한 병렬 인터페이스이다. 다른 실시예들에서, 버스(128)는 SATA(serial ATA bus) 또는 PATA(parallel ATA)의 형태로 된 ATA(advanced technology attachment) 버스일 수 있다.
또한, 컴퓨터(110)는 다른 이동식/비이동식 휘발성/비휘발성 컴퓨터 기억 매체를 포함할 수 있다. 오직 예시로서, 도 3은 비이동식 비휘발성 자기 매체로부터 판독하고 그에 기입하는 하드 디스크 드라이브(140)를 도시한다.
USB(universal serial bus) 메모리(153), 파이어와이어(IEEE 1394), 또는 CD/DVD 드라이브(156)와 같은 이동식 매체는 직접, 또는 인터페이스(150)를 통해 PCI 버스(128)에 접속될 수 있다. 기억 매체(154)는 인터페이스(150)를 통해 연결될 수 있다. 예시적인 운영 환경에서 이용될 수 있는 다른 이동식/비이동식 휘발성/비휘발성 컴퓨터 기억 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD(digital versatile disks), 디지털 비디오 테이프, 고상 RAM, 고상 ROM 등을 포함하지만 그에 한정되지 않는다.
위에서 논의된 드라이브들과 그에 연관된 컴퓨터 기억 매체는 컴퓨터(110)를 위해 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 예를 들어, 도 3에서, 하드 디스크 드라이브(140)는 운영 체제(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로서 도시된다. 이러한 컴포넌트들은 운영 체제(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일할 수도 있고 그와 다를 수도 있음에 주목한다. 운영 체제(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)는 최소한, 그들이 상이한 사본이라는 것을 나타내기 위해, 여기에서 다른 번호들을 부여받는다. 사용자는 마우스/키보드(162) 또는 기타 입력 장치 조합과 같은 입력 장치들을 통해 컴퓨터(20)에 커맨드 및 정보를 입력할 수 있다. 다른 입력 장치들(도시되지 않음)은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 여기에 개시된 것과 그 이외의 입력 장치들은 종종 SPI(126), LPC(127), 또는 PCI(128)와 같은 I/O 인터페이스 버스들 중 하나를 통해 프로세서(120)에 접속되지만, 다른 버스들이 이용될 수 있다. 일부 실시예들에서, 다른 장치들은 수퍼 I/O 칩(160)을 통해 병렬 포트, 적외선 인터페이스, 게임 포트 등(도시되지 않음)에 연결될 수 있다.
컴퓨터(110)는 네트워크 인터페이스 제어기(NIC)(170)를 통한 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 공통 네트워크 노드일 수 있으며, 전형적으로 위에서 컴퓨터(110)에 관련하여 설명된 구성요소들 중의 다수 또는 전부를 포함한다. 도 3에 도시된 NIC(170)와 원격 컴퓨터(180) 간의 논리적 접속은 LAN(local area network), WAN(wide area network) 또는 둘다를 포함할 수 있지만, 다른 네트워크들도 포함할 수 있다. 그러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer networks), 인트라넷 및 인터넷에서 흔한 것이다. 원격 컴퓨터(180)는 컴퓨터(110)와의 인터랙티브 세션을 지원하는 웹 서버도 나타낼 수 있다.
일부 실시예들에서, 네트워크 인터페이스는 브로드밴드 접속이 이용가능하지 않거나 이용되지 않고 있을 때 모뎀(도시되지 않음)을 사용할 수 있다. 도시된 네트워크 접속은 예시적인 것이며, 컴퓨터들 간의 통신 링크를 설정하기 위한 다른 수단도 이용될 수 있음을 알 것이다.
도 4 내지 도 8은 카메라 위치의 정확성을 지리적으로 정제(refine)하기 위해, 이미지 데이터가 동일 장면의 3D 모델을 고려하여 어떻게 해석될 수 있는지를 도시한 것이다. 이러한 기술을 이용하는 일 실시예에서, 예를 들어 LIDAR(light detection and ranging) 장비인 정밀 스캐너가 항공기에 탑재되어, 도시 지역과 같은 지리적 영역에 대한 기하학적 데이터를 캡쳐하기 위해 이용될 수 있다. 이러한 LIDAR 데이터로부터, 건물들을 포함하는 영역의 3차원 모델이 10센티미터 정도의 정확도로 생성될 수 있다. 그러한 지리적 모델이 가치있는 자원을 제공하긴 하지만, 장면에 생명력을 불어넣기 위해서는, 3D 모델에 컬러 및 텍스쳐 데이터가 추가되어야 할 수 있다. 거리-레벨 사진은 원하는 현실감을 제공할 수 있지만, 도 1에 도시된 바와 같이, 사진 데이터가 3D 모델에 정확하게 정렬되지 않는 경우에는 이해할 수 없이 뒤죽박죽으로 될 수 있다. 거리-기반 LIDAR 데이터는 사진 데이터의 소스 위치를 사진의 대상(예를 들어, 건물)에 대하여 1 센티미터 내에 위치시킬 수 있지만, 3D 모델에 의해 사용되는 지리적 좌표에 대한 카메라의 위치는 1미터 이상 벗어날 수 있다. 사진 데이터를 수백미터 높이의 건물의 3D 모델에 투영할 때, 이러한 소스 위치의 부정확함은 도 1의 불일치로 되기가 쉽다.
카메라의 지리적 위치의 부정확함을 다루기 위해, 보다 더 정확한 항공 및 거리 레벨 LIDAR 데이터가 사용되어, 이미지와 거리 레벨 LIDAR 데이터가 동일한 장면의 3D 모델에 최적으로 맞을 때까지 카메라 위치 좌표를 수학적으로 변경할 수 있다. 이미지들의 런을 따른 두개의 포인트, 특히 런의 끝부분들에 가까운 두개의 포인트가 정확하게 위치되고 나면, 런을 따른 다른 간격들로부터의 이미지들은 사이에 있는 포인트들을 정확하게 위치시키기 위해 IMU 데이터를 이용할 수 있다.
도 4는 이미지 런 내의 한 포인트에서의 스카이라인 식별을 도시하는 블록도이다. 전형적인 거리 환경을 표현하는 거리(402) 및 대표적인 건물(404, 406 및 408)이 도시되어 있다. 트랙(410)은 트랙(410)을 따라 이미지 데이터를 캡쳐하는 데에 이용되는 런 경로를 나타낸다. 이미지들은 트랙을 따라 주기적인 간격에서 캡쳐될 수 있다. 트랙(410)의 시작부분 근처의 대표적인 제1 위치(412)는 제1 위치(412)의 시각(perspective)으로부터의 건물들의 대표적인 스카이라인(416, 418 및 420)을 나타낸다.
일 실시예는 본 기술분야에 알려진 최적 경로 알고리즘에 기초하는 스카이라인 검출 알고리즘을 이용한다. 알고리즘은 에지, 경사도(gradient) 크기 및 방향과, 스카이 분류 에지(sky classification edges) 및 소실점 정보에 의존한다. 예를 들어, 에지와 소실점의 조합은 고려되는 화소를 소실점에 연결하는 선 상의 스카이 분류된 화소들(sky classified pixels)의 백분율을 이용할 수 있다. 다른 스카이라인 검출 속성은 기존의 건물 모델에 기초하는 연역 추정된 스카이라인(apriori estimated skyline)을 이용할 수 있는데, 즉 3D 모델 자체가 이미지 데이터 내의 스카이라인을 결정하는 데에 도움을 주기 위해 사용될 수 있다.
건물(404, 406, 408)에 대해 각각 추출된 스카이라인 데이터(416, 418 및 420)는, 추후에 3D 모델과의 비교의 일부로서 소스 위치를 결정할 때 사용될 수 있다.
제1 및 제2 위치(412 및 414)를 각각 정육면체로서 도시한 것은, 트랙(410) 내의 그 포인트에서의 이미지의 소스의 정확한 위치가 GPS 수신 및 IMU 정확도에 대한 환경의 성질에 의존하여 더 정확하거나 덜 정확할 수 있는 3차원 공간 내의 추정임을 나타낸다.
도 5는 도 4에 도시된 이미지 런과 같은 이미지 런 내의 다른 포인트에서의 스카이라인 식별을 도시하는 블록도이다. 위에서와 같이, 거리(502) 및 건물(504, 506 및 508)이 도시되어 있다. 트랙(510)은 거리를 따른 이미지 런 진행을 나타낸 것으로, 이미지들은 트랙(510)의 시작 부분 근처의 대표적인 제1 위치(512) 및 트랙의 끝 부분 부근의 대표적인 제2 위치(514)를 포함하여, 트랙(510)을 따른 간격들에서 촬영된다. 일부 실시예들에서, 런을 따른 다른 이미지들은 카메라의 최적(best-fit) 실제 위치를 계산할 때에 이용될 수 있다.
도시된 바와 같이, 스카이라인 검출은 제2 위치(514)의 거리 레벨 시각으로부터 각각의 개별 건물(504, 506, 508)의 스카이라인(516, 518, 520)을 결정하기 위해 이용될 수 있다.
그 다음, 이 정보는, 본래의 거리 레벨 이미지가 획득되었던 카메라의 지리적 위치에 대한 정정 인자(correction factor)를 결정하기 위해 3D 모델 데이터와 결합될 수 있다.
도 6은 수개의 건물 및 그들에 연관된 스카이라인을 도시하는 거리 레벨 이미지(602)이다. 검출된 스카이라인(604)은 하얀 선으로 도시된다. 검은 선(606)은 카메라가 그것의 보고된 위치에 실제로 있는 경우의 3D 모델의 투영된 스카이라인을 나타낸다.
도 7은 대표적인 건물(702)을 검출된 스카이라인 에지(704)와 함께 도시한 것이다. 이미지 소스가 위치될 수 있는 범위는 정육면체(706)에 의해 표현된다. 정육면체(706)는 GPS 및 IMU 장비에 의해 기록된 카메라의 위치에 중심이 맞춰질 수 있다.
도 7에 도시된 바와 같이, 3D 모델 데이터에 기초하는 투영된 스카이라인은 이미지의 검출된 스카이라인에 비교될 수 있다. 예를 들어, 제1 투영(708)은 정육면체(706)의 좌측 상단 코너로부터 위치될 수 있고, 제2 투영(710)은 상단 중간의 카메라 위치로 이루어질 수 있고, 제3 투영(712)은 정육면체의 우측 하단 코너로부터 이루어질 수 있다. 동작 시에, 측정된 위치 주위의 3×3×3 매트릭스에 걸친 카메라 위치들이 만들어질 수 있다. 추출된 스카이라인과 투영된 스카이라인 간의 거리는 이미지 좌표 내의 x 및 y차원에서의 절대값 거리의 합산(abs(x1-x2) +abs(y1-y2))으로서 계산될 수 있다. 일부 실시예들에서, 스카이라인의 잘못 검출된 부분을 처리하기 위해, 100 화소를 넘는 거리는 고려되지 않을 수 있다. 검출된 스카이라인과 투영된 스카이라인 간의 가장 근접한 일치에 연관된 투영 위치가 선택되고 저장될 수 있으며, 본 예에서는 투영(710)이 최상의 일치를 나타낸다. IMU 데이터는 주어진 트랙의 런을 따라 지극히 정확하므로, 주어진 트랙을 따라 얻어진 데이터를 이용하여 위치찾기 동작을 수행하는 것은 한번의 계산으로 전체 트랙을 재배향하기 위해 이용될 수 있다.
도 8은 투영된 스카이라인(804)을 생성하기 위한 상이한 카메라 위치들을 표현하는, 복수의 투영된 스카이라인(804)을 도시한 거리 레벨 이미지(802)이다.
도 9는 이미지 매칭을 위해 스카이라인 데이터를 보충하기 위해 거리 레벨 LIDAR 데이터를 사용하는 것을 도시한다. 건물(902)은 카메라 위치(904)로부터의 이미지 데이터에서 캡쳐될 수 있다. 에지 데이터(906 및 908)와 정면 깊이(910)는 이미지 데이터가 캡쳐되는 것과 동시에 기록될 수 있다. 위에서의 검출 및 투영된 스카이라인과 마찬가지로, 에지(912, 914) 및 정면 깊이(916) 정보는 건물(902)의 3D 모델로부터 추출된, 투영된 에지 및 정면 정보에 비교될 수 있다. LIDAR 깊이 데이터는 검출된 스카이라인 정보보다 더 강건(robust)할 수 있으며, 실제의 카메라 위치에 관련된 모든 소스 정보를 결합할 때 더 큰 가중치(weight)를 받을 수 있다.
주어진 런 세그먼트에 대한 LIDAR 깊이의 계산은 우선 하나 이상의 근처의 건물의 3D 모델을 획득할 수 있다. 각각의 건물에 대하여, 런 세그먼트를 향하고 있고 큰 면적 및 폭을 가지고 있는 건물 정면들이 고려될 수 있다. (국지적(local) 좌표계에서의) 각 정면 시스템의 에지들의 시작 및 정지 위치는 3D 모델에 기초하여 계산된다. 에지들에 대응하는 시작 및 정지 트리거 이벤트들, 및 정면 에지들의 런 세그먼트 상으로의 투영이 계산된다. 이러한 정보에 기초하여, 런 세그먼트로부터의 정면 깊이가 획득될 수 있다.
시작 및 정지 트리거 이벤트들은 LIDAR 깊이 검출 모듈에 전달된다. 발견된 우세한 평면들(dominant planes)의 깊이들이 다시 전달된다. (센트로이드 감각(centroid sense)에서) 관심의 대상인 정면에 가장 가까운 우세한 평면이 선택되고, 디스패리티가 계산된다.
LIDAR 기반 깊이(LIDAR based depth)와 기존 건물 모델 정면 기반 깊이(existing building model-facade based depth)의 차이는 그것이 주어진 허용오차 내에 있는 경우에 고려된다. 이는 건물 정면-LIDAR 깊이 기반 디스패리티(building facade-LIDAR depth based disparity)로 칭해진다. 런 세그먼트를 둘러싸는 전체 브로드사이드(broadside) 건물 정면에 대한 모든 건물 정면-LIDAR 깊이 기반 디스패리티의 평균이 LIDAR 깊이 기반 성능 지수이다.
또한, LIDAR 에지들의 계산은 주어진 런 세그먼트의 근처에 있는 건물들에 대한 3D 건물 모델을 획득함으로써 시작할 수 있다. 각각의 건물에 대해, 에지들은 국지적 좌표계에서 건물 기하 모델을 이용하여 계산될 수 있다. 건물의 시작 및 정지 위치와, 건물에 대응하는 트리거 이벤트들이 계산된다.
Lidar 유닛(좌측 또는 우측 브로드사이드)과 함께 이러한 시작 및 종료 트리거 이벤트들이 개별적으로 LIDAR 에지 검출 모듈에 전달된다. 또한, LIDAR 깊이 이미지 내의 건물의 측면이 제공될 수 있다. LIDAR 에지 검출 모듈은 건물 에지 주위의 우세한 평면을 검출하고, 건물의 측면에 의존하여 에지를 찾는다.
LIDAR 검출된 에지들의 센트로이드는 건물 코너 관찰 이미지에 다시 투영된다. 마찬가지로, 기존 모델로부터의 건물 에지들에 대응하는 (카메라와 동일한 높이를 사용하여, 국지적 좌표계 내의 건물 코너 위치에 대응하는) 포인트들이 다시 투영된다. (화소 단위로의) 이러한 투영의 컬럼 수의 차이는 에지 기반의 비용 또는 성능 지수를 위해 고려된다. 이것은 이미지 프레임이 완벽하게 수직이라는 가정에 기초하는 대략적인 비용이다. 이것은 예시적인 지오로케이션 모듈 내에서 전형적으로 사용되는 해상도들에 대해 충분히 타당하다.
런 세그먼트를 둘러싸는 모든 건물들에 대한 이러한 차이의 평균은 LIDAR 에지 기반 비용 또는 성능 지수(화소 단위로의)로서 고려된다.
도 10은 이미지 데이터의 소스 위치에 대한 변위값을 결정하는 방법(1000)을 도시한 것이다. 블록(1002)에서, 소스 위치의 제1 변위값이 로드될 수 있다. 블록(1004)에서, 소스 이미지로부터 추출된 스카이라인과 대응하는 3D 모델로부터 계산된 스카이라인 간의 스카이라인 변위에 대한 성능 지수가 계산된다. 테스트 중인 각각의 소스 이미지 변위에 대한 스카이라인 성능 지수 계산을 위해, 다수의 소스 이미지가 이용될 수 있다.
블록(1006)에서, LIDAR 에지 및 정면 데이터에 대한 성능 지수는 LIDAR 데이터와 3D 모델 데이터를 비교함으로써 계산될 수 있다.
블록(1008)에서, 스카이라인 및 LIDAR 성능 지수가 계산될 수 있다. 일 실시예에서, 성능 지수들이 단순히 가산된다. 다른 실시예에서, 한 성능 지수, 예를 들어 LIDAR 데이터는 그것에 연관된 데이터가 더 정확한 것으로 고려되는 경우에 더 무거운 가중치를 받을 수 있다.
블록(1010)에서, 이전에 저장된 최소값이 있다면, 블록(1008)의 결과가 그 최소값과 비교될 수 있다. 새로운 성능 지수값이 이전의 최소값보다 낮다면, 실행은 "예" 분기를 따라 블록(1012)으로 갈 수 있다. 새로운 성능 지수가 현재의 최소값 이상이면, 실행은 "아니오" 분기를 따르고, 더 많은 변위값들이 테스트될 것이라면, 실행은 블록(1002)에서 계속할 수 있다.
블록(1010)으로부터의 "예" 분기가 취해지면, 블록(1012)에서, 성능 지수에 대한 새로운 낮은 값과, 그 새로운 낮은 값을 만들어낸 변위값이 저장될 수 있다. 더 많은 변위값들이 테스트될 필요가 있다면, 실행은 블록(1002)에서 계속할 수 있다.
모든 변위값이 테스트되었다면, 가장 낮은 성능 지수에 연관된 변위값이 런 데이터를 정정하기 위해 이용될 수 있다.
모델링된 건물들의 정면에 대하여 실제 이미지들을 사용할 수 있는 능력은 3D 이미지 및 지오로케이션 애플리케이션들에 새로운 레벨의 현실감을 부여한다. 위에서 설명된 기법들의 사용은 많은 양의 지오로케이션 데이터에 대한 이미지-대-모델 매칭의 엄청난 작업이었던 것의 자동화를 허용한다. 그 결과, 비전문적인 사용자들, 비지니스 애플리케이션 개발자, 게이머 등은 대규모의 지리적 모델링의 정확함 및 현실감을 즐길 수 있다.
앞의 설명이 본 발명의 다수의 상이한 실시예들의 상세한 설명을 제시하긴 하지만, 본 발명의 범위는 본 특허의 끝부분에서 제시되는 청구항들의 문언에 의해 정의됨을 이해해야 한다. 상세한 설명은 예시적인 것으로만 해석되어야 하고, 가능한 모든 실시예를 설명하는 것은 불가능하지는 않더라도 비현실적이므로, 본 발명의 가능한 모든 실시예를 설명하지는 않는다. 현재의 기술 또는 본 특허의 출원일 이후에 개발되는 기술을 이용하여 다수의 다른 실시예들이 구현될 수 있으며, 그것도 여전히 본 발명을 정의하는 청구항들의 범위 내에 든다.
따라서, 본 발명의 취지 및 범위를 벗어나지 않고서, 여기에 설명 및 도시된 기술들 및 구조들에 다수의 수정 및 변형이 이루어질 수 있다. 따라서, 여기에 설명된 방법 및 장치는 오직 예시적인 것이며, 본 발명의 범위를 제한하지 않는다.

Claims (20)

  1. 위치 데이터를 정정하는 방법으로서,
    소스 위치를 이미지에 할당하는 단계;
    상기 이미지 내에서 건물(504)의 건물(504) 상세(detail)를 결정하는 단계;
    3차원 스캔으로부터 상기 건물(504) 상세에 대응하는 건물(504) 모델을 추출하는 단계;
    상기 건물(504) 모델로부터의 모델 상세를 상기 이미지로부터의 건물(504) 상세에 투영하는 단계;
    상기 건물(504) 상세와 상기 모델 상세가 제한값 이내에서 일치할 때까지 상기 소스 위치를 조정하는 단계; 및
    상기 건물(504) 상세와 상기 모델 상세가 상기 제한값 내에서 일치할 때까지 상기 소스 위치를 조정한 결과로서의 조정된 소스 위치를 기록하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 이미지를 상기 건물(504) 모델에 적용할 때, 상기 조정된 소스 위치를 이용하는 방법.
  3. 제1항에 있어서,
    상기 이미지 내에서 건물(504) 상세를 결정하는 단계는 상기 소스 위치로부터 상기 건물(504)의 정면(facade)까지의 거리를 측정하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 이미지 내에서 건물(504) 상세를 결정하는 단계는,
    에지 및 경사(gradient) 크기를 평가하는 단계;
    소실점에 연관된 선 상의 화소들을 평가하는 단계; 및
    상기 건물(504) 모델로부터 상기 건물(504) 상세를 추정하는 단계
    를 포함하는 방법.
  5. 제1항에 있어서,
    런 세그먼트(run segment) 및 상기 런 세그먼트의 대향측들(opposing sides)로부터 건물들(404)에 대응하는 복수의 이미지를 선택하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 모델 상세를 투영(710)할 때, 건물(504) 깊이 데이터 및 건물(504) 스카이라인(skyline) 데이터(416)를 결합하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 건물(504) 상세를 결정하는 단계는 사진 건물(504) 스카이라인(516)을 결정하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    상기 건물(504) 상세를 결정하는 단계는 사진 건물(504) 에지(912)를 결정하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 건물(504) 상세를 결정하는 단계는 LIDAR 스카이라인(516)을 결정하는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 건물(504) 상세를 결정하는 단계는 LIDAR 건물(504) 에지(912)를 결정하는 단계를 포함하는 방법.
  11. 제1항에 있어서,
    상기 소스 위치를 조정하는 단계는, 복수의 모델 상세를 각 이미지로부터의 대응하는 복수의 건물(504) 상세에 투영하기 위해, 복수의 이미지를 이용하여 시작점 3차원 범위에 대해 시작점 소스 위치를 조정하는 단계를 포함하는 방법.
  12. 이미지 데이터를 건물(504) 모델에 정렬하는 방법으로서,
    거리(402) 레벨 건물(504) 정보를 캡쳐하는 단계;
    소스 위치를 상기 거리(402) 레벨 건물(504) 정보에 할당하는 단계;
    상기 거리(402) 레벨 건물(504) 정보에서 건물(504) 스카이라인(516), 건물(504) 에지(912) 및 건물(504) 정면 깊이(910)를 결정하는 단계;
    항공 데이터(aerial data)로부터 상기 거리(402) 레벨 건물(504) 정보에 연관된 위치에 대응하는 모델 정보를 추출하는 단계;
    상기 거리(402) 레벨 건물(504) 정보 및 상기 항공 데이터의 대응하는 요소들에 성능 지수 함수(a figure of merit function)를 적용하는 단계;
    상기 성능 지수 함수의 출력의 분석에 기초하여 변위 인자(displacement factor)를 계산하는 단계;
    상기 변위 인자를 상기 소스 위치에 적용함으로써 상기 소스 위치를 수정하는 단계; 및
    상기 변위 인자에 의해 수정된 소스 위치를 이용하여 상기 이미지 데이터를 상기 건물(504) 모델에 정렬하는 단계
    를 포함하는 방법.
  13. 제12항에 있어서,
    상기 성능 지수 함수를 적용하는 단계는 거리(402) 레벨 스카이라인(516) 및 항공 데이터 스카이라인(516)을 분석하는 단계를 포함하는 방법.
  14. 제12항에 있어서,
    상기 성능 지수 함수를 적용하는 단계는 거리(402) 레벨 정면(facade) 및 항공 데이터 정면을 분석하는 단계를 포함하는 방법.
  15. 제12항에 있어서,
    상기 성능 지수 함수를 적용하는 단계는 거리(402) 레벨 건물(504) 에지(912) 및 항공 데이터 건물(504) 에지(912)를 분석하는 단계를 포함하는 방법.
  16. 컴퓨터 실행가능 명령어들을 갖는 컴퓨터 판독가능 기억 매체(140)로서,
    상기 컴퓨터 실행가능 명령어들은,
    거리(402) 장면(scene) 이미지 데이터를 포함하는 거리(402) 레벨 건물(504) 정보를 캡쳐하는 단계;
    소스 위치를 상기 거리(402) 레벨 건물(504) 정보에 할당하는 단계;
    상기 거리(402) 레벨 건물(504) 정보 내에서 건물(504) 스카이라인(516), 건물(504) 에지(912) 및 건물(504) 정면 깊이(910)를 결정하는 단계;
    상기 거리(402) 레벨 건물(504) 정보에 연관된 위치에 대응하는 항공 데이터로부터 건물(504) 모델을 추출하는 단계;
    상기 거리(402) 레벨 건물(504) 정보와 상기 항공 데이터에 기초한 건물(504) 모델의 대응하는 요소들에 성능 지수 함수를 적용하는 단계;
    상기 성능 지수 함수의 출력의 분석에 기초하여 변위 인자를 결정하는 단계;
    상기 변위 인자를 상기 소스 위치에 적용함으로써 상기 소스 위치를 수정하는 단계; 및
    상기 변위 인자에 의해 수정된 상기 소스 위치를 이용하여 상기 거리(402) 장면 이미지 데이터를 상기 건물(504) 모델에 정렬하는 단계
    를 포함하는 방법을 실행하기 위한 것인 컴퓨터 판독가능 기억 매체.
  17. 제16항에 있어서,
    상기 성능 지수 함수를 적용하는 단계는 거리(402) 레벨 건물(504) 스카이라인(516), 에지(912) 및 정면 정보를, 대응하는 항공 데이터 건물(504) 스카이라인(516), 에지(912) 및 정면 정보와 비교하는 단계를 포함하는 컴퓨터 판독가능 기억 매체.
  18. 제16항에 있어서,
    상기 거리(402) 레벨 건물(504) 정보를 캡쳐하는 단계는 거리(402)의 양측(both sides)에 대해 거리(402) 레벨 건물(504) 정보를 캡쳐하는 단계를 포함하는 컴퓨터 판독가능 기억 매체.
  19. 제16항에 있어서,
    상기 거리(402) 레벨 건물(504) 정보를 캡쳐하는 단계는, 2차원 사진 및 3차원 레이저 레인징(LIDAR) 데이터 중 적어도 하나를 캡쳐하는 단계를 포함하는 컴퓨터 판독가능 기억 매체.
  20. 제16항에 있어서,
    상기 거리(402) 레벨 건물(504) 정보와 상기 항공 데이터에 기초한 건물(504) 모델의 대응하는 요소들에 성능 지수 함수를 적용하는 단계는, 거리(402) 장면을 따르는 복수의 위치에 대하여 상기 거리(402) 레벨 건물(504) 정보와 상기 항공 데이터에 기초한 건물(504) 모델의 대응하는 요소들에 성능 지수 함수를 적용하고, 상기 복수의 위치 각각에 대한 각각의 성능 지수를 선형으로 결합하는 단계를 포함하는 컴퓨터 판독가능 기억 매체.
KR1020117001897A 2008-06-25 2009-05-20 거리 레벨 화상의 3ｄ 건물 모델에의 맞춤 KR101629042B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/145,515 2008-06-25
US12/145,515 US8284190B2 (en) 2008-06-25 2008-06-25 Registration of street-level imagery to 3D building models

Publications (2)

Publication Number Publication Date
KR20110030641A true KR20110030641A (ko) 2011-03-23
KR101629042B1 KR101629042B1 (ko) 2016-06-09

Family

ID=41445164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117001897A KR101629042B1 (ko) 2008-06-25 2009-05-20 거리 레벨 화상의 3ｄ 건물 모델에의 맞춤

Country Status (13)

Country Link
US (1) US8284190B2 (ko)
EP (1) EP2289051B1 (ko)
JP (1) JP5450619B2 (ko)
KR (1) KR101629042B1 (ko)
CN (1) CN102084398B (ko)
AU (1) AU2009262925B2 (ko)
BR (1) BRPI0913210A2 (ko)
CA (1) CA2723875C (ko)
MX (1) MX2010014049A (ko)
MY (1) MY166106A (ko)
RU (1) RU2010153345A (ko)
WO (1) WO2009158083A2 (ko)
ZA (1) ZA201007844B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220123901A (ko) * 2021-03-02 2022-09-13 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061593A1 (en) * 2008-09-05 2010-03-11 Macdonald Willard S Extrapolation system for solar access determination
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
US20150278878A1 (en) * 2009-09-10 2015-10-01 Google Inc. System and method of displaying advertisements
EP2529357A4 (en) * 2010-01-26 2017-05-17 Saab AB A three dimensional model method based on combination of ground based images and images taken from above
US20110261187A1 (en) * 2010-02-01 2011-10-27 Peng Wang Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
US8786845B2 (en) 2010-04-08 2014-07-22 Navteq B.V. System and method of generating and using open sky data
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
US8855911B2 (en) 2010-12-09 2014-10-07 Honeywell International Inc. Systems and methods for navigation using cross correlation on evidence grids
AU2011362799B2 (en) * 2011-03-18 2016-02-25 Apple Inc. 3D streets
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US9639757B2 (en) * 2011-09-23 2017-05-02 Corelogic Solutions, Llc Building footprint extraction apparatus, method and computer program product
US8818722B2 (en) 2011-11-22 2014-08-26 Honeywell International Inc. Rapid lidar image correlation for ground navigation
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
US9183354B2 (en) * 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
WO2014112911A1 (en) 2013-01-21 2014-07-24 Saab Ab Method and arrangement for developing a three dimensional model of an environment
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
WO2014205757A1 (en) * 2013-06-28 2014-12-31 Google Inc. Systems and methods for generating accurate sensor corrections based on video input
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
US11721066B2 (en) 2013-07-23 2023-08-08 Hover Inc. 3D building model materials auto-populator
AU2013222016A1 (en) * 2013-08-30 2015-03-19 Canon Kabushiki Kaisha Method, system and apparatus for determining a property of an image
WO2015061735A1 (en) 2013-10-25 2015-04-30 Hover Inc. Estimating dimensions of geo-referenced ground-level imagery using orthogonal imagery
US9424672B2 (en) 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
EP3066644A1 (en) * 2013-11-08 2016-09-14 Google, Inc. Image based location determination
US9704291B2 (en) 2013-11-08 2017-07-11 Here Global B.V. Structure model creation from a three dimensional surface
US10412594B2 (en) 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
WO2016107989A1 (en) * 2014-12-31 2016-07-07 Aalto University Foundation Estimation of lower bounds for deviations of as-built structures from as-designed models
EP3271900A4 (en) 2015-03-17 2019-03-06 Environmental Systems Research Institute, Inc. INTERACTIVE DIMENSIONING OF PARAMETRIC MODELS
US10373343B1 (en) * 2015-05-28 2019-08-06 Certainteed Corporation System for visualization of a building material
US10178303B2 (en) * 2015-05-29 2019-01-08 Hover Inc. Directed image capture
US9507028B1 (en) * 2015-07-23 2016-11-29 Hyundai Motor Company Positioning apparatus and method for vehicle
CN105516584B (zh) * 2015-11-24 2019-07-05 中国科学院生态环境研究中心 全景影像采集系统、基于其的测量天际线的装置和方法
US10339193B1 (en) * 2015-11-24 2019-07-02 Google Llc Business change detection from street level imagery
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
US10223829B2 (en) 2016-12-01 2019-03-05 Here Global B.V. Method and apparatus for generating a cleaned object model for an object in a mapping database
US11127201B2 (en) * 2017-01-04 2021-09-21 Gaia3D Inc. Method for providing 3D GIS web services
US20180238690A1 (en) 2017-02-17 2018-08-23 The Charles Stark Draper Laboratory, Inc. Stellar-Landscape/Horizon Image Navigation
CN112815923B (zh) * 2019-11-15 2022-12-30 华为技术有限公司 视觉定位方法和装置
CN111192366B (zh) * 2019-12-30 2023-04-07 重庆市勘测院 用于建筑高度三维控制的方法及装置、服务器
US11734767B1 (en) 2020-02-28 2023-08-22 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote
US11107244B1 (en) * 2020-04-17 2021-08-31 Applied Research Associates, Inc. Location determination in a GPS-denied environment with user annotation
US20210334538A1 (en) 2020-04-27 2021-10-28 State Farm Mutual Automobile Insurance Company Systems and methods for a 3d model for viewing potential placement of an object
US11678140B2 (en) 2020-06-29 2023-06-13 The United States Of America As Represented By The Secretary Of The Army Localization by using skyline data
CN111899512B (zh) * 2020-08-05 2021-04-27 深圳大学 结合天际线观测的车辆轨迹提取方法、系统及存储介质
KR102481537B1 (ko) * 2020-12-08 2022-12-23 주식회사 한화방산 영상 데이터와 지형 고도 데이터를 이용하여 이동체의 방위각 및 자세를 추정하는 장치 및 방법
CN113031041B (zh) * 2021-03-11 2022-06-10 南京航空航天大学 一种基于天际线匹配的城市峡谷组合导航定位方法
WO2023244978A1 (en) * 2022-06-14 2023-12-21 President And Fellows Of Harvard College Building as an instrumentation for data-driven building operation

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652717A (en) 1994-08-04 1997-07-29 City Of Scottsdale Apparatus and method for collecting, analyzing and presenting geographical information
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6420698B1 (en) 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US7509241B2 (en) 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US7103211B1 (en) * 2001-09-04 2006-09-05 Geometrix, Inc. Method and apparatus for generating 3D face models from one camera
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
US7728833B2 (en) 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
US9049396B2 (en) 2004-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Creating composite images based on image capture device poses corresponding to captured images
IL164650A0 (en) 2004-10-18 2005-12-18 Odf Optronics Ltd An application for the extraction and modeling of skyline for and stabilization the purpese of orientation
US7616807B2 (en) 2005-02-24 2009-11-10 Siemens Corporate Research, Inc. System and method for using texture landmarks for improved markerless tracking in augmented reality applications
JP2007026201A (ja) 2005-07-19 2007-02-01 Sega Corp 画像処理装置、道路画像描画方法および道路画像描画プログラム
US7840032B2 (en) 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7944547B2 (en) 2006-05-20 2011-05-17 Zheng Wang Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
US7752018B2 (en) 2006-07-20 2010-07-06 Harris Corporation Geospatial modeling system providing building roof type identification features and related methods
US7831089B2 (en) 2006-08-24 2010-11-09 Microsoft Corporation Modeling and texturing digital surface models in a mapping application

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Pose Recovery for High-Quality Textures Generation, Pattern Recognition Proceedings. 16th International Conference(2002) *
Constructing 3D city models by merging ground-based and airborne views(Computer Vision and Pattern Recognition, Proceedings IEEE(2003) *
Integrating Ground and Aerial Views for Urban Site Modeling, Pattern Recognition,Proceedings. 16th International Conference(2002) *
Pose Calibration using Approximately Planar Urban Structure, Asian Conference on Computer Vision(1999.01.01) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220123901A (ko) * 2021-03-02 2022-09-13 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템

Also Published As

Publication number Publication date
CN102084398A (zh) 2011-06-01
ZA201007844B (en) 2012-02-29
US8284190B2 (en) 2012-10-09
EP2289051A4 (en) 2013-09-11
EP2289051B1 (en) 2017-12-27
EP2289051A2 (en) 2011-03-02
JP5450619B2 (ja) 2014-03-26
CA2723875C (en) 2018-11-20
KR101629042B1 (ko) 2016-06-09
AU2009262925A1 (en) 2009-12-30
MY166106A (en) 2018-05-24
WO2009158083A2 (en) 2009-12-30
US20090322742A1 (en) 2009-12-31
AU2009262925B2 (en) 2014-06-26
MX2010014049A (es) 2011-02-22
CN102084398B (zh) 2013-09-25
JP2011526029A (ja) 2011-09-29
RU2010153345A (ru) 2012-06-27
CA2723875A1 (en) 2009-12-30
WO2009158083A3 (en) 2010-04-01
BRPI0913210A2 (pt) 2016-01-12

Similar Documents

Publication Publication Date Title
KR101629042B1 (ko) 거리 레벨 화상의 3ｄ 건물 모델에의 맞춤
AU2011362799B2 (en) 3D streets
Zhou et al. Image-based 3D reconstruction for posthurricane residential building damage assessment
US9558557B2 (en) Online reference generation and tracking for multi-user augmented reality
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
CN109074667B (zh) 基于预测器-校正器的位姿检测
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
Rumpler et al. Evaluations on multi-scale camera networks for precise and geo-accurate reconstructions from aerial and terrestrial images with user guidance
US20110311104A1 (en) Multi-Stage Linear Structure from Motion
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
Wang et al. Monitoring the earthquake response of full‐scale structures using UAV vision‐based techniques
Oskouie et al. A data quality-driven framework for asset condition assessment using LiDAR and image data
CN111862146A (zh) 一种目标对象的定位方法及装置
Xiong et al. Camera pose determination and 3-D measurement from monocular oblique images with horizontal right angle constraints
KR101189167B1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
Fong et al. Computer vision centric hybrid tracking for augmented reality in outdoor urban environments
Grelsson et al. Efficient 7D aerial pose estimation
Kehl et al. Image-to-geometry registration on mobile devices–an algorithmic assessment
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法
Aldelgawy et al. Semi‐automatic reconstruction of object lines using a smartphone’s dual camera
Li et al. Error aware multiple vertical planes based visual localization for mobile robots in urban environments
Smith et al. Investigation into the orientation of oblique and vertical digital images
Inocencio et al. Methodological Proposal for Structure-From-Motion Three-Dimensional Reconstruction of Rocks for Geological Samples Database
Héno et al. 3D Digitization Using Images

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4