KR20210094517A - 3ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법 - Google Patents

3ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법 Download PDF

Info

Publication number
KR20210094517A
KR20210094517A KR1020217011195A KR20217011195A KR20210094517A KR 20210094517 A KR20210094517 A KR 20210094517A KR 1020217011195 A KR1020217011195 A KR 1020217011195A KR 20217011195 A KR20217011195 A KR 20217011195A KR 20210094517 A KR20210094517 A KR 20210094517A
Authority
KR
South Korea
Prior art keywords
image
images
optimal
new
features
Prior art date
Application number
KR1020217011195A
Other languages
English (en)
Inventor
얀 클라스 콜호프
니콜라스 앤소니 맨크스
웨인 데이비드 펫즐러
나타샤 제인 리들리
Original Assignee
니어맵 오스트레일리아 프로프라이어테리 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니어맵 오스트레일리아 프로프라이어테리 리미티드 filed Critical 니어맵 오스트레일리아 프로프라이어테리 리미티드
Publication of KR20210094517A publication Critical patent/KR20210094517A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06K9/00637—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G06K9/00201—
    • G06K9/6254—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • G06K2209/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

기울기(또한 피치로 불리움)에 대한 정보 및 빌딩의 지붕의 하나 이상의 치수들과 같은, 사용자-선택된 포인트 또는 관심 있는 기하학적 피처의 3D 속성들의 결정 및 삼각측량을 갖고 사용하기 위해 제공된 이미지들의 세트로부터 하나 이상의 상보적 이미지들을 자동으로 선택하기 위한 디지털 프로세싱 시스템, 디지털 프로세싱 시스템상에 구현된 방법, 및 실행될 때 그 방법을 구현하는 지시들을 포함한 비 일시적 기계 판독 가능한 매체. 하나 이상의 상보적 이미지들은 또한 상보성 기준으로 불리우는, 최적성 기준을 사용함으로써 자동으로 선택된다.

Description

3Ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법
관련 출원
본 개시는 그 내용이 여기에서 참조로서 통합되는, 2018년 9월 18일에 출원된 미국 가 특허 출원 번호 제62/732768호에 대한 우선권의 이익을 주장한다. 참조로서의 통합이 허용되지 않은 관할권들에서, 출원인은 명세서의 일부를 형성하는, 그것에 대한 부록으로서 상기 미국 가 특허 출원 번호 제62/732768호의 내용들 중 임의의 것 또는 전체를 부가하기 위한 권한을 보유한다.
발명의 분야
본 발명은 3D 기하학을 추출하는데 사용하기 위해 이미지들의 세트를 선택하고 우선화하기 위한 시스템들 및 방법들에 관한 것이며, 여기에서 기하학 추출은 포인트 또는 피처의 상이한 관점들을 가진 복수의 이미지들을 사용한다.
상이한 카메라 각도들 및/또는 카메라 위치들로부터 취해진, 복수의 항공 이미지들(aerial images)로부터 3D 기하학을 추출하는 것은 많은 애플리케이션들에서 관심 있는 실질적인 문제이다. 하나의 이러한 애플리케이션은, 예를 들어, 예로서 루핑 및 태양광 계약자들(roofing and solar contractors)에게 정보를 제공하기 위한 건축 및 건설 산업이다. 건축업자들, 건축가들, 및 엔지니어들은 3차원들에서 지붕 기하학의 이해를 얻을 필요가 있을 수 있다.
이러한 실질적인 애플리케이션을 실행하기 위한 컴퓨터 기술을 사용하기 위한 요구가 오랫동안 있어 왔으며, 이를 실행하기 위한 제품들이 이용 가능하다. 예를 들어, 이러한 애플리케이션을 위한 컴퓨터 기술과 함께 항공기, 드론, 또는 이동 디바이스 상에서의 카메라 시스템으로부터 캡처된 것과 같은, 다중-뷰 화상을 사용하는 것이 알려져 있다. 복수의 항공 이미지들로부터 3D에서 위치를 결정하기 위한 삼각측량 방법들이 알려져 있다. 예를 들어, 상이한 위치들 및/또는 각도들로부터 지상에서의 오브젝트 또는 포인트에 대해 취해진 항공 이미지들을 사용하여 3D 공간에서 특정한 포인트를 결정하는 것이 알려져 있다.
여기에서 사용된 바와 같이, 상보적 이미지들은 (a) 관심 있는 특정한 포인트 또는 기하학적 피처들이 가시적이며, (b) 삼각측량에 대한 해법을 산출하고, 따라서 기하학을 추출하는 것을 가능하게 하는 이미지들이다. 예를 들어, 인간이 예컨대, 이미지들을 디스플레이하는 사용자 인터페이스를 가진 컴퓨터를 사용하여, 상보적 이미지들의 각각에서 포인트 또는 영역을 식별하는 것이 알려져 있다. 3D 포인트 삼각측량 기술은 그 후 3D 공간에서 포인트의 3D 좌표들을 산출할 수 있다.
복수의 이러한 3D 포인트 좌표들이 삼각측량 기술을 사용하여 도출되며, 이들 포인트 좌표들이 평면 구조의 꼭짓점들에 대응한다면, 길이들, 기울기들, 영역들의 면적들 등을 포함한, 상기 구조의 기하학 정보가 추론될 수 있다.
복수의 이용 가능한 항공 이미지들(aerial images) 중 전부가 아닌 단지 일부만이 특정한 삼각측량 작업에 대해 상보적인 경우가 있을 수 있다. 또한 이미지들의 모두가 선택된 이미지에 대해 상보적 이미지만큼 효과적이지 않을 수 있다. 따라서, 선택된 ("초기") 이미지에 대해 상보적인 이미지의 적절성에 대한 하나 이상의 척도들(measures)을 정의하며 복수의 이용 가능한 항공 이미지들 중에서 초기 이미지에 대해 최상의 상보적 이미지들을 자동으로 결정하기 위해 이러한 하나 이상의 척도들을 사용하는 시스템 및 방법에 대한 이 기술분야에서의 요구가 있다.
개요
빌딩의 지붕의 기울기(또한 피치로 불리움) 및 하나 이상의 치수들에 대한 정보와 같은, 관심 있는 사용자 선택된 포인트(user-selected point) 또는 기하학적 피처(geometric feature)의 3D 속성들의 결정 및 삼각측량으로 사용을 위해 제공된 이미지들의 세트로부터 하나 이상의 상보적 이미지들을 자동으로 선택하기 위한 시스템 및 그것의 방법이 여기에서 설명된다. 하나 이상의 상보적 이미지들은 또한, 여기에서 상보성 기준으로 불리우는, 최적성 기준(optimality criterion)을 사용한 방법에 의해 자동으로 선택된다.
특정한 실시예들은, 별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들로부터 상보적 이미지들을 선택하기 위해, 디지털 프로세싱 시스템에 의해 구현된, 방법을 포함하며, 각각의 개별 이미지는 각각의 카메라 속성들을 가진 각각의 카메라로부터 캡처된다. 상기 방법은:
ㆍ 각각의 수용된 이미지에 대해, 상기 수용된 이미지 및 상기 수용된 이미지를 캡처한 카메라의 속성들에 관련된 파라미터들을 포함한, 복수의 이미지들을 수용하는 단계;
ㆍ 초기 이미지인 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하는 단계;
ㆍ 관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 상기 사용자로부터 수용하는 단계; 및
ㆍ 상기 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를 상기 수용된 복수의 이미지를로부터 최적성 기준을 사용하여 자동으로 선택하는 단계를 포함한다.
방법의 몇몇 실시예들에서, 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함한다.
상기 설명된 방법 실시예들 중 임의의 것의 몇몇 특정한 실시예들에서, 상기 자동으로 선택하는 단계는 최적 세트의 최적의 이미지를 갖고 형성한 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 초기 이미지에 상보적이다. 몇몇 버전들은 최적성 기준에 따라 최적의 세트에서 이미지들 중 일부 또는 모두를 랭킹하는 것을 추가로 포함하며, 상기 랭킹은 초기 이미지에 대한 상보적 이미지로서의 사용에 대한 적절성에 따르고, 최고 랭크된 이미지가 최적의 이미지이다.
상기 설명된 방법 실시예들 중 임의의 것의 몇몇 버전 실시예들은:
디스플레이되는 관심 있는 하나 이상의 기하학적 피처들을 갖고, 상기 최적의 이미지를 사용자에게 디스플레이하는 단계를 추가로 포함한다.
상기 몇몇 버전들 중 일부는:
ㆍ 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 사용자로부터 수용하여, 상기 정정의 위치가 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록 하는 단계; 및
ㆍ 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 단계를 추가로 포함한다.
상기 설명된 방법 실시예들 및 그것의 버전들 중 일부에서, 선택을 위해 사용자로부터 입력을 수용하는 것; 표시할 입력을 사용자로부터 수용하는 것, 및 사용자로부터 정정을 수용하는 것은 모두 이미지들을 디스플레이하는 그래픽 사용자 인터페이스를 통한다.
상기 방법 실시예들 및 그것의 버전들 중 임의의 것의 몇몇 특정한 버전들에서, 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함한다.
최적의 세트를 형성하는 것을 포함하는 상기 방법 실시예들 및 버전들 중 임의의 것의 몇몇 버전들은:
ㆍ 새로운 최적의 이미지가 될 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 사용자로부터 수용하는 단계;
ㆍ 상기 새로운 최적의 이미지를 사용자에게 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 기하학적 피처들은 새로운 최적의 이미지상에 디스플레이되는, 상기 디스플레이하는 단계;
ㆍ 새로운 최적의 이미지에 대한 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 사용자로부터 수용하여, 상기 정정의 새로운 최적의 이미지에 대한 위치가 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록 하는 단계; 및
ㆍ 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 단계를 추가로 포함한다.
상기 설명된 방법 실시예들 중 임의의 것의 몇몇 실시예들은:
ㆍ 현재 초기 이미지에서 이전에 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 사용자로부터 수용하는 단계로서, 상기 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 최적의 이미지는 새로운 초기 이미지가 되는, 상기 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용하는 단계;
ㆍ 상기 수용된 복수의 이미지들로부터 및 최적성 기준을 사용하여 제지의 목적을 위해 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하는 단계; 및
ㆍ 상기 새로운 최적의 이미지를 사용자에게 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이되는, 상기 디스플레이하는 단계를 추가로 포함한다.
더욱이, 상기 단락에서 설명된 실시예들의 몇몇 버전들에서, 자동으로 선택하는 것은 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 새로운 초기 이미지에 상보적이다. 몇몇 이러한 버전들은 최적성 기준에 따라 최적의 세트에서 이미지들 중 일부 또는 모두를 랭킹하는 것을 추가로 포함하며, 상기 랭킹은 상기 초기 이미지에 상보적인 이미지로서 사용하기 위한 적절성에 따르며, 최고 랭크된 이미지가 최적의 이미지이다.
관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용하는 것을 포함하는 상기 설명된 방법 실시예들의 몇몇 실시예들은:
ㆍ 상기 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 사용자로부터 수용하여, 새로운 정정의 위치가 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록 하는 단계; 및
ㆍ 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 단계를 추가로 포함한다.
상기 설명된 방법 실시예들의 몇몇 실시예들에서, 자동으로 선택하는 것은 잠재적인 최적의 이미지에 대한 기하학적 피처 또는 피처들 또는 새로운 기하학적 피처 또는 피처들 및 초기 이미지 또는 새로운 초기 이미지의 상보성의 전체 척도를 최적성 기준으로 사용하며, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함한다. 하나 이상의 특정 척도들은 절두체들(frustums) 간의 교차의 척도, 커버리지의 척도, 절두체 및 추정된 돌출 또는 임의의 볼륨 간의 교차 지점의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함한다.
특정한 실시예들은 디지털 프로세싱 시스템들의 하나 이상의 디지털 프로세서들 상에서 실행될 때, 상기 설명된 방법 실시예들 중 임의의 것에서 나열된 바와 같이 방법을 실행하게 하는 지시들을 포함한 비-일시적 기계-판독 가능한 매체를 포함한다.
특정한 실시예들은 하나 이상의 프로세서들 및 저장 서브시스템을 포함한 디지털 프로세싱 시스템을 포함하며, 상기 저장 서브시스템은 디지털 프로세싱 시스템들의 하나 이상의 디지털 프로세서들 상에서 실행될 때, 상기 설명된 방법 실시예들 중 임의의 것에서 나열된 바와 같이 방법을 실행하게 하는 지시들을 포함한 비-일시적 기계-판독 가능한 매체를 포함한다.
특정한 실시예들은 디지털 프로세싱 시스템을 포함하며, 상기 디지털 프로세싱 시스템은:
ㆍ 별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들을 수용하도록 구성된 입력 포트로서, 각각의 개별 이미지는 각각의 카메라로부터 캡처되었으며, 상기 수용은 각각의 개별 수용된 이미지에 대해, 각각의 수용된 이미지 및 각각의 수용된 이미지를 캡처한 각각의 카메라의 속성들(총괄하여, "카메라 모델")에 관련된 각각의 파라미터들을 수용하는 것을 포함하는, 상기 입력 포트;
ㆍ 예컨대, 디스플레이 스크린 및 입력 서브시스템을 가진 사용자 단말기에서의, 그래픽 사용자 인터페이스로서, 상기 그래픽 사용자 인터페이스는 디스플레이된 이미지를 디스플레이할 수 있으며 입력을 수용하며 디스플레이된 이미지와 상호 작용하기 위해 사용자를 위한 입력 시스템을 갖는, 상기 그래픽 사용자 인터페이스;
ㆍ 상기 사용자 단말기에 결합된 디지털 이미지 프로세싱 시스템으로서, 상기 디지털 이미지 프로세싱 시스템은 하나 이상의 디지털 프로세서들, 및 디지털 프로세싱 시스템에 의해 실행될 때, 디지털 프로세싱 시스템으로 하여금 상기 입력 포트를 통해 수용된 복수의 이미지들로부터 하나 이상의 상보적 이미지들을 선택하는 방법을 실행하게 하는 지시들을 포함하는 저장 서브시스템을 포함하며, 상기 방법은:
ㆍ 상기 입력 포트를 통해 복수의 이미지들 및 파라미터들을 수신하는 것;
ㆍ 예컨대, 상기 그래픽 사용자 인터페이스를 통해, 초기 이미지가 될 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하는 것;
ㆍ 예컨대, 상기 그래픽 사용자 인터페이스를 통해, 상기 사용자로부터 관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 수용하는 것; 및
ㆍ 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를, 상기 수용된 복수의 이미지들로부터 및 최적성 기준을 사용하여 자동으로 선택하는 것을 포함하는, 상기 디지털 이미지 프로세싱 시스템을 포함한다.
디지털 프로세싱 시스템의 몇몇 특정한 실시예들에서, 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함한다.
디지털 프로세싱 시스템의 몇몇 특정한 실시예들에서, 자동으로 선택하는 것은 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 상기 초기 이미지에 상보적이다.
최적의 세트를 형성하는 것을 포함하는 디지털 프로세싱 시스템의 몇몇 특정한 실시예들에서, 상기 방법은 최적성 기준에 따라 최적의 세트에서 이미지들 중 일부 또는 모두를 랭킹하는 것을 추가로 포함하며, 상기 랭킹은 초기 이미지에 대한 상보적 이미지로서 사용하기 위한 적절성에 따르며, 최고 랭크된 이미지가 최적의 이미지이다.
상기 나열된 바와 같이 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 방법은 예컨대, 그래픽 사용자 인터페이스상에서, 최적의 이미지를 사용자에게 디스플레이하는 것을 추가로 포함하며, 상기 관심 있는 하나 이상의 기하학적 피처들이 또한 디스플레이된다.
상기 몇몇 버전들 중 하나에서, 상기 방법은: 예컨대, 그래픽 사용자 인터페이스를 통해, 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 사용자로부터 수용하여, 상기 정정의 위치가 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록 하는 것; 및 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 추가로 포함한다.
상기 나열된 바와 같이 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함한다.
최적의 세트를 형성하는 것을 포함하는 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 방법은: 예컨대, 그래픽 사용자 인터페이스를 통해, 사용자로부터, 새로운 최적의 이미지가 될 상기 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 수용하는 것, 및 예컨대, 그래픽 사용자 인터페이스상에서 새로운 최적의 이미지를 사용자에게 디스플레이하는 것으로서, 상기 관심 있는 하나 이상의 기하학적 피처들은 새로운 최적의 이미지상에서 디스플레이되는, 상기 디스플레이하는 것을 추가로 포함한다.
최적의 세트를 형성하는 것을 포함하는 상기 몇몇 버전들 중 일부에서, 상기 방법은: 예컨대, 그래픽 사용자 인터페이스를 통해, 상기 사용자로부터, 새로운 최적의 이미지에 대한 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 수용하여, 상기 정정의 새로운 최적의 이미지상에서의 위치가 상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록 하는 것; 및 상기 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 추가로 포함한다.
최적의 세트를 형성하는 것을 포함하는 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 방법은:
ㆍ 현재 초기 이미지에서 이전 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하는 것으로서, 상기 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 상기 최적의 이미지는 새로운 초기 이미지가 되는, 상기 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용하는 것;
ㆍ 상기 수용된 복수의 이미지들로부터 및 상기 최적성 기준을 사용하여, 저지를 목적으로 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하는 것; 및
ㆍ 상기 사용자에게 새로운 최적의 이미지를 디스플레이하는 것으로서, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이되는, 상기 디스플레이하는 것을 추가로 포함한다.
상기 단락에서 설명된 디지털 프로세싱 시스템의 몇몇 버전들에서, 자동으로 선택하는 것은 상기 수용된 복수의 이미지들로부터, 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 자동으로 선택하는 것으로서, 상기 최적의 세트의 각각의 이미지는 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 새로운 초기 이미지에 상보적인, 상기 하나 이상의 부가적인 이미지들을 자동으로 선택하는 것을 포함한다. 상기 몇몇 버전들 중 일부에서, 상기 방법은 최적성 기준에 따라 최적의 세트에서 이미지들 중 일부 또는 모두를 랭킹하는 것을 추가로 포함하며, 상기 랭킹은 초기 이미지에 대한 상보적 이미지로서 사용을 위한 적절성에 따르며, 최고 랭크된 이미지가 최적의 이미지이다.
상기 두 개의 단락들 중 임의의 하나에서 설명된 바와 같이 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 방법은: 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 사용자로부터 수용하여, 상기 새로운 정정의 위치가 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록 하는 것; 및 상기 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 추가로 포함한다.
상기 설명된 디지털 이미지 프로세싱 시스템 실시예들의 몇몇 실시예들에서, 상기 자동으로 선택하는 것은 잠재적인 최적의 이미지에 대한 기하학적 피처 또는 피처들 또는 새로운 기하학적 피처 또는 피처들 및 초기 이미지 또는 새로운 초기 이미지의 상보성의 전체 척도를 최적성 기준으로서 사용하며, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함한다. 하나 이상의 특정 척도들은 절두체들 간의 교차의 척도, 커버리지의 척도, 절두체 및 추정된 돌출 또는 임의의 볼륨 간의 교차의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함한다.
특정한 실시예들은 디지털 프로세싱 시스템을 포함하며, 상기 디지털 프로세싱 시스템은:
ㆍ 별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들을 수용하기 위한 수단으로서, 각각의 개별 이미지는 각각의 카메라로부터 캡처되었으며, 상기 수용하는 것은, 각각의 개별 수용된 이미지에 대해, 상기 각각의 수용된 이미지 및 상기 각각의 수용된 이미지를 캡처한 각각의 카메라의 속성들(총괄하여 "카메라 모델")에 관련된 각각의 파라미터들을 수용하는 것을 포함하는, 상기 복수의 이미지들을 수용하기 위한 수단;
ㆍ 사용자로부터 입력을 수용하기 위한 수단으로서, 상기 수용하기 위한 수단은 초기 이미지가 될 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하며, 관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 상기 사용자로부터 수용하도록 구성되는, 상기 입력을 수용하기 위한 수단; 및
ㆍ 수용된 복수의 이미지들로부터 및 최적성 기준을 사용하여, 상기 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를 자동으로 선택하기 위한 수단을 포함한다.
상기 단락의 디지털 프로세싱 시스템의 몇몇 버전들에서, 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함한다.
최적의 세트 실시예들로 불리우는, 상기 두 개의 단락들 중 임의의 하나의 디지털 프로세싱 시스템의 몇몇 버전들에서, 자동으로 선택하기 위한 수단은 또한 수용된 복수의 이미지들로부터, 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 자동으로 선택하도록 구성되며, 상기 최적의 세트의 각각의 이미지는 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 초기 이미지에 상보적이다.
상기 단락에서 설명된 디지털 프로세싱 시스템의 몇몇 버전들에서, 자동으로 선택하기 위한 수단은 또한 최적성 기준에 따라 최적의 세트에서 이미지들 중 일부 또는 모두를 랭킹하도록 구성되며, 상기 랭킹은 초기 이미지에 대한 상보적 이미지로서 사용을 위한 적절성에 따르며, 최고 랭크된 이미지가 최적의 이미지이다.
상기 4개의 단락들("기본 4개 단락들"로 불리움) 중 임의의 것에서 설명된 디지털 프로세싱 시스템의 몇몇 특정한 실시예들은 최적의 이미지 및 관심 있는 하나 이상의 기하학적 피처들을 사용자에게 디스플레이하도록 구성된, 사용자에게 이미지 및 다른 정보를 디스플레이하기 위한 수단을 추가로 포함한다.
상기 단락에서 설명된 디지털 프로세싱 시스템의 몇몇 버전들에서,
ㆍ 정정의 위치가 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록, 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하기 위한 수단; 및
ㆍ 상기 자동으로 선택하기 위한 수단은 또한 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하도록 구성된다.
상기 단락의 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함한다.
최적의 세트 실시예들의 몇몇 버전들에서,
상기 수용하기 위한 수단은 또한 새로운 최적의 이미지가 될 상기 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 상기 사용자로부터 수용하도록 구성된다;
상기 디스플레이하기 위한 수단은 또한 새로운 최적의 이미지를 사용자에게 디스플레이하도록 구성되며, 상기 관심 있는 하나 이상의 기하학적 피처들은 새로운 최적의 이미지에 대해 디스플레이된다.
상기 수용하기 위한 수단은 또한 정정의 새로운 최적의 이미지에 대한 위치가 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록, 새로운 최적의 이미지에 대한 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하도록 구성되며;
상기 자동으로 선택하기 위한 수단은 또한 상기 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하도록 구성된다.
기본 4개의 단락들 중 임의의 것에서 설명된 디지털 프로세싱 시스템의 몇몇 버전들은, 최적의 이미지 및 관심 있는 하나 이상의 기하학적 피처들을 사용자에게 디스플레이하도록 구성된, 이미지 및 다른 정보를 사용자에게 디스플레이하기 위한 수단을 포함한다, 여기에서:
상기 수용하기 위한 수단은 또한 현재 초기 이미지에서 이전 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하도록 구성되며, 상기 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 상기 최적의 이미지는 새로운 초기 이미지가 된다;
상기 자동으로 선택하기 위한 수단은 또한 상기 수용된 복수의 이미지들로부터 및 상기 최적성 기준을 사용하여, 저지(deter)를 목적으로 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하도록 구성된다; 그리고
상기 디스플레이하기 위한 수단은 또한 새로운 최적의 이미지를 사용자에게 디스플레이하도록 구성되며, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이된다.
상기 단락에서 설명된 바와 같이 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 자동으로 선택하기 위한 수단은 또한 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하도록 구성되며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 상기 새로운 초기 이미지에 상보적이다.
상기 단락에서 설명된 바와 같이 디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 자동으로 선택하기 위한 수단은 또한 상기 최적성 기준에 따라 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하도록 구성되며, 상기 랭킹은 상기 초기 이미지에 상보적 이미지로서 사용을 위한 적절성에 따르며, 최고 랭크된 이미지가 최적의 이미지이다.
디지털 프로세싱 시스템의 몇몇 버전들에서, 상기 수용하기 위한 수단은 또한 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하도록 구성된다;
상기 수용하기 위한 수단은 또한 새로운 정정의 위치가 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 사용될 수 있도록, 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 상기 사용자로부터 수용하도록 구성된다; 그리고
상기 자동으로 선택하기 위한 수단은 또한 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하도록 구성된다.
자동으로 선택하기 위한 수단을 포함하는 상기 설명된 디지털 이미지 프로세싱 시스템 실시예들의 몇몇 실시예들에서, 상기 자동으로 선택하는 것은 잠재적인 최적의 이미지에 대한 기하학적 피처 또는 피처들 또는 새로운 기하학적 피처 또는 피처들 및 초기 이미지 또는 새로운 초기 이미지의 상보성의 전체 척도를 최적성 기준으로서 사용하고, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함한다. 하나 이상의 특정 척도들은 절두체들 간의 교차의 척도, 커버리지의 척도, 절두체 및 추정된 돌출 또는 임의의 볼륨 간의 교차의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함한다.
특정한 실시예들은 이들 양상들, 특징들, 또는 이점들 모두, 또는 일부를 제공하거나, 또는 제공하지 않을 수 있다. 특정한 실시예들은 하나 이상의 다른 양상들, 특징들, 또는 이점들을 제공할 수 있으며, 그 중 하나 이상은 여기에서의 도면들, 설명들, 및 청구항들로부터 이 기술분야의 숙련자에게 쉽게 명백할 수 있다.
본 발명은 선택된 ("초기") 이미지에 대해 상보적인 이미지의 적절성에 대한 하나 이상의 척도들을 정의하며 이러한 하나 이상의 척도들을 사용하여 복수의 이용 가능한 항공 이미지들 중에서 초기 이미지에 대해 최상의 상보적 이미지들을 자동으로 결정할 수 있다.
다음의 도면들 및 연관된 설명들은 본 개시의 실시예들을 예시하기 위해 제공되고 본 발명의 범위를 제한하지 않으며; 범위는 청구항들에 의해 정의된다. 본 개시의 양상들 및 이점들은 이들 양상들 및 이점들이 첨부된 도면들과 함께 취해질 때, 다음의 상세한 설명에 대한 참조에 의해 더 양호하게 이해되므로 더 쉽게 인식될 것이다.
도 1은 하나 이상의 선택 기준들에 따라 제공된 이미지들의 세트로부터 초기 이미지에 대한 "최상의" 상보적 이미지를 자동으로 선택하는 방법을 실행하는 시스템을 포함하여, 사용자가 초기 이미지에 대한 하나 이상의 기하학 특징들을 결정하기 위해 디지털 프로세싱 시스템과 상호작용하는 것을 수반한 프로세스의 단순화된 흐름도를 도시한다. 프로세스는 만족스러운 결과가 획득될 때까지 "최상의" 상보적 이미지를 자동으로 선택하는 것을 반복하기 위해 사용자가 하나 이상의 선택된 상보적 이미지들을 사용하여 결정된 특징을 수정할 수 있는 사용자 인터페이스를 사용자를 위해 제공하는 것을 포함한다.
도 2는 본 발명의 실시예에 따라, 상보적으로 기하학을 산출하기 위한 프로세스의 단순화된 개략도를 도시한다.
도 3은 본 발명의 실시예에 따른, 이미지 중첩의 하나의 실행 가능한 척도로서 사용된 카메라 절두체들의 교차의 단순화된 개략도를 도시한다.
도 4는 본 발명의 실시예에 따른, 지리적 근사/커버리지의 하나의 실행 가능한 척도로서 사용될 수 있는, 이미지 중심들의 위치들 간의 거리의 단순화된 개략도를 도시한다.
도 5는 관심 있는 특징 주위에 추정된 볼륨을 가진 잠재적인 최적의 이미지의 절두체의 교차의 단순화된 개략도를 도시한다. 이러한 교차는 본 발명의 실시예에 따라, 잠재적인 최적의 이미지에서 특징의 존재에 대한 하나의 실행 가능한 척도로서 사용될 수 있다.
도 6은 1, 2, 및 3으로 표시된 3대의 카메라들, 및 R.O.I로 표시된, 사용자-선택된 관심 영역의 단순화된 개략도를 도시한다. 도면은 본 발명의 실시예에 따라 각 편차 및 제약들이 잠재적인 최적의 상보적 이미지에서 관심 있는 특징의 존재에 어떻게 영향을 줄 수 있는지를 설명하기 위해 사용될 수 있다.
도 7은 본 발명의 실시예에 따른, 상보적 3D 정보를 고려해볼 때 특징 주위에 생성될 수 있는 임의의 또는 추정된 볼륨의 단순화된 개략도를 도시한다.
도 8은 여기에서 실시예 B로서 불리우는 실시예의 적어도 일부를 구현한 예시적인 코드를 도시한다.
도 9는 본 발명의 실시예를 사용하여 지붕의 피치를 결정하는 예시적인 애플리케이션의 단계에서 예시적인 사용자 인터페이스 상에서의 디스플레이를 도시한다.
도 10은 본 발명의 실시예를 사용하여 지붕의 피치를 결정하는 예시적인 애플리케이션의 또 다른 단계에서 예시적인 사용자 인터페이스상에서의 디스플레이를 도시한다.
도 11은 본 발명의 실시예를 사용하여 지붕의 피치를 결정하는 예시적인 애플리케이션의 또 다른 단계에서 예시적인 사용자 인터페이스상에서의 디스플레이를 도시한다.
도 12는 본 발명의 실시예를 사용하여 지붕의 피치를 결정하는 예시적인 애플리케이션의 추가 단계의 예시적인 사용자 인터페이스상에서의 디스플레이를 도시한다.
도 13은 본 발명의 실시예를 사용하여 지붕의 피치를 결정하는 예시적인 애플리케이션의 추가 단계의 예시적인 사용자 인터페이스상에서의 디스플레이를 도시한다.
도 14는 본 발명의 몇몇 실시예들이 동작할 수 있는 요소들을 가진 예시적인 시스템 아키텍처의 개략도를 도시한다.
본 발명의 실시예들은 초기 이미지에서 관심 있는 피처(들)의 3D 측정들을 위한 이미지들을 자동으로 선택하는 방법을 포함한다.
도 1은 본 발명의 기계-구현된 방법 실시예의 단순화된 흐름도를 도시한다. 상기 방법은 본 발명의 실시예들이 동작하는 요소들을 가진 예시적인 시스템 아키텍처(1400)의 개략도를 도시하는, 도 14에 도시된 것과 같은 디지털 프로세싱 시스템을 동작시키는 것이다. 요소들(1401, 1431, 1441, 1451, 1481)은 네트워크(1491)를 통해 결합되는 것으로 도시되지만, 다른 대안적인 실시예들에서, 그렇게 결합될 필요는 없다. 본 발명의 몇몇 실시예들에서, 네트워크(1491)는 공중 인터네트워크, 특정한 실시예들에서, 인터넷이다. 이들 요소들(1401, 1431, 1441, 1451, 1481)으 그러므로 네트워크(1491)의 부분으로 고려될 수 있다.
일반적으로, 여기에서 사용된 바와 같이, 용어 "엔진"은 하드웨어 또는 펌웨어에서 구체화된 로직, 또는 기계-실행 가능한 지시들의 모음을 나타낸다. 이러한 실행 가능한 지시들은 원래 프로그래밍 언어로 기록되며 기계-실행 가능한 지시들의 실행 가능한 프로그램으로 컴파일링되고 링킹될 수 있다. 하드웨어 엔진들은 게이트들 및 플립-플롭들과 같은, 연결된 로직 유닛들로 구성될 수 있으며, 및/또는 프로그램 가능한 게이트 어레이들 또는 프로세서들과 같은, 프로그램 가능한 유닛들로 구성될 수 있다는 것이 또한 이해될 것이다.
일 실시예에서, 이미지들은 카메라 시스템(1441)에 의해 캡처되며 네트워크(1491)를 통해, 캡처된 이미지들(1489)이 카메라 아이덴티티, 카메라 위치, 이미지의 시간스탬프, 카메라 배향/회전, 카메라 분해능, 및 다른 카메라 파라미터들과 같은 카메라 파라미터들을 갖고 저장되는 이미지 저장 서버(1481)로 송신되며, 파라미터들 모두의 모음은 여기에서 카메라 모델로 불리운다. 일 실시예에서, 카메라는 비행기 또는 UAV(무인 항공기) 상에 장착된다. 하나의 이러한 카메라는 본 발명의 출원인에게 양도된 미국 특허 번호 제9641736호에서, 및 상기 US9641736호의 부모 특허들에서 설명된다. 물론, 본 발명의 실시예들에서 사용된 이미지들은 하나 또는 이러한 카메라들에 의해 획득된 것들에 제한되지 않는다. 임의의 다른 카메라가 사용될 수 있다.
몇몇 실시예들에서, 이미지들 및 카메라 모델들(1489)은 시스템(1400)에 의해 이미 수용되었으며 이미지 저장 서버(1481)에 저장된 것으로 가정되며, 따라서 어떤 카메라도 동작할 때 시스템의 일부가 아니다. 이미지 저장 서버는 하나 이상의 디지털 프로세서들(명시적으로 도시되지 않음) 및 메모리 및 하나 이상의 다른 저장 요소들을 포함하는 저장 서브시스템(1487), 및 실행될 때 이미지 저장 서버(1481)의 기능들을 실행하는 저장 서브시스템(1487)에서의 지시들을 포함한다.
하나 이상의 이미지들 및 그것들 각각의 카메라 모델들은, 예컨대 디지털 이미지 프로세싱 시스템(1431)의 적어도 하나의 프로세서(1432)에 의해 실행 가능한 저장 서브시스템(1433)에서의 저장 장치, 예컨대, 1435에서의 프로그램 지시들에 따라 여기에서 설명된 각각의 방법 단계들을 실행하는 디지털 이미지 프로세싱 시스템(1431)으로의 네트워크 인터페이스와 같은, 입력 포트 및 네트워크(1491)를 통해 수용된다. 저장 서브시스템(1433)은 메모리 및 하나 이상의 다른 저장 요소들을 포함한다.
이미지 프로세싱 시스템은 별개의 엔진들로 분할될 수 있다.
일 실시예에서, 사용자는 하나 이상의 디지털 프로세서들(1402), 디스플레이(1407), 저장 서브시스템(1403)(메모리를 포함함), 및 사용자가 이미지를 선택하고 디스플레이하며, 디스플레이된 이미지에서 하나 이상의 기하학적 피처들을 가리키고 및/또는 인출할 수 있게 하는 서브시스템을 형성하는 하나 이상의 사용자 입력 디바이스들(1406)을 포함하는 클라이언트 디지털 프로세싱 시스템(1401) 상에서의 디지털 이미지 프로세싱 시스템과 상호 작용한다. 클라이언트 디지털 프로세싱 시스템(1401)에 의해 실행된 기능들은 저장 서브시스템(1403)에 저장된 지시들(1408)을 실행함으로써 실행된다. 사용자들은 각각의 사용자 인터페이스들(UI들)을 통해 클라이언트 디지털 프로세싱 시스템(1401)을 동작시킬 수 있다. UI들은 선택적으로 브라우저, 다른 네트워크 리소스 뷰어, 전용 애플리케이션, 또는 다른 입력 수단들을 사용하여 클라이언트 디지털 프로세싱 시스템(1401)을 통해 제공된다(및 사용자의 지시들이 수신될 수 있다). 일반적으로, 사람(사용자)은 특정한 아이템 위를 맴도는 것, 그것을 가리키는 것, 또는 클릭하는 것, 마이크로폰을 통해 구두 지시들을 제공하는 것 중 적어도 하나에 의해 클라이언트 디지털 프로세싱 시스템으로 정보를 입력할 수 있고, 사람은 터치 스크린을 터치할 수 있으며, 사람은 그 외 정보를 제공할 수 있다. 따라서, 하나 이상의 사용자 인터페이스들은 사용자 디지털 프로세싱 시스템(1401) 상에서 제공될 수 있다. 시스템(1401)은 랩탑 컴퓨터, 데스크탑 컴퓨터, 사용자 단말기, 태블릿 컴퓨터, 스마트폰, 또는 또 다른 단말기 유형일 수 있다. 사용자 입력 디바이스(들)는 하나 이상의 터치 스크린들, 마이크로폰들, 터치 패드들, 키보드들, 마우스들, 스타일러스들, 카메라들 등을 포함할 수 있다.
도 14에 도시된 요소들은 대표적이라는 것을 주의하자. 몇몇 실시예들에서, 디지털 이미지 프로세싱 시스템은 예컨대, 하나 이상의 웹 에이전트들로서, 웹에서 동작할 수 있으며, 따라서 이러한 에이전트들이 프로그램 지시들(1435로 도시됨)을 포함하며 이러한 프로그래밍 지시들이 기계들 상에서 동작하는 동안, 기계들은 반드시 도 14에 도시된 바와 같이 개개의 디지털 프로세싱 시스템들로서 분할되는 것은 아니다. 더욱이, 기계들은 클라우드에서 인스턴스화된 가상 기계들일 수 있다. 유사하게, 이미지 저장 서버는 클라우드에서 웹 서비스로서 제공될 수 있다.
다른 실시예들에서, 이미지 저장 서버의 기능은 캡처된 이미지들 및 메타데이터(1489)를 저장하기 위해 저장 서브시스템(1433)을 사용하여 디지털 이미지 프로세싱 시스템(1431)에 통합될 수 있다.
더욱이, 다른 실시예들에서, 이미지 프로세싱 시스템은 그 중에서도, 삼각측량 및 기하학적 산출들, 상보성의 척도들 및 상보성의 전체 척도를 산출하며, 하나 이상의 최적의 이미지들을 선택하는 선택(상보성) 엔진을 실행하는 기하학 엔진을 포함한, 특정 세트의 단계들을 실행하도록 구성된 별개의 엔진들로 분할될 수 있다.
이 기술분야의 숙련자는 도 14에 도시된 배열이 도 1의 흐름도에 따라 동작할 수 있는 시스템의 단지 하나의 가능한 배열이라는 것을 이해할 것이다. 예를 들어, 시스템은 네트워크를 토해 동작할 필요가 없으며, 더 적은 요소들이 사용될 수 있다. 예를 들어, 클라이언트 디지털 프로세싱 시스템(1401), 디지털 이미지 프로세싱 시스템(1433), 및 이미지 저장 서버(1481)의 기능은 하나 이상의 디지털 프로세서들, 저장 서브시스템, 디스플레이, 및 하나 이상의 사용자 입력 디바이스(들)를 포함하는 단일 디지털 프로세싱 시스템으로 조합될 수 있다.
도 1의 흐름도로 돌아가면, 단계(103)는 별개의 카메라 위치들 및/또는 별개의 카메라 배향들로부터 취해진 복수의 이미지들을 수용하는 것, 및 수용된 이미지들에 대한 각각의 카메라 모델들을 수용하는 것을 포함한다. 수용된 이미지들 중 적어도 일부는 이미지를 선택하기 위한 사용자에 대한 능력을 제공하는 것, 및 포인트, 라인, 면적 등과 같은, 관심 있는 하나 이상의 기하학적 피처들을 선택하기 위한 사용자에 대한 포인팅 서브시스템 시스템을 포함하는 사용자 인터페이스상에서 사용자에게 디스플레이된다.
수용된 이미지들 중 하나 이상은 사용자에게 디스플레이되며, 사용자는 사용자에게 관심 영역을 보여주는 이미지를 선택한다. 몇몇 실시예들에서, 이미지는 간단히 사용자가 관심 영역을 표시할 수 있는 이미지들 중 하나이며, 그 후 105에서, 방법은 초기 이미지의 표시, 예컨대 사용자에게 관심 있는 하나 이상의 포인트들의 양호한 뷰를 가진 것을 사용자로부터 수용하며, 초기 이미지 및 관심 포인트들을 디스플레이한다.
일 실시예에서, 그래픽 사용자 인터페이스를 포함하는 클라이언트 디지털 프로세싱 시스템(사용자 단말기로서 동작하는)의 디스플레이(1407) 상에서 초기 이미지에 대해 사용자에게 제공한다. 클라이언트 디지털 프로세싱 시스템상에서 실행된 지시들의 세트는 사용자 인터페이스의 제공, 사용자 인터페이스로의 데이터 입력의 수용, 및 사용자와의 다른 상호작용들을 실행한다. 도 1의 흐름도의 다른 단계들 중 많은 것이 디지털 이미지 프로세싱 시스템(1431) 상에서 실행된다.
단계들(107 내지 109)의 각각은 사용자의 동작들을 안내하기 위해 사용자 인터페이스를 통해 사용자에게 제공된 지시들에 의해 성취될 수 있다. 이러한 지시들은 예를 들어, "1차 뷰"(예컨대, 초기 이미지), "2차 뷰", "3차 뷰" 또는 다른 구체적으로 식별된 이미지로서 사용자에게 제공되는 이미지에서와 같은, 특정 이미지에서 포인트들을 선택하거나 또는 라인들을 인출하도록(또는 다른 기하학적 형태들을 형성하도록) 사용자에게 명시적으로 요청할 수 있다.
단계 107은 초기 이미지(또는 선택된 하나 이상의 이미지들)에서 하나 이상의 2D 포인트들(픽셀들 또는 보간된 포인트들)의 선택을 사용자로부터 수용하는 것을 포함한다. 이러한 포인트들의 그룹은 라인, 하나 이상의 삼각형들 등과 같은 기하학적 엔티티를 3D로 표시하도록 지정될 수 있다. 단계 107은 초기 이미지에 대한 사용자 선택을 디스플레이하는 것을 포함한다.
단계 109는 예컨대, 디지털 이미지 프로세싱 시스템(1431)에서, 또는 몇몇 실시예들에서, 별개의 선택(상보성) 엔진에서, 수용된 이미지들 및 그것들 각각의 카메라 모델들 중 적어도 일부에 관한 초기 이미지에 대한 하나 이상의 선택 척도들을 산출하는 것을 포함한다. 선택 척도들은 초기 이미지에 대한 상보적 이미지로서 적절성의 척도를 의미하도록 여기에서 사용된, 그것들 각각의 기하학적 상보성에 따라 이미지들을 선택하고 랭킹하기 위해 사용될 수 있는 선택 기준들에 대응한다. 따라서, 제공된 복수의 이미지들의 몇몇 이미지들은 초기 이미지에 상보적일 수 있으며, 그것은 최고 상보성을 갖는다.
적어도 몇몇 수용된 이미지들은 적어도 몇몇 수용된 이미지들이 단지 초기 이미지에 대한 사용자의 관심 있는 포인트(들)의 선택을 포함하는 이미지들만을 포함하도록 초기 이미지에 대한 관련성, 예컨대 캡처된 이미지들의 지리적 위치에 따라 이용 가능한 수용된 캡처된 이미지들로부터 사전 선택될 수 있다. 몇몇 실시예들에서, 또한, 이미지들 중 일부는 또한, 예컨대 이미지들이 불충분한 분해능, 불충분한 선명도, 너무 많은 잡음 등과 같은 이미지 품질의 몇몇 척도를 하지 못하기 때문에, 사용자에 의해 명시적으로 제외될 수 있다. 몇몇 실시예들에서, 부가적으로 또는 대안적으로, 이미지들 중 몇몇은 이미지에서 관심 있는 하나 이상의 포인트들의 뷰들에 대한 방해들의 존재와 같은, 이미지에서의 바람직한 아티팩트들의 존재의 척도들 때문에 제외될 수 있다.
따라서, 단계 109에서, 선택 척도들의 각각은 이미지가 초기 이미지에 상보적인지 여부를 결정하는 것에 관련 있는 하나 이상의 이미지 특성들을 사용하는 대응하는 선택 기준들을 산출하기 위해 사용되며, 따라서 제공된 복수의 이미지들로부터 하나 이상의 이미지들의 세트를 자동으로 선택하는 단계 111이 실행될 수 있다.
단계 111은 선택 기준들에 기초하여 상보성의 척도에 따라 초기 이미지에 대한 상보적 이미지로서 가장 적합한 이미지를 형성하기 위해 단계 109에서 결정된 선택 기준들을 사용하여 적어도 몇몇 수용된 이미지들로부터 이미지를 자동으로 선택하는 것을 포함한다. 우리는 이러한 가장 적절한 이미지를 최적의 이미지로 부른다. 몇몇 실시예들에서, 일 실시예에서, 단지 단일 이미지, 즉 상보성에서 실제로 최적인 것만이 선택되지만, 다른 실시예들에서, 단계 111은 우리가 적절한 이미지들의 "최적의 세트"로 부르는 것을 형성하기 위해 제공된 이미지들로부터 적어도 하나의 다른 이미지를 자동으로 선택하는 것을 포함하며, 이러한 세트는 최적의 이미지를 포함한다. 이러한 실시예는 선택 기준들에 기초하여 상보성의 척도에 따라 최적의 세트의 이미지들을 랭킹하는 것을 포함할 수 있다. 본 발명의 일 실시예에서, 단계 111에서 자동 선택은 단계 109에서 산출된 선택 기준들의 최적화를 실행하는 것에 기초한다.
몇몇 실시예들에서, 특성들 및 척도들의 서브세트가 사용 경우 및 이용 가능한 데이터/특성들에 의존하여 이미지의 상보성을 성공적으로 측정하기 위해 선택된다는 것을 주의하자.
몇몇 실시예들에서, 단계 111은 초기 이미지상에서 사용자의 관심 있는 포인트(들)의 선택의 최적의 이미지에 대한 위치들을 자동으로 산출하는 것을 포함한다.
단계 111은 디지털 이미지 프로세싱 시스템(1431)에서, 또는 몇몇 실시예들에서, 별개의 선택(상보성) 엔진에서 실행된다.
단계 113은 사용자의 관심 있는 포인트(들)의 선택과 함께, 최적의 이미지를 사용자에게 시각적으로 제공하는 방법을 포함하며, 따라서 사용자는 관심 있는 기하학적 피처(들)에 대응하도록 사용자의 관심 있는 포인트(들)의 선택의 최적의 이미지에서 위치를 정정할 수 있다. 예를 들어, 하나의 실질적인 애플리케이션에서, 사용자의 관심 있는 포인트들의 선택은 초기 이미지에서 평면 지붕 패널의 코너들 상에 있을 수 있다. 이들 포인트들은, 최적의 이미지상에서 산출될 때, 더 이상 지붕 패널의 에지에 있지 않을 수 있다.
몇몇 실시예들에서, 최적의 이미지뿐만 아니라, 하나 이상의 이미지들의 서브세트, 또는 적절한 이미지들의 최적의 세트의 모든 이미지들이 사용자 인터페이스상에서 사용자에게 제공된다. 우리는 이들 하나 이상의 이미지들을 적절한 이미지들의 "선택된 서브세트"로 부른다.
다음으로, 단지 최적의 이미지만이 사용자에게 제공된다고 가정한다. 사용자가 관심 있는 기하학적 피처(들)의 위치를 정정할 수 있도록 최적의 이미지는 관심 있는 사용자-선택된 기하학적 피처(들)와 함께 제공된다는 것을 고려하자.
이 스테이지에서, 몇몇 실시예에서, 사용자는, 예컨대 관심 있는 사용자-선택된 기하학적 피처(들)의 각도 또는 위치 때문에, 선택된 최적의 이미지에 만족하지 않을 수 있다. 이러한 실시예들에서, 사용자는 또 다른 이미지를 최적의 이미지가 되도록 바랄 수 있다(예컨대, 선택된 세트 또는 완전한 최적이 세트의 다른 이미지들 중 하나). 이것은 "사용자가 만족하는가?"로 표기된 판단 블록(115)으로 도시되며, 사용자가 만족하지 않는다("아니오" 브랜치)는 것에 응답하여, 사용자는 선택하고 단계 117에서, 방법은 새로운 최적의 이미지의 사용자의 선택을 사용자로부터 수용한다. 방법은 그 후 사용자 선택된 새로운 최적의 이미지를 사용하여 단계 113으로 돌아간다.
단계 119에서, 사용자 인터페이스는 사용자로부터 표현된 기하학적 엔티티의 하나 이상의 대응하는 포인트들의 식별 및/또는 개선("사용자 동작(들)")을 수용하며, 사용자에게 수용된 식별 및/또는 개선을 디스플레이한다. 평면 지붕 예에서, 사용자는 평면 지붕의 라인 에지에 대해 두 개의 포인트들의 위치들을 상호 작용적으로 정정한다.
단계 121에서, 최적의 이미지에서(또는, 몇몇 실시예들에서, 선택된 서브세트로부터의 이미지들 중 하나 이상에서) 3D 삼각측량 산출들을 실행하는 것을 포함하여, 표현된 기하학적 엔티티의 하나 이상의 대응하는 포인트들의 위치에 대한 수용된 사용자 동작(들)의 대응 결과들에 대한 산출들이, 예컨대, 디지털 이미지 프로세싱 시스템(1431)에서 실행된다. 산출들은 기하학적 엔티티의 속성들, 예컨대, 3D 기울기(피치) 및 라인의 길이, 평면 오브젝트의 표면적 등을 결정하는 것을 포함한다. 단계 121은 산출된 속성들, 예컨대 라인 길이(들), 기울기/피치, 및 표현된 기하학적 엔티티의 다른 하나 이상의 적용 가능한 파라미터들을 포함한, 최적의 이미지(또는 선택된 세트로부터의 이미지들 중 하나 이상)의 그래픽 디스플레이상에 대응하는 결과들을 디스플레이하는 것을 추가로 포함한다.
대안적인 실시예들에서, 최적의 이미지가 사용자에게 디스플레이되면(113), 사용자는 이제 새로운 초기 이미지인, 최적의 이미지를 갖고 단계(107)로 돌아가는 것을 선택할 수 있으며 단계 107에서 방법이 사용자로부터 추가 포인트들, 예컨대 하나 이상의 부가적인 라인들을 만드는 부가적인 엔드포인트들을 수용하게 한다. 초래된 최적의 이미지는 새로운 초기 이미지이며 단계 109는 새롭게 부가된 추가 포인트들을 계속한다.
단순화된 블록도
도 2는 본 발명의 실시예의 데이터 흐름의 단순화된 블록도를 도시한다. 이미지 세트는 이미지들의 비순서화 세트(205) 및 초기 이미지(207)를 포함한다. 선택(상보성) 엔진(203)은 선택 척도들의 세트에 기초하여 선택 기준들을 사용한다. 몇몇 실시예들에서, 선택(상보성) 엔진(203)은 이미지 프로세싱 시스템(1431)에서 구현된다. 이들 선택 척도들은, 상기 설명된 카메라 모델과 함께, 각각 θH, θP, θR로 표시된 제약들인, 헤딩, 피치, 및 롤에서의 각도 제약들(209)을 포함할 수 있다. 이러한 콘텍스트에서, 몇몇 실시예들에서, 피치는 수평선에서 지상까지의 각도를 나타낸다는 것을 주의하자. 따라서, 카메라가 바로 아래를 가리켜, 예컨대 집의 최상부의 이미지를 형성한다면, 이미지는 90도의 피치를 갖는다. 다른 한편으로, 수평선의 이미지는 0도의 피치를 가질 것이고; 몇몇 이러한 실시예들에서, 헤딩(heading)은 정북(due north)에 대한 각도를 의미하며, 따라서 바로 아래를 가리키는 카메라가 이미지를 취한다면, 예를 들어, 빌딩의 최상부의 이미지는 90도 헤딩에 있지만, 수평선의 이미지는 0도 헤딩에 있다.
몇몇 실시예들에서 디지털 표면 모델(DSM), 및/또는 메시 데이터(예컨대, 삼각형 표면들로서)와 같은 상보적 3D 및/또는 Z-축 데이터(211)("2.5D" 종류일 수 있는)가 또한 사용된다. 선택(상보성) 엔진(203)에 의해 결정된 결과들은 이미지들의 순서화 세트(213)를 포함할 수 있으며, 순서화는 상보성의 전체 척도, 또는 몇몇 실시예들에서, 단일 최적의 이미지에 따른다.
기하학적 상보성 척도들, 기준들 및 입력 파라미터들
용어들
초기 이미지(207)는 피처가 선택되거나 또는 관심 포인트를 포함하는 제 1 이미지이다. "초기 카메라 모델"은 초기 이미지를 캡처하기 위해 사용된 장치(여기에서 카메라로 불리우는)를 설명하는 특성들의 세트를 포함한다. "최적의 이미지"는 초기 이미지(207)에 대한 최고 스코어링(가장 상보적인) 이미지이다. "최적의 카메라 모델"은 "최적의 이미지"를 캡처하기 위해 사용된 장치를 설명하는 특성들의 세트이다. "이미지 세트"(205)는 초기 이미지를 제외한 모든 이용 가능한 이미지들이다. 최적의 세트(213)는 초기 이미지(207)에 대한 상보성 스코어에 따라 랭크된 이미지들의 세트이다.
카메라 및 다른 장치 특성들
특정한 이미지에 대한 "카메라 모델"은 캡처 시 카메라 시스템의 위치(예컨대, 동향, 북향, 고도, UTM 좌표들), 캡처 시 카메라 시스템의 회전 및 배향(예컨대, 헤딩, 피치, 및 롤), 및 사용된 카메라 시스템의 분해능을 포함하며, 사용된 카메라 시스템의 렌즈 왜곡 모델 및 사용된 카메라 시스템의 센서 유형 및 형태를 포함할 수 있다. 유사하게, "특정 뷰포트"는 줌에 의해 설명될 수 있는, 이미지의 로컬 부분, 또는 픽셀들에서 이미지 내에서의 로컬 경계를 설명하기 위해 사용될 수 있다. "렌즈 왜곡 모델"은 다수의 카메라 센서 및 렌즈 특성들의 기능일 수 있다는 것을 주의하자.
다른 수단들을 통해 결정될 수 있는 이미지에 관련되어 사용될 수 있는 다른 상보성 속성들은 추정된 땅 높이, 사용자-선택된 피처의 최대 높이, 디지털 표면 모델(DSM) 또는 유사한 또는 동일한 위치들에서의 알려진 피처 기하학들을 포함한다.
선택 척도들 및 기준들
일 실시예에서 도 2의 선택(상보성) 엔진(203)은 이미지들 예컨대, 초기 이미지와, 잠재적인 최적의 이미지에 대한 관심 있는 사용자-선택된 기하학적 피처(들)의 기하학적 상보성을 결정하기 위해 사용된 대응하는 선택 척도들을 각각이 사용하는, 선택 기준들의 세트를 사용한다. 선택 기준들에서 사용된 대응하는 선택 척도들은 이하에서 설명된 척도들 및 대응하는 선택 기준들 중, 적어도 몇몇, 몇몇 실시예들에서 모두, 및 다른 실시예들에서 단지 하나를 포함한다.
절두체들 간의 교차의 척도/기준들
도 3은 본 발명의 실시예에 따른, 이미지 중첩의 실행 가능한 척도로서 사용된 카메라 절두체들의 교차의 단순화된 도면을 도시한다. 이것은 두 개의 카메라 위치들(303 및 305), 표면(301), 통상적으로 지상에서의 캡처된 면적들(313 및 315), 및 면적들(313 및 315)의 중첩 위의 두 개의 카메라 절두체들의 교차 볼륨(317)을 도시하는, 도 2의 엔진(203)에 도시된 f1(intersection)에 포함되며, 이러한 교차점 볼륨은 중첩의 척도를 형성한다. 이러한 척도는 초기 카메라 모델 절두체 및 잠재적인 최적의 이미지의 카메라 모델 절두체(잠재적인 최적의 카메라 모델 절두체로 불리우는)에 의해, 각각의 카메라 위치의 렌즈 바운드들(광선들)을 사용자-선택된 기하학적 피처(도 3에 도시되지 않음)를 포함한 표면(301)에 투사하며 그것들이 중첩하는 곳을 결정함으로써, 및/또는 그것들이 어떤 퍼센티지로 중첩하는지, 및/또는 총 교차 볼륨에 의해 형성된 교차 볼륨(317)을 산출함으로써 획득된다. 이러한 교차점에 대한 방식은 이 기술분야에서의 사람들에게 알려질 바와 같이, 및 그 중에서도 컴퓨터 그래픽 과정들에서 교시된 바와 같이, 간단한 기하학을 사용하여 결정될 수 있다. 예를 들어, 2017년, Isfahan, 페이지 171-175, 2017년 제10회 기계 비전 및 이미지 프로세싱(MVIP)에 대한 이란 컨퍼런스, Y. Zamani, H. Shirzad 및 S. Kasaei의 "카메라 뷰 절두체들의 교차에 대한 유사성 척도들"을 참조하자. 이러한 방식의 사용의 예들은 또한 2015년 페이지 35, INRIA Nancy - Grand Est(프랑스, Vllers-les-Nancy), [연구 보고] RR-8730, S. Hornus의, "다면체 교차점 검출 및 새로운 기술들"; 1989년, 컴퓨터 과학의 Chapel Hill Department에서 불 캐롤라이나 대학, TR89-035, M. Levoy의, "다각형 및 볼륨 데이터를 렌더링하기 위한 하이브리드 광선 추적기"; 및 페이지 118-123, Vol. 1, No. 2, 1985년 8월, 시각 컴퓨터, G.T. Toussaint의, "볼록한 다각형들을 교차하기 위한 단순한 선형 알고리즘"에서 발견될 수 있다.
본 발명의 일 실시예는 다음과 같이 절두체들 간의 교차의 척도에 기초하여 기준으로서 사용한다: 초기 이미지와 잠재적인 최적의 이미지의 절두체들 간의 중첩이 클수록, 잠재적인 최적의 이미지에 피처가 포함되는 기회는 더 커진다.
커버리지의 척도/기준
또 다른 선택 척도는 지리적 근사 또는 커버리지의 척도이다. 이것은 또한 도 2에서의 엔진(203)에 도시된 함수(f1(intersection))에 포함된다. 일 실시예에서, 이러한 척도는 일단 이미지들이 표면으로 투사되었다면 각각의 카메라에 의해 획득된 각각의 이미지의 중심 픽셀의 위치들 간의 거리를 산출함으로써 결정된다. 도 4는 각각 카메라 1 및 카메라 2로 라벨링된, 두 대의 카메라들(403 및 401)에 의해 획득된 두 개의 중첩 이미지들의 단순화된 개략도를 도시하며, 이미지들은 각각 표면 위치(411) 및 표면 위치(413)에서 각각의 중심 픽셀들을 갖는다. 근사의 하나의 척도는 두 개의 중심들 간의 거리(415)이다. 동일하게 실행 가능하지는 않지만, 또 다른 척도는 이 기술분야의 수련자들에게 알려진 척도인, 퍼센티지의 면적에 대하여, 투사된 표면상에서 또 다른 것 위의 하나의 이미지의 2D 중첩(417)(커버리지)이다. 근사의 또 다른 척도는 초기 이미지에서 사용자-선택된 피처의 위치 및 상보적 이미지일 수 있는 각각의 이미지의 중심 픽셀 위치 간의 산출된 거리이다. 이러한 거리에 대한 방식들은 간단한 기하학을 사용하여 결정될 수 있으며, 이러한 산출들은 이 기술분야에서의 숙련자들에게 알려질 것이다.
이하의 코드에서, 우리는 다음을 정의하며,
거리 = 표면 위치 2 - 표면 위치 1,
여기에서 거리 및 표면 위치들은 2D 또는 3D 벡터들이다.
본 발명의 일 실시예는 커버리지의 척도에 기초한 기준으로서 사용하며, 이는: 초기 이미지에서 초기 이미지 중심 픽셀 또는 피처에 의해 설명된 위치들 및 잠재적인 "최적의 이미지" 중심 픽셀 간의 거리가 작을수록, 초기 이미지에 대한 잠재적인 최적의 이미지의 "커버리지"는 더 커지며, 그러므로 피처가 잠재적인 최적의 이미지에 포함되는 기회는 더 높아진다.
절두체 및 추정된 돌출부 간의 교차의 척도/기준들
또 다른 선택 척도는 절두체 및 추정된 돌출부 또는 임의의 볼륨 간의 교차의 척도이다. 관심 있는 사용자-선택된 피처는, 초기 이미지상에서 평면인 비-평면 피처가 평면 밖으로 돌출되거나, 또는 이미지 세트의 또 다른 이미지에서 평면을 벗어나 증가된다는 점에서, 잠재적인 상보적 이미지에 의해 표현된 2D 평면상에 정확히 있지 않을 가능성이 매우 높다. 그러므로, 특정한 방향으로 연장될 수 있는 피처를 둘러싼 볼륨, 또는 초기 및 잠재적인 최적의 이미지의 카메라 모델들의 절두체에 관련되지 않은, 특정한 형태가 있을 것이다. 최적의 이미지의 절두체는 관심 있는 사용자-선택된 피처를 둘러싼 이러한 임의의 볼륨의 교차를 최대화해야 한다. 이러한 척도는 임의의 볼륨과 교차하는 잠재적인 최적의 이미지의 절두체 간의 교차점으로서 결정된다. 도 5는 단순화된 개략도로서 하나의 카메라(505)(제 2 카메라는 도시되지 않음) 및 관심 있는 피처를 포함하는 추정된 볼륨 주위에 있는 임의의 볼륨(507)과 절두체 간의 교차 볼륨을 도시한다. 이러한 교차 볼륨을 결정하는 방법은 간단한 기하학을 사용하며, 이것에 대한 방식들은 절두체들 간의 교차의 척도에 대한 것과 동일하다. 사용된다며, 이러한 척도는 또한 도 2의 엔진(203)에서 f1(intersection)에 포함된다.
본 발명의 일 실시예는: 잠재적인 최적의 이미지 절두체 및 피처를 둘러싼 추정된/임의의 볼륨 간의 교차가 클수록, 피처가 잠재적인 최적의 이미지에 포함되는 기회가 더 커진다는 절두체 및 추정된 돌출부 교차의 척도에 기초한 기준으로서 사용한다.
각 편차의 척도/기준들
또 다른 척도는 각 편차이다. 몇몇 애플리케이션들에서, 애플리케이션의 요건들은 카메라 모델들의 회전 및 배향 특성들의 수용 가능한 범위 및 그에 대한 제약들을 야기할 수 있다. 선택(상보성) 엔진(203)에 의한 최적의 이미지의 결정은 이러한 범위들 또는 제약들을 수용할 수 있다. 각도 제약들 및 도 2에서 헤딩, 피치, 및 롤에 대해 θH, θP, θR로 표시된, 각 편차는 많은 방식들로, 예를 들어 이하에서 설명된 시력을 사용함으로써, 간단히 카메라 장치의 회전 파라미터를 측정함으로써, 및/또는 애플리케이션 특정 제약들을 제공함으로써 측정되고 제한될 수 있다.
본질적으로, 각 편차의 척도는 시각적 시스템의 공간 분해 능력인, "시력"의 척도이다. 예를 들어, 2018년 9월 11일 검색된, webvision~dot~med~dot~utah~dot~edu/book/part-viii-gabac-receptors/visual-acuity/에서 이용 가능한, 2007년 6월 5일 마지막 수정된, 1995년, 솔트 레이크 시티(UT): 유타대학교 보건학 센터; M. Kalloniatis, C. Luu, "시력", In: Kolb H, Fernandez E, Nelson R, 편집자들, Webvision: 망막 및 시각적 시스템 [인터넷]의 조직화를 참조하며, 여기에서 ~dot~은 실제 URL에서 마침표(",") 문자를 나타낸다. 이러한 Kalloniatis 및 Luu 논문은 광학 기구가 두 개의 별개의 오브젝트들에서 서로 가까운 두 개의 포인트들을 분해할 수 있도록 간격의 최소 각으로서 정의된, "분해능의 최소 각", "각 분해능", 또는 "MAR"의 척도를 설명하며, 이 기술분야의 숙련자에게, 3D 공간에서, 특히 정확도, 그러나 또한 폐색에 대하여 두 개의 포인트들을 분해할 때 명백한 제약을 설명할 것이다.
공간에 대한 및 각도 분해능에 대한 두 개의 이러한 함수들은, 예를 들어 다음과 같을 것이다:
각도 분해능 = 1.220 × (광의 파장 / 렌즈 애퍼처의 직경);
공간 분해능 = 1.220 × ((초점 길이 × 광의 파장) / 광 빔의 직경)).
예를 들어, 2018년 9월 11일에 검색된, 2018년 6월 25일에 마지막으로 수정된, en~dot~kikipedia~dot~org/widi/Angular resuolution에서 위키피디아 기사 "각도 분해능"을 참조하며, 여기에서 ~dot~은 실제 URL에서 마침표(".") 문자를 나타낸다.
도 6은 간단한 개략도로서 카메라 1(603), 카메라 2(605), 및 카메라 3(607)으로 표시된 3대의 카메라들, 및 ROI로 표시된 관심 있는 사용자-선택 영역(621)을 도시한다. 카메라 1 및 카메라 2 간의 각도(611)는 △θ12로 표시되며, 카메라 2 및 카메라 3 간의 것은 △θ2로 표시된다. 상기 시력 산출들은 시스템의 헤딩, 피치 또는 롤(θH, θP, 및 θR), 또는 두 개의 이미지들 간의 각도 변화의 임의의 다른 척도에 적용할 수 있다. 각도 제약들을 결정하기 위한 방식들은 이 기술분야에서의 숙련자들에게 알려져 있으며 상기 제공된 참조 문헌들에서 이용 가능할 것이다.
본 발명의 몇몇 실시예들에서 사용될 수 있는 또 다른 각도 제약은 경사(다중-뷰) 화상이 이러한 실시예들에서 캡처되는 특정한 카메라 시스템에서의 제한과 관련된다. 이러한 카메라들로부터의 이미지들은 몇몇 뷰들에 대해 최소 90도 간격을 의미하는, 북, 남, 동 및 서의 기본 방향들을 따른다. 이것은 각도 제약의 특정한 경우를 제공하였으며, 그에 의해 그래픽 사용자 인터페이스의 사용자는 방향 감각을 잃게 될 수 있으며, 그러므로 관심 있는 피처를 식별할 수 없을 수 있다. 예를 들어, 뷰가 90도만큼 또 다른 기본 방향으로 스위칭한 경우를 고려하자. 관심 피처의 회전은, 사용자에게, 사용자가 피처의 기하학을 쉽게 이해할 수 없도록 하는 방식으로 왜곡될 수 있다. 그러므로, 몇몇 실시예들에서, 전적으로 사용자-제공된 및 비-수학적 제약은 시스템이 초기 이미지와 동일한 기본 방향을 취한 이미지들에 더 높은 우선순위를 제공하기 위해 가중되도록 적용된다.
본 발명의 일 실시예는 초기 이미지와 잠재적인 최적의 이미지 사이에 제공된 범위 또는 제약들에 각 편차가 더 잘 맞을수록, 피처가 양쪽 이미지들에 가시적이며, 뷰포인트가 특정한 사용 경우에 수용 가능한 기회가 더 커진다는 각 편차의 척도에 기초한 기준으로서 사용한다.
헤딩, 피치, 및 롤에서 각 편차의 척도들은 도 2의 엔진(203)에서, 각각 f2(ang_dev_H), f3(ang_dev_P), 및 f4(ang_dev_P)로서 도시된다.
분해능의 척도/기준들
제 5 척도는 도 2에서 f5(resolution)으로 도시된, 분해능의 척도이다. 표면으로의 이미지의 투사가 특정한 분해능을 야기한다는 것을 고려해 볼 때, 다수의 이미지들에서의 포인트의 식별, 및 식별 또는 기하학 추출의 정확도는 또한 분해능 의존적일 것이며, 여기에서 정확도는 분해능, 초점 길이 및 카메라 센서로부터 관심 포인트까지의 거리의 함수이다. 분해능은 또한 상기 설명된 각 편차 제약들 및 각 분해능 식들에 직접적인 영향을 준다. 분해능은 많은 방식들로 시스템에서 측정될 수 있지만, 몇몇 이러한 예들은 GSD, 또는 픽셀 밀도를 포함한다. 분해능은 특정한 분해능들의 적절성을 결정하기 위해 수학적으로 예를 들어 클램프 함수, 제약 함수, 필터 함수, 또는 범위 함수를 사용함으로써 설명된, 많은 방식들로 제한될 수 있다. 이러한 함수들에 대한 방식들은 이 기술분야에서의 숙련자들에게 알려져 있으며 제공된 참조 문헌에서 이용 가능할 것이다:
분해능의 하나의 이러한 척도는, 하나의 픽셀이 이미지가 투사되는(보통 몇몇 알려진 지상 높이로) 평면상에서 커버하는 거리의 척도인, 지상 샘플링 거리(Ground Sampling Distance; GSD)의 것이다. GSD를 결정하기 위한 방식들은 이 기술분야에서의 숙련자들에게 알려질 것이다. 일 예는 다음과 같다.
GSD = 픽셀 크기 × (지상 위 고도 / 초점 길이).
더 작은 GSD는 더 큰 분해능을 나타낸다. 본 발명의 몇몇 실시예들에서, 우선순위는 이미지들에 제공된 우선순위이며 여기에서 GSD는 초기 이미지의 GSD 이하이다.
본 발명의 일 실시예는 잠재적인 최적의 이미지의 분해능이 분해능 범위 또는 제약을 더 많이 충족할수록, 실행 가능한 피처의 능력은 커지며, 피처는 더 정확하게 식별된다는 분해능의 척도에 기초한 기준으로서 사용한다.
몇몇 실시예들에서, 이미지들을 선택하고 랭킹하기 위해 선택(상보성) 엔진(203)에 의해 사용된 상보성의 전체 척도는 다음과 같다.
Figure pct00001
일반적인 기하학 분석 프로세스
다음의 단계들은 최적성의 척도(즉, 상보성의 척도)에 따라 이미지들을 선택하고 랭킹하기 위해 선택(상보성) 엔진(203)에 의해 사용된 기하학 분석의 프로세스의 일 실시예를 설명한다. 이들 단계들은 제 1 단계, 제 2 단계 등으로 불리우며, 실행되는 이들 단계들의 어떤 순서도 내포되지 않는다는 것을 주의하자.
본 발명의 일 실시예에서, 제 1 단계는 사용되는 카메라 및 다른 장치 특성들을 선택하는 것을 포함한다. 이 단계에서, 상기 "카메라 및 다른 장치 특성들" 서브섹션에서 설명된 장치 특성들의 모두 또는 서브세트는 특정한 사용 경우에 의존하여 선택된다.
제 2 단계는 사용되는 선택 기준들 및 특성들의 각각이 어떻게 전체 최적성 기준에서 가중될 것인지에 대한 가중 함수를 생성하는 것을 포함하며, 이러한 가중 함수, 예컨대 가중치들의 세트는 특정한 애플리케이션의 요건들에 기초한다. 예로서, 삼각측량의 목적을 위해, 그것은 관심 있는 선택 포인트 또는 기하학적 피처(들)를 정확하게 분해하도록 캡처 장치의 피치에서의 더 큰 차이를 선호하기 위해 이미지들의 각 편차에 더 높은 가중치를 제공할 것이다.
일 특정한 실시예에서 가중 함수들을 생성하는 방법의 다음 예. 방법은 예컨대, 위치 스코어, 헤딩 편차 스코어, 및 피치 스코어의 합으로서, 초기 이미지에 대한 상보성 스코어에 의해 이미지들을 분류하는 것을 포함한다. 위치 스코어에 대해, 방법은 완벽하게 중심에 있는 것에서 매 200미터에 대해 1포인트를 부가하며, 여기에서 완벽하게 중심에 있는 것은 두 개의 사용자 선택된 포인트들로부터 형성된 관심 라인의 중심이 이미지의 중심에 위치되는 것을 의미한다. 헤딩 편차(도에서의 차이) 스코어에 대해, 방법은 초기 이미지의 헤딩으로부터 헤딩 차이(도들로)를 결정하며 헤딩 편차의 매 22.5도에 대해 1포인트를 삭제한다. 몇몇 실시들에서, 헤딩은 정북에 대한 각도이며, 따라서, 예를 들어 이미지가 집에 대해 남향 벽이라면, 카메라는 정북일 것이며, 따라서 헤딩은 0도일 것이다. 피치 차이 스코어에 대해, 방법은 이미지 피치 및 초기 이미지의 피치 간의 피치 차이(편차)의 매 22.5도에 대해 1포인트를 부가하며, 여기에서 몇몇 실시예들에서, 피치는 수평선에서 지상으로의 각도이며, 따라서 예를 들어, 몇몇 실시예들에서, 당신이 집의 꼭대기의 이미지를 보고 있다면(카메라는 바로 아래를 가리킨다), 이미지는 90도의 피치를 갖지만, 수평선의 이미지는 0도의 피치를 가질 것이다.
몇몇 실시예들에서, 가중 함수 생성 방법은 그것이 초기 이미지에 대해 각도가 너무 유사한 임의의 이미지를 제거하는 것을 추가로 포함한다. 하나의 버전은 헤딩 각도 편차 및 피치 각도 편차의 합이 20도 이하인 너무 유사한 것에 대한 기준으로서 사용한다. 가중 함수 생성 방법은 라인의 임의의 부분(두 개의 엔드포인트가 표시되는 경우에)이 이미지의 밖에 있는 임의의 이미지들을 제거하는 것을 추가로 포함한다. 이 단계를 위해, 비, 예컨대 초기 이미지의 절두체와 교차하는 각각의 잠재적인 최적의 이미지의 절두체 볼륨의 교차의 볼륨 대 초기 이미지 절두체에 의해 생성된 볼륨의 퍼센티지로서. 이러한 교차 퍼센티지 및 카메라 회전 각들은 각각의 잠재적인 최적의 상보적 이미지에 대한 최적성 기준을 결정하기 위해 가중 함수를 사용하여 스코어링되고 가중된다.
제 3 단계는 초기 이미지를 선택하는 것 및 초기 이미지의 특성들을 디지털 프로세싱 시스템으로 수용하는 것을 포함한다. 이것은 도 1의 흐름도에서 단계 105에 대응한다.
제 4 단계는, 이미지 세트에서의 각각의 잠재적인 최적의 이미지에 대해, 사용된 척도의 각각(상기 5개의 선택 척도들로부터)에 대한 값을 산출하기 위해 이러한 각각의 이미지의 특성들을 사용하는 것을 포함한다. 각각의 산출된 척도는 생성된 가중 함수를 사용하여 대응하는 가중치로 곱하여진다.
제 5 단계는 이러한 이미지의 최적성 기준을 형성하기 위해 이미지 세트에서 각각의 잠재적인 최적의 이미지에 대한 가중된 척도들 또는 특성들을 합산하는 것을 포함한다.
제 6 단계는 최적성 기준에 따라 이미지 세트에서 잠재적인 최적의 이미지들을 순서화(랭킹)하는 것, 및 최상위 랭크된 이미지를 선택된 초기 이미지 및 관심 있는 선택된 기하학적 피처(들)에 대한 최적의 상보적 이미지로서 선택하는 것을 포함한다. 제 4, 제 5, 및 제 6 단계들은 도 1의 흐름도의 단계들(107, 109, 및 111)에 대응한다.
여기에서 설명된 바와 같이, 몇몇 실시예들에서, 일단 최적의 상보적 이미지가 선택되면, 그것은 사용자에게 디스플레이된다(도 1의 흐름도의 단계 113에서). 초기 이미지로부터 관심 있는 사용자-선택된 기하학적 피처(들)의 최적의 이미지에 대한 위치가 산출되며 최적의 상보적 이미지상에서 사용자에게 디스플레이된다. 사용자는 그 후 영역, 예컨대 포인트, 라인, 면적 등의 배치를 정정할 수 있다(도 1의 단계 1119 참조). 도 1의 단계 121은 사용자 선택된 기하학적 엔티티의 하나 이상의 적용 가능한 파라미터들을 산출하기 위해 사용자-입력된 정정을 사용하는 것을 포함한다.
예시적인 실시예 A
실시예 A로 불리우는 이러한 실시예에 대해, 우리는 선택된 초기 이미지 및 관심 있는 기하학적 피처들)에 대한 최적의 이미지를 선택하기 위해 카메라 모델 특성들의 특정한 서브세트를 사용하고 단지 "절두체-중첩" 선택 척도 및 기준만을 사용하는 방법을 설명한다. 카메라 모델의 위치, 회전, 배향, 렌즈 왜곡 및 센서 형태 특성들이 이러한 예시적인 실시예를 위해 선택되며 선택 프로세스로의 입력 파라미터들로서 사용된다.
따라서, 예시적인 실시예 A에 따라, 사용자는 초기 이미지를 선택하며 초기 카메라 모델의 위치, 회전, 배향, 센서 형태, 및 렌즈 왜곡이 기록되게 한다. 사용자는 또한 관심 있는 기하학적 피처(이 경우에, 포인트)를 정의하기 위해 초기 이미지에서 포인트(2D 픽셀 좌표)를 선택한다. 이러한 초기 이미지 및 관심 있는 기하학적 피처에 대한 최적의 상보적 이미지를 선택하기 위해 본 발명의 방법의 실시예를 사용하여 3D에서 이러한 포인트의 기하학을 추정하고, 그 후 피처의 3D 위치를 결정하기 위해 상보적 이미지를 사용하는 것이 요구된다.
실시예 A에서, 초기 카메라 모델의 센서는 4변형 형태를 갖는다고 가정된다. 이러한 형태 및 렌즈 왜곡은 센서의 경계 코너들로부터 표면(즉, 초기 이미지의 코너들)로 광선들을 투사하기 위해 사용된다. 표면을 가진 이들 광선들의 교차에 의해 형성된 볼륨은 절두체로 불리우는 볼륨을 형성한다.
초기 카메라 모델의 위치, 회전 및 배향을 사용하여, 상기 산출된 절두체 볼륨 기하학을 공간에서의 사실상 실제 위치로 변환할 수 있는 변환 매트릭스가 결정되며, 따라서 방법은 이제 도 3에 도시된 바와 같이, 초기 이미지의 카메라 위치로부터 표면 상에서의 초기 이미지들 위치로의 절두체 볼륨을 갖는다.
방법은 이미지 세트에서 이용 가능한 이미지들의 각각을 조사하는 것을 계속한다. 이러한 이미지(잠재적인 최적의 이미지)에 대해, 이미지의 카메라 모델 위치, 회전, 배향, 센서 형태 및 렌즈 왜곡이 기록된다. 초기 이미지에 대한 절두체 산출에 따라, 각각의 다른 이미지는 카메라 모델 위치, 회전 및 배향을 사용하여 투영되고 표면과 교차되며 매트릭스 변환을 통해 공간에서의 실제 위치로 변환되는 센서 경계 절두체 볼륨을 갖는다.
방법은 예컨대 초기 이미지의 절두체 볼륨과 교차하는 각각의 잠재적인 최적의 이미지의 절두체의 교차의 볼륨 대 초기 이미지 절두체에 의해 생성된 볼륨의 퍼센티지로서, 비를 산출한다. 이러한 교차 퍼센티지 및 카메라 회전 각들은 각각의 잠재적인 최적의 상보적 이미지에 대한 최적성 기준을 결정하기 위해 스코어링되며 가중 함수를 사용하여 가중된다.
이러한 실시예 A에서, 다음의 샘플 함수들에서 pitchConstraint 및 headingConstraint로 불리우는, 두 개의 각도 제약들이 있으며, 여기에서 pitch Constraint는, 초기 카메라 모델 및 잠재적인 최적의 이미지의 카메라 모델 간의, 최소 피치 각 차이이며, headingConstraint는 최대 헤딩 차이이다. 도 2에서, pitchConstraint 및 headingConstraint는 각각 θP 및 θH로 표시된다.
이러한 예시적인 실시예 A에서, 각각의 최적성 스코어 함수는 각각의 개별적 변수에 대해 생성된다.
예로서, 다음의 의사코드는 intersectionVolume에 의해 커버된 originalFrustumVolume의 퍼센티지로서 범위가 0 내지 100인, 교차 퍼센티지 스코어로 불리우는, 교차 스코어를 반환하는 것을 설명한다:
score(intersectionVolume, originalFrustumVolume) → {
(intersectionVolume / originalFrustumVolume) * 100
}.
다음의 의사코드는 초기 이미지의 피처로부터 pitchConstraint 도 변화보다 큰 모든 피치들에 대한 피치 변환 스코어(범위 0 내지 100)로 불리우는 제 2 스코어를 반환하는 제 2 함수를 설명한다:
Figure pct00002
다음의 의사코드는 범위 0 내지 100에서의 헤딩 변화 스코어로 불리우는, 제 3 스코어를 반환하는 제 3 함수에 대한 것이며, 여기에서 100은 헤딩에서 매우 작은 편차이며 0은 헤딩에서 매우 큰 편차이다:
Figure pct00003
여기에서 설명된 실시예들에서, 이미지들을 캡처하기 위해 사용된 카메라 시스템은 단지 N, S, E, W 기준 방향에 있도록 제한되며, 따라서 이미지들의 세트는 단지 이들 기준 방향들에서의 이미지들만을 포함하며, 최소 90도(또는 그것에 더 가까운)로 분리된다는 것을 상기하자. 더욱이, 사용자 배향 제약을 고려해볼 때, 이 실시예 A에서 사용된 headingConstraint는 90도이다(예로서). 이 예에서, pitchConstraint는 카메라 모델의 배향의 피치 파라미터(θP)에 적용된, 상기 방식에서 설명된 최소 각도 분해능이다.
이러한 예시적인 실시예 A에 대해, 가중 함수는 스코어들의 각각을 가중하기 위해 생성되었다. 교차 퍼센티지 스코어는 0.5로 곱하여졌으며, 피치 변화 스코어는 2로 곱하여졌다. 헤딩 변화 스코어는 1로 곱하여졌다(즉, 그대로 둔다). 전체 최적성 기준은 가중된 스코어들의 합이어서, 각각의 잠재적인 최적의 이미지에 대해 350의 최대 스코어 중 상보성 스코어로 이어진다.
실시예 A의 방법은 최고 최적성 기준을 가진 것을 최적의 이미지로서 선택한다. 이러한 최적의 이미지는 관심 포인트를 위치시킬 다음 이미지로서 사용된 것으로 사용자에게 제공된다.
예시적인 실시예 B
실시예 B로 불리우는, 또 다른 예시적인 실시예는 도 4에 예시된 바와 같이 초기 이미지 뷰포트의 중심 픽셀 위치 및 잠재적인 최적의 이미지의 중심 픽셀 위치(주 픽셀 위치) 간의 거리를 사용하여 초기 이미지와 잠재적인 최적의 이미지 간의 지리적 근사 또는 커버리지의 척도를 사용하는 방법이다. 위치, 회전, 배향, 렌즈 왜곡 및 센서 형태는 입력 파라미터들로서 사용된 카메라 모델 특성들이다.
사용자는 방법이 어떤 선택을 수용한 초기 이미지를 선택한다. 초기 카메라 모델의 위치, 회전, 배향, 센서 형태 및 렌즈 왜곡이 방법으로 수용된다. 사용자는 3D에서의 기하학이 결정된 관심 있는 기하학적 피처로서 방법으로 수용되는 초기 이미지에서 포인트(2D 픽셀 좌표)를 선택한다.
실시예 B 방법은 초기 카메라 모델의 렌즈 왜곡 모델 및 센서 형태, 및 초기 이미지 카메라 모델의 위치, 회전 및 배향을 사용하여 초기 이미지 뷰포인트 중심의 실제 위치를 결정하는 것을 포함한다. 결정은 뷰포인트의 중심의 포인트에서 센서로부터 표면으로 광선을 투사하는 것(투영하는 것), 및 초기 카메라 모델 위치, 회전 및 배향을 사용하는 변환 매트릭스를 사용하여 그것의 위치를 공간에서의 실제 위치로 변환하는 것을 포함한다. 이러한 변환을 실행하는 방법은 이 기술분야의 통상의 기술자에게 명백하고 간단할 것이다.
각각의 잠재적인 최적의 이미지에 대해, 실시예 B 방법은 잠재적인 최적의 이미지 뷰포인트 중심의 실제 위치를 결정하는 것을 포함한다. 방법은 각각의 잠재적인 최적의 이미지의 위치, 회전 및 배향을 사용하여 표면상에서 투영된 위치 뷰포인트 중심을 추가로 변환한다. 방법은 투사할 때 광선이 카메라 센서의 중심에 내려앉는 픽셀인, 주 픽셀(2D 픽셀 좌표)을 산출하는 것을 추가로 포함한다. 이러한 주 픽셀은 표면상에서 투영된 위치를 가질 것이다. 방법은, 이미지의 캡처 시 카메라 모델의 위치, 회전 및 배향에 의해 산출된 변환 매트릭스를 사용함으로써, 주 픽셀의 투영된 위치를 산출된다. 이러한 변환을 실행하는 방법은 이 기술분야의 통상의 기술자에게 명백하고 간단할 것이다.
이 스테이지에서, 방법은 이미지 세트에서 각각의 잠재적인 최적의 이미지에 대한 중심 위치, 및 초기 이미지 뷰 포인트의 중심 픽셀에 대한 중심 위치(뷰포인트가 이미지 경계들의 범위이면 주 픽셀 위치일 수 있는)를 갖는다.
실시예 B 방법은 초기 이미지 "관심 포인트 위치" 및 각각의 잠재적인 최적의 이미지의 중심 위치 간의 거리를 산출한다. 이러한 척도는 관심 포인트와 각각의 이미지의 중심 포인트 간의 지리적 근사를 측정하는 방법의 일 예이다.
실시예 A 방법에서처럼, 특정한 경우에 의해 요구된 몇몇 각도 제약들이 있으며, 이것들은 용어 pitchConstraint 및 headingConstrain로 표시된다.
실시예 A 방법에서처럼, 스코어 함수는 중심 거리, 피치 변화 및 헤딩 변화에 대해 생성되며, 여기에서 중심 거리는 초기 이미지 중심 픽셀 위치 및 각각의 다른 이미지 중심 픽셀 위치로부터의 거리이다.
실시예 A 방법에서처럼, 가중 함수는 스코어들의 각각을 가중시키기 위해 생성된다. 가중된 스코어들의 합은 각각의 잠재적인 최적의 이미지에 대한 전체 스코어를 제공한다. 방법은 그것들 각각의 전체 스코어에 따라 잠재적인 최적의 이미지들을 순서화하는 것을 포함한다. 최고 스코어링 이미지는 초기 이미지에 기초한 선택을 위한 최적의 이미지였다.
예시적인 실시예 B 방법을 기술한 의사코드
다음의 함수는 실시예 b의 방법에서, 예를 들어, optimse(100, 10, 20, [image1, image2, image3])으로서 사용된다. 다음의 의사코드에서:
Ci0 = 초기 이미지에서 피처의 표면상에서의 위치
Hi0 = 초기 이미지의 카메라의 헤딩
Pi0 = 초기 이미지의 카메라의 피치
Set[iN] = N개의 다른 이미지들의 세트
CN = 초기 이미지 뷰포인트 중심 위치로부터 이미지 N 센터까지의 거리
HN = 초기 이미지 헤딩 및 이미지 N 헤딩에서의 차이
PN = 초기 이미지 피치 및 이미지 N 피치에서의 차이
Wc = 중심 거리에 대한 가중
Wh = 헤딩 차이에 대한 가중
Wp = 피치 차이에 대한 가중
CT = CN 및 가중을 고려할 때 이미지 N에 대한 중심 스코어
HT = HN 및 가중을 고려할 때 이미지 N에 대한 헤딩 스코어
PT = PN 및 가중을 고려할 때 이미지 N에 대한 피치 스코어
imageScore = 스코어들의 합
optimalImage = 최대 스코어로 분류될 때 newSet의 제 1 이미지.
다음은 optimalImage를 반환하는 함수 optimise에 대한 예시적인 의사코드이다.
Figure pct00004
도 8은 실시예 B 방법을 구현하기 위한 예시적인 코드를 도시한다.
예시적인 실시예 C
예시적인 실시예 C로 불리우는 또 다른 예시적인 방법 실시예는 상보적 3D 데이터가 선택 방법에서 부가적인 데이터로서 사용되며, 선택 프로세스가 돌출 볼륨 교차 척도에 기초한 선택 기준을 사용하는 경우이다. 위치, 회전, 배향, 렌즈 왜곡 및 센서 형태는 입력 파라미터 서브세트로서 사용된 특성들이다. 유사하게, 평균 지상 높이 및 최대 피처 높이는 별개의 방법에 의해 이전에 결정된, 상보적 입력들이며, 또한 시스템으로 입력된다. 이러한 구현은 이러한 상보적 입력들이 이용 가능하다고 가정한다. 일 실시예에서, 평균 지상 높이는 표면상에서의 이미지 투영된 사진 경계들에 국소화된 DSM(디지털 표면 모델)으로부터 수집된 피처 포인트 높이들의 히스토그램으로부터 산출된다. 가정은 빌딩 높이들에 대해 이루어지며, 피처는 이러한 목적을 위해 빌딩의 꼭짓점일 가능성이 있을 것이며, 대부분의 빌딩들은 높이가 500m보다 높지 않다. 이것은 예를 들어, 관심 포인트에 중심을 두며 표면상에서 이미지 경계 교차 포인트들에 의해 경계를 이룬, 임의의 볼륨의 치수들(500m×500m×500m)이다. 물론, 상이한 애플리케이션들, 예로서, 높이가 500m를 넘는 극히 고층 빌딩들에 대해, 상이한 가정들이 이루어질 것이며, 임의의 볼륨은 더 커질 것이다.
사용자는 선택 방법이 수용하는 초기 이미지를 선택한다. 초기 카메라 모델의 위치, 회전, 배향, 센서 형태 및 렌즈 왜곡이 방법으로 수용된다. 사용자는 3D 기하학이 결정되는 관심 있는 기하학적 피처로서 방법으로 수용되는 초기 이미지에서의 포인트(2D 픽셀 좌표)를 선택한다.
여기에서 개시된 실시예 C 방법은 초기 이미지에서의 평균 지상 높이가 알려져 있으며, 유사하게 관심 위치에서 최대 피처 높이에 대한 정보가 알려져 있다고 가정한다. 예를 들어, 최대 피처 높이는 도시가 그것의 빌딩들에 대한 제한들을 갖는다고 알려짐으로써 획득될 수 있다.
방법 실시예 A의 경우에서처럼, 초기 카메라 모델의 센서는 4변형 형태를 갖는다고 가정된다. 이러한 형태 및 렌즈 왜곡은 센서의 경계 코너들로부터의 광선들을 표면(즉, 초기 이미지의 코너들)으로 투사하기 위해 사용된다. 표면과 이들 광선들의 교차에 의해 형성된 볼륨은 절두체로 불리우는 볼륨을 형성한다.
다시, 방법 실시예 A의 경우에서처럼, 초기 카메라 모델의 위치, 회전 및 배향을 사용하여, 상기 산출된 절두체 볼륨 기하학을 공간에서의 사실적인 실제 위치로 변환할 수 있는 변환 매트릭스가 결정되며, 따라서 방법은 이제 도 3에서 및 도 5에서 도시된 바와 같이, 초기 이미지의 카메라 위치로부터 표면상에서의 초기 이미지 위치로의 절두체 볼륨을 갖는다.
방법은 초기 카메라 절두체가 표면과 교차하는 표면상에서의 포인트들을 선택함으로써 추정된 볼륨을 생성하는 것을 포함한다. 방법은 입력된 평균 지상 높이로 이들 포인트들을 올리는 것, 및 "최대 피처 높이"의 높이로 위쪽으로 연장된 이들 상승된 포인트들에서 직육면체를 생성하는 것을 포함한다. 도 7은 이들 방법 단계들을 예시하기 위한 단순한 도면을 도시한다.
방법은 이미지 세트에서의 잠재적인 최적의 이미지들의 각각에 대해, 잠재적인 최적의 이미지의 카메라 모델 위치, 회전, 배향, 센서 형태 및 렌즈 왜곡 모델을 수용하는 것을 포함한다. 초기 이미지에 대한 절두체 산출에 따라, 각각의 잠재적인 최적의 이미지에 대해, 잠재적인 최적의 이미지의 카메라 모델의 위치, 회전 및 배향을 사용하여, 절두체 볼륨 기하학을 공간에서의 사실적인 실제 위치로 변환할 수 있는 변환 매트릭스가 결정되며, 따라서 방법은 이제 각각의 잠재적인 최적의 이미지의 카메라 위치로부터 표면상에서의 각각의 이미지 위치로 절두체 볼륨을 갖는다. 방법은 상기 각각의 잠재적인 이미지의 카메라 절두체가 상기 설명된 "추정된 볼륨"과 교차하는 포인트들을 선택함으로써 추정된 볼륨을 생성하는 것을 포함하며 교차 볼륨이 총 추정된 볼륨인 퍼센티지가 각각의 이러한 이미지에 대해 저장된다. 이것은 도 5의 도면에서 예시된다.
실시예 A 및 실시예 B 방법들에서처럼, 특정한 경우에 의해 요구된 몇몇 각도 제약들이 있으며, 이것들은 용어 pitchConstraint 및 headingConstraint로 표시된다.
실시예 A 및 실시예 B 방법들에서처럼, 스코어 함수는 교차 볼륨 퍼센티지, 피치 변화 및 헤딩 변화에 대해 생성된다.
실시예 A 및 실시예 B 방법들에서처럼, 가중 함수는 스코어들의 각각을 가중시키기 위해 생성되었다. 가중된 스코어들의 합은 각각의 잠재적인 최적의 이미지에 대한 전체 스코어를 제공한다. 방법은 그것들 각각의 전체 스코어에 따라 잠재적인 최적의 이미지들을 순서화하는 것을 포함한다. 최고 스코어링 이미지는 초기 이미지에 기초한 선택을 위한 최적의 이미지이다.
지붕의 기울기를 측정하는 특정한 예
도 9 내지 도 13은, 이미지들을 디스플레이함으로써, 사용자가 이미지 세트로부터 초기 이미지를 선택하는 것으로서, 상기 사용자는 선택된 초기 이미지에 대한 관심 피처로서 기울기의 두 개의 꼭짓점들을 선택하며, 그 후 최적의 이미지에 대해 여기에서 설명된 최적의 이미지 선택 방법들을 사용하는, 상기 초기 이미지 선택하기, 선택된 최적의 이미지에서 피처의 위치를 정정하기 위해 선택된 최적의 이미지에서 결정된 바와 같이 관심 피처를 사용자에게 디스플레이하는 것, 및 피처의 꼭짓점들 간의 기울기를 결정하는 것을 포함하여, 피처의 하나 이상의 기하학적 파라미터들(피처의 3D 기하학)을 추정하기 위해 사용자의 정정을 사용하는 것을 포함하는 방법을 예시한다.
도 9는 관심 지붕을 포함하는 이미지(903)가 사용자 인터페이스상에서 사용자에게 제공되는 것을 도시한다(도 1의 단계 103의 부분으로서). 사용자 인터페이스는 관심 영역을 선택하기 위한 툴을 포함한 툴들을 포함하며, 이 도면에서, 위치(관심 영역) 툴(905)은 관심 영역, 이 경우에, 이미지상에서의 관심 지붕(907)을 나타내기 위해 사용자에 의해 선택되었다. 이러한 위치 툴이 활성일 때, 이미지에 대한 정보가 우측 측면 상에서의 정보 면적(909) 내에 제공되며, 이러한 면적은, 정보, 예컨대 어드레스, 사진인 경우 시간스탬프, 및 좌표들을 디스플레이한다.
도 10은 도 9의 이미지의 관심 지붕을 포함하는 여러 개의 경사 이미지들(oblique images) 중 하나로서 초기 이미지(1003)의 사용자 선택을 도시한다(도 1의 단계들(105 및 107)의 부분으로서). 사용자 인터페이스는 경사 이미지들 중 일부가 좌측 상에서 경사 이미지들 면적(1005)에 도시되는 것을 도시한다. 두 개의 경사 이미지들의 최상부는 우리에게 관심 이미지, 즉 초기 이미지(1003)로서 사용자에 의해 선택된 이미지를 도시하였다. 이 도면에서 사용자는 피치 툴(1005)을 선택하였다. 따라서 피치 툴을 활성화하는 것은 피치를 결정하기 위한 지시들(1007)이 우측 쇼들 상에서 백색 영역에 디스플레이되게 한다. 이러한 영역은 빌딩의 개략도 상에서 일반적인 지붕을 도시하며, 사용자에게 "당신이 측정하길 원하는 기울기에 선을 그려라"를 지시한다.
도 11은 도 1의 단계 107의 부분으로서, 3D에서 추론된 기하학을 갖도록 의도되는, 초기 이미지에서 관심 피처(라인 1105)를 나타내는 두 개의 꼭짓점들(도 11에서 포인트 1 및 포인트 2)을 사용자가 그리는 것을 도시한다. 이들 두 개의 포인트들은 일반적인 지붕 상에서 우측 정보 면적에 도시되며, "PRIMARY VIEW"는 이것이 초기 이미지임을 나타내기 위해 강조된다. 지시 "NEXT"는 또한 일단 사용자가 에지의 라인을 나타낸다면 지붕을 선택하기 위해 NEXT 버튼으로서 사용자를 위해 제공된다.
따라서, NEXT 버튼을 선택하는 것은 도 1의 흐름도의 단계 109의 산출들이 실행되게 한다. 도 12는 사용자가 NEXT 버튼을 클릭한 후 사용자 인터페이스의 디스플레이를 도시한다. 이러한 사용자 동작에 응답하여, 상기 실시예 B의 방법이 삼각측량을 위한 초기 이미지와 함께 사용할 초기 이미지에 상보적인 것으로 최적의 이미지(1203)를 자동으로 선택하기 위해 도 1의 흐름도의 단계 111, 및 이를 디스플레이하기 위해 도 1의 흐름도의 단계 113의 부분으로서 실행된다. 초기 이미지상에서 선택된 라인의 위치가 결정되며 정정되지 않은 그려진 라인(1205)으로서 최적의 이미지상에서 디스플레이된다. 이러한 라인의 꼭짓점들은 더 이상 최적의 이미지(1203) 상에서 관심 지붕의 에지에 있지 않다는 것을 주의하자.
이때, 도 1의 흐름도의 단계 1119의 부분으로서, 사용자는 그것들이 초기 이미지에, 즉 관심 지붕의 에지 상에 있는 것과 동일한 위치에 정확하게 위치되도록 관심 있는 라인 피처의 꼭짓점 1 및 꼭짓점 2의 위치를 사용자 인터페이스상에서 조정한다. 도 1의 흐름도의 단계 121처럼, 방법은 삼각측량을 실행하며 꼭짓점들의 실제 위치 및 그러므로 라인의 기하학을 실행하기 위해 초기 및 최적의 이미지를 사용하고, 라인의 피치 및 길이를 결정하며, 결과를 사용자에게 디스플레이한다.
상보적인 두 개의 이미지들을 고려할 때 삼각측량 방법들은 이 기술분야에서 잘 알려져 있다. 예를 들어, Comput.Vis. Image Underst. Vol. 68, No. 2(1997년 11월), 페이지 146-157, Richard I. Hartley 및 Peter Sturm의, "삼각측량"을 참조하자. 또한, 2003년, 캠브리지 대학교 신문, Richard Hartley 및 Andrew Zisserman의, "컴퓨터 비전에서의 다중 뷰 기하학"을 참조하자. 또한 1995년 독일, 슈투트가르트, 1995년 9월 11-15일, Photogrammetric Week '95의 회보, 페이지 215-223, Krzystek, P., T. Heuchek, U. Hirt, 및 E Petran의, "자동 디지털 에어리얼 삼각측량에 대한 새로운 개념"을 참조하자. 본 발명의 일 실시예에서, 상기 언급된 Hartley 및 Sturm 논문의 섹션 5.3에서 설명된 "중간-포인트 방법"이 사용되며, 본 발명은 방법이 둘 이상의 상보적 이미지들을 요구하는 한, 특정 삼각측량 방법이 사용되는 것에 의존하지 않는다.
도 13은 사용자에게 디스플레이되는 것으로서 이러한 동작의 결과들을 도시한다. 산출된 길이 및 기울기를 가진 정정된 라인(1305)이 정정된 최적의 이미지(1303) 상에 도시된다. 우측 상에서의 정보 면적(1307)은 이제 피치 산출들의 결과들, 특히 라인의 길이(6.75m) 및 기울기(47도)를 도시한다.
도 1에 도시된 것으로 상기 설명된 바와 같이, 하나의 변화에서, 최적의 이미지가 디스플레이될 때, 사용자는 선택된 포인트(들)의 배치를 정정할 새로운 최적의 이미지를 선택할 수 있다는 것을 주의하자.
또 다른 변형에서, 최적의 이미지가 사용자에게 디스플레이되면, 사용자는 이제 새로운 초기 이미지인, 최적의 이미지를 갖고 단계 107로 돌아오도록 선택하며, 방법이 사용자로부터 추가 포인트들을 수용할 수 있게 할 것이다. 방법은 그 후 새롭게 부가된 추가 포인트들을 가진 새로운 초기 이미지로서 오래된 최적의 이미지를 갖고 계속된다.
단계들의 넘버링은 특정한 순서로 단계들을 실행하도록 방법을 제한할 필요가 없다는 것을 주의하자. 각각의 단계에서 특정 데이터에 대한 요구로부터 가능한 상이한 순서화들이 이 기술분야의 숙련자에게 명백할 것이다.
일반
달리 구체적으로 서술되지 않는다면, 다음의 논의들로부터 명백한 바와 같이, 명세서 전체에 걸쳐 "프로세싱하는", "계산하는", "산출하는", "결졍하는" 등과 같은 용어들을 이용하는 논의들은 전자적과 같은 물리적 양들로서 표현된 데이터를 물리적 양들로서 유사하게 표현된 다른 데이터로 조작하고 및/또는 변환하는 호스트 디바이스 또는 컴퓨팅 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 동작 및/또는 프로세스들을 나타낸다는 것이 이해된다.
유사한 방식으로, 용어 "프로세서"는 예컨대, 상기 전자 데이터를 예로서 레지스터들 및/또는 메모리에 저장될 수 있는 다른 전자 데이터로 변환하기 위해 레지스터들 및/또는 메모리로부터의 전자 데이터를 프로세싱하는 임의의 디바이스 또는 디바이스의 부분을 나타낼 수 있다.
여기에서 설명된 방법론들은, 일 실시예에서 예컨대, 펌웨어로서 또는 소프트웨어로서, 프로세서들 중 하나 이상에 의해 실행될 때, 여기에서 설명된 방법들 중 적어도 하나를 실행하는 기계-판독 가능한 지시들을 수용하는 하나 이상의 디지털 프로세서들에 의해 수행 가능하다. 이러한 실시예들에서, 취해질 동작들을 특정하는 지시들(순차적 또는 그 외)의 세트를 실행할 수 있는 임의의 프로세서가 포함될 수 있다. 따라서, 일 예는 프로그램 가능한 DSP 디바이스이다. 또 다른 것은 마이크로프로세서 또는 다른 컴퓨터-디바이스의 CPU, 또는 더 큰 ASIC의 프로세싱 부분이다. 디지털 프로세싱 시스템은 메인 RAM 및/또는 정적 RAM, 및/또는 ROM을 포함한 메모리 서브시스템을 포함할 수 있다. 버스 서브시스템은 구성요소들 사이에서 통신하기 위해 포함될 수 있다. 디지털 프로세싱 시스템은 또한 무선으로 또는 그 외, 예컨대 네트워크에 의해 결합된 프로세서들을 가진 분산형 디지털 프로세싱 시스템일 수 있다. 디지털 프로세싱 시스템이 디스플레이를 요구한다면, 이러한 디스플레이가 포함될 수 있다. 몇몇 구성들에서 디지털 프로세싱 시스템은 사운드 입력 디바이스, 사운드 출력 디바이스, 및 네트워크 인터페이스 디바이스를 포함할 수 있다. 메모리 서브시스템은 따라서 하나 이상의 디지털 프로세서들에 의해 실행될 때, 여기에서 설명된 방법들 중 하나 이상을 수행하는 것을 야기하기 위해 지시들의 세트로 코딩되는, 즉 그 안에 저장한 기계-판독 가능한 비-일시적 매체를 포함한다. 방법이 여러 개의 요소들, 예컨대 여러 단계들을 포함할 때, 구체적으로 서술되지 않는다면, 이러한 요소들의 어떤 순서화도 내포되지 않는다는 것을 주의하자. 지시들은 하드 디스크에 존재할 수 있거나, 또는 완전히 또는 적어도 부분적으로 시스템에 의해 그것의 실행 동안 RAM 및/또는 프로세서 내에서의 다른 요소들 내에 또한 존재할 수 있다. 따라서, 메모리 및 프로세서는 또한 지시들을 갖고 비-일시적 기계-판독 가능한 매체를 구성한다.
더욱이, 비-일시적 기계-판독 가능한 매체는 소프트웨어 제품을 형성할 수 있다. 예를 들어, 그것은 방법들 중 일부를 실행하며, 따라서 본 발명의 시스템 또는 장치의 모든 또는 몇몇 요소들을 형성하기 위한 지시들이 펌웨어로서 저장될 수 있는 것일 수 있다. 펌웨어를 포함하며, 펌웨어를 "플래시"하기 위해 사용될 수 있는 소프트웨어 제품이 이용 가능할 수 있다.
몇몇 다이어그램(들)은 단지 단일 프로세서 및 기계-판독 가능한 지시들을 저장하는 단일 메모리만을 도시하지만, 이 기술분야의 숙련자들은 본 발명의 양상을 모호하게 하지 않도록 명시적으로 도시되거나 또는 설명되지 않은, 상기 설명된 구성요소들의 많은 것이 포함된다는 것을 이해할 것이라는 것을 주의하자. 예를 들어, 단지 단일 기계만이 예시되지만, 용어 "기계"는 여기에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 지시들의 세트(또는 다수의 세트들)를 개별적으로 또는 공동으로 실행하는 기계들의 임의의 모음을 포함하도록 또한 취해질 것이다.
따라서, 여기에서 설명된 방법들의 각각의 일 실시예는 하나 이상의 디지털 프로세서들, 예컨대 펜 스트로크 캡처 시스템을 형성하는 수신기의 부분인 하나 이상의 디지털 프로세서들 상에서의 실행을 위해 지시들의 세트로 코딩된, 즉 그 안에 저장한 비-일시적 기계-판독 가능한 매체의 형태에 있다.
이 기술분야에서 이해되는 바와 같이, 본 발명의 하나 이상의 양상들을 실행하기 위한 애플리케이션-특정 펌웨어를 가진 기계는 본 발명의 하나 이상의 양상들을 실행하기 위해 펌웨어에 의해 수정되는 특수 목적 기계가 된다는 것을 주의하자. 이것은, 기계가 특히 하나 이상의 양상들을 실행하도록 구성되므로, 소프트웨어를 사용한 범용 디지털 프로세싱 시스템과 상이하다. 더욱이, 이 기술분야에서의 숙련자에게 알려질 바와 같이, 생성될 유닛들의 수가 비용을 정당화한다면, 프로세서와 같은 요소들과 조합한 지시들의 임의의 세트는 특수 목적 ASIC 또는 맞춤 집적 회로로 쉽게 변환될 수 있다. 예를 들어, 프로세싱 엔진(131)의 지시들 및 상세들의 세트를 수용하며 특수-목적 하드웨어의 설계를 자동으로 또는 대부분 자동으로 생성하는, 예컨대 게이트 어레이 또는 유사한 프로그램 가능한 로직을 수정하기 위한 지시들을 생성하거나, 또는 지시들의 세트에 의해 이전에 실행된 기능을 실행하기 위해 집적 회로를 생성하는 방법론들 및 소프트웨어가 수년 동안 존재하여 왔다. 따라서, 이 기술분야에서의 숙련자들에 의해 이해될 바와 같이, 본 발명의 실시예들은 방법, 특수 목적 장치와 같은 장치, 데이터 DSP 디바이스 플러스 펌웨어와 같은 장치, 또는 비-일시적 기계-판독 가능한 매체로서 구체화될 수 있다. 기계-판독 가능한 캐리어 매체는 하나 이상의 디지털 프로세서들 상에서 실행될 때, 프로세서 또는 프로세서들이 방법을 구현하게 하는 지시들의 세트를 포함한 호스트 디바이스 판독 가능한 코드를 운반한다. 따라서, 본 발명의 양상들은 방법, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예 또는 소프트웨어 및 하드웨어 양상들을 조합한 실시예의 형태를 취할 수 있다. 더욱이, 본 발명은 기계-실행 가능한 지시들을 갖고 인코딩된 비-일시적 기계-판독 가능한 저장 매체상에 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 명세서 전체에 걸친 "일 실시예" 또는 "실시예"에 대한 참조는 실시예와 관련되어 설명된 특정한 특징, 구조 또는 특성이 본 발명의 적어도 일 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 곳들에서 구절들("일 실시예에서" 또는 "실시예에서")의 출현들은 반드시 모두 동일한 실시예를 나타내는 것은 아니며, 그럴 수 있다. 더욱이, 특정한 특징들, 구조들 또는 특성들은, 하나 이상의 실시예들에서, 본 개시로부터 이 기술분야에서의 통상의 기술자에게 명백할 바와 같이, 임의의 적절한 방식으로 조합될 수 있다.
유사하게, 본 발명의 예시적인 실시예들의 상세한 설명에서, 본 발명의 다양한 특징들은 때때로 개시를 간소화하며 다양한 본 발명의 양상들 중 하나 이상의 이해를 도울 목적으로 단일 실시예, 도면, 또는 설명에 함께 그룹핑된다는 것이 이해되어야 한다. 본 개시의 이러한 방법은, 그러나, 청구된 발명이 각각의 청구항에서 명확하게 나열된 것보다 많은 특징들을 요구한다는 의도를 반영한 것으로 해석되지 않을 것이다. 오히려, 다음의 청구항들이 반영하는 바와 같이, 본 발명의 양상들은 단일의 앞서 말한 개시된 실시예의 특징들 모두보다 적게 있다. 따라서, 상세한 설명을 잇는 청구항들은 이러한 상세한 설명으로 명확하게 통합되며, 각각의 청구항은 그 자체로 본 발명의 별개의 실시예로서 성립한다.
더욱이, 여기에서 설명된 몇몇 실시예들은 다른 실시예들에 포함된 일부만 다른 특징들을 포함하지만, 상이한 실시예들의 특징들의 조합들은 본 발명의 범위 내에 있는 것으로 의도되며, 이 기술분야의 숙련자들에 의해 이해될 바와 같이, 상이한 실시예들을 형성한다. 예를 들어, 다음의 청구항들에서, 청구된 실시예들 중 임의의 것은 임의로 조합하여 사용될 수 있다.
더욱이, 실시예들 중 일부는 여기에서 호스트 디바이스 시스템의 프로세서에 의해 또는 기능을 실행하는 다른 수단들에 의해 구현될 수 있는 방법 또는 방법의 요소들의 조합으로서 설명된다. 따라서, 이러한 방법 또는 방법의 요소를 실행하기 위해 필요한 지시들을 가진 프로세서는 방법 또는 방법의 요소를 실행하기 위한 수단을 형성한다. 더욱이, 장치 실시예에 대해 여기에서 설명된 요소는 본 발명을 실행할 목적으로 요소에 의해 수행된 기능을 실행하기 위한 수단의 예이다.
여기에서 제공된 설명에서, 다수의 특정 세부사항들이 제시된다. 그러나, 본 발명의 실시예들은 이들 특정 세부사항들 없이 실시될 수 있다는 것이 이해된다. 다른 인스턴스들에서, 잘 알려진 방법들, 구조들 및 기술들은 이러한 설명의 이해를 모호하게 하지 않도록 상세하게 도시되지 않았다.
여기에서 사용된 바와 같이, 달리 특정되지 않는다면, 공통 오브젝트를 설명하기 위한 서수 형용사들 "제 1", "제 2", "제 3" 등의 사용은 단지 유사한 오브젝트들의 상이한 인스턴스들이 참조된다는 것을 나타내며, 그렇게 설명된 오브젝트들이 시간적으로, 공간적으로, 랭킹에서, 또는 임의의 다른 방식으로, 주어진 시퀀스에 있어야 함을 의미하도록 의도되지 않는다.
여기에서 인용된 모든 공보들, 특허들, 및 특허 출원들은 여기에서 참조로서 통합된다.
본 명세서에서 종래 기술에 대한 임의의 논의는 결코 이러한 종래 기술이 널리 알려져 있으며, 공개적으로 알려져 있거나, 또는 분야에서의 일반적인 지식의 부분을 형성하는 허가로서 고려되어서는 안된다.
이하의 청구항들 및 여기에서의 설명에서, 용어들(포함한, ~로 구성된 또는 포함하는) 중 임의의 하나는 적어도 이어지는 요소들/특징들을 포함하지만, 다른 것들을 배제하지 않는 개방 용어이다. 따라서, 용어(포함하는)는, 청구항들에서 사용될 때, 뒤에 나열된 수단들 또는 요소들 또는 단계들에 제한적인 것으로 해석되지 않아야 한다. 예를 들어, 표현(A 및 B를 포함한 디바이스)의 범위는 단지 요소들 A 및 B로만 이루어진 디바이스들에 제한되지 않아야 한다. 여기에서 사용된 바와 같이, 용어들(포함시킨 또는 포함시키는) 중 임의의 하나는 또한 적어도 용어를 따르는 요소들/특징들을 포함하는 것을 의미하지만 다른 것들을 배제하지 않는 개방 용어이다. 따라서, 포함시키는은 포함하는과 동의어이며 이를 의미한다.
유사하게, 청구항들에서 사용될 때, 용어(결합된)는 단지 연결들을 지시하기 위해 제한적인 것으로 해석되지 않아야 한다. 용어들("결합된" 및 "연결되는")은 그것들의 파생어들과 함께, 사용될 수 있다. 이들 용어들은 서로에 대한 동의어들로서 의도되지 않는다는 것이 이해되어야 한다. 따라서, 표현(디바이스 B에 결합된 디바이스 A)의 범위는 디바이스 A의 출력이 디바이스 B의 입력에 직접 연결되는 디바이스들 또는 시스템들에 제한되지 않아야 한다. 그것은 다른 디바이스들 또는 수단들을 포함한 경로일 수 있는 A의 출력과 B의 입력 간의 경로가 존재하고 있음을 의미한다. "결합된"은 두 개 이상의 요소들이 직접적인 물리적 또는 전기적 접촉에 있거나, 또는 둘 이상의 요소들이 서로 직접 접촉하지 않지만 여전히 서로 협력하거나 또는 상호작용한다는 것을 의미할 수 있다.
따라서, 본 발명의 바람직한 실시예들인 것으로 믿어지는 것이 설명되어 있지만, 이 기술분야의 숙련자들은 다른 및 추가 수정들이 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있다는 것을 인식할 것이며, 모든 이러한 변화들 및 수정들은 본 발명의 범위 내에 속하는 것으로 주장하도록 의도된다. 예를 들어, 상기 주어진 임의의 방식들은 단지 사용될 수 있는 절차들을 나타낸다. 기능은 부가되거나 또는 블록도들로부터 삭제될 수 있으며 동작들은 기능 블록들 간에 상호 교환될 수 있다. 단계들은 본 발명의 범위 내에서 설명된 방법들에 부가되거나 또는 삭제될 수 있다.
이러한 설명에 첨부된 청구항들은 설명의 부분을 형성하며, 따라서 참조로서 설명에 통합되며, 각각의 청구항은 하나 이상의 실시예들의 상이한 세트를 형성한다는 것을 주의하자. 참조로서의 통합이 허용되지 않는 관할권들에서, 출원인은 명세서의 부분을 형성하는, 이러한 청구항들을 부가하기 위한 권한을 예약한다.

Claims (64)

  1. 별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들로부터 상보적 이미지들을 선택하기 위해, 디지털 프로세싱 시스템에 의해 구현되는 방법으로서, 각각의 개별 이미지는 각각의 카메라 속성들을 가진 각각의 카메라로부터 캡처되는, 상기 디지털 프로세싱 시스템에 의해 구현되는 방법에 있어서,
    각각의 수용된 이미지에 대해, 상기 수용된 이미지에 관련되며 상기 수용된 이미지를 캡처한 상기 카메라의 속성들에 관련된 파라미터들을 포함한 상기 복수의 이미지들을 수용하는 단계;
    초기 이미지가 될 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하는 단계;
    관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 상기 사용자로부터 수용하는 단계; 및
    상기 수용된 복수의 이미지들로부터 및 최적성 기준(optimality criterion)을 사용하여, 상기 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를 자동으로 선택하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함하는, 방법.
  3. 제 1 항에 있어서, 상기 자동으로 선택하는 단계는 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 단계를 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 상기 초기 이미지에 상보적인, 방법.
  4. 제 2 항에 있어서, 상기 자동으로 선택하는 단계는 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 단계를 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 상기 초기 이미지에 상보적인, 방법.
  5. 제 3 항에 있어서, 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹(ranking)하는 단계를 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 방법.
  6. 제 4 항에 있어서, 상기 최적성 기준에 따라 상기 최적의 세트에서의 상기 이미지들 중 일부 또는 모두를 랭킹하는 단계를 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 최적의 이미지를 상기 사용자에게 디스플레이하는 단계를 더 포함하며, 상기 관심 있는 하나 이상의 기하학적 피처들이 디스플레이되는, 방법.
  8. 제 7 항에 있어서, 상기 자동으로 선택하는 단계는 잠재적인 최적의 이미지에 대한 기하학적 피처 또는 피처들 및 상기 초기 이미지의 상보성의 전체 척도를 상기 최적성 기준으로서 사용하며, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함하고, 상기 하나 이상의 척도들은 절두체들 간의 교차의 척도, 커버리지의 척도, 상기 절두체와 추정된 돌출부 또는 임의의 볼륨 간의 교차의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함하는, 방법.
  9. 제 7 항에 있어서,
    상기 사용자로부터, 상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 위치가 사용될 수 있도록, 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 수용하는 단계; 및
    상기 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 단계를 더 포함하는, 방법.
  10. 제 9 항에 있어서, 선택을 위해 사용자로부터 입력을 수용하는 단계; 상기 사용자로부터 표시를 수용하는 단계, 및 상기 사용자로부터 정정을 수용하는 단계는 모두 이미지들을 디스플레이하는 그래픽 사용자 인터페이스를 통하는, 방법.
  11. 제 10 항에 있어서, 상기 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함하는, 방법.
  12. 제 7 항에 있어서,
    상기 사용자로부터 새로운 최적의 이미지가 될 상기 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 수용하는 단계;
    상기 사용자에게 상기 새로운 최적의 이미지를 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 기하학적 피처들은 상기 새로운 최적의 이미지상에 디스플레이되는, 상기 새로운 최적의 이미지를 디스플레이하는 단계;
    상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 새로운 최적의 이미지상에서의 위치가 사용될 수 있도록, 상기 새로운 최적의 이미지상에서 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하는 단계; 및
    상기 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 단계를 더 포함하는, 방법.
  13. 제 7 항에 있어서,
    현재 초기 이미지에서 이전 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하는 단계로서, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 상기 최적의 이미지는 새로운 초기 이미지가 되는, 상기 하나 이상의 새로운 기하학적 피처들의 표시를 수용하는 단계;
    상기 수용된 복수의 이미지들로부터 및 상기 최적성 기준을 사용하여, 저지의 목적으로 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하는 단계; 및
    상기 새로운 최적의 이미지를 상기 사용자에게 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이되는, 상기 디스플레이 단계를 더 포함하는, 방법.
  14. 제 13 항에 있어서, 상기 자동으로 선택하는 단계는 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 단계를 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 방법.
  15. 제 14 항에 있어서, 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하는 단계를 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 방법.
  16. 제 13 항에 있어서,
    상기 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 새로운 정정의 위치가 사용될 수 있도록, 상기 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 상기 사용자로부터 수용하는 단계; 및
    상기 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 단계를 더 포함하는, 방법.
  17. 디지털 프로세싱 시스템에 있어서,
    별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들을 수용하도록 구성된 입력 포트로서, 각각의 개별 이미지는 각각의 카메라로부터 캡처되었고, 상기 수용은 각각의 개별 수용된 이미지에 대해, 상기 각각의 수용된 이미지 및 상기 각각의 수용된 이미지를 캡처한 각각의 카메라의 속성들(총괄하여 "카메라 모델")에 관련된 각각의 파라미터들을 수용하는 것을 포함하는, 상기 입력 포트;
    디스플레이 스크린 및 상기 디스플레이 스크린상에서 디스플레이하는 것을 가능하게 하고 사용자가 입력을 제공하며, 그 외 상기 디스플레이 스크린상에서 디스플레이된 이미지와 상호작용할 수 있게 하는 사용자 인터페이스를 가진 사용자 단말기;
    상기 사용자 단말기에 결합된 디지털 이미지 프로세싱 시스템으로서, 상기 디지털 이미지 프로세싱 시스템은 하나 이상의 디지털 프로세서들, 상기 디지털 프로세싱 시스템에 의해 실행될 때, 상기 디지털 프로세싱 시스템으로 하여금 상기 입력 포트를 통해 수용된 복수의 이미지들로부터 하나 이상의 상보적 이미지들을 선택하는 방법을 실행하게 하는 지시들을 포함하는 저장 서브시스템을 포함하며, 상기 방법은:
    상기 입력 포트를 통해 상기 복수의 이미지들 및 파라미터들을 수용하는 것;
    초기 이미지가 될 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하는 것;
    관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 상기 사용자로부터 수용하는 것; 및
    상기 수용된 복수의 이미지들로부터 및 최적성 기준을 사용하여, 상기 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를 자동으로 선택하는 것을 포함한, 상기 디지털 이미지 프로세싱 시스템을 포함하는, 디지털 프로세싱 시스템.
  18. 제 17 항에 있어서, 상기 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함하는, 디지털 프로세싱 시스템.
  19. 제 17 항에 있어서, 상기 자동으로 선택하는 것은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 상기 초기 이미지에 상보적인, 디지털 프로세싱 시스템.
  20. 제 18 항에 있어서, 상기 자동으로 선택하는 것은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 상기 초기 이미지에 상보적인, 디지털 프로세싱 시스템.
  21. 제 19 항에 있어서, 상기 방법은 상기 최적성 기준에 따라 상기 최적의 세트에서의 상기 이미지들 중 일부 또는 모두를 랭킹하는 것을 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 디지털 프로세싱 시스템.
  22. 제 20 항에 있어서, 상기 방법은 상기 최적성 기준에 따라 상기 최적의 세트에서의 상기 이미지들 중 일부 또는 모두를 랭킹하는 것을 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 디지털 프로세싱 시스템.
  23. 제 17 항 내지 제 22 항 중 어느 한 항에 있어서, 상기 방법은:
    상기 최적의 이미지를 상기 사용자에게 디스플레이하는 것으로서, 상기 관심 있는 하나 이상의 기하학적 피처들이 또한 디스플레이되는, 상기 최적의 이미지를 디스플레이하는 것을 더 포함하는, 디지털 프로세싱 시스템.
  24. 제 23 항에 있어서, 상기 자동으로 선택하는 것은 잠재적인 최적의 이미지에 대한 상기 기하학적 피처 또는 피처들 및 상기 초기 이미지의 상보성의 전체 척도를 상기 최적성 기준으로서 사용하며, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함하고, 상기 하나 이상의 척도들은 절두체들 간의 교차의 척도, 커버리지의 척도, 상기 절두체와 추정된 돌출부 또는 임의의 볼륨 간의 교차의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함하는, 디지털 프로세싱 시스템.
  25. 제 23 항에 있어서, 상기 방법은:
    상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 위치가 사용될 수 있도록, 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하는 것; 및
    상기 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 더 포함하는, 디지털 프로세싱 시스템.
  26. 제 25 항에 있어서, 상기 선택을 위해 사용자로부터 입력을 수용하는 것; 상기 사용자로부터 표시를 수용하는 것, 상기 디스플레이하는 것, 및 상기 사용자로부터 정정을 수용하는 것은 모두 상기 그래픽 사용자 인터페이스를 통하는, 디지털 프로세싱 시스템.
  27. 제 25 항에 있어서, 상기 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함하는, 디지털 프로세싱 시스템.
  28. 제 23 항에 있어서, 상기 방법은:
    상기 사용자로부터 새로운 최적의 이미지가 될 상기 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 수용하는 것;
    상기 사용자에게 상기 새로운 최적의 이미지를 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 기하학적 피처들은 상기 새로운 최적의 이미지상에 디스플레이되는, 상기 새로운 최적의 이미지를 디스플레이하는 것;
    상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 새로운 최적의 이미지상에서의 위치가 사용될 수 있도록, 상기 새로운 최적의 이미지상에서 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하는 것; 및
    상기 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 더 포함하는, 디지털 프로세싱 시스템.
  29. 제 23 항에 있어서, 상기 방법은:
    현재 초기 이미지에서 이전 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하는 단계로서, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 상기 최적의 이미지는 새로운 초기 이미지가 되는, 상기 하나 이상의 새로운 기하학적 피처들의 표시를 수용하는 것;
    상기 수용된 복수의 이미지들로부터 및 상기 최적성 기준을 사용하여, 지연의 목적으로 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하는 것; 및
    상기 새로운 최적의 이미지를 상기 사용자에게 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이되는, 상기 디스플레이하는 것을 더 포함하는, 디지털 프로세싱 시스템.
  30. 제 29 항에 있어서, 상기 자동으로 선택하는 것은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 디지털 프로세싱 시스템.
  31. 제 30 항에 있어서, 상기 방법은 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하는 것을 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 디지털 프로세싱 시스템.
  32. 제 29 항에 있어서, 상기 방법은:
    상기 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 새로운 정정의 위치가 사용될 수 있도록, 상기 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 상기 사용자로부터 수용하는 것; 및
    상기 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 더 포함하는, 디지털 프로세싱 시스템.
  33. 지시들을 포함한 비-일시적 기계-판독 가능한 매체에 있어서,
    상기 지시들은 디지털 프로세싱 시스템들의 하나 이상의 디지털 프로세서들 상에서 실행될 때 방법을 실행하는 것을 야기하며, 상기 방법은:
    별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들을 수용하는 것으로서, 상기 수용은 각각의 개별 수용된 이미지에 대해, 상기 각각의 수용된 이미지 및 상기 각각의 수용된 이미지를 캡처한 각각의 카메라의 속성들(총괄하여 "카메라 모델")에 관련된 각각의 파라미터들을 수용하는 것을 포함하는, 상기 복수의 이미지들을 수용하는 것;
    초기 이미지가 될 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하는 것;
    상기 사용자로부터 관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 수용하는 것; 및
    상기 수용된 복수의 이미지들로부터 및 최적성 기준을 사용하여, 상기 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를 자동으로 선택하는 것을 포함하는, 비-일시적 기계-판독 가능한 매체.
  34. 제 33 항에 있어서, 상기 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함하는, 비-일시적 기계-판독 가능한 매체.
  35. 제 33 항에 있어서, 상기 자동으로 선택하는 것은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 비-일시적 기계-판독 가능한 매체.
  36. 제 34 항에 있어서, 상기 자동으로 선택하는 것은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위한 상기 초기 이미지에 상보적인, 비-일시적 기계-판독 가능한 매체.
  37. 제 35 항에 있어서, 상기 방법은 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하는 것을 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 비-일시적 기계-판독 가능한 매체.
  38. 제 36 항에 있어서, 상기 방법은 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하는 것을 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 비-일시적 기계-판독 가능한 매체.
  39. 제 33 항 내지 제 38 항 중 어느 한 항에 있어서, 상기 방법은:
    상기 최적의 이미지를 상기 사용자에게 디스플레이하는 것으로서, 상기 관심 있는 하나 이상의 기하학적 피처들이 또한 디스플레이되는, 상기 최적의 이미지를 디스플레이하는 것을 더 포함하는, 비-일시적 기계-판독 가능한 매체.
  40. 제 39 항에 있어서, 상기 자동으로 선택하는 것은 잠재적인 최적의 이미지에 대한 상기 기하학적 피처 또는 피처들 및 상기 초기 이미지의 상보성의 전체 척도를 상기 최적성 기준으로서 사용하며, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함하고, 상기 하나 이상의 척도들은 절두체들 간의 교차의 척도, 커버리지의 척도, 상기 절두체와 추정된 돌출부 또는 임의의 볼륨 간의 교차의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함하는, 비-일시적 기계-판독 가능한 매체.
  41. 제 39 항에 있어서, 상기 방법은:
    상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 위치가 사용될 수 있도록, 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하는 것; 및
    상기 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 더 포함하는, 비-일시적 기계-판독 가능한 매체.
  42. 제 41 항에 있어서, 상기 선택을 위해 사용자로부터 입력을 수용하는 것; 상기 사용자로부터 표시를 수용하는 것, 및 상기 사용자로부터 정정을 수용하는 것은 모두 이미지들을 디스플레이하는 그래픽 사용자 인터페이스를 통하는, 비-일시적 기계-판독 가능한 매체.
  43. 제 41 항에 있어서, 상기 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함하는, 비-일시적 기계-판독 가능한 매체.
  44. 제 39 항에 있어서, 상기 방법은:
    상기 사용자로부터 새로운 최적의 이미지가 될 상기 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 수용하는 것;
    상기 사용자에게 상기 새로운 최적의 이미지를 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 기하학적 피처들은 상기 새로운 최적의 이미지상에 디스플레이되는, 상기 새로운 최적의 이미지를 디스플레이하는 것;
    상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 새로운 최적의 이미지상에서의 위치가 사용될 수 있도록, 상기 새로운 최적의 이미지상에서 관심 있는 하나 이상의 디스플레이된 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하는 것; 및
    상기 표시된 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 더 포함하는, 비-일시적 기계-판독 가능한 매체.
  45. 제 39 항에 있어서, 상기 방법은:
    현재 초기 이미지에서 이전 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하는 단계로서, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 상기 최적의 이미지는 새로운 초기 이미지가 되는, 상기 하나 이상의 새로운 기하학적 피처들의 표시를 수용하는 것;
    상기 수용된 복수의 이미지들로부터 및 상기 최적성 기준을 사용하여, 지연의 목적으로 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하는 것; 및
    상기 새로운 최적의 이미지를 상기 사용자에게 디스플레이하는 단계로서, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이되는, 상기 디스플레이하는 것을 더 포함하는, 비-일시적 기계-판독 가능한 매체.
  46. 제 45 항에 있어서, 상기 자동으로 선택하는 것은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하는 것을 포함하며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 비-일시적 기계-판독 가능한 매체.
  47. 제 46 항에 있어서, 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하는 것을 더 포함하며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 비-일시적 기계-판독 가능한 매체.
  48. 제 45 항에 있어서,
    상기 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 새로운 정정의 위치가 사용될 수 있도록, 상기 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 상기 사용자로부터 수용하는 것; 및
    상기 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하는 것을 더 포함하는, 비-일시적 기계-판독 가능한 매체.
  49. 프로세싱 시스템에 있어서,
    저장 서브시스템; 및
    하나 이상의 프로세서들을 포함하며,
    상기 저장 서브시스템은 상기 비-일시적 기계-판독 가능한 매체 청구항들 중 어느 한 항에 나열된 바와 같은 비-일시적 기계-판독 가능한 매체를 포함하는, 프로세싱 시스템.
  50. 디지털 프로세싱 시스템에 있어서,
    별개의 뷰들 및/또는 위치들로부터 캡처된 복수의 이미지들을 수용하기 위한 수단으로서, 각각의 개별 수용된 이미지는 각각의 카메라로부터 캡처되었고, 상기 수용은, 각각의 개별 수용된 이미지에 대해, 상기 각각의 수용된 이미지 및 상기 각각의 수용된 이미지를 캡처한 각각의 카메라의 속성들(총괄하여 "카메라 모델")에 관련된 각각의 파라미터들을 수용하는 것을 포함하는, 상기 복수의 이미지들을 수용하는기 위한 수단;
    사용자로부터 입력을 수용하기 위한 수단으로서, 상기 수용하기 위한 수단은 초기 이미지가 될 상기 수용된 이미지들 중 하나를 선택하기 위해 사용자로부터 입력을 수용하며, 관심 있는 하나 이상의 기하학적 피처들을 표시하는 입력을 상기 사용자로부터 수용하도록 구성되는, 상기 입력을 수용하기 위한 수단; 및
    상기 수용된 복수의 이미지들로부터 및 최적성 기준을 사용하여, 상기 표시된 하나 이상의 기하학적 피처들의 하나 이상의 3D 속성들을 결정할 목적으로 상기 초기 이미지에 상보적인 최적의 이미지를 자동으로 선택하기 위한 수단을 포함하는, 디지털 프로세싱 시스템.
  51. 제 50 항에 있어서, 상기 초기 이미지에서 관심 있는 하나 이상의 기하학적 피처들은 포인트, 라인, 및 표면으로 이루어진 피처들의 세트 중 하나를 포함하는, 디지털 프로세싱 시스템.
  52. 제 50 항에 있어서, 상기 자동으로 선택하기 위한 수단은 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하도록 구성되며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 디지털 프로세싱 시스템.
  53. 제 50 항에 있어서, 상기 자동으로 선택하기 위한 수단은 또한 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하도록 구성되며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 디지털 프로세싱 시스템.
  54. 제 52 항에 있어서, 상기 자동으로 선택하기 위한 수단은 또한 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하도록 구성되며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 디지털 프로세싱 시스템.
  55. 제 53 항에 있어서, 상기 자동으로 선택하기 위한 수단은 또한 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하도록 구성되며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 디지털 프로세싱 시스템.
  56. 제 50 항 내지 제 55 항 중 어느 한 항에 있어서, 상기 최적의 이미지 및 상기 관심 있는 하나 이상의 기하학적 피처들을 상기 사용자에게 디스플레이하도록 구성된, 상기 사용자에게 이미지 및 다른 정보를 디스플레이하기 위한 수단을 더 포함하는, 디지털 프로세싱 시스템.
  57. 제 56 항에 있어서, 상기 자동으로 선택하기 위한 수단은 잠재적인 최적의 이미지에 대한 상기 기하학적 피처 또는 피처들 및 상기 초기 이미지의 상보성의 전체 척도를 상기 최적성 기준으로서 사용하며, 상기 상보성의 전체 척도는 하나 이상의 특정 척도들 및 대응하는 선택 기준들을 포함하고, 상기 하나 이상의 척도들은 절두체들 간의 교차의 척도, 커버리지의 척도, 상기 절두체와 추정된 돌출부 또는 임의의 볼륨 간의 교차의 척도, 각 편차의 척도, 및 분해능의 척도 중 하나 이상을 포함하는, 디지털 프로세싱 시스템.
  58. 제 56 항에 있어서,
    상기 사용자로부터 수용하기 위한 수단은 상기 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 새로운 정정의 위치가 사용될 수 있도록, 상기 하나 이상의 디스플레이되는 관심 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하며;
    상기 자동으로 선택하기 위한 수단은 또한 상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하도록 구성되는, 디지털 프로세싱 시스템.
  59. 제 58 항에 있어서, 상기 하나 이상의 3D 속성들은 빌딩의 지붕의 기울기를 포함하는, 디지털 프로세싱 시스템.
  60. 제 56 항에 있어서,
    상기 수용하기 위한 수단은 또한 상기 사용자로부터 새로운 최적의 이미지가 될 상기 최적의 세트로부터의 다른 이미지들 중 하나의 선택을 수용하도록 구성되고;
    상기 디스플레이하기 위한 수단은 또한 상기 새로운 최적의 이미지를 상기 사용자에게 디스플레이하도록 구성되며, 상기 관심 있는 하나 이상의 기하학적 피처들이 상기 새로운 최적의 이미지상에서 디스플레이되고,
    상기 수용하기 위한 수단은 또한, 상기 관심 있는 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 정정의 상기 새로운 최적의 이미지 상에서의 위치가 사용될 수 있도록, 상기 새로운 최적의 이미지상에서 하나 이상의 디스플레이되는 관심 있는 기하학적 피처들 중 적어도 하나의 정정을 상기 사용자로부터 수용하도록 구성되며;
    상기 자동으로 선택하기 위한 수단은 또한 상기 기하하적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하도록 구성되는, 디지털 프로세싱 시스템.
  61. 제 56 항에 있어서,
    상기 수용하기 위한 수단은 또한 현재 초기 이미지에서 이전 선택된 동일한 기하학적 피처들일 수 있는, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 상기 사용자로부터 수용하도록 구성되며, 관심 있는 하나 이상의 새로운 기하학적 피처들의 표시를 수용한 후 상기 최적의 이미지는 새로운 초기 이미지가 되고;
    상기 자동으로 선택하기 위한 수단은 또한 상기 수용된 복수의 이미지들로부터 및 상기 최적성 기준을 사용하여, 지연의 목적으로 상기 새로운 초기 이미지에 상보적인 새로운 최적의 이미지를 자동으로 선택하도록 구성되며;
    상기 디스플레이하기 위한 수단은 또한 상기 새로운 최적의 이미지를 상기 사용자에게 디스플레이하도록 구성되고, 상기 관심 있는 하나 이상의 부가적인 기하학적 피처들이 디스플레이되는, 디지털 프로세싱 시스템.
  62. 제 61 항에 있어서, 상기 자동으로 선택하기 위한 수단은 또한 상기 최적의 이미지를 갖고 최적의 세트를 형성하는 하나 이상의 부가적인 이미지들을 상기 수용된 복수의 이미지들로부터 자동으로 선택하도록 구성되며, 상기 최적의 세트의 각각의 이미지는 상기 표시된 하나 이상의 기하학적 피처들의 3D 속성들을 결정하기 위해 새로운 초기 이미지에 상보적인, 디지털 프로세싱 시스템.
  63. 제 62 항에 있어서, 상기 자동으로 선택하기 위한 수단은 또한 상기 최적성 기준에 따라 상기 최적의 세트에서의 이미지들 중 일부 또는 모두를 랭킹하도록 구성되며, 상기 랭킹은 상기 초기 이미지에 대한 상보적 이미지로서의 사용을 위한 적절성에 따르고, 최고 랭크된 이미지가 상기 최적의 이미지인, 디지털 프로세싱 시스템.
  64. 제 61 항에 있어서, 상기 수용하기 위한 수단은 또한 상기 관심 있는 새로운 기하학적 피처 또는 피처들의 하나 이상의 기하학적 속성들을 결정하기 위해 상기 새로운 정정의 위치가 사용될 수 있도록, 상기 디스플레이되는 관심 있는 하나 이상의 새로운 기하학적 피처들 중 적어도 하나의 새로운 정정을 상기 사용자로부터 수용하도록 구성되며;
    상기 자동으로 선택하기 위한 수단은 또한 상기 표시된 새로운 기하학적 피처 또는 피처들의 하나 이상의 3D 속성들을 결정하도록 구성되는, 디지털 프로세싱 시스템.
KR1020217011195A 2018-09-18 2019-09-17 3ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법 KR20210094517A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862732768P 2018-09-18 2018-09-18
US62/732,768 2018-09-18
PCT/AU2019/000110 WO2020056446A1 (en) 2018-09-18 2019-09-17 System and method of selecting a complementary image from a plurality of images for 3d geometry extraction

Publications (1)

Publication Number Publication Date
KR20210094517A true KR20210094517A (ko) 2021-07-29

Family

ID=69886776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011195A KR20210094517A (ko) 2018-09-18 2019-09-17 3ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법

Country Status (9)

Country Link
US (1) US20210201522A1 (ko)
EP (1) EP3853813A4 (ko)
JP (1) JP7420815B2 (ko)
KR (1) KR20210094517A (ko)
CN (1) CN113168712A (ko)
AU (1) AU2019344408A1 (ko)
CA (1) CA3109097A1 (ko)
SG (1) SG11202101867QA (ko)
WO (1) WO2020056446A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775324A (zh) * 2022-12-13 2023-03-10 武汉大学 一种交叉尺度滤波引导下的相位相关图像匹配方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781410B (zh) * 2021-08-25 2023-10-13 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
JP2010540811A (ja) * 2007-10-04 2010-12-24 サンジェヴィティ エネルギーシステムを提供するための方法及びシステム
JP2009237846A (ja) 2008-03-27 2009-10-15 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8170840B2 (en) * 2008-10-31 2012-05-01 Eagle View Technologies, Inc. Pitch determination systems and methods for aerial roof estimation
US8401222B2 (en) * 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
WO2013102880A1 (en) * 2012-01-06 2013-07-11 Koninklijke Philips Electronics N.V. Real-time display of vasculature views for optimal device navigation
US8928666B2 (en) * 2012-10-11 2015-01-06 Google Inc. Navigating visual data associated with a point of interest
US10080004B2 (en) * 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775324A (zh) * 2022-12-13 2023-03-10 武汉大学 一种交叉尺度滤波引导下的相位相关图像匹配方法

Also Published As

Publication number Publication date
EP3853813A4 (en) 2022-06-22
AU2019344408A1 (en) 2021-03-11
CN113168712A (zh) 2021-07-23
SG11202101867QA (en) 2021-04-29
CA3109097A1 (en) 2020-03-26
JP2022501751A (ja) 2022-01-06
WO2020056446A1 (en) 2020-03-26
EP3853813A1 (en) 2021-07-28
JP7420815B2 (ja) 2024-01-23
WO2020056446A9 (en) 2020-04-30
US20210201522A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US9542770B1 (en) Automatic method for photo texturing geolocated 3D models from geolocated imagery
US11783543B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
US9330504B2 (en) 3D building model construction tools
US8390617B1 (en) Visualizing oblique images
US8749580B1 (en) System and method of texturing a 3D model from video
US10521962B1 (en) Method and system for visualizing overlays in virtual environments
US10445772B1 (en) Label placement based on objects in photographic images
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
EP3413266B1 (en) Image processing device, image processing method, and image processing program
JP5535025B2 (ja) 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP7156515B2 (ja) 点群アノテーション装置、方法、及びプログラム
GB2553363B (en) Method and system for recording spatial information
US20130127852A1 (en) Methods for providing 3d building information
US20190051029A1 (en) Annotation Generation for an Image Network
CN113192200B (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
US11682168B1 (en) Method and system for virtual area visualization
US20210201522A1 (en) System and method of selecting a complementary image from a plurality of images for 3d geometry extraction
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
US9197882B2 (en) Mobile communication terminal having image conversion function and method
JP5473683B2 (ja) 地物検出システム
US9852542B1 (en) Methods and apparatus related to georeferenced pose of 3D models
JP5122508B2 (ja) ３次元空間データ作成方法及び３次元空間データ作成装置
CN117057086A (zh) 基于目标识别与模型匹配的三维重建方法、装置及设备